Come fare A/B Testing evitando l’effetto Hawthorne
Cosa troverai in questo articolo. La consapevolezza di essere sotto osservazione porta naturalmente gli esseri umani a modificare il proprio comportamento perché risulti in linea con le presunte aspettative dell’osservatore. Di questa tendenza dell’essere umano, detta effetto Hawthorne, è importante tenere conto nel momento in cui, nell’ambito dell’A/B Testing, si deve studiare proprio il comportamento naturale degli utenti senza influenze esterne. Per farlo, è importante sia creare un ambiente di osservazione in grado di mettere a proprio agio i partecipanti, sia progettare compiti che risultino vicini alle azioni compiute dagli utenti nel mondo reale.
Su questo blog abbiamo rimarcato spesso l’importanza dell’A/B Testing per l’ottimizzazione del design di un sito e dei suoi percorsi di navigazione ai fini di un aumento delle conversioni. Oggi approfondiamo meglio come dovrebbe essere effettuata questa complessa e delicata operazione affinché i suoi benefici possano sprigionarsi a pieno, concentrandoci in particolare su una tendenza, detta effetto Hawthorne, che potrebbe inficiarli.
Che cos’è l’effetto Hawthorne?
Avete mai sperimento una sensazione di innaturalezza nel vostro comportamento quando sapevate di essere osservati da qualcuno? L’effetto Hawthorne, che prende il nome da una serie di esperimenti condotti tra il 1924 e il 1932 presso lo stabilimento della Western Electric Company di Hawthorne nell’Illinois, si riferisce proprio all’influenza che ha l’occhio esterno sul modo in cui ci muoviamo nello spazio, parliamo e interagiamo con altre persone sapendo di essere osservati, per cui tendiamo a seguire schemi di comportamento più allineati a quelle che riteniamo essere le aspettative del nostro osservatore.
Chiamato, per questo motivo, anche “effetto dell’osservatore”, l’effetto Hawthorne non si verifica unicamente nella vita reale e nelle interazioni spontanee, ma anche nelle situazioni ricreate ad hoc in laboratorio per studiare un determinato tipo di comportamento. Com’è facile intuire, ciò pone i ricercatori di fronte alla spinosa questione, non semplice da dirimere, su come si possano ottenere risultati oggettivi in una situazione in cui il soggetto di studio si comporti diversamente dal normale perché sa di essere tenuto d’occhio, alterando e distorcendo inevitabilmente i risultati della ricerca.
Se applichiamo questo concetto a un ambito come quello dell’A/B Testing di un sito web, al cui cuore risiede l’analisi del comportamento naturale di un soggetto al fine di trovare le combinazioni di design ed elementi interattivi che massimizzino le conversioni di tale sito, appare evidente come l’effetto Hawthorne rappresenti il proverbiale elefante nella stanza e la sua gestione debba essere al centro dell’attenzione per chi si occupa di questo tipo di ricerche.
Come ridurre l’effetto Hawthorne durante l’A/B Testing
Posto che non è possibile eliminare del tutto l’effetto Hawthorne – e questo contribuisce anche a spiegare come mai il comportamento in laboratorio non equivalga poi mai del tutto al comportamento nella vita reale – possiamo comunque cercare di ridurlo ai minimi termini attraverso l’applicazione di alcune strategie la cui fattibilità dipenderà ovviamente dalle specifiche peculiarità del progetto di riferimento.
Il primo passo è certamente quello di creare un ambiente di studio non giudicante, mettendo a loro agio i soggetti che partecipano allo studio incoraggiandoli così a comportarsi in maniera “normale” senza sentire di dover dimostrare per forza qualcosa all’osservatore. È importante ricordare ai partecipanti, verbalizzandolo esplicitamente, che il soggetto dello studio è il prodotto, non loro, e che, per l’appunto, non devono superare nessun tipo di test.
Analogamente, i partecipanti si sentiranno più a loro agio se verranno rassicurati che i loro dati non saranno diffusi pubblicamente e, soprattutto, le risposte individuali non verranno in alcun modo collegate ai singoli soggetti. In questo modo, si sentiranno liberi di esprimere la propria opinione senza tema di compromettere la loro immagine pubblica.
Per quanto ci possiamo ritenere, ognuno nel proprio intimo, indipendenti e incuranti dell’opinione degli altri, essere messi sotto un riflettore senza aver dato il consenso non piace praticamente a nessuno, se non ai più consumati attori di teatro. Questo risulta quindi particolarmente importante laddove il tema esplorato tocchi punti e questioni sensibili, ad esempio il rapporto di un lavoratore con la sua amministrazione; in queste situazioni, i quesiti posti ai soggetti dovrebbero dunque essere accompagnati da un disclaimer che sottolinei come le loro risposte rimarranno confidenziali, saranno utilizzate solo a scopi di ricerca e lette solamente dai ricercatori coinvolti nel progetto.
È ovvio che, per ridurre l’effetto Hawthorne, anche la presenza dell’osservatore o dell’osservatrice dovranno essere ridotti il più possibile; le loro interazioni dirette con i soggetti di studio dovranno dunque essere limitate sia che si tratti di uno studio sul campo o uno studio monitorato: nel secondo caso, subito dopo aver fornito le istruzioni per lo svolgimento del task, l’osservatore od osservatrice dovrà rimanere il più possibile in silenzio.
Ciò non equivale, tuttavia, a essere freddi nei confronti dei partecipanti: al contrario, soprattutto nella fase di screening dei soggetti di studio, è importante che le comunicazioni si svolgano utilizzando un linguaggio caloroso, accogliente e, allo stesso tempo, rispettoso e che gli organizzatori e organizzatrici dello studio mostrino prontezza nell’anticipare e soddisfare bisogni particolari degli utenti che li agevolino nella partecipazione al test.
Esempi di task per l’A/B Testing
Nella progettazione, poi, dei compiti che fanno parte degli A/B Testing, è importante che questi riflettano le azioni che gli utenti compiono effettivamente nella vita reale e non corrispondano ad azioni specifiche la cui utilità per lo studio del comportamento naturale degli utenti è pressoché nulla. Di seguito vi proponiamo alcuni esempi per rendere più chiaro ciò di cosa parliamo.
Su un sito di viaggi, invece di chiedere “clicca sul pulsante ‘Prenota ora’ per un volo da Roma a New York”, potreste fornire una situazione di questo tipo: “Hai in programma una vacanza per la prossima primavera. Cerca un pacchetto volo+hotel per una destinazione di tuo interesse che duri circa una settimana. Valuta le opzioni e, se trovi qualcosa che ti piace, aggiungilo ai preferiti o simulane la prenotazione fino alla pagina di riepilogo”. Ciò riporta l’utente nella fase di pianificazione e comparazione, che è molto più realistica rispetto al semplice clic su un pulsante “Prenota ora”, e permette di osservare come l’utente filtri, confronti e prenda decisioni complesse.
Immaginando invece un soggetto alle prese con un marketplace di arredamento per la casa, potreste pensare di fornirgli un prompt di questo tipo: “Stai cercando un nuovo divano per il tuo salotto. Esplora le diverse opzioni disponibili sul sito e cerca di capire quale si adatterebbe meglio al tuo spazio e al tuo stile. Puoi anche provare a salvare alcune opzioni per una futura considerazione”. L’utente potrà così navigare in modo più organico rispetto a quanto farebbe se gli chiedeste semplicemente di trovare un prodotto specifico (ad esempio, un divano rosso nella categoria Salotto), riflettendo il processo decisionale legato a un acquisto importante. Chi conduce lo studio potrà studiare non solo la ricerca diretta dell’utente, ma anche l’interazione con filtri, immagini e descrizioni oltre che con eventuali funzionalità di realtà aumentata
Per quanto riguarda l’A/B Testing delle funzionalità e del design di un blog di cucina, potreste ipotizzare di chiedere qualcosa come: “Desideri trovare nuove idee per una colazione sana. Esplora il blog e cerca articoli che ti ispirino. Se trovi qualcosa di interessante, leggilo e valuta se vorresti condividerlo o lasciare un commento”. Questo incoraggia la navigazione spontanea e l’interazione con i contenuti, replicando il modo in cui le persone solitamente utilizzano un blog, oltre a permettere di valutare la chiarezza delle categorie, l’attrattiva dei titoli e la facilità di fruizione dei contenuti.
L’obiettivo principale è, in sostanza, mettere l’utente in una condizione il più possibile simile a quella reale, dove si senta libero di agire in modo naturale senza la percezione di essere valutato o di dover performare. In questo modo, i dati raccolti saranno molto più rappresentativi e utili per le decisioni di ottimizzazione del sito.
Motivi (non banali) per fare A/B testing
Fare A/B testing, o più in generale user testing, non serve solo a convalidare le intuizioni di un esperto di UX (bias di conferma nemico numero 1 di chi si occupa di ricerca!), ma è uno strumento fondamentale per costruire consenso all’interno del team: permette infatti di trasformare discussioni basate su opinioni personali in decisioni guidate dai dati reali degli utenti, creando una comprensione condivisa delle loro esigenze.
Questo approccio è particolarmente utile per affrontare idee impopolari o per mediare tra diverse proposte di design, lasciando che il feedback degli utenti determini la soluzione migliore. Inoltre, il testing offre un modo meno conflittuale per comunicare critiche a un design, spostando l’attenzione dalla difesa delle idee personali alla risoluzione dei problemi degli utenti. Anche i designer più esperti possono trarre beneficio da un approccio di questo tipo, poiché il testing rivela spesso problemi inattesi o, al contrario, dimostra che presunti grandi problemi non lo sono affatto, salvaguardando contro le supposizioni e favorendo un processo decisionale più informato ed efficiente.
Riassumendo: le domande più comuni sull’effetto Hawthorne e il suo impatto sull’A/B Testing
Concludiamo questo approfondimento con una serie di FAQ su A/B Testing ed effetto Hawthorne. Se non trovate risposta alla vostra domanda, scriveteci: saremo felici di chiarire tutti i vostri dubbi e arricchire ulteriormente questo contenuto grazie alle vostre segnalazioni.
L'A/B Testing è necessario anche per modifiche molto piccole al sito?
L’A/B Testing è uno strumento molto utile, ma la sua applicazione deve essere valutata di volta in volta. Per modifiche molto piccole o di scarsa rilevanza, i benefici potrebbero non giustificare il tempo e le risorse investite. Tuttavia, è sempre consigliabile testare le ipotesi principali e le modifiche che potrebbero avere un impatto significativo sulle conversioni o sull’esperienza utente. Anche una piccola modifica può generare risultati sorprendenti se ben testata.
Quanto tempo dovrebbe durare un A/B Test per ottenere risultati validi?
La durata di un A/B Test dipende da vari fattori, come il volume di traffico del sito e l’impatto che vi aspettate di osservare; in ogni caso, è fondamentale raggiungere una significatività statistica per assicurarsi che i risultati non siano dovuti al caso. Non esiste una durata fissa, ma è consigliabile lasciare che il test si svolga per almeno uno o due cicli completi di traffico (ad esempio, una o due settimane) per tenere conto delle variazioni giornaliere o settimanali nel comportamento degli utenti. Strumenti di A/B Testing professionali offrono funzionalità per monitorare la significatività e indicare quando un test può essere concluso.
Come si può evitare di influenzare inconsciamente i partecipanti durante il test?
Per minimizzare l’influenza dell’osservatore (effetto Hawthorne), è cruciale adottare un atteggiamento neutrale e non giudicante. Limitate le interazioni dirette con i partecipanti al minimo indispensabile, fornendo istruzioni chiare e poi rimanendo in silenzio. Assicuratevi che i partecipanti si sentano a proprio agio, ricordando loro che il test è sul prodotto e non sulle loro prestazioni. La confidenzialità dei dati è un altro aspetto fondamentale per garantire che si sentano liberi di esprimere i loro pensieri e comportamenti naturali.
L'effetto Hawthorne è sempre un ostacolo nell'A/B Testing?
L’effetto Hawthorne è una variabile da considerare in ogni studio in cui si stia analizzando il comportamento umano. Nel contesto dell’A/B Testing di un sito web, il suo impatto è generalmente minore rispetto a un test di usabilità “in laboratorio” con un osservatore diretto. Questo perché gli utenti che partecipano a un A/B Test su un sito web solitamente non sanno di far parte di un esperimento e interagiscono con la piattaforma in modo molto più naturale. Tuttavia, in test di usabilità più controllati, dove l’utente è consapevole di essere osservato (anche solo tramite software di registrazione dello schermo e dei clic), l’effetto può manifestarsi. Il punto non è eliminare l’effetto, ma ridurne al minimo l’influenza, creando un ambiente di test che sia il più vicino possibile all’esperienza utente reale.
Come assicurarsi che i risultati di un A/B Test non siano stati distorti dall'effetto Hawthorne?
La chiave per minimizzare la distorsione dovuta all’effetto Hawthorne nell’A/B Testing online risiede nell’anonimato e nella naturalezza del contesto. Assicuratevi innanzitutto che gli utenti che partecipano al test non siano consapevoli di far parte di un esperimento: questo si ottiene spesso distribuendo le diverse varianti (A e B) in modo casuale a segmenti del traffico reale, senza alcuna notifica esplicita. Se invece state conducendo test di usabilità qualitativi (ad esempio, interviste con utenti che usano il sito mentre vengono osservati), è fondamentale mettere a proprio agio i partecipanti, rassicurandoli sulla confidenzialità e sul fatto che l’obiettivo è valutare il prodotto, non loro. Concentratevi sull’osservazione delle azioni concrete piuttosto che sulle risposte verbali che potrebbero essere influenzate dalla consapevolezza di essere sotto esame.
È possibile ottenere risultati oggettivi al 100% in un A/B Test?
È importante comprendere che nessun test, scientifico o di marketing, può raggiungere un’oggettività assoluta al 100%. L’effetto Hawthorne, sebbene riducibile, è una delle tante variabili umane che possono influenzare i risultati: l’obiettivo delle strategie discusse nell’articolo è massimizzare la validità ecologica del test, ovvero quanto i risultati ottenuti in un ambiente controllato siano applicabili al mondo reale. Considerate sempre i risultati come un’indicazione forte su cui basare le vostre decisioni, piuttosto che come una verità immutabile e priva di ogni possibile influenza esterna.
È possibile fare A/B Testing senza avere grandi competenze tecniche?
Assolutamente sì. Oggi esistono numerose piattaforme di A/B Testing (come Google Optimize, VWO, Optimizely, ecc.) che rendono il processo molto più accessibile anche per chi non ha competenze di programmazione avanzate. Queste piattaforme offrono interfacce drag-and-drop e strumenti visuali che semplificano la creazione delle varianti, la gestione dei test e l’analisi dei risultati. L’importante è avere una chiara ipotesi di test e saper interpretare i dati.
Cosa fare se un A/B Test non mostra una chiara differenza tra le varianti?
Se un A/B Test non produce un “vincitore” evidente o una differenza significativa, non significa che sia stato un fallimento. Al contrario, è comunque un risultato prezioso. Può indicare che le variazioni testate non hanno un impatto significativo sul comportamento degli utenti, suggerendo che dovreste concentrare gli sforzi su altre aree del sito. Potrebbe anche essere necessario riesaminare l’ipotesi iniziale o le metriche di misurazione. In ogni caso, è un’opportunità per imparare e affinare la vostra strategia di ottimizzazione.
Coming soon:
Fra due settimane, sul blog di Seed parleremo di come gestire il contenuto delle pagine di destinazione e di transizione in ottica SEO/GEO e CRO. Tornate a leggerci per il nostro ultimo appuntamento prima delle ferie estive!
