Svegliate il campione di test A/B che c’è in voi

Gli atleti di qualsiasi disciplina sportiva monitorano e catturano dati che li aiutano a vincere. Usano videocamere, sensori e wearable per ottimizzare il loro apporto calorico, il regime di allenamento e la performance atletica, usando dati e il pensiero esplorativo per sfruttare ogni possibile vantaggio. Potrebbe non essere uno sport olimpico (ancora!), ma l’A/B testing può essere dominato allo stesso modo.

Recentemente ho parlato con un proprietario di un sito web che ama la filosofia del “testare sempre”. Mi ha spiegato che istruisce il suo team per testare sempre qualcosa: il messaggio, il design, il layout l’offerta, la CTA.

Ho chiesto: “Ma come sanno cosa scegliere?”. Ci ha pensato su e mi ha risposto: “Non lo sanno.”.

Basandosi sull’intuito, per quanta esperienza possa avere il vostro team, arriverà solo fino a un certo punto. “Testare sempre qualcosa” può essere una grande filosofia, ma testare per il semplice gusto di testare spesso è un enorme spreco di risorse, come lo è l’A/B testing senza sufficiente riflessione e preparazione.

Laddove l’A/B testing standard può rispondere a domande come “Quale versione ha il maggior numero di conversions?”, l’A/B testing combinato con l’analisi avanzata ci dà qualcosa di più importante: un framework per rispondere a domande come “Perché la versione vincente ha più conversions?”.

Atleti che cambiano o spreco di risorse?#section1

Il tipico A/B testing è basato su algoritmi a cui vengono passati dati durante il test, ma abbiamo cominciato a provare un diverso modello nei nostri progetti qui in Clicktale, mettendo moltissima enfasi sui dati prima, durante e dopo il test. I risultati sono stati più interessanti e strategici, non solo tattici.

Supponiamo che Wheaties.org voglia ridurre il bounce rate ed aumentare i click su Buy Now. È ora di un test A/B, vero?

L’UX lead del sito ha l’idea di fare uno split test del loro attuale sito, confrontando versioni con atleti attuali e versioni con olimpionici del passato.

Il design della pagina di Wheaties.

Ma cosa succederebbe se il vostro team monitorasse il comportamento sulla pagina del visitatore e vedesse che un’incredibile maggioranza dei visitatori del sito non scrollano oltre il fold e quindi non notano nemmeno che atleti ci sono?

Adesso l’idea di testare diverse combinazioni di atleti suona come una perdita di tempo e risorse, giusto?

Tuttavia succede qualcosa di diverso quando guardate le cose da un punto di vista diverso. Cosa succederebbe se il vostro team guardasse i replay della sessione e notasse che quelli che visitano i profili degli atleti tendono a stare più a lungo sul sito e ad aumentare esponenzialmente il tasso di click su “Buy Now”? Potrebbe trattarsi di un sottoinsieme di visitatori del sito, ma è un sottoinsieme che si sta comportando come vorreste voi.

Se il risultato desiderato fosse di usare a proprio vantaggio le grandi esperienze create nelle pagine, magari sarebbe saggio mettere più in alto i profili degli atleti oppure fare un test A/B sugli elementi che dovrebbero incoraggiare gli utenti a scrollare verso il basso.

Nella nostra esperienza, sia facendo test A/B sui siti web di nostra proprietà sia aggregando i dati dei 100 miliardi di comportamenti in-screen che abbiamo tracciato, sappiamo questo per certo: il testing dovrebbe essere potente, mirato e si dovrebbe agire in base a questi. Nel prendere decisioni di business aiuta essere in grado di vedere prove visuali e inoppugnabili.

Immaginate un maratoneta che non presti attenzione agli altri corridori una volta che la corsa è cominciata. Ora, pensate ad un maratoneta che si dia un ritmo, guardi gli altri corridori e modifichi la propria cadenza di conseguenza.

Facendo qualcosa di simile, il vostro team potrebbe fare cambiamenti e sistemare i bug agilmente. Ogni volta che il vostro team fa una modifica, potete cominciare un test A/B che vi permetta di migliorare la customer experience più rapidamente di dover aspettare giorni perché il primo test A/B sia completato.

La gara è iniziata#section2

Una volta che il test A/B è partito, le macchine usano algoritmi basati sui dati per determinare un vincitore. Basandosi su traffico, conversion rate, numero di variazioni e il minimo miglioramento che volete determinare, il traguardo potrebbe essere distante qualche giorno o qualche settimana. Cosa deve fare un A/B tester ambizioso?

Guardate immediatamente il replay di ogni variazione, una volta che avrete ricevuto un numero rappresentativo di visitatori. Usateli per validare funnel e state allerta per individuare qualunque problema nella customer experience che potrebbe causare perdite nel vostro funnel.

Concentratevi sull’esperienza. Comprendere quali comportamenti dell’utente dominano ogni pagina è potente, interiorizzare perché gli utenti si comportano così come stanno facendo vi permette di prendere misure correttive a metà strada e di posizionarvi in maniera appropriata.

Il test seguente#section3

Nelle vostre valutazioni post-test, usate ancora i dati per comprendere perché la variazione vincente ha avuto successo con il suo target audience. Comprenderne la ragione può aiutarvi a dare una priorità agli elementi futuri da testare.

Per esempio, quando testate un controllo con un banner promozionale (che dovrebbe far aumentare le conversion) rispetto ad una variazione senza una promozione, un PM potrebbe concludere che la promozione è inefficiente quando quella variazione perde.

Studiare una heatmap del test può rivelare nuovi insight. In questo esempio, le conversions si sono ridotte perché il banner ha spinto la CTA “buy now” fuori dalla visuale.

Esempio di A/B testing su device mobile.

In questo caso, come test successivo, il PM potrebbe decidere di non rimuovere il banner ma di testarlo invece in un modo che lasci la più importante CTA “buy now” più visibile. C’è una buona chance che una tale combinazione dia risultati ancora migliori.

Ci sono tantissimi altri esempi di questo. Per esempio, il web insight manager in un’azienda di carte di credito mi ha raccontato che avere i dati aggregati, in forma di heatmap, l’ha aiutato continuamente a prendere decisioni sui test A/B. Nel loro caso, sono stati in grado di fare affidamento sui dati che indicavano che avrebbero potuto rimuovere un pannello di contenuto senza danneggiare i loro KPI.

Un altro dei nostri clienti, GoDaddy, è stato in grado di aumentare le conversioni sulla sua pagina di checkout del quattro percento dopo aver fatto un test A/B. “Con il nostro volume, quello è stato un grande, enorme miglioramento…. Abbiamo anche triplicato le nostre donazioni a Round Up for Charity”, ha detto Ana Grace, la direttrice dell’ecommerce di GoDaddy, global product management. Ma l’ottimizzazione non si ferma una volta che un test è stato completato: GoDaddy continua a monitorare le nuove pagine dopo i cambiamenti e a volte trova ipotesi aggiuntive che richiedono dei test.

Cosa ci vuole per vincere l’oro#section4

Non sono stata benedetta con l’abilità atletica naturale di un olimpionico, ma quando si tratta di fare test A/B sugli asset web e sulle mobile app, ho quello che serve per determinare quale sarà la versione vincente. La potente combinazione di statistiche comportamentali e di big data dà agli atleti la conoscenza di cui hanno bisogno per ottenere il meglio dai propri asset e può funzionare allo stesso modo per voi.