A/B test per siti, e-commerce ed email: risposte valide, non opinioni.

In breve

Un A/B test confronta due versioni di una pagina, un'email o un annuncio mostrandole a gruppi casuali di utenti, per capire quale funziona meglio con dati statisticamente affidabili. not4sale progetta e gestisce i test: ipotesi, dimensione del campione, durata, configurazione degli strumenti, controllo qualità e lettura dei risultati, così le decisioni non dipendono dalle opinioni.

Il problema

Molte aziende pensano di fare A/B test e in realtà fanno sondaggi travestiti. Si lancia la variante B il lunedì, il giovedì sembra vincere, si ferma il test e si festeggia. Tre mesi dopo le conversioni sono tornate dov'erano, perché quel "vantaggio" era rumore statistico.

Altri errori sono altrettanto comuni: cinque varianti su un sito con poco traffico, test che cambiano dieci elementi insieme e non spiegano quale abbia fatto la differenza, metriche scelte a posteriori perché quella principale non si è mossa. Oppure test lanciati ad agosto in Riviera e applicati a novembre, come se il pubblico fosse lo stesso.

Il costo non è solo il tempo perso. Un falso positivo ti porta a pubblicare una pagina peggiore convinto che sia migliore, e a costruirci sopra le decisioni successive. E quando i test "non funzionano mai", il team smette di farli e si torna a decidere per gerarchia: vince l'idea di chi conta di più.

Cosa ricevi

Documento di test con ipotesi, metrica primaria e metriche di controllo
Calcolo della dimensione del campione e della durata prevista
Varianti progettate e implementate su sito, email o annunci
Configurazione dello strumento di test e verifica cross-device
Report di analisi con risultato, intervallo di confidenza e raccomandazione
Archivio dei test con esiti e insegnamenti, consultabile dal tuo team

Il metodo

01
Ipotesi e metrica
Definiamo cosa cambia, perché dovrebbe funzionare e su quale metrica primaria giudicheremo il test, insieme alle metriche di controllo.
02
Calcolo del campione
Stimiamo quanti visitatori e quanti giorni servono per rilevare l'effetto minimo che vale la pena scoprire. Se i numeri non bastano, lo diciamo subito.
03
Setup e controllo qualità
Costruiamo le varianti, configuriamo lo strumento di test e verifichiamo su più dispositivi e browser che tutto funzioni e venga tracciato.
04
Esecuzione controllata
Il test gira per la durata prevista, senza sbirciate che portino a fermarlo in anticipo. Monitoriamo solo anomalie tecniche.
05
Analisi e decisione
Leggiamo il risultato con il suo margine di incertezza, analizziamo i segmenti principali e trasformiamo l'esito in una decisione documentata.

Approfondimento

Cos'è un A/B test e cosa misura davvero

Un A/B test è un esperimento controllato: il traffico viene diviso a caso tra la versione attuale (A) e una nuova versione (B), e si confronta quale produce più conversioni. La divisione casuale è il punto chiave, perché garantisce che l'unica differenza sistematica tra i due gruppi sia la modifica che stai testando.

Un test non misura quale versione "piace di più". Misura quale versione cambia il comportamento delle persone su una metrica precisa, decisa prima: ordini, richieste, iscrizioni, clic sul pulsante di prenotazione. E restituisce non una certezza, ma una stima con un margine di incertezza. Saper leggere quel margine è la differenza tra un test utile e uno pericoloso.

Quanto traffico serve per fare un A/B test?

Dipende da tre fattori: il tasso di conversione di partenza, l'effetto minimo che vuoi riuscire a rilevare e il livello di affidabilità richiesto. Più la conversione di partenza è bassa e più l'effetto cercato è piccolo, più visitatori servono.

In pratica:

Un sito con migliaia di conversioni al mese può testare anche modifiche sottili.
Un sito con poche decine di conversioni al mese può testare solo cambiamenti grandi, quelli che ci si aspetta spostino molto il risultato.
Sotto una certa soglia, l'A/B test classico non è lo strumento giusto: si lavora con ricerca qualitativa e interventi diretti, come facciamo nei progetti di funnel e CRO.

Per questo calcoliamo campione e durata prima di costruire qualsiasi variante. Se il calcolo dice che il test durerebbe sei mesi, è meglio saperlo subito e testare qualcosa di più coraggioso, oppure spostare il test su una metrica più frequente.

Gli errori che rendono inutile un test

La maggior parte dei test falliti non fallisce per l'idea, ma per il metodo. Questi sono gli errori che preveniamo:

Fermare il test appena "vince". Guardare il risultato ogni giorno e chiudere al primo segnale positivo moltiplica i falsi positivi. La durata si fissa prima.
Ignorare i cicli settimanali. Il comportamento del lunedì non è quello del sabato. Un test deve coprire almeno settimane intere.
Non controllare la divisione del traffico. Se la variante riceve molto meno traffico del previsto, qualcosa si è rotto nel setup, e il risultato non è affidabile.
Cambiare tutto insieme. Se B ha titolo, immagine, prezzo e pulsante diversi, saprai che B vince ma non perché.
Trascurare la stagionalità. Per un hotel o un'attività turistica tra Cattolica e Rimini, un test in alta stagione può dare risultati che a marzo non valgono. Ne teniamo conto nella pianificazione.
Scegliere la metrica a posteriori. Se la metrica principale non si muove, non si va a cercare quella che si è mossa.

Prima di tutto questo c'è un prerequisito: un tracciamento affidabile con Google Tag Manager. Se le conversioni sono contate male, il test confronta numeri sbagliati.

Cosa si può testare (e con quali strumenti)

Si può testare quasi tutto ciò che un utente vede e su cui deve prendere una decisione.

| Ambito | Esempi di test | Strumento tipico |
|---|---|---|
| Pagine del sito | Titolo, struttura dell'offerta, lunghezza del modulo, prove sociali | Piattaforme di test lato client o lato server |
| E-commerce | Scheda prodotto, soglia di spedizione gratuita, passaggi del checkout | Strumenti di test integrati con la piattaforma |
| Email | Oggetto, mittente, orario di invio, offerta | Funzioni di test della piattaforma di email marketing |
| Annunci | Creatività, angolo del messaggio, pubblico | Esperimenti nativi di Google Ads e Meta Ads |

Dopo la chiusura di Google Optimize nel 2023 non esiste più uno strumento gratuito di riferimento per i test sul sito. Scegliamo con te la soluzione più adatta al volume di traffico e alla piattaforma, senza vincolarti a un fornitore.

A/B test, test multivariato o test sequenziale: quale scegliere

L'A/B test classico è la scelta giusta nella maggior parte dei casi. Le alternative hanno senso in situazioni specifiche.

| Tipo | Quando usarlo | Limite |
|---|---|---|
| A/B (o A/B/n) | Una modifica chiara da verificare | Con molte varianti il traffico si divide troppo |
| Multivariato | Capire come interagiscono più elementi sulla stessa pagina | Richiede volumi di traffico molto alti |
| Sequenziale | Volumi medi, quando serve poter chiudere prima in modo corretto | Analisi più complessa da impostare |
| Prima/dopo | Traffico troppo basso per un test randomizzato | Non isola l'effetto da stagionalità e campagne |

Gli A/B test danno il meglio dentro un programma continuo di growth hacking, dove ogni risultato alimenta l'ipotesi successiva. Per stimare l'investimento in base a numero di test e canali, usa il calcolatore di preventivo.

Domandevere.

Quanto dura un A/B test?

Il tempo necessario a raggiungere il campione calcolato, e comunque settimane intere per assorbire le differenze tra giorni feriali e weekend. Su siti con buon traffico bastano spesso due o quattro settimane. La durata si fissa prima di partire e non si accorcia perché il risultato sembra già chiaro: è proprio così che nascono i falsi positivi.

Il mio sito ha poco traffico: posso fare A/B test?

Forse sì, ma solo su modifiche grandi e su metriche frequenti, come il clic verso il modulo invece della vendita finale. Se il calcolo del campione dice che servirebbero mesi, ti consigliamo strade più efficaci: ricerca qualitativa, interventi diretti sulle pagine e confronti prima e dopo. Non ha senso pagare un test che non potrà rispondere.

Gli A/B test penalizzano la SEO?

No, se fatti correttamente. Google stesso indica le buone pratiche: niente cloaking, uso del tag canonical sulle varianti con URL diversi, redirect temporanei e non permanenti, test di durata limitata. Seguiamo queste regole e, a test concluso, pubblichiamo la versione vincente e rimuoviamo il codice dello strumento.

Chi realizza le varianti da testare?

Possiamo farlo noi: progettazione, testi e sviluppo, sia con l'editor dello strumento di test sia con modifiche al codice del sito. Se hai un tuo sviluppatore o un'agenzia web, prepariamo le specifiche dettagliate e facciamo il controllo qualità prima del lancio. In ogni caso verifichiamo che il tracciamento delle varianti funzioni prima di aprire il traffico.

Da cosa dipende il costo degli A/B test?

Dal numero di test, dalla complessità delle varianti, dallo strumento scelto (alcuni hanno licenze a pagamento, separate dal nostro lavoro) e dalla necessità di sistemare prima il tracciamento. Un test sull'oggetto di un'email è molto più semplice di un checkout riprogettato. Il calcolatore su /preventivo ti dà un riferimento iniziale.

Cosa succede se il test non dà un vincitore chiaro?

È un risultato anche quello. Significa che la modifica non sposta i numeri in modo rilevabile, quindi puoi scegliere la versione più semplice da gestire e concentrare le energie altrove. Annotiamo il test nell'archivio, così nessuno lo riproporrà, e passiamo a un'ipotesi con un potenziale effetto più grande.

Servizi collegati

Growth