Glossari Daimatics · Analítica i mesura

Test A/B: decideix quant durarà abans d'encendre'l

Un test A/B reparteix a l'atzar, i alhora, el trànsit entre la versió actual d'una pàgina, un anunci o un correu i una variant amb un sol canvi, per saber quina converteix més. Només serveix si decideixes abans de començar quantes visites i quants dies necessites, i no l'atures el primer dia que el resultat t'agrada.

Per a qui porta un web, una botiga o campanyes i vol saber si un canvi ha servit de debò.

Quatre xifres abans de començarLa mida del test
TrànsitVisites al dia que entren al testHo tens
Conversió actualLa taxa de la versió que ja funcionaHo tens
Millora mínimaLa diferència més petita que et faria canviarHo decideixes
VersionsL'original i les variantsHo decideixes

La calculadora de sota et dona els dies

Què és i què no és

Alhora i a l'atzar, o no és un test

Les dues versions reben visites del mateix moment i del mateix públic: un festiu o una campanya les afecta igual, i la diferència que queda és la del canvi.

Test A/B

Dues o més versions d'un canvi

Google defineix el test A/B com provar dues variacions, o més, d'un mateix canvi. Un titular contra un altre, o dos textos del botó.

Test multivariant

Diversos canvis combinats

Prova més d'un tipus de canvi alhora i mira l'efecte de cadascun i de les combinacions. Cada combinació és una versió més: necessita molt més trànsit.

No és un test

Abans i després

Canviar la pàgina i comparar aquest mes amb l'anterior barreja el canvi amb tota la resta. Si és l'únic que pots fer, a ràtio de conversió hi ha un comparador per saber si la diferència pot ser atzar.

No és un test

Encendre i apagar

Meta desaconsella provar activant i desactivant conjunts d'anuncis o campanyes a mà: el resultat és poc fiable.

Abans d'encendre'l

Quatre decisions que no es prenen a mig test

Per escrit, el primer dia
Una hipòtesi i una sola variable. «Si el botó diu què passa després del clic, més gent demanarà pressupost». Meta recomana provar una sola variable: si canvies el titular i la foto alhora, no sabràs quin ha funcionat.
La mètrica que decideix. Una de sola, la que paga: compres, pressupostos demanats, trucades. Els clics al botó poden pujar mentre les vendes es queden igual. Com triar-la, ho expliquem a conversió.
La millora mínima que val la pena. Com més petita és la diferència que vols detectar, més visites necessites: la meitat de diferència demana unes quatre vegades més trànsit.
La durada. Surt de les tres anteriors i del trànsit que tens. Es fixa abans i no es toca.

El nostre criteri: si la calculadora diu que el test necessita més de dos mesos, no el comencis així. Prova un canvi més gran, menys versions o una conversió més freqüent, com el pas previ del formulari.

Els errors habituals

Els que donen guanyadors que no ho són

Cinc paranys
Aturar-lo quan surt un guanyador. Amb un 95 % de confiança, una de cada vint comparacions sense cap diferència real surt «guanyadora» per atzar. Si mires el resultat cada dia i l'atures el primer cop que et convé, en fas moltes més de vint.
Massa variants. Cada versió es queda una part del trànsit, i cada comparació amb l'original és una altra oportunitat d'encertar per atzar. Per això la calculadora endureix el llindar quan n'hi poses més de dues.
Setmanes a mitges i estacionalitat. Un dilluns no compra com un dissabte, ni una setmana de rebaixes com una de normal. Fes-lo durar setmanes senceres.
Tocar-ho tot mentrestant. Google Ads avisa que canviar la campanya original o l'experiment mentre dura fa més difícil interpretar el resultat. A la web, igual.
Una mesura que falla. Si una de les versions no envia bé la conversió a l'analítica, el test compara errors. Fes una conversió de prova a cada versió abans d'obrir-lo.
On es fa avui

Web, Google Ads i Meta: cadascú amb la seva eina

Google Optimize, l'eina de tests que molts webs feien servir amb Analytics, va deixar d'estar disponible el 30 de setembre de 2023.

A la web

Eines de tercers connectades a GA4

En tancar Optimize, Google va anunciar integracions amb AB Tasty, Optimizely i VWO, i va obrir les seves API perquè qualsevol eina de tests es pugui connectar a Google Analytics.

Google Ads

Experiments de campanya

L'experiment comparteix el trànsit i el pressupost de la campanya original. Google recomana repartir-los al 50 % i deixar-lo córrer de 2 a 3 setmanes; la confiança per defecte de l'informe és del 80 %.

Meta Ads

Proves A/B

Meta ensenya cada versió a una part del públic i s'assegura que ningú no les vegi totes dues. Recomana un mínim de 7 dies, i una prova pot durar com a màxim 30.

SEO

Sense perjudicar el posicionament

Google demana no ensenyar a Googlebot una versió diferent de la que veuen les persones, marcar les variants amb rel="canonical", redirigir amb 302 i no amb 301, i treure-ho tot en acabar.

El nostre criteri: abans de triar l'eina, mira si tens trànsit per al test. Una eina cara no fa viable un test de tres mesos.

Calculadora de durada

Quants dies ha de durar el teu test?

Posa el trànsit, la conversió actual, la millora mínima i les versions.

n = (zα × √(2 × p̄ × (1 − p̄)) + zβ × √(p₁ × (1 − p₁) + p₂ × (1 − p₂)))² ÷ (p₂ − p₁)²

  • n: visites que necessita cada versió.
  • p₁: la conversió actual; p₂, la de la variant si millora el mínim que has posat; p̄, la mitjana de totes dues.
  • zα: 1,96 per a un 95 % de confiança; més alt si hi ha més variants. zβ: 0,84, perquè el test trobi la millora 8 de cada 10 vegades si existeix.
El teu trànsit
%
El teu test
%
Visites: només les de la pàgina o l'anunci que proves. Millora relativa: un 20 % sobre un 2 % és passar al 2,4 %. Versions: de 2 a 5, l'original inclosa.
Conversió que ha de treure la variant2,40 %
Visites per versió21.109
Visites en total42.218
Conversions per versió, aproximadament422
Dies de càlcul22
Durada en setmanes senceres4 setm. · 28 dies

Viable. Deixa'l córrer fins al final encara que abans surti un guanyador, i no hi toquis res mentrestant.

Exemple il·lustratiu amb xifres inventades. Orientatiu: prova bilateral al 95 % amb una potència del 80 % i, amb més de dues versions, correcció de Bonferroni. La durada s'arrodoneix a setmanes senceres i mai baixa d'una setmana; els llindars d'un i dos mesos són criteri propi.

Quan et cal ajuda

Quan els tests ja no et diuen res

  • Has fet tests que donaven un guanyador i, en aplicar-lo, les vendes no s'han mogut.
  • L'eina de tests i GA4 no donen les mateixes conversions, i no saps de quina fiar-te.
  • La calculadora et diu mesos i no saps quina conversió intermèdia mesurar.
  • Canvies anuncis, pàgines i preus alhora, i ja no saps què ha funcionat.

A Daimatics, abans de proposar cap test revisem què es mesura i si les dades se'n poden fiar.

Veure el servei d'analítica web Veure el servei de disseny web
Preguntes freqüents

Dubtes sobre el test A/B

La regla

Una variable, una mètrica i una durada decidida abans. La resta és opinió.

Què és un test A/B?
És un experiment que reparteix a l'atzar, i alhora, el trànsit entre la versió actual d'una pàgina, un anunci o un correu i una variant amb un sol canvi. Com que les dues versions reben el mateix públic en el mateix moment, la diferència de conversió que surt es pot atribuir al canvi i no a l'època ni al trànsit.
Quantes visites calen per fer un test A/B?
Depèn de la conversió actual i de la millora que vulguis detectar. Amb una conversió del 2 % i una millora mínima del 20 %, cada versió necessita unes 21.000 visites; si la millora mínima és del 10 %, gairebé quatre vegades més. Com més baixa és la conversió i més petit el canvi, més trànsit cal. Són xifres d'exemple il·lustratiu; la calculadora d'aquesta pàgina fa el càlcul amb les teves.
Puc aturar el test quan ja hi ha un guanyador?
No és recomanable. El resultat d'un test oscil·la molt els primers dies, i si el mires cada dia i l'atures el primer cop que una versió supera el llindar, la probabilitat d'un fals guanyador creix molt per sobre del 5 % que acceptes. Decideix les visites i els dies abans de començar i llegeix el resultat quan s'hi arriba.
Quina diferència hi ha entre un test A/B i un test multivariant?
El test A/B compara dues o més versions d'un sol canvi, com dos titulars. El multivariant prova diversos canvis alhora, per exemple titular i imatge, i mira l'efecte de cadascun i de les combinacions. Cada combinació és una versió que es queda part del trànsit, i per això el multivariant necessita molt més volum per donar un resultat fiable.
Un test A/B perjudica el SEO?
No, si es fa com demana Google. No s'ha d'ensenyar a Googlebot una versió diferent de la que veuen les persones, perquè és cloaking. Les variants en URL pròpia porten rel="canonical" cap a l'original, les redireccions del test són 302 i no 301, i en acabar es deixa la versió guanyadora i es treu tot el que era del test.
Què va substituir Google Optimize?
Google Optimize va deixar d'estar disponible el 30 de setembre de 2023 i Google no el va substituir per cap eina pròpia. Va anunciar integracions amb AB Tasty, Optimizely i VWO, i va obrir les seves API perquè qualsevol eina de tests es pugui connectar a Google Analytics. Per als anuncis, Google Ads i Meta tenen experiments i proves A/B dins de les seves plataformes.
Escrit per David Nogués, fundador i CEO de Daimatics, amb més de 20 anys de trajectòria professional en l'àmbit digital. Actualitzat el

Fonts oficials

Google

Ajuda de Meta

Estadística (NIST)