Glosario Daimatics · Analítica y medición

Test A/B: decide cuánto durará antes de ponerlo en marcha

Un test A/B reparte al azar, y a la vez, el tráfico entre la versión actual de una página, un anuncio o un correo y una variante con un solo cambio, para saber cuál convierte más. Solo sirve si decides antes de empezar cuántas visitas y cuántos días necesitas, y no lo detienes el primer día que el resultado te gusta.

Para quien lleva una web, una tienda o campañas y quiere saber si un cambio ha servido de verdad.

Cuatro cifras antes de empezarEl tamaño del test
TráficoVisitas al día que entran en el testLo tienes
Conversión actualLa tasa de la versión que ya funcionaLo tienes
Mejora mínimaLa diferencia más pequeña que te haría cambiarLo decides
VersionesEl original y las variantesLo decides

La calculadora de abajo te da los días

Qué es y qué no es

A la vez y al azar, o no es un test

Las dos versiones reciben visitas del mismo momento y del mismo público: un festivo o una campaña las afecta igual, y la diferencia que queda es la del cambio.

Test A/B

Dos o más versiones de un cambio

Google define el test A/B como probar dos variaciones, o más, de un mismo cambio. Un titular contra otro, o dos textos del botón.

Test multivariante

Varios cambios combinados

Prueba más de un tipo de cambio a la vez y mira el efecto de cada uno y de las combinaciones. Cada combinación es una versión más: necesita mucho más tráfico.

No es un test

Antes y después

Cambiar la página y comparar este mes con el anterior mezcla el cambio con todo lo demás. Si es lo único que puedes hacer, en ratio de conversión hay un comparador para saber si la diferencia puede ser azar.

No es un test

Encender y apagar

Meta desaconseja probar activando y desactivando conjuntos de anuncios o campañas a mano: el resultado es poco fiable.

Antes de encenderlo

Cuatro decisiones que no se toman a mitad del test

Por escrito, el primer día
Una hipótesis y una sola variable. «Si el botón dice qué pasa después del clic, más gente pedirá presupuesto». Meta recomienda probar una sola variable: si cambias el titular y la foto a la vez, no sabrás cuál ha funcionado.
La métrica que decide. Una sola, la que paga: compras, presupuestos pedidos, llamadas. Los clics en el botón pueden subir mientras las ventas se quedan igual. Cómo elegirla, lo explicamos en conversión.
La mejora mínima que vale la pena. Cuanto más pequeña es la diferencia que quieres detectar, más visitas necesitas: la mitad de diferencia pide unas cuatro veces más tráfico.
La duración. Sale de las tres anteriores y del tráfico que tienes. Se fija antes y no se toca.

Nuestro criterio: si la calculadora dice que el test necesita más de dos meses, no lo empieces así. Prueba un cambio más grande, menos versiones o una conversión más frecuente, como el paso previo del formulario.

Los errores habituales

Los que dan ganadores que no lo son

Cinco trampas
Detenerlo cuando sale un ganador. Con un 95 % de confianza, una de cada veinte comparaciones sin ninguna diferencia real sale «ganadora» por azar. Si miras el resultado cada día y lo detienes la primera vez que te conviene, haces muchas más de veinte.
Demasiadas variantes. Cada versión se queda una parte del tráfico, y cada comparación con el original es otra oportunidad de acertar por azar. Por eso la calculadora endurece el umbral cuando pones más de dos.
Semanas a medias y estacionalidad. Un lunes no compra como un sábado, ni una semana de rebajas como una normal. Hazlo durar semanas enteras.
Tocarlo todo mientras tanto. Google Ads avisa de que cambiar la campaña original o el experimento mientras dura hace más difícil interpretar el resultado. En la web, igual.
Una medición que falla. Si una de las versiones no envía bien la conversión a la analítica, el test compara errores. Haz una conversión de prueba en cada versión antes de abrirlo.
Dónde se hace hoy

Web, Google Ads y Meta: cada uno con su herramienta

Google Optimize, la herramienta de tests que muchas webs usaban con Analytics, dejó de estar disponible el 30 de septiembre de 2023.

En la web

Herramientas de terceros conectadas a GA4

Al cerrar Optimize, Google anunció integraciones con AB Tasty, Optimizely y VWO, y abrió sus API para que cualquier herramienta de tests se pueda conectar a Google Analytics.

Google Ads

Experimentos de campaña

El experimento comparte el tráfico y el presupuesto de la campaña original. Google recomienda repartirlos al 50 % y dejarlo correr de 2 a 3 semanas; la confianza por defecto del informe es del 80 %.

Meta Ads

Pruebas A/B

Meta muestra cada versión a una parte del público y se asegura de que nadie vea las dos. Recomienda un mínimo de 7 días, y una prueba puede durar como máximo 30.

SEO

Sin perjudicar el posicionamiento

Google pide no mostrar a Googlebot una versión diferente de la que ven las personas, marcar las variantes con rel="canonical", redirigir con 302 y no con 301, y quitarlo todo al terminar.

Nuestro criterio: antes de elegir la herramienta, mira si tienes tráfico para el test. Una herramienta cara no hace viable un test de tres meses.

Calculadora de duración

¿Cuántos días tiene que durar tu test?

Pon el tráfico, la conversión actual, la mejora mínima y las versiones.

n = (zα × √(2 × p̄ × (1 − p̄)) + zβ × √(p₁ × (1 − p₁) + p₂ × (1 − p₂)))² ÷ (p₂ − p₁)²

  • n: visitas que necesita cada versión.
  • p₁: la conversión actual; p₂, la de la variante si mejora el mínimo que has puesto; p̄, la media de las dos.
  • zα: 1,96 para un 95 % de confianza; más alto si hay más variantes. zβ: 0,84, para que el test encuentre la mejora 8 de cada 10 veces si existe.
Tu tráfico
%
Tu test
%
Visitas: solo las de la página o el anuncio que pruebas. Mejora relativa: un 20 % sobre un 2 % es pasar al 2,4 %. Versiones: de 2 a 5, el original incluido.
Conversión que tiene que sacar la variante2,40 %
Visitas por versión21.109
Visitas en total42.218
Conversiones por versión, aproximadamente422
Días de cálculo22
Duración en semanas enteras4 sem. · 28 días

Viable. Déjalo correr hasta el final aunque antes salga un ganador, y no toques nada mientras tanto.

Ejemplo ilustrativo con cifras inventadas. Orientativo: prueba bilateral al 95 % con una potencia del 80 % y, con más de dos versiones, corrección de Bonferroni. La duración se redondea a semanas enteras y nunca baja de una semana; los umbrales de uno y dos meses son criterio propio.

Cuándo necesitas ayuda

Cuando los tests ya no te dicen nada

  • Has hecho tests que daban un ganador y, al aplicarlo, las ventas no se han movido.
  • La herramienta de tests y GA4 no dan las mismas conversiones, y no sabes de cuál fiarte.
  • La calculadora te dice meses y no sabes qué conversión intermedia medir.
  • Cambias anuncios, páginas y precios a la vez, y ya no sabes qué ha funcionado.

En Daimatics, antes de proponer ningún test revisamos qué se mide y si te puedes fiar de los datos.

Ver el servicio de analítica web Ver el servicio de diseño web
Preguntas frecuentes

Dudas sobre el test A/B

La regla

Una variable, una métrica y una duración decidida antes. Lo demás es opinión.

¿Qué es un test A/B?
Es un experimento que reparte al azar, y a la vez, el tráfico entre la versión actual de una página, un anuncio o un correo y una variante con un solo cambio. Como las dos versiones reciben el mismo público en el mismo momento, la diferencia de conversión que sale se puede atribuir al cambio y no a la época ni al tráfico.
¿Cuántas visitas hacen falta para hacer un test A/B?
Depende de la conversión actual y de la mejora que quieras detectar. Con una conversión del 2 % y una mejora mínima del 20 %, cada versión necesita unas 21.000 visitas; si la mejora mínima es del 10 %, casi cuatro veces más. Cuanto más baja es la conversión y más pequeño el cambio, más tráfico hace falta. Son cifras de ejemplo ilustrativo; la calculadora de esta página hace el cálculo con las tuyas.
¿Puedo detener el test cuando ya hay un ganador?
No es recomendable. El resultado de un test oscila mucho los primeros días, y si lo miras cada día y lo detienes la primera vez que una versión supera el umbral, la probabilidad de un falso ganador crece mucho por encima del 5 % que aceptas. Decide las visitas y los días antes de empezar y lee el resultado cuando se llega a él.
¿Qué diferencia hay entre un test A/B y un test multivariante?
El test A/B compara dos o más versiones de un solo cambio, como dos titulares. El multivariante prueba varios cambios a la vez, por ejemplo titular e imagen, y mira el efecto de cada uno y de las combinaciones. Cada combinación es una versión que se queda parte del tráfico, y por eso el multivariante necesita mucho más volumen para dar un resultado fiable.
¿Un test A/B perjudica el SEO?
No, si se hace como pide Google. No hay que mostrar a Googlebot una versión diferente de la que ven las personas, porque es cloaking. Las variantes en URL propia llevan rel="canonical" hacia el original, las redirecciones del test son 302 y no 301, y al terminar se deja la versión ganadora y se quita todo lo que era del test.
¿Qué sustituyó a Google Optimize?
Google Optimize dejó de estar disponible el 30 de septiembre de 2023 y Google no lo sustituyó por ninguna herramienta propia. Anunció integraciones con AB Tasty, Optimizely y VWO, y abrió sus API para que cualquier herramienta de tests se pueda conectar a Google Analytics. Para los anuncios, Google Ads y Meta tienen experimentos y pruebas A/B dentro de sus plataformas.
Escrito por David Nogués, fundador y CEO de Daimatics, con más de 20 años de trayectoria profesional en el ámbito digital. Actualizado el

Fuentes oficiales

Google

Ayuda de Meta

Estadística (NIST)