Test A/B con resultados opuestos por usuario

Imagina que lanzas un test A/B, esperas las semanas necesarias para tener una muestra sólida y el resultado llega: sin ganador. La variante no supera al control. Cierras el test, apuntas el aprendizaje y pasas al siguiente. Así es como se supone que funciona.

Pero en tres tests distintos que hemos llevado a cabo en Boost —con dos clientes de sectores completamente diferentes— ese "sin ganador" escondía en realidad un ganador muy claro. Solo que hacía falta mirar el resultado por segmento de usuario, no en agregado.

Este post explica por qué pasa esto, con los datos reales de esos tres casos, y qué tienes que cambiar en cómo analizas tus propios tests A/B para no descartar por error una variante que sí funciona.

El problema de analizar los tests solo en agregado

Cuando lanzas un test A/B, lo normal es mirar un único número: la conversión del control frente a la de la variante, sobre el total de usuarios. Si supera el umbral de confianza, ganó. Si no, no ganó. Fin de la historia.

El problema es que ese número agregado mezcla a dos públicos que se comportan de forma muy distinta: el usuario que llega por primera vez a tu web y el que ya te conoce. Si el efecto es muy positivo en uno y neutro o negativo en el otro, el promedio de ambos puede salir como un empate que en realidad no existe.

Nuestra metodología de definición de hipótesis ya insiste en aislar bien la variable que se testea. Pero hay una segunda capa que muchas veces se pasa por alto: aislar también a quién le estás testeando esa variable.

Qué dicen los datos: tres tests, dos clientes, un mismo patrón

No hablamos de una teoría. Hablamos de tres tests A/B reales, en dos cuentas de Boost de sectores diferentes, con el mismo patrón repitiéndose casi calcado.

Caso 1 — Destacar el descuento (The Excellence Collection)

En la landing de una oferta puntual de The Excellence Collection, testeamos destacar visualmente el porcentaje de descuento en la parte superior de la página, pensado sobre todo para mobile.

En agregado: +4,5%, con 84% de probabilidad de ganar. No llega al 90% que exige el umbral de decisión de la cuenta. Test cerrado sin ganador.

Pero al segmentar por tipo de usuario, la lectura cambia por completo: los usuarios recurrentes subieron un +9,9% con 96,3% de confianza —superando de sobra el umbral—. Los usuarios nuevos, en cambio, se quedaron completamente planos (0,4%).

El "empate" del agregado era en realidad un usuario recurrente que respondía con fuerza, diluido por un usuario nuevo al que la variante no le decía nada.

Caso 2 — Prueba social y reviews (The Excellence Collection)

En la misma landing, testeamos añadir puntuación de Google y testimonios destacados.

Resultado agregado: +3,05%, 74,4% de confianza. Tampoco llega al umbral.

Otra vez, al segmentar: los recurrentes subieron +10,52%, mientras que los usuarios nuevos cayeron 7,99%.

Dos efectos de signo contrario, ignorándose casi por completo en el número global.

Caso 3 — Bloques de confianza en un advertorial (Viuty)

En Viuty, testeamos añadir prueba social, FAQs y un módulo de descuento en un advertorial de captación.

Aquí el resultado agregado sí fue claro: negativo, 10,06% en compra.

Pero el desglose por segmento vuelve a contar la historia real: los usuarios recurrentes casi empataron en conversión y subieron el ingreso por visitante (+5,88%).

Fueron los usuarios nuevos los que se desplomaron: 28% en conversión y en ingreso.

Como el advertorial vive de tráfico frío, ese 28% se comió cualquier ganancia en recurrentes.

Por qué pasa esto en tus resultados de tests A/B

El mecanismo de fondo es siempre el mismo: la confianza y la prueba social funcionan como refuerzo, no como presentación.

Un usuario recurrente ya tiene una opinión formada sobre tu marca; cuando le muestras reviews, garantías o un descuento bien destacado, estás confirmando algo que ya intuía, y esa confirmación reduce la fricción en el último tramo antes de convertir.

Un usuario nuevo no tiene ese contexto previo. No está evaluando si confía "un poco más" en ti, está decidiendo si confía en ti. Punto.

Y en ese momento, elementos que para un usuario recurrente son un empujón, para uno nuevo pueden ser ruido, ralentizar la lectura o incluso generar la pregunta contraria a la que buscabas resolver.

Qué implica para tu análisis de tests A/B

Segmentar por tipo de usuario desde el diseño del test, no solo al analizar

Si vas a testear una palanca de confianza o prueba social, define desde el planteamiento del test que vas a leer los resultados por separado en nuevos y recurrentes.

No es un extra opcional del análisis: es la información que necesitas para no descartar un ganador real o, peor, para no implementar una variante que en realidad perjudica a tu segmento de mayor volumen.

Cuándo un test "sin ganador" en agregado sí tiene un ganador real

Regla práctica: si el agregado queda cerca del umbral de confianza (por ejemplo, entre el 70% y el 90%), revisa el desglose antes de cerrar el test como fracaso.

Si un segmento cruza claramente el umbral y el otro está neutro, no tienes un test sin ganador —tienes un ganador que solo aplica a una parte de tu tráfico.

Es información perfectamente accionable: puedes lanzar una segunda versión del test dirigida solo a ese segmento, con su propio grupo de control, para confirmar el efecto de forma aislada.

Cómo aplicar esta segmentación en tu negocio

No hace falta tener el volumen de tráfico de The Excellence Collection o Viuty para aplicar esto. Cualquier test A/B con una muestra mínima de nuevos y recurrentes puede segmentarse de la misma forma.

Lo importante es el hábito: antes de cerrar un test como "no concluyente", pregúntate si el problema es que no hay efecto, o que hay dos efectos contrarios escondidos en el mismo número.

Si quieres saber si tu propia web tiene este tipo de señales enterradas en el agregado, nuestra auditoría gratuita de CRO es un buen punto de partida para identificar dónde merece la pena mirar más de cerca.