50 ideas, 6 tests al año: cómo priorizar | Boost

Cualquier equipo que lleve un tiempo trabajando en su web tiene una lista de ideas de mejora. Una ficha de producto más completa, un checkout más corto, otro texto para el botón, una nueva forma de mostrar los precios. La lista crece en cada reunión, en cada análisis de la competencia y cada vez que alguien de dirección navega por la web un domingo.

El problema no es la falta de ideas. Es que casi nunca hay tráfico para probarlas todas, y elegir mal significa pasarse meses testeando cambios que no iban a mover nada.

Cuántos tests puedes hacer de verdad

Antes de priorizar, conviene hacer una cuenta que muy pocos equipos hacen: cuántos tests caben en un año.

Un test necesita una muestra mínima para detectar una diferencia con fiabilidad. Esa muestra depende de tres cosas: la tasa de conversión de partida, el tamaño de la mejora que quieres detectar y el tráfico de la página.

Un ejemplo con cifras redondas. Una página recibe 20.000 visitas al mes y convierte al 3%. Para detectar una mejora relativa del 15% (pasar del 3% al 3,45%) con una confianza del 95% y una potencia del 80%, hacen falta unos 23.000 usuarios por versión. Con dos versiones, unos 46.000 en total: algo más de dos meses de tráfico. En un año, esa página da para cinco o seis tests.

Si la mejora que esperas es más pequeña, la cuenta empeora rápido. Para detectar un 10% hacen falta más de 50.000 usuarios por versión, es decir, más de cinco meses por test. Reducir a la mitad el efecto que buscas multiplica por cuatro la muestra necesaria.

Esta cuenta cambia la conversación. Ya no se trata de qué ideas son buenas, sino de cuáles merecen ocupar uno de los pocos huecos disponibles.

Los métodos de priorización y sus trampas

Para ordenar las ideas, la mayoría de equipos usa algún sistema de puntuación. Los más conocidos son tres.

• ICE, popularizado por Sean Ellis en el ámbito del growth, puntúa cada idea según su impacto, la confianza en que funcione y la facilidad de implementación.
• PIE, desarrollado por Chris Goward, valora el potencial de mejora de la página, su importancia para el negocio y la facilidad.
• PXL, propuesto por CXL, sustituye las puntuaciones subjetivas por preguntas de sí o no: ¿el cambio se ve en el primer pantallazo?, ¿se apoya en datos de usuario?, ¿se nota en menos de cinco segundos?

Todos ayudan a ordenar, pero comparten un problema: la mayoría de sus criterios se puntúan a ojo. Y cuando una idea se puntúa a ojo, suele ganar la de quien más peso tiene en la sala. En el sector se le llama la opinión del HiPPO (highest paid person's opinion), un término que popularizó Avinash Kaushik. Un framework de priorización mal aplicado no elimina esa opinión: solo la convierte en un número.

Hay una segunda trampa, menos evidente. Casi todos los métodos premian la facilidad. Eso empuja el backlog hacia cambios pequeños y baratos, como textos, colores o etiquetas, que son justo los que menos impacto suelen tener y los que más muestra necesitan para detectarse. Un equipo con poco tráfico que prioriza por facilidad acaba haciendo tests que nunca llegan a una conclusión.

Qué ideas no merece la pena testear

Antes de puntuar nada, hay ideas que conviene sacar de la lista.

Las que vas a implementar igualmente

Si un cambio es obligatorio por normativa, por marca o por una decisión de negocio ya tomada, testearlo para ver si gana no tiene sentido. Lo que sí puede tener sentido es testear cómo implementarlo para no perder conversión, como explicamos en el caso de los cambios de accesibilidad web. Es otro tipo de test, con otro objetivo.

Las que no tienen tráfico suficiente para dar un resultado

Un cambio en una página que recibe 2.000 visitas al mes nunca va a llegar a una conclusión fiable, salvo que el efecto sea enorme. Esas ideas se pueden implementar con criterio experto y vigilar sus métricas, o agrupar con otras para testear un cambio más grande.

Las que no responden a un problema detectado

"La competencia lo tiene" no es un problema. "El 40% de los usuarios mobile abandona en el paso de envío" sí lo es. Una idea que no se puede conectar con algo observado en los datos, en las grabaciones de sesiones o en lo que dicen los clientes es una apuesta, y en un calendario con seis huecos al año no hay sitio para muchas apuestas.

Cómo construimos un roadmap de tests

En Boost, el roadmap no empieza por las ideas, sino por el diagnóstico. Nuestra metodología sigue cinco fases (medir, analizar, decidir, optimizar y testear) y la priorización ocurre en la tercera, cuando ya sabemos dónde se pierde la gente y por qué. Hay algunos principios que aplicamos en cualquier cuenta.

1- Primero, las páginas donde se decide la venta

Una mejora del 10% en el checkout vale más que una del 20% en una página por la que pasa una fracción del tráfico. Por eso la priorización empieza calculando el impacto potencial en dinero, no en porcentaje.

2- Pocas apuestas grandes antes que muchas pequeñas

Con tráfico limitado, conviene testear cambios que puedan mover la métrica de forma visible: cómo se presenta el precio, qué se pide en el primer clic, la estructura de una página. Los ajustes finos llegan después, cuando ya hay un ganador sobre el que iterar.

3- Tests en paralelo, si no se pisan

El cálculo de capacidad se hace por página, no por web. Una ficha de producto y un checkout pueden tener tests en marcha a la vez, siempre que los cambios no afecten al mismo paso del recorrido ni se contaminen entre sí. Bien organizado, esto multiplica el número de tests al año sin necesitar más tráfico. Mal organizado, hace imposible saber qué cambio produjo cada resultado.

4- Cada test tiene que enseñar algo, gane o pierda

Un buen test está diseñado para que el resultado, sea cual sea, cambie la siguiente decisión. Si una idea pierde y no sabemos qué hacer después, probablemente no estaba bien planteada.

5- El calendario cuenta

Un test lanzado justo antes de una campaña fuerte, como Black Friday, puede dar resultados que no se repiten el resto del año. Las fechas de lanzamiento también se priorizan.

6- El roadmap se revisa con cada resultado

Un test que gana abre nuevas hipótesis. Uno que pierde puede descartar varias ideas de la lista de golpe. Un roadmap que no cambia en tres meses no está aprendiendo de los tests.

La pregunta que pone orden en las prioridades

Si tuvieras que quedarte con una sola regla, sería esta: antes de añadir una idea al roadmap, pregúntate qué decisión de negocio vas a tomar según el resultado. Si la respuesta es "ninguna, la implementaríamos igual" o "no lo sé", esa idea no debería ocupar uno de tus seis huecos.

La mayoría de programas de CRO no fracasan por falta de ideas ni de herramientas. Fracasan porque dedican su tráfico limitado a probar lo que era fácil en lugar de lo que importaba.

Si quieres ordenar tu lista de ideas con datos, empieza con un diagnóstico gratuito de Scan&Boost o valida tus primeras hipótesis en pocas semanas con nuestro servicio completo de CRO.