Alicia en el país de las maravillas, del famoso cuento de Lewis Carroll, pregunta al gato de Cheshire en algún momento qué camino debía tomar. Cheshire le contesta: “Eso depende mucho del lugar adonde quieras ir. Si no sabes dónde quieres ir, no importa qué camino sigas.” Sin saberlo, Cheshire, sentaba las bases del AB Testing
Realizar un experimento sin una hipótesis es como tomar un camino al azar por el simple hecho de caminar, sin pensar hacia dónde dirigirnos y por qué. Inevitablemente terminaremos en algún lugar, pero existe la posibilidad de que no sea aquél que estábamos imaginando.
La definición de una buena hipótesis es un paso clave para realizar experimentos exitosos. Aunque es posible configurar y ejecutar un experimento sin una hipótesis de optimización, no tendrá sentido si no tenes en claro que estás buscando aceptar o refutar.
Definición de una hipótesis de AB Testing
Una hipótesis es una suposición hecha a partir de datos que se han recolectado y que sirve de base para iniciar una investigación o una argumentación. Se trata de un enunciado no verificado, que se intenta confirmar o refutar a través de un experimento. Al enunciar una hipótesis se establece claramente qué se está cambiando y cuál se cree que será el resultado. Ejecutar el experimento probará o refutará dicha hipótesis.
Componentes de una hipótesis
Al momento de investigar, redactar y documentar una hipótesis es necesario considerar que tiene tres partes:
- La declaración: Si, entonces, porque …”
- La variable o resultado esperado
- La justificación
La variable
Un elemento de sitio web o aplicación móvil que se puede modificar, agregar o eliminar para producir un resultado deseado. Es importante aislar y testear las variables de a una por vez para un test A / B / n, o un grupo de variables para una prueba multivariante.
Por ejemplo, un sitio web tiene el formulario principal en la mitad de la home page. En este caso la variable para el experimento será la ubicación del formulario y el experimento consistirá en ubicarlo “above the fold.”
El Resultado
El resultado previsto podría ser obtener más conversiones en la página de destino, clics o reproducciones de un video u otro KPI o métrica que estemos intentando afectar. Para decidir el resultado esperado se deben utilizar los datos que se tengan disponibles sobre el rendimiento actual del sitio y determinar cuál será el resultado ideal del experimento. Se trata esencialmente de establecer cual es la métrica de referencia a seguir y si el cambio producirá un efecto incremental o de gran escala.
Siguiendo con nuestro ejemplo, en este caso el resultado esperado será el incremento de formularios completos.
Justificación
Se trata de demostrar que se ha establecido la hipótesis en base a investigación previa. ¿Con qué datos se cuenta acerca de los visitantes como consecuencia de la investigación cualitativa y cuantitativa que indique que la hipótesis es correcta? Para elaborar el fundamento resulta útil utilizar entrevistas con clientes, encuestas, mapas de calor, grabación de sesiones y demás.
Finalizando con el ejemplo, la razón para probar que la publicación del formulario “above the fold” incrementará el volumen de formularios completos es que los visitantes raramente navegan hasta la mitad de la página o más allá.
¿Cuáles son los aprendizajes de una hipótesis sólida?
Una hipótesis de AB Testing investigada a fondo no garantiza una prueba ganadora. Lo que sí garantiza es una oportunidad de aprendizaje, sin importar el resultado (ganador, perdedor o experimento no concluyente).
Si la hipótesis es correcta entonces ¡Felicitaciones! En cambio si es refutada no significa que se haya fracasado, en todo caso el resultado del experimento siempre brindará información interesante sobre la audiencia.
En otras ocasiones tal vez se elaboró una hipótesis basada en el “conocimiento cooperativo”, o en un caso de estudio y se decidió replicarlo en una audiencia propia. La hipótesis se rechazó, pero el equipo aprendió que lo que funciona para otros sitios y aplicaciones no funciona para el propio. A no desanimarse! Es momento de elaborar una nueva hipótesis y descubrir propias mejores prácticas!
¿Cómo encajan las hipótesis en el flujo de trabajo de un experimento de AB Testing?
Una hipótesis es un componente clave de cada prueba y debe abordarse inmediatamente después de identificar los objetivos del experimento. La experimentación requiere de un proceso estructurado cuyos pasos son:
- Definir objetivos y métricas clave
- Crear distintas hipótesis de optimización
- Estimar la duración de los tests y su tamaño de muestra representativo
- Priorizar los experimentos en base al ROI esperado
- QA del experimento
- Lanzar prueba en vivo
- Registrar y compartir resultados
- Continuar con la hipótesis siguiente .
Los pasos 1 y 4 de este proceso son tan importantes como la creación de la hipótesis. Para ello es fundamental tener en cuenta que no todas las hipótesis son iguales. El equipo puede tener una idea interesante o puede haber un desacuerdo que está tratando de resolver, pero eso no significa que necesariamente sea lo más importante para probar.
Priorizar y testear en función de las secciones del sitio o aplicación que tienen un alto potencial de impacto comercial (ingresos, participación o cualquier otro KPI que esté tratando de mejorar) es clave en este proceso. Es por ello que es necesario profundizar el análisis para identificar estas áreas y concentrarse en elaborar hipótesis que puedan apoyar mejoras en estas áreas.
Por último es importante recordar…
Definir una hipótesis para cada resultado: buscar en cada experimento una oportunidad de aprendizaje pensando un paso por delante del experimento. ¿Qué se aprendería en caso de que la hipótesis sea aceptada o refutada?
Los datos son parte fundamental de este trabajo: nunca hay que realizar pruebas solo por probar. Cada visitante del sitio web es una oportunidad de aprendizaje, este es un recurso valioso que no debe desperdiciarse.
Asignar los resultados del experimento a un objetivo de alto nivel: Si se está haciendo un buen trabajo eligiendo pruebas basadas en datos y se las prioriza por impacto, este paso debería ser fácil. Asegurar que el experimento produzca un resultado significativo que ayude a hacer crecer el negocio, es en definitiva, el rector de la experimentación. ¿Cuáles son los objetivos y los KPI de la empresa? Si los experimentos e hipótesis están orientados a mejorar estas métricas, se podrá orientar al equipo para profundizar en los datos y desarrollar experimentos sólidos.
Documentar las hipótesis de AB Testing: Documentar todos los experimentos que son realizados ayuda a garantizar que las hipótesis históricas sirvan como referencia para experimentos futuros y brinden un foro para compartir el contexto de todas las pruebas, pasadas, presentes y futuras.
Elaborar buenas hipótesis es una habilidad que se incorpora con el tiempo. Cuanto más se haga, mejores resultados obtendremos.