Antes de comenzar, quiero decirte que lo que estás a punto de leer es el prototipo de un workboook y de un workshop de generación de hipótesis que espero poder lanzar en poco tiempo.
Si tienes algún comentario, duda, feedback o tú lo haces de una manera distinta me encataría leerte. Quiero tener una versión cada vez más chingona.
Todo lo que te contaré a continuación está basado en aprendizajes empíricos de mis últimos 10 años como profesional, en mi experiencia en más de 5 empresas, conversaciones con distintos compañeros de trabajo y mentores, lecturas, maestrías y certificaciones que he realizado y todo es completamente debatible y mejorable.
Leer toda la historia te ayudará a comprender de dónde nace cada una de las etapas, así como sus razones.
Si no tienes suficiente tiempo, puedes ir directamente a cualquiera de las secciones:
1. Origen del framework
Estaba nervioso por llegar a la oficina, era Lunes y habían pasado tan solo 7 días desde que había dejado Tampico y llegado a la CDMX.
Tenía mi primer trabajo formal en Clicker 360, una agencia de Marketing Digital.
Tuve la oportunidad de probar mis habilidades durante 3 meses para entonces recibir un contrato indefinido. No estoy seguro del título de la posición, recuerdo que era algo como “Desarrollo de sitios web en WordPress y Diseño enfocado en performance”.
En ese entonces (y hasta ahora) era muy normal que tuvieras que realizar tareas de distintas áreas. Ya estaba acostumbrado a ese ritmo de trabajo y me sentí muy cómodo de que fuera de esa manera.
Llegó el día.
El Lunes 3 de Junio del 2013 me presenté en Platón 418, en Polanco, CDMX.
“Mira Dani, quiero que leas estas páginas, hablan sobre AB Testing y cómo diseñar banners que conviertan”
Pedro Cerrilla
Pedro es la primera persona que conocí que hablara sobre AB testing y experimentación con una pasión que se me contagió desde mi día 1 en la agencia.
Durante los 3 años que estuve en Clicker, realicé muchísimos experimentos, desde cambios de copy e imágenes para campañas de google search y FB Ads con el buen Roberto Carranza hasta AB testings de landing pages y experiencias completas para empresas como Universidad Mexicana, S.C., Interlingua, Federación Mexicana de Fútbol, Carl’s Jr. México, entre otras.
Decidí dejar Clicker 360. Renuncié sin tener otra oferta de trabajo, necesitaba un descanso.
Decidí poner en orden mis ideas, por lo que comencé a desarrollar un marco de trabajo que me permitiera experimentar de manera estructurada, comunicar efectivamente las bases y fundamentos de las hipótesis que formulara y que además sirviera como guía para cualquier persona, de cualquier perfil y cualquier área que estuviera comenzando su carrera en growth.
Durante ese tiempo estudié de manera obsesionada distintas formas, enfoques y métodos para la resolución de problemas complejos, algunos de manera autónoma y otros con grandes mentores e instituciones:
- Curso en Design Thinking con Jorge Camacho
- Certificación en Innovación y Design Thinking en el CEDIM
- Curso avanzado de Design Thinking con Carolina Salazar
- Certificación en Innovación de productos y servicios en la MIT Sloan Executive Education
- Certificación en Lego Serious Play Facilitator con Per Kristiansen
- Certificación en Design Thinking en IDEO U
Cada uno de estos mentores y la experiencia adquirida en estos últimos 10 años en empresas como Clicker 360, Accenture, BBVA, Konfio, Oyster y ahora Femsa Digital, han aportado significativas mejoras a mi proceso de diseño y experimentación, ayudándome a tener un framework más sólido y con el que me siento cada vez más cómodo.
Sin nada más que decir, vamos al proceso.
2. El framework
Antes de continuar con la explicación de cada una de las etapas te recomiendo tener un lápiz y papel a la mano, ya que trabajaremos con un problema hipotético para facilitar el entendimiento de cada uno de los pasos.
Caso hipotético:
Trabajamos para una startup enfocada en ofrecer servicios de consultoría psicológica en línea, conectando pacientes con psicólogos y psiquiatras.
Desde que la plataforma fue lanzada se han generado muchísimos leads, sin embargo, algo pasa durante el onboarding que los usuarios no terminan de abrir su cuenta
Nuestra tarea es poder identificar el problema de raíz y proponer una serie de experimentos para solucionarlo.
2.1 El problema
Objetivo: Al finalizar la primer etapa deberás de tener un mayor entendimiento de las fricciones y razones por las cuales los usuarios se comportan de cierta manera.
Durante esta etapa identificaremos el problema que queremos resolver, enfocado en un segmento de usuarios y durante un momento específico del customer journey.
Esto último es de suma importancia, pues mientras más datos cuantitativos y cualitativos tengamos, más tiempo podríamos pasar analizando, llegando en muchas ocasiones a infoxicarnos y cayendo en un parálisis por análisis.
El análisis cuantitativo te ayudará a identificar los problemas y el análisis cualitativo te permitirá comprender las posibles razones. Mantén siempre al usuario al centro de todo.
“Si me dieran una hora para salvar el planeta, dedicaría 59 minutos a definir el problema y un minuto a resolverlo”
Albert Einstein
Obtener la información no siempre es sencillo, mientras más grande es la organización donde trabajes, más complejo y tardado se vuelve el proceso de recolección, organización, análisis y conclusiones de los datos.
Asegúrate de asignar el tiempo necesario a esta primera etapa, si tienes que hablar con stakeholders de otras áreas te llevará más tiempo que si cuentas con alguien del equipo de Data dentro de tu célula de experimentación.
Caso hipotético:
Identificamos que el 60% de los usuarios que se registran en busca de ayuda suelen abandonar del proceso cuando se les pide que describan cuáles son los síntomas que quieren tratar.
Después de realizar algunas entrevistas con usuarios, observar mapas de calor y realizar un análisis en las sesiones de navegación, nos dimos cuenta que preguntar sobre los síntomas que quieren tratar es un paso sensible y que muchas personas no habían solicitado ayuda previamente, por los que se sentían incómodos en compartir esta información.
El porcentaje de usuarios que cumplen con este paso será la métrica que nos defina el éxito.
2.2 La solución propuesta
Objetivo: Al terminar la segunda etapa tendrás de 3 a 5 ideas que podrían ponerse a prueba para solucionar el problema.
Una vez que identificamos el problema, necesitamos generar las posibles soluciones.
Durante unas de las certificaciones que mencioné, comprendí a mayor profundidad el proceso de ideación, la importancia de los equipos multidisciplinarios y sobre todo lo fundamental que se vuelve tener un framework de trabajo para una etapa que podría volverse un caos, pero que con la estructura adecuada, podemos organizar dicho caos.
Para este proceso ya se ha documentado bastante. Por lo que escribiré más adelante sobre los distintos métodos, técnicas y reglas que puedes seguir para llevar una sesión de ideación efectiva.
Si es tu primera vez participando en una sesión de ideación, te recomiendo ver este video en el que David Kelley de IDEO explica este proceso, el cuál sigue siendo vigente después de 15 años de su publicación.
Caso hipotético:
- Eliminar el campo del detalle de los síntomas
- Reemplazar el campo del detalle por una selección de categorías predeterminadas y generales
2.3 Barebone testing
Objetivo: Después de generar las posibles soluciones harás una abstracción de ellas hasta llevarlas a su estructura más básica y esencial o generar nuevas ideas sobre las ya existentes.
Hace algunos años, mientras trabaja en un producto digital de crédito en el cuál nos tardamos más de 2 meses en desarrollar y que una vez que lanzamos no obtuvimos los resultados esperados, nos dimos cuenta que la solución pudo haber sido probada de manera más sencilla, sin construir absolutamente nada, tan solo con un spreadsheet.
Una vez que lo hicimos el crecimiento fue exponencial, tanto así que no solo nos ayudó a alcanzar los objetivos del proyecto si no que se volvió un estándar de venta en la compañía.
Con el tiempo, le llamé a este proceso Barebone Testing y comencé a implementarlo como filtro de priorización e ideación, preguntándome: Si tuviera que probar hoy mismo una de estas ideas ¿cómo podría hacerlo sin tener que construir nada?
“Barebone testing empuja a las personas a centrarse en el problema que intentan resolver, eliminando variables subjetivas e inecesarias para mantener una idea en su estructura básica y esencial que permita experimentar lo más rápido posible”
Yo mero
En la mayoría de las ocasiones tendrás que construir algo para probar tus hipótesis, sin embargo, el hacernos esta pregunta nos ayudará a abstraernos y a reducir nuestra idea a lo esencial.
Otro beneficio del Barebone Testing es que probablemente surgirán nuevas ideas que construirás sobre las ya existentes.
Caso hipotético:
Ideas originales:
- Idea 1: Eliminar el campo del detalle de los síntomas
- Idea 2: Reemplazar el campo del detalle por una selección de categorías predeterminadas y generales
Ideas resultado del Barebone Testing:
- Idea 3: Agregar un mensaje que le de claridad a los usuarios del por qué pedimos esa información, por ejemplo: “Al compartirnos esta información, podremos recomendarte un especialista que se adapte a tus necesidades”
2.4 Priorización
Objetivo: Al finalizar la etapa de priorización tendrás visibilidad sobre el impacto, complejidad y tiempos de ejecución de tus ideas. Esto te ayudará a decidir con qué experimento comenzar.
A estas alturas probablemente tengas +10 posibles ideas que solucionen el problema.
Generalmente todos mantenemos en nuestra mente una idea que queremos lanzar. El sesgo de confirmación suele empujarnos a querer implementarla sin haber antes evaluado si es la más factible y de mayor impacto posible.
En este punto se vuelve fundamental establecer un proceso de priorización que lleve la conversación de “yo creo que esta idea puede funciionar” a “¿qué podemos experimentar primero, con mayor rapidez de ejecución y mayor impacto?”
Hay distintas maneras de priorizar y cada versión que puedas encontrar proviene de una situación específica. Mientras algunos equipos tienen más tiempo para invertir en el proceso, otros suelen correr contra reloj y con recursos limitados para su ejecución.
Ningún proceso es correcto o incorrecto, así que usa o adapta aquel que más se acople a tus necesidaes.
En mi caso, he dividido el proceso de priorización en dos etapas:
- Priorización basada en la ejecución
- Priorización basada en los resultados
- Priorización basada en duración del experimento
Priorización basada en le ejecución
¿Qué tan factible resulta nuestra idea y con qué facilidad la podemos implementar?
Para esta fase es importante comprender cuáles son las áreas que se involucran en el proceso de desarrollo de las ideas que surgieron de las etapas anteriores. ya que ellos nos ayudarán a comprender la complejidad de su ejecución.
En este punto no es necesario hacer una estimación a profundidad, basta con hacer un análisis a alto nivel y asignar una calificación de acuerdo a su facilidad (utiliza el valor nulo cuando no te sientas seguro de asignar una puntuación) :
- Alta: 3 puntos
- Media: 2 puntos
- Baja: 1 punto
- Nula: 0 puntos
Asegúrate de consultar con los integrantes de cada equipo que se involucrarán en la ejecución de tu idea, la socialización del proyecto es fundamental para su implementación impecable.
En nuestro ejemplo hipotético el score de facilidad de cada idea por área involucrada se podría ver así:
Caso hipotético: Score de facilidad por área
| Marketing | Diseño | Producto | Score Facilidad | |
| Idea 1 | 1 | 3 | 2 | 6 |
| Idea 2 | 2 | 2 | 1 | 5 |
| Idea 3 | 3 | 3 | 3 | 9 |
Priorización basada en los resultados
En caso de que nuestra idea sea ganadora ¿cuál sería el impacto en el negocio? y ¿es lo suficientemente representativa para poder escalarse?
En la segunda etapa de priorización evaluaremos el posible impacto que nuestras ideas pueden tener en el negocio así como la posibilidad de escalar la idea al total de nuestra base en caso de resultar ganadora.
Impacto
En esta etapa evaluaremos el impacto que puede tener cada una de las soluciones o la posibilidad de éxito.
¿Cómo puedo saberlo?
Responder esta pregunta puede ser más sencilla de lo que parece. Generalmente cuando conocemos nuestro producto tenemos una sensibilidad de qué podría funcionar dadas experiencias anteriores o resultados de experimentos previos.
Si no te sientes cómodo asignando una puntuación a esta etapa, no te preocupes, puedes asignarle un valor neutro, recuerda que nuestro proceso de priorización evaluará distintas variables.
Recuerda usar el mismo método de evaluación:
- Alta: 3 puntos
- Media: 2 puntos
- Baja: 1 punto
- Nula: 0 puntos
Escalabilidad
Hace algunos años teníamos que lanzar un experimento enfocado en el precio de un producto, creíamos que disminuyendolo incrementaríamos otras acciones de los usuarios, sin embargo dichas acciones no tenían el mismo impacto económico que el costo de la comisión que queríamos disminuir, por lo que de resultar ganador el experimento no estábamos dispuestos a asumir la pérdida económica.
En ese momento el experimento no era escalable por lo que decidimos no lanzarlo.
Para evaluar el potencial de escalabilidad de una idea pregúntante lo siguiente: si el experimento es ganador ¿estamos dispuestos a asumir los resultados?
Esta preguta es muy importante.
En algunas ocasiones la respuesta podría ser “No” y en caso de ser así podrían decidir experimentar para aprender, aún y cuando eso signifique no tener un impacto económico inmediato. Los aprendizajes que tengas podrían derivar en nuevas hipótesis y experimentos.
Para poder asignar una puntuación la escalabilidad de tus ideas, puedes involucrar a los heads de otras áreas como producto, finanzas, marketing y todos los que consideres necesarios. Para esta evaluación, califica de la siguiente manera:
- Es escalable: 1 punto
- No es escalable: 0 puntos
Caso hipotético: Score de impacto y escalabilidad
| Impacto | Escalabilidad | |
| Idea 1 | 1 | 0 |
| Idea 2 | 2 | 1 |
| Idea 3 | 3 | 1 |
Priorización basada en la duración del experimento
Obtener resultados positivos y significativos en un experimento puede ser frustrante.
El porcentaje de test exitosos varía según la industria así como de la calidad de las hipótesis que definas.
Para definir la posible duración de un experimento es necesario conocer lo siguiente:
- Tasa de conversión actual de la etapa en la cuál detectamos el problema
- El efecto mínimo detectable (el porcentaje de crecimiento que queremos obtener)
- La significancia estadística que queremos asumir
- Los usuarios promedio que serán expuestos al experimento por día
- El número de variantes que vamos a probar incluyendo control
En nuestro caso hipotético se vería así.
| Conversion | Efecto mínimo | Significancia | Usuarios | Variantes |
| 40% | 5% | 99% | 500 | 4 |
Actualmente solo el 40% de los usaurios convierte en la etapa de “compartir los síntomas” y estamos buscando un crecimiento del 5% con una significancia estadística del 99%.
Tenemos un total de 2,500 usuarios al día pero queremos probar únicamente con el el 20% de nuestra base (no estamos dispuestos a asumir el riesgo de exponer al 100% de los usaurios)
Decidimos probar las 2 ideas que surgieron de la etapa de ideación y la idea que surgió de nuestro Barebone Testing, es decir tendremos 3 variantes + control (versión actual).
Para calcular el tiempo que nos tomará correr el experimento usaremos esta calculadora de Optimizely que nos permitirá estimar la cantidad de usuarios que necesitamos que sean expuestos a cada variante.
El resultado lo multiplicaremos por el número de variantes que vamos a probar y lo dividiremos sobre los usuarios que serán expuestos de manera diaria al experimento.
Según la calculadora, necesitamos 8,600 usuarios por variación. Recordemos que queremos lanzar 4 variantes (3 ideas más la control) y que tenemos 500 usuarios al día, por lo que nuestra fórmula quedaría así:
(8,600 * 4) / 500 = 69 días
El tiempo que nos arroja la calculadora es demasiado y no estamos dispuestos a esperar tanto tiempo.
¿Qué podemos hacer? Necesitamos enviar más usuarios a cada variante, por lo que en lugar de probar 4 ideas, vamos a hacerlo con 3 (2 ideas más la control)
(8,600 * 3) / 500 = 52 días
Los nuevos resultados siguen siendo desalentadores, no podemos esperar 52 días para obtener resultados. Necesitamos aprender más rápido.
¿Qué más podemos hacer?
Tenemos 3 opciones:
- Probar únicamente 1 variante + control para así poder enviar más tráfico a cada variación
- Enviar más del 20% del tráfico total que pasa por esa etapa, lo cuál podría afectarnos negativamente si el resultado del experimento no es positivo.
- Podemos jugar con la significancia estadística y asumir más incertidumbre en los resultados.
“La estadística no es más que medir que tanto quieres que te duela el madrazo si te lanzas al precipicio””
Un profesor del ITAM del cuál no recuerdo su nombre
No soy una persona experta en estadística, afortunadamente suelo trabajar con personas muy talentosas quienes se encargan de ayudaros a no cagarla cuando tenemos que tomar una decisión tan importante como esta.
Trataré de explicarlo de manera sencilla.
Nota: Estaré repitiendo mucho las palabras “Significancia estadística” por lo que usaré “SS” para referirme a este concepto. Perdón por la connotación negativa del acrónimo.
En estadística se dice que el resultado de un experimento es estadísticamente significativo cuando no fue producto del azar si no de la intervención que hicimos (las hipótesis que decidimos probar).
Por ejemplo, si nuestro experimento resulta ganador y establecimos una SS del 95%, entonces hay 95% de probabilidad de que este resultado se repita o dicho en otras palabras, 95 de cada 100 usuarios se podrían comportar de la misma manera
¿Qué intento explicarte? Establecer distintos parámetros en la SS para la evaluación del resultado de un experimento te permite aprender más rápido pero con un mayor nivel de incertidumbre.
Pongamos un ejemplo simple:
¿Cuántos usuarios se comportarán de la misma manera que lo hicieron durante el experimento con distintos niveles de confianza?
| SS 99% | SS 95% | SS 90% | SS 85% |
| 99 de cada 100 | 95 de cada 100 | 90 de cada 100 | 85 de cada 100 |
A menor porcentaje de SS, mayor será la incertidumbre de obtener los mismos resultados que en el experimento.
Trata de responderte, ¿qué tanto riesgo quiero tomar con esta decisión?
No es lo mismo establecer una SS del 90% en el cambio de colór de un Call to action que hacerlo en un cambio realizado en una forma de pago donde el riesgo e impacto en el negocio es mayor.
Hay más variables a tomar en cuenta a la hora de analizar el resultado de un experimento, como el p-value, los niveles de confianza o el márgen de error. Si quieres profundizar más en el tema, consulta a tu experto en estadística de confianza o visita esta página.
Regresemos a nuestro ejemplo.
Para aprender más rápido, decidimos establecer la SS a 90%.
Nuestra fórmula quedaría así:
(7,800 * 3) / 500 = 47 días
Los resultados se ven mejor, bajamos de 69 a 47 días y si queremos optimizar el tiempo de aprendizaje podemos seguir jugando con el número de variantes que queremos probar y la cantidad de usuarios que serán expuestos al experimento.
¿Cómo se traducen estas estimaciones de tiempo?
Recordemos que buscamos un 5% de crecimiento.
Esto significa que si existe un efecto mínimo detectable del 5% y tenemos 3 variantes en nuestro experimento (2 ideas + control) a las cuales enviaremos 7,800 usuarios a cada una de ellas, estableciendo una SS del 90%, detectaremos dicho crecimiento en un plazo aproximado de 46 días.
En ocasiones el tiempo puede ser menor, ya que a mayor impacto menor será el número de usuarios que necesitan ser expuestos a la intervención, influyendo directamente en el tiempo de duración del experimento.
Si estás comenzando a experimentar, te recomiendo acercarte a personas que tantan experiencia en experimentación o expertos en análisis estadísticos y trata de mantener los niveles estándar de SS entre un 95% y 99%.
Matriz de priorización
Con los resultados obtenidos en cada una de las etapas de priorización llenaremos la siguiente matriz la cual nos dará visibilidad de cada una de las ideas que queremos probar, sus implicaciones técnicas, impactos y duración.
Caso hipotético: Matriz de priorización
| Facilidad | Impacto | Score | Escalabilidad | |
| Idea 1 | 6 | 1 | 7 | 0 |
| Idea 2 | 2 | 5 | 7 | 1 |
| Idea 3 | 9 | 3 | 12 | 1 |
| Tiempo | 47 días para probar 3 variantes (2 ideas + control) | |||
Puedes agregar las variables que consideres necesarias para poder tomar una decisión, por ejemplo, puedes agregar los riesgos que puedan ser detectados en cada una de las ideas.
¿Qué idea probarías primero?
Recuerda, no hay una respuesta correcta o incorrecta.
Como ya lo he repetido, cada empresa se encuentra en un momento distinto y tiene necesidades y equipos distintas, por lo que deberás de tomar esta decisión involucrando a todos aquellos stakeholders y tomadores de decisiones que se verán afectados por tu experimento.
Llegó el momento de armar nuestro roadmap.
2.5 Roadmap
Objetivo: Redactar nuestras hipótesis y priorizarlas nos permitirá tener un roadmap para socializar nuestro plan de experimentación.
Socializar tu plan de experimentación es clave.
Cuando escribo una hipótesis lo hago con la intención de que cualquier persona que la lea comprenda fácilmente el qué y por qué queremos probar nuestras ideas, incluso si no ha sido parte de todo nuestro proceso.
Este última etapa es muy importante, recuerda que la ejecución impecable de tu plan está relacionada con tu capacidad para poder comunicar efectivamente tu proyecto de experimentación y el impacto que tendrá en el negocio.
Las conclusiones de cada unan de las etapas anteriores nos ayudará a redactar nuestra hipótesis de la siguiente mantera:
Asegúrate de haber definido correctamente el problema que intentas resolver, priorizar tus ideas y estimar el tiempo de duración del experimento así como identificar la métrica que definirá el éxito.
En nuestro caso hipótetico, la estructura quedarían así (observa que el único cambio entre cada una de ellas es la solución propuesta):
Idea 1. Eliminar el campo del detalle de los síntomas.
Idea 2. Reemplazar el campo del detalle por una selección de categorías predeterminadas y generales.
Idea 3. Agregar un mensaje que le de claridad a los usuarios de los beneficios de atención personalizada.
Una forma de validar si tus hipótesis están bien formuladas es presentarselas a personas que no hayan sido parte del proceso y que no estén involucradas en el mismo proyecto, pídeles que las lean y te expliquen de que se trata, recuerda que una parte importante del éxito en la ejecución es la socialización del proyecto, por lo que debería de ser entendible por cualquier persona.
Refinamiento de la hipótesis
Esta última etapa suele ser opcional, aunque no debería de serlo.
En el refinamiento de la hipótesis, buscamos la validación conceptual con usuarios reales (recuerda que al inicio definimos el segmento que será expuesto al experimento) mediante la creación de artefactos o prototipos que nos permitan obtener feedback e iterar, para llegar así a una versión más sólida.
El refinamiento te ayudará a disiminuir aún más la incertidumbre y aumentar las posibilidades de éxito, sin embargo, estas son decisiones que también deberás de tomar con tu equipo de trabajo y dependerá mucho del riesgo que estamos dispuestos a asumir.
Por ejemplo, podrías prescindir del refinamiento si estás experimentando en el cambio de texto de un botón o decidir implementarla e iterar sobre ella las veces que consideres necesario si tu experimento es en el checkout de un e-commerce. El riesgo en cada una es completamente distinto.
Más adelante escribiré sobre algunos de los métodos de prototipado e iteración, por lo pronto puedes visitar esta liga para conocer más sobre este proceso.
Finalmente nuestra matriz de priorización se vería así:
Con la intención de ejemplificar lo más claro posible nuestro ejercicio de redacción de hipótesis estamos siendo muy explicitos y extensos, sin embargo, recuerda que es un proceso iterativo y poco a poco encontrarás tu propia manera de hacerlo.
Por ejemplo, podrías tener una estructura donde no redactas una hipótesis pero sí mantienes las variables que la conforman.
Recuerda que este es un framework y su naturaleza permite que se adapte a cualquier necesidad.
3. Conclusiones
El proceso puede parecer largo, confuso y complejo.
Sin embargo, te aseguro que implementar un marco de trabajo como este te permitirá tener mayor visibilidad de todas las variables que están en juego al momento de definir tus hipótesis, tendrás una estructura de trabajo sólida que te dará más confianza a ti y a tu equipo, podrás comunicar de manera aseriva el “qué” y “por qué” quieres probar una idea y lo más importante, tus hipótesis estarán muy bien sustentadas.
Por último, recuerda que el resultado no es lo que importa, si no en quién te conviertes en el proceso de tratar de alcanzarlo.
Keep growing
Dan 🛸
