Reduce tu efecto mínimo detectable sin más tráfico

El efecto mínimo detectable (MDE) es el cambio real más pequeño que tu experimento puede detectar de forma fiable con la potencia y el nivel de significación elegidos, dada la muestra de la que realmente dispones. Si la mejora más pequeña que le importa a tu negocio es inferior a tu MDE, no estás haciendo una prueba. Estás adivinando con pasos adicionales, y ningún análisis ingenioso lo arregla a posteriori.

Resumen:

Si tu negocio necesita detectar efectos inferiores a tu MDE actual, puede ser necesario aumentar el tráfico o repetir la prueba, ya que el MDE varía de forma inversamente proporcional a la raíz cuadrada del tamaño de la muestra.

Ajustar alfa a 0,01 o aumentar la potencia de 0,80 a 0,90 eleva el MDE, lo que dificulta detectar efectos menores sin más muestra o una duración mayor.

Incorporar técnicas de reducción de la varianza como CUPED, la estratificación o los diseños intrasujeto puede reducir el MDE sin tráfico adicional y hacer las pruebas más sensibles.

Comunica siempre el MDE junto con los resultados nulos para aclarar qué magnitud de efectos podía detectar la prueba de forma fiable y evitar interpretaciones erróneas de los resultados no significativos.

POPJAM

Prueba tus creatividades antes de gastar más

POPJAM ayuda a los equipos de marketing a generar creatividades publicitarias acordes con la marca y probar las reacciones de la audiencia con perfiles de compradores sintéticos antes del lanzamiento.

Descubre POPJAM

Índice

¿Qué es el MDE? Definición formal y por qué importa
¿Cómo determinan el MDE la potencia, alfa y el tamaño de la muestra?
Cómo calcular el MDE: fórmulas y ejemplos resueltos
Cómo elegir un MDE que refleje el impacto en el negocio
Medidas prácticas para reducir el MDE sin aumentar la muestra
Cómo comunicar el MDE e interpretar los resultados nulos
Buenas prácticas y errores habituales al planificar el MDE
Cómo aplicar el MDE a las pruebas de creatividades publicitarias y marketing
Por qué la mayoría de los equipos plantea el MDE al revés
Fuentes
Preguntas frecuentes

¿Qué es el MDE? Definición formal y por qué importa

El MDE es una cifra de diseño, no un resultado. Te indica, antes de lanzar nada, el efecto real más pequeño que tu prueba está preparada para detectar dado el tamaño de tu muestra, tu umbral de significación (alfa) y tu potencia estadística. Esta es la idea central de los cálculos de potencia que expone el grupo de investigación DIME del Banco Mundial, que considera el MDE un resultado de las mismas operaciones que determinan el tamaño de la muestra, no una estimación independiente.

Aquí es donde suele surgir la confusión. El MDE no es el efecto que esperas ver, ni el que realmente observaste una vez terminada la prueba. Son tres cifras distintas:

MDE: el efecto más pequeño que el diseño de tu prueba tiene suficiente sensibilidad para detectar
Efecto esperado: tu hipótesis o creencia previa sobre la mejora real
Efecto observado: lo que mostraron los datos una vez realizada la prueba

Confundir el efecto observado con el MDE lleva a los equipos a interpretar mal los resultados nulos. Si tu MDE es de 5 puntos porcentuales y tu prueba muestra una mejora de 2 puntos que no es estadísticamente significativa, eso no significa que no haya efecto. Significa que tu prueba nunca estuvo diseñada para detectar nada inferior a 5 puntos, de modo que una señal de 2 puntos era invisible desde el principio. La documentación de Confidence de Spotify lo expresa bien: el MDE describe lo que tu estudio podría detectar, no lo que está ocurriendo realmente.

Piensa en el MDE como en la resolución de una cámara. La cámara de un móvil capta bien una puesta de sol, pero no distingue los granos de arena de la playa. Con tu experimento ocurre lo mismo. Dale suficiente tráfico y tiempo, y distinguirá una mejora del 1 %. Déjalo sin muestra suficiente y solo distinguirá algo más cercano a una mejora del 15 %, de manera que cualquier cambio menor pasará inadvertido. No es un fallo de tus estadísticas. Es una limitación que estableciste en el momento en que decidiste cuánto tráfico y cuántos días dedicar.

¿Cómo determinan el MDE la potencia, alfa y el tamaño de la muestra?

Cuatro cifras rigen cualquier experimento: el tamaño de la muestra, la potencia estadística, el nivel de significación (alfa) y el MDE. Fija tres cualesquiera y la cuarta queda determinada. No es una regla orientativa. Es álgebra. La mayoría de las calculadoras y plataformas de experimentación permiten despejar cualquiera de ellas, pero la relación nunca cambia.

La relación que conviene interiorizar es cómo varía el MDE con el tamaño de la muestra. El MDE es proporcional a 1 dividido por la raíz cuadrada del tamaño de tu muestra (n). La explicación de la fórmula de MetricGate lo cuantifica con claridad: duplicar tu muestra solo reduce el MDE por un factor de aproximadamente 1,41, no de 2.

Dato destacado: Para reducir tu MDE a la mitad, necesitas aproximadamente cuatro veces más muestra. Esta relación de raíz cuadrada es el dato más infravalorado de la planificación de experimentos. Los equipos suelen duplicar el tráfico asignado esperando duplicar su sensibilidad y después se sorprenden de que la mejora parezca marginal.

Relación de raíz cuadrada entre la muestra y el MDE

Esa falta de linealidad tiene consecuencias reales para la planificación. Si tu MDE actual es una mejora relativa del 8 % y necesitas bajarlo al 4 % para detectar algo que le importe al negocio, no estás hablando de duplicar la duración. Estás hablando de multiplicarla aproximadamente por cuatro. En una prueba que habría durado dos semanas, eso supone ocho semanas, lo que cambia la conversación con las partes interesadas de «ampliemos la prueba» a «replanteemos el diseño».

Alfa y la potencia mueven el MDE en la misma dirección, aunque de forma menos pronunciada. Restringir alfa de 0,05 a 0,01 (menos falsos positivos, pero un umbral más difícil de alcanzar) eleva tu MDE para el mismo tamaño de muestra, porque necesitas una señal mayor para superar una exigencia más estricta. Elevar la potencia de 0,80 a 0,90 (menos efectos reales que pasan inadvertidos) hace lo mismo, ya que una potencia mayor exige más evidencia antes de llegar a una conclusión.

Las orientaciones de DIME del Banco Mundial consideran alfa = 0,05 y potencia = 0,80 unos valores predeterminados razonables, y la mayoría de las herramientas comerciales de pruebas los incorporan. Pero los valores predeterminados no son leyes. Si un falso positivo implicara lanzar un proceso de pago defectuoso a toda tu base de clientes, restringir alfa a 0,01 sería la opción más defendible, aunque te costara sensibilidad. Si el mayor riesgo es pasar por alto una variante realmente ganadora, por ejemplo en experimentos de crecimiento inicial donde conseguir volumen es barato, elevar la potencia a 0,90 puede justificar la muestra adicional.

Cómo calcular el MDE: fórmulas y ejemplos resueltos

Las operaciones que hay detrás del MDE invierten el cálculo estándar de potencia. En lugar de despejar el tamaño de la muestra dado un efecto objetivo, despejas el tamaño del efecto dada una muestra fija. Así se aplica a los dos tipos de prueba más habituales.

Pruebas de dos proporciones (experimentos de tasa de conversión)

Para una prueba z de dos proporciones que compara las tasas de conversión de un control y una variante, la fórmula del MDE es:

MDE = (z₁₋α/2 + z₁₋β) × √(2p(1 − p) / n)

Donde p es tu tasa de conversión de referencia, n es el tamaño de la muestra por grupo y los valores z proceden del alfa y la potencia elegidos. Con el alfa estándar de 0,05 (bilateral) y una potencia de 0,80, z₁₋α/2 ≈ 1,96 y z₁₋β ≈ 0,84.

Ejemplo resuelto: Supongamos que tu página de destino convierte al 10 % (p = 0,10) y que planeas probar con 10.000 visitantes por grupo.

Calcula el componente de error estándar: √(2 × 0,10 × 0,90 / 10.000) = √(0,000018) ≈ 0,00424
Multiplícalo por la puntuación z combinada: (1,96 + 0,84) × 0,00424 = 2,80 × 0,00424 ≈ 0,0119
Conviértelo en una cifra fácil de interpretar: tu MDE es de aproximadamente 1,19 puntos porcentuales, lo que significa que la prueba puede detectar un salto del 10 % a alrededor del 11,19 % de conversión, pero nada menor

Esta distinción importa más de lo que suele pensarse, y la explicación del cálculo del MDE de Statistics.tools lo señala directamente: una misma mejora relativa significa cosas muy distintas según el punto de partida. Comunica siempre ambas cifras y nunca cites una mejora relativa sin indicar la tasa de referencia en la que se basa.

Medias de dos muestras (ingresos, tiempo en la página, valor medio del pedido)

Cuando comparas medias en lugar de proporciones (valor medio del pedido, duración de la sesión, ingresos por usuario), la fórmula cambia ligeramente:

MDE = (z₁₋α/2 + z₁₋β) × σ × √(1/n₁ + 1/n₂)

Aquí σ es la desviación estándar de tu métrica y n₁, n₂ son los tamaños de tus grupos. La referencia de fórmulas de MetricGate lo plantea en términos de la d de Cohen, un tamaño del efecto estandarizado que expresa la diferencia en unidades de desviación estándar en lugar de unidades originales. Para volver a convertir la d de Cohen en una cifra que puedas comunicar, multiplica d por la desviación estándar de tu métrica. Una d de Cohen de 0,2 en una métrica de valor medio del pedido (AOV) con una desviación estándar de 25 dólares se convierte en una diferencia absoluta detectable de 5 dólares.

Tipo de prueba	Núcleo de la fórmula	Qué necesitas saber
Dos proporciones (conversión)	(z₁₋α/2 + z₁₋β) × √(2p(1−p)/n)	Tasa de referencia, tamaño de muestra por grupo
Dos medias (ingresos, tiempo)	(z₁₋α/2 + z₁₋β) × σ × √(1/n₁ + 1/n₂)	Desviación estándar, tamaño de muestra por grupo
d de Cohen (estandarizada)	d = efecto / σ	Vuelve a las unidades originales multiplicando por σ

Rara vez necesitas hacer estos cálculos a mano. El paquete pwr de R (pwr.2p.test para proporciones, pwr.t.test para medias) y el módulo statsmodels.stats.power de Python se encargan del álgebra, y la mayoría de las plataformas de experimentación muestra una estimación del MDE directamente en la pantalla de configuración.

Consejo práctico: Haz siempre el cálculo dos veces: una para despejar el MDE dada la muestra prevista y otra para despejar el tamaño de muestra dado el MDE más pequeño que te llevaría a actuar. Si las dos cifras no encajan con tu tráfico y tus plazos reales, habrás encontrado el desajuste antes de desperdiciar un solo día de tráfico de prueba.

Cómo elegir un MDE que refleje el impacto en el negocio

El error que comete la mayoría de los equipos es tratar el MDE como una decisión puramente estadística. No lo es. El MDE debe partir de una pregunta económica o de impacto en los usuarios: ¿cuál es la mejora más pequeña que realmente cambiaría una decisión?

Empieza convirtiendo tu KPI en términos de ingresos. Si tus costes fijos para desarrollar y lanzar la variante ganadora son de 15.000 dólares, incluso una mejora de 0,5 puntos supera el umbral. Una prueba diseñada para detectar solo movimientos de 3 puntos o más te impediría ver un cambio que vale decenas de miles de dólares al año.

Una vez que conozcas el efecto más pequeño que merece la pena detectar, contrástalo con tu tráfico y tus plazos reales mediante una breve lista de comprobación:

¿Tu muestra disponible, durante un plazo razonable (lo habitual son de 2 a 4 semanas), te permite alcanzar un MDE igual o inferior al umbral relevante para tu negocio?
Si no, ¿puedes ampliar la duración de la prueba sin que los resultados pierdan vigencia por la estacionalidad, las promociones o los cambios de algoritmo?
Si no es realista ampliarla, ¿puedes elevar tu MDE y aceptar que solo se registrarán efectos mayores, mientras las pequeñas mejoras pasarán inadvertidas?
¿Hay algún cambio en el diseño (consulta la sección sobre reducción de la varianza más abajo) que te permita conseguir un MDE menor sin más tráfico?

Las orientaciones de Optimizely sobre el uso del MDE en el diseño de experimentos hacen explícito este equilibrio: el MDE es la herramienta que convierte «cuánto debería durar esta prueba» en una conversación de negocio en lugar de una clase de estadística.

Consejo práctico: Cuando una página con poco tráfico no puede alcanzar un MDE significativo en un plazo razonable, eso no es motivo para hacer la prueba de todos modos y confiar en la suerte. Es una señal para probar algo con un efecto esperado mayor, como un rediseño completo en lugar del color de un botón, ya que los cambios mayores requieren menos muestra para detectarse.

Medidas prácticas para reducir el MDE sin aumentar la muestra

No necesitas comprar más tráfico para mejorar la sensibilidad de tu prueba. Varias decisiones de diseño y análisis reducen directamente la varianza, lo que disminuye el MDE con el mismo tamaño de muestra.

CUPED (experimento controlado con datos previos al experimento): ajusta por una covariable medida antes del inicio de la prueba, como la tasa de conversión histórica de un usuario o su gasto anterior, y elimina la varianza que no tiene relación con el tratamiento en sí.
Bloques y estratificación: agrupar a usuarios similares por dispositivo, ubicación geográfica o nivel de interacción previo antes de aleatorizar reduce el ruido que esas diferencias añadirían a la comparación.
Diseños pareados o intrasujeto: cuando es viable, comparar el comportamiento del mismo usuario antes y después de la exposición elimina por completo la varianza entre usuarios, que a menudo es la principal fuente de ruido.
Selección de la métrica: una métrica binaria de conversión tiene más ruido que una continua construida a partir de más puntos de datos; agregar los ingresos durante un plazo más largo, por ejemplo, suele producir una métrica más precisa y sensible que la tasa de conversión diaria por sí sola.

La explicación de las técnicas de reducción de la varianza de MetricGate señala que CUPED por sí solo suele reducir el tamaño de muestra necesario entre un 20 y un 50 %, según la capacidad predictiva de la covariable. No es una cifra universal: una covariable con una correlación débil con tu métrica de resultado aportará poco. Pero una covariable como el gasto de los 30 días anteriores, cuando tu métrica de resultado es el gasto del período posterior, suele ser lo bastante sólida como para marcar una diferencia.

La formación de bloques entraña un riesgo si la llevas demasiado lejos: cuantos más estratos creas, más pequeño se vuelve cada uno, y en algún momento vuelves a tener problemas de tamaño de muestra dentro de cada bloque. Úsala cuando los subgrupos subyacentes difieran realmente, no como opción automática.

Cómo comunicar el MDE e interpretar los resultados nulos

Todo informe de un experimento debería indicar su MDE junto con la estimación puntual y el intervalo de confianza, en lugar de relegarlo a un anexo metodológico. Un resultado expresado como «sin diferencia significativa; el MDE era de 6,2 puntos porcentuales» le dice a la dirección algo que un simple «no significativo» nunca puede transmitir: la prueba solo estaba preparada para detectar cambios bastante grandes, y lo que ocurra por debajo de ese umbral sigue siendo desconocido.

Comunica siempre juntos el MDE, el efecto observado y el intervalo de confianza, sea significativo o no el resultado.
Nunca calcules ni comuniques la «potencia observada», es decir, la potencia calculada a posteriori con el tamaño del efecto que mediste; la investigación de J-PAL sobre evaluaciones con potencia insuficiente señala esta práctica como habitual y engañosa, ya que la potencia observada es matemáticamente una simple transformación de escala del valor p y no añade información nueva.
Un resultado no significativo con un MDE pequeño (por ejemplo, de 1 a 2 puntos) aporta evidencia relevante de que no existe un efecto de importancia práctica.
Un resultado no significativo con un MDE grande (10 puntos o más) te dice muy poco; el siguiente paso honesto es rediseñar, no encogerse de hombros.
Antes de repetir una prueba con resultado nulo, plantéate si puedes reducir la varianza (consulta las medidas anteriores) en lugar de limitarte a ejecutar el mismo diseño durante más tiempo.

Buenas prácticas y errores habituales al planificar el MDE

La mayoría de los errores con el MDE se remonta a unos pocos hábitos, y se puede evitar si sabes a qué prestar atención.

Fija tu MDE antes de recoger datos y déjalo por escrito. Decidir a posteriori qué cuenta como un efecto «relevante» invita a razonar de forma sesgada una vez vistas las cifras.
No vayas mirando los resultados para detener la prueba antes de tiempo cuando parezcan buenos. Las consultas improvisadas elevan la tasa de falsos positivos muy por encima del alfa declarado; el análisis de las pruebas secuenciales de Evan Miller explica por qué el seguimiento informal rompe las garantías del diseño de tu prueba y muestra cómo los métodos secuenciales planificados permiten revisar los resultados antes sin esa penalización.
Aplica correcciones por comparaciones múltiples cuando pruebes varias variantes o métricas a la vez, y usa por defecto pruebas bilaterales salvo que tengas una razón concreta y prerregistrada para esperar un cambio en una sola dirección.
Documenta tus supuestos: la tasa de referencia, la estimación de la varianza y el tamaño de muestra que utilizaste para calcular el MDE, para que un compañero, o tú dentro de un tiempo, pueda revisar la cifra seis meses después.

Cómo aplicar el MDE a las pruebas de creatividades publicitarias y marketing

Las pruebas de marketing se rigen por las mismas operaciones, con una complicación añadida: el coste de ejecutar una prueba A/B real en plataformas publicitarias no es solo estadístico, también es inversión publicitaria. Cada impresión gastada en una variante creativa perdedora es dinero que no consiguió una conversión.

Empieza convirtiendo tu MDE de mejora de conversión en un umbral de ROAS o de ingresos, igual que harías con una página de destino.

Ahí es donde las pruebas previas demuestran su utilidad. Someter los conceptos creativos a comentarios de audiencias sintéticas antes de destinarles inversión real reduce las opciones de la prueba real a finalistas verdaderamente distintos. Eso hace dos cosas: reduce el número de variantes que compiten por el mismo tráfico, disminuyendo la carga de comparaciones múltiples, y descarta conceptos débiles que habrían necesitado un MDE enorme para distinguirse del control.

Un proceso viable de pruebas creativas sería el siguiente:

Genera conceptos creativos y pruébalos previamente con perfiles de compradores sintéticos para detectar fallos evidentes antes de gastar un dólar en tráfico real.
Reduce la selección a dos o tres finalistas que muestren un patrón de respuesta significativamente distinto en las pruebas previas, no a cinco variantes casi idénticas.
Fija el MDE de tu prueba A/B real a partir de supuestos documentados: tasa de conversión de referencia, tráfico esperado durante el período de prueba y la mejora mínima del ROAS que justificaría cambiar de creatividad.
Ejecuta el proceso de pruebas de anuncios reales con ese MDE declarado desde el principio, en lugar de descubrirlo después de recibir resultados confusos.

Las pruebas previas no sustituyen a la prueba real. Reducen lo que esta tiene que demostrar, y eso es precisamente lo que disminuye la muestra necesaria y los plazos. Tanto la herramienta gratuita de pruebas de anuncios de POPJAM como la explicación de por qué probar las creatividades previamente reduce costes apuntan a las mismas relaciones matemáticas que aborda este artículo: menos variantes y mejor diferenciadas implican un MDE menor y más asequible. Para profundizar en la conexión entre datos y decisiones creativas, las pruebas de anuncios basadas en datos para mejorar el ROI y las prácticas generales de optimización de la tasa de conversión cubren temas relacionados que conviene leer junto con este proceso.

Por qué la mayoría de los equipos plantea el MDE al revés

La mayoría de las recomendaciones sobre este tema trata el MDE como el resultado de una calculadora: introduce la tasa de referencia, alfa y la potencia, obtén una cifra y sigue adelante. El orden está invertido. La cifra debería partir primero de la pregunta de negocio, después de la limitación de tráfico y, por último, de la fórmula.

El mayor punto ciego está en la comunicación de resultados. Los equipos que calculan cuidadosamente el MDE antes del lanzamiento suelen olvidarse de indicarlo después, de modo que un resultado nulo se lee como «no ocurrió nada» en lugar de «solo podíamos ver efectos superiores a X y no apareció ninguno tan grande». Esa distinción cambia lo que haría después una persona razonable: abandonar, repetir con un diseño más sensible o aceptar que existe un efecto menor que no merece la pena perseguir.

Ese único dato debería orientar cualquier conversación sobre ampliar una prueba o rediseñarla, y también cómo los equipos creativos hacen sus pruebas previas antes de destinar inversión a publicidad real.

Doruk

Fuentes

Preguntas frecuentes

¿Cómo se calcula el efecto mínimo detectable?

Para proporciones, MDE = (z₁₋α/2 + z₁₋β) × √(2p(1−p)/n), donde p es tu tasa de referencia y n es el tamaño de muestra por grupo. Para medias, sustituye el término de proporción por σ × √(1/n₁ + 1/n₂), utilizando la desviación estándar de tu métrica.

¿Cómo se calcula el cambio mínimo detectable?

El cambio mínimo detectable sigue las mismas operaciones que el MDE. Es la diferencia real más pequeña que el diseño de tu prueba puede detectar de forma fiable dado el tamaño de muestra, el alfa elegido y la potencia objetivo, y se calcula invirtiendo la fórmula estándar de potencia.

¿Es bueno un tamaño del efecto de 0,3?

Una d de Cohen de 0,2 suele considerarse un efecto pequeño, y 0,3 se sitúa entre pequeño y mediano. Que sea «bueno» depende por completo del contexto: en una prueba de página de destino, un efecto estandarizado de 0,3 podría traducirse en una mejora relevante de los ingresos, mientras que en un ensayo clínico esa misma cifra podría ser demasiado pequeña para justificar el tratamiento.

¿Se considera significativo un valor p inferior a 0,001?

Sí, un valor p inferior a 0,05 supera con margen el umbral estándar de significación. Un valor p muy pequeño indica evidencia sólida contra la hipótesis nula, pero no dice nada sobre si el tamaño del efecto observado es lo bastante grande como para importar a tu negocio.

¿Qué diferencia hay entre el MDE y la potencia estadística?

La potencia es la probabilidad de que tu prueba detecte un efecto real de una magnitud dada; el MDE es el tamaño del efecto más pequeño que tu prueba puede detectar con ese nivel de potencia. Son dos caras del mismo análisis de potencia, solo que se despejan incógnitas distintas.