Palabras clave: pruebas de hipótesis, hipótesis nula, valor p, significancia estadística, potencia, intervalo de confianza.
En una prueba de cupones con 900 clientes por grupo, el abandono fue del 28 % sin cupón y del 22 % con cupón. Desplegar la campaña cuesta dinero: ¿qué evidencia ofrece esa diferencia para hacerlo? Recorreremos una prueba de hipótesis desde su planificación hasta el informe final. Veremos cómo formular la pregunta, elegir el contraste, calcular el valor p y evaluar la importancia práctica del efecto.
Retomamos la tienda de
La pregunta debe convertirse en una afirmación medible
«El cupón funciona» deja demasiadas cosas abiertas. Nuestra pregunta será: ¿cambia un cupón del 15 % la proporción de clientes que no compra durante los 90 días siguientes? La población objetivo son los clientes elegibles para esa campaña. El resultado de cada cliente es binario: abandonó o no abandonó.
El
Δ = proporción de abandono sin cupón − proporción con cupón
H₀: Δ = 0 (no hay diferencia)
H₁: Δ ≠ 0 (hay diferencia en alguna dirección)La
Elegimos una prueba bilateral porque nos interesa detectar tanto una reducción como un aumento del abandono. Una alternativa unilateral, Δ > 0, respondería otra pregunta. Debe justificarse antes de observar los resultados; no se escoge después para obtener un valor p menor.
La falsabilidad se explica en
El diseño y la muestra se deciden antes del resultado
Antes de enviar el primer cupón, dejamos escrito el plan:
- Unidad y asignación: cada cliente pertenece a un solo grupo, elegido al azar. Diez compras del mismo cliente no son diez clientes independientes.
- Métrica principal: abandono a 90 días, con la misma definición en ambos grupos. Fijamos cómo tratar datos faltantes y exclusiones.
- Contraste: bilateral de dos proporciones independientes, con nivel de significancia α = 0,05.
- Muestra y parada: 900 clientes por grupo en este ejemplo, todos con su ventana de seguimiento completa. El número es ilustrativo; no resulta aquí de un cálculo de potencia.
- Relevancia práctica: qué reducción justificaría el costo y qué otros resultados, como margen o quejas, debemos vigilar.
El
Hay dos errores posibles:
| Decisión | H₀ es cierta | Existe una diferencia |
|---|---|---|
| Rechazar H₀ | Error de tipo I: falso positivo | Detectamos una diferencia |
| No rechazar H₀ | Decisión correcta: no rechazar H₀ | Error de tipo II: falso negativo |
La
El manual del
La prueba depende de los datos y de cómo se obtuvieron
La elección empieza por el diseño y la variable que medimos. Esta tabla orienta; no sustituye comprobar los supuestos:
| Situación | Prueba posible | Condición que debemos revisar |
|---|---|---|
| Dos proporciones independientes | z de dos proporciones | Suficientes eventos y no eventos para la aproximación normal |
| Tabla 2 × 2 con recuentos pequeños | Exacta de Fisher | Diseño compatible con su modelo y condicionamiento a los márgenes |
| Medias de dos grupos independientes | t de Welch | Independencia; con muestras pequeñas importa la distribución |
| Mediciones numéricas emparejadas | t de las diferencias | Parejas independientes; con pocas parejas importa la normalidad de las diferencias |
La documentación oficial describe la
Para los cupones elegimos z: hay dos grupos independientes y suficientes abandonos y permanencias en ambos. Suponemos también que el cupón de un cliente no cambia el resultado de otro. La asignación aleatoria ayuda a interpretar el efecto causal en el experimento; generalizarlo a otros clientes exige justificar que el contexto es comparable.
El valor p mide la incompatibilidad con la hipótesis nula
Al cerrar el seguimiento obtenemos estos recuentos:
| Grupo | Abandonaron | Permanecieron | Total | Abandono |
|---|---|---|---|---|
| Sin cupón | 252 | 648 | 900 | 28 % |
| Con cupón | 198 | 702 | 900 | 22 % |
La diferencia observada es 6 puntos porcentuales. Bajo H₀ suponemos una misma proporción de abandono en ambos grupos. La estimamos agrupando sus recuentos: 450 abandonos entre 1800 clientes, es decir, 0,25.
El
p_agrupada = (252 + 198) / (900 + 900) = 0,25
error_H₀ = raíz[p_agrupada × (1 − p_agrupada) × (1/900 + 1/900)]
z = (0,28 − 0,22) / error_H₀ ≈ 2,939La diferencia queda a unas 2,94 unidades de error estándar del cero. Usamos
la
El valor p bilateral es la probabilidad, bajo H₀ y los demás supuestos, de obtener un estadístico al menos tan extremo como el observado, en cualquiera de las dos direcciones. Para este contraste sumamos las dos colas más allá de −2,939 y +2,939. El resultado es aproximadamente 0,00329.
Este código usa solo la biblioteca estándar de Python. erfc permite calcular
las colas normales sin instalar paquetes:
from math import erfc, sqrt
n_control, n_cupon = 900, 900
x_control, x_cupon = 252, 198
p_control = x_control / n_control
p_cupon = x_cupon / n_cupon
delta = p_control - p_cupon
agrupada = (x_control + x_cupon) / (n_control + n_cupon)
error_nulo = sqrt(
agrupada * (1 - agrupada) * (1 / n_control + 1 / n_cupon)
)
z = delta / error_nulo
p_bilateral = erfc(abs(z) / sqrt(2))
# Intervalo de Wald aproximado: error estimado sin agrupar.
error_estimacion = sqrt(
p_control * (1 - p_control) / n_control
+ p_cupon * (1 - p_cupon) / n_cupon
)
# Cuantil 0,975 de la normal estándar para un IC bilateral del 95 %.
margen = 1.959963984540054 * error_estimacion
inferior, superior = delta - margen, delta + margen
print(f"Diferencia: {100 * delta:.2f} puntos porcentuales")
print(f"z: {z:.6f}")
print(f"p bilateral: {p_bilateral:.8f}")
print(f"IC 95% aproximado: [{100 * inferior:.3f}, {100 * superior:.3f}] pp")La ejecución produce:
Diferencia: 6.00 puntos porcentuales
z: 2.939388
p bilateral: 0.00328861
IC 95% aproximado: [2.009, 9.991] ppComo p < 0,05, rechazamos H₀ con el criterio fijado. La diferencia positiva aporta evidencia de menor abandono con cupón bajo los supuestos del análisis. Eso todavía no decide si conviene desplegarlo.
La significancia debe acompañarse del efecto y su incertidumbre
El valor p no es la probabilidad de que H₀ sea cierta. Tampoco mide el tamaño
del efecto ni su importancia económica. Son distinciones centrales de la
declaración de la
El efecto estimado es una reducción de 6 puntos porcentuales.
Su
Usamos un intervalo de Wald aproximado, con el error sin agrupar. La
documentación de
Ahora supongamos que el negocio hubiera fijado antes un requisito: reducir el abandono más de 5 puntos para justificar el costo. El intervalo incluye valores por debajo de ese umbral. Encontramos evidencia frente a cero, pero no hemos establecido que el efecto supere 5 puntos.
Para evaluar directamente ese requisito habría que planificar un contraste frente al umbral, con su potencia correspondiente, y considerar costos y márgenes. El umbral no debe aparecer solo porque el resultado nos gustó.
El caso contrario también importa: no rechazar H₀ no demuestra igualdad. Una muestra puede ser demasiado pequeña para detectar una diferencia relevante. Si queremos demostrar que dos opciones son suficientemente parecidas, necesitamos una prueba de equivalencia con márgenes definidos previamente.
Buscar significancia hasta encontrarla altera la prueba
En el diseño de muestra fija, mirar cada día y detenerse cuando p baja de 0,05 modifica la tasa de falsos positivos. También la modifica probar muchas métricas o segmentos y publicar solo el resultado favorable.
Un
Se puede detener un experimento antes mediante un diseño secuencial adecuado. Lo que cambia es el procedimiento y sus reglas, no solo el momento de mirar. Podemos explorar segmentos después, pero debemos presentar sus hallazgos como exploratorios y buscar confirmación con datos nuevos.
La conclusión debe responder la pregunta y declarar sus límites
El informe del ejemplo puede quedar así:
En este caso didáctico, el abandono a 90 días fue del 28 % sin cupón y del 22 % con cupón, con 900 clientes por grupo. La reducción estimada fue de 6 puntos porcentuales, con IC de Wald aproximado del 95 % de 2,01 a 9,99. El contraste bilateral de dos proporciones dio p = 0,00329. Con α = 0,05, rechazamos la igualdad bajo los supuestos declarados. El resultado aporta evidencia de una reducción, pero no establece que supere 5 puntos ni que la campaña sea rentable.
Antes de la próxima prueba, escribe una frase con qué vas a medir, qué efecto importa y cuándo terminarás de observar. Esa frase hace que el cálculo responda una pregunta definida, en lugar de dejar que el resultado elija la pregunta.
Referencias
- El
NIST/SEMATECH e-Handbook: Quantitative Techniquesitl.nist.govIntroducción a los contrastes, alfa, errores, potencia y relevancia práctica. explica los fundamentos del contraste. - La documentación de
NIST Dataplot: Difference of Proportion Hypothesis Testitl.nist.govContraste normal de dos proporciones con estimación agrupada bajo H₀. presenta el estadístico del ejemplo. - La documentación de
SciPy: fisher_exactdocs.scipy.orgPrueba exacta de Fisher y sus supuestos para tablas de contingencia. describe una alternativa exacta para tablas 2 × 2. - La documentación de
SciPy: ttest_inddocs.scipy.orgComparación de medias independientes; equal_var=False activa Welch. explica la comparación de medias independientes. - El manual de
NIST: Analysis of paired observationsitl.nist.govContraste de la media de diferencias entre observaciones emparejadas. desarrolla el caso emparejado. - La
declaración de la ASA sobre valores pamstat.orgSeis principios de la ASA para interpretar y comunicar los valores p. (7 de marzo de 2016) fundamenta sus límites de interpretación. - La documentación de
statsmodels: confint_proportions_2indepstatsmodels.orgMétodos de intervalos para dos proporciones independientes, incluidos Wald y Newcombe. detalla los métodos de intervalos disponibles. - El artículo de
Simmons, Nelson y Simonsohn, False-Positive Psychologybitss.orgInvestigación original sobre flexibilidad de análisis y falsos positivos. (Psychological Science, 2011) examina el efecto de las decisiones de análisis no declaradas.