Parte VIII · Los datos
Estadística
Se construye sobre: Probabilidad, Medida
Imagina que estás en un bar con diez amigos y cada uno gana unos dos millones de pesos al mes. Entra alguien que gana mil millones. Nadie en la mesa se volvió más rico, pero el “ingreso promedio” del bar acaba de pasar de dos millones a casi noventa y tres. Si mañana un periódico dijera que en ese bar se gana, en promedio, una fortuna, no estaría mintiendo en las cuentas. Estaría mintiendo con ellas.
Tengo una nota vieja de estadística sobre justamente esto, la metáfora de Bill Gates en un bar, y cada vez que leo una cifra en las noticias me acuerdo de ella. Este capítulo es sobre el oficio de sacar conclusiones de datos sin hacerse trampa: qué resume bien un montón de números, cuánto se puede confiar en una muestra y qué significan de verdad palabras como “intervalo de confianza” o “estadísticamente significativo”, que se usan mucho más de lo que se entienden.
El camino de vuelta
La probabilidad va del modelo a los datos: si el dado es justo, ¿qué tan seguido debería salir seis? La estadística hace el viaje contrario: salieron estos números, ¿qué puedo decir del dado? Es un problema inverso, y por eso es más difícil y más honesto. Nunca vemos el modelo; vemos lo que dejó caer.
Las palabras importan aquí. La población es todo aquello sobre lo que quieres hablar: todos los hogares de Colombia, todas las piezas que saldrán de una fábrica, todos los lanzamientos posibles del dado. La muestra es lo que de verdad tienes: unos cuantos hogares encuestados, cien piezas revisadas, sesenta lanzamientos. Un parámetro es un número de la población (la media verdadera, que no conoces); un estadístico es un número que calculas con la muestra para estimarlo. Toda la disciplina vive en la distancia entre los dos. La palabra misma viene del alemán Statistik, que en el siglo XVIII nombraba la descripción de un Estado: su territorio, su población, sus recursos; el sentido de ciencia de la variabilidad llegó después.
El centro, y por qué el promedio engaña
Para resumir datos lo primero que uno hace es buscar un centro. La media es el promedio de toda la vida, y la mediana es el valor que queda en la mitad cuando los ordenas:
La media es la versión de los datos del valor esperado, el centro de gravedad que vimos como una integral contra una medida: aquí la medida le da peso a cada dato. Y como todo centro de gravedad, se deja arrastrar por un peso lejano. En el bar, once personas: diez con 2 millones y una con 1.000. La media es millones; la mediana sigue en 2. Un solo dato movió la media cuarenta y tantas veces y no movió la mediana nada.
Esto no es un caso raro inventado para asustar. Los ingresos, el tamaño de las ciudades, las ventas de los libros o los seguidores en redes tienen colas largas: muchos valores modestos y unos pocos enormes. En distribuciones así la media queda por encima de lo que vive la mayoría, y por eso los estudios serios de ingresos suelen reportar la mediana. Ninguna de las dos está “bien”: responden preguntas distintas. La media te dice cuánto habría si se repartiera todo por igual; la mediana, cómo le va a la persona del medio. Elegir cuál mostrar es, otra vez, elegir qué se está midiendo.
Cuánto se alejan del centro
Dos ciudades pueden tener la misma temperatura media y climas muy distintos: en una siempre hace 20 grados; en la otra, 5 de noche y 35 de día. Lo que las separa es la dispersión. La forma más usada de medirla es la varianza, el promedio de las distancias al centro elevadas al cuadrado, y su raíz, la desviación estándar, que vuelve a quedar en las unidades de los datos:
El en vez de tiene una razón concreta: los datos están, en promedio, más cerca de su propia media que de la media verdadera , y dividir por corrige exactamente ese encogimiento cuando los datos son independientes. Con eso el valor esperado de es la varianza verdadera . Se dice que el estimador es insesgado.
La campana que aparece sola
La distribución normal, la campana de Gauss, tiene una densidad que depende solo de dos números, su media y su desviación :
En una normal, cerca del 68 % de la masa queda a menos de una desviación del centro, cerca del 95 % a menos de dos (más exactamente, 1,96) y casi todo, el 99,7 %, a menos de tres. Lo curioso es que la campana aparezca en tantos lugares que no tienen nada que ver entre sí. La razón principal es un teorema.
La ley de los grandes números dice que el promedio de muchas observaciones se acerca a la media verdadera. El teorema central del límite dice algo más fino: cómo se reparte el error de ese promedio. En su versión clásica: si son independientes, todas con la misma distribución, con media y varianza finita y mayor que cero, entonces
(la flecha es un límite, aunque de distribuciones y no de números). Es decir, para grande el promedio se reparte casi como una normal centrada en con desviación . No importa la forma de la distribución de partida, siempre que cumpla las hipótesis. Y las hipótesis no son decorativas: si la varianza es infinita, como en la distribución de Cauchy, el promedio no se calma nunca, y si los datos dependen fuertemente unos de otros, el deja de ser la cuenta correcta. Mira cómo pasa:
- promedios observados
- normal con media μ y desviación σ/√n
- Media de los promedios
- 1,019 (μ = 1,000)
- Su desviación
- 1,022 (σ/√n = 1,000)
- Asimetría
- 1,83
- Intervalos «95 %» que atrapan μ
- —
Con n = 1 cada «promedio» es una sola observación: el histograma es la distribución de partida. Y con un solo dato no hay cómo estimar la dispersión, así que no se puede armar un intervalo.
Empieza con la exponencial y : ahí el histograma es la distribución de partida, pegada a la izquierda y con una cola larga a la derecha, nada que ver con la campana dibujada encima. Con la semilla inicial su asimetría sale cerca de 1,8 (la teórica es 2). Sube a y la asimetría baja a casi 0,4, la campana ya abraza el histograma y la desviación de los promedios sale 0,185, muy cerca de la teórica . Prueba con el dado: con dos lanzamientos el promedio ya tiene forma de triángulo, y con diez parece una campana. Fíjate también en el ancho: para que la campana se haga la mitad de angosta hay que cuadruplicar . Esa raíz cuadrada es la razón por la que precisión extra cuesta tanto.
Qué significa un 95 %
Con el teorema en la mano se puede construir un intervalo de confianza para la media. Tomas una muestra, calculas su promedio y su desviación, y reportas
Lo delicado es qué quiere decir el “95 %”. No quiere decir que haya un 95 % de probabilidad de que la media verdadera esté en este intervalo que acabas de calcular. En la lectura clásica, la media es un número fijo y desconocido: o está adentro o no está. Lo que tiene probabilidad es el procedimiento. Si repitieras la encuesta muchas veces, cada vez con una muestra nueva, cerca del 95 % de los intervalos que fabricarías atraparían a . El 95 % es la tasa de acierto de la red, no del pescado que sacaste. (Existe otra escuela, la bayesiana, que sí asigna probabilidades al parámetro; sus intervalos se llaman de credibilidad y requieren declarar una creencia previa, como en el capítulo de probabilidad.)
La animación cuenta exactamente eso en su última línea: de cada muestra arma un intervalo y mira cuántos atrapan la media verdadera. Con la semilla inicial, para sale alrededor del 94–95 % con cualquiera de las tres distribuciones, como promete la teoría. Pero con la exponencial y el intervalo “del 95 %” acierta apenas cerca del 81 % de las veces, y aun con se queda en torno al 91 %. Dos cosas fallan a la vez: con pocas observaciones es un estimador ruidoso (para eso se inventó la distribución t de Student, que ensancha el intervalo cuando la muestra es chica y los datos son aproximadamente normales), y con datos sesgados la campana todavía no llegó. Un porcentaje de confianza es una promesa que depende de sus hipótesis.
Hay una tercera falla que ningún cálculo arregla: que la muestra no represente a la población. Si encuestas solo a quienes contestan el teléfono fijo a media mañana, puedes tener un millón de respuestas y un intervalo angostísimo alrededor de un número equivocado. El reduce el error aleatorio, no el sesgo. Por eso el muestreo al azar es el corazón del asunto: es lo que le da derecho al teorema a hablar.
El valor p y sus malentendidos
Una prueba de hipótesis es un argumento por contradicción con probabilidades. Supones una hipótesis de nada interesante, la hipótesis nula (la moneda es justa, el medicamento no hace nada, las dos versiones de la página venden lo mismo), y preguntas qué tan raro sería, si fuera cierta, ver datos tan extremos como los que viste o más. Esa probabilidad es el valor p:
Si lanzas una moneda cien veces y salen 61 caras, el valor p (a dos colas) da alrededor de 0,035: si la moneda fuera justa, algo así de desbalanceado pasaría más o menos tres veces y media de cada cien. Por convención, muchos campos llaman “significativo” a un valor p menor que 0,05. Y aquí empiezan los malentendidos, tan frecuentes que en 2016 la Asociación Estadística Estadounidense publicó una declaración solo para aclararlos:
El valor p no es la probabilidad de que la hipótesis nula sea cierta. Es una probabilidad sobre los datos suponiendo la hipótesis, no sobre la hipótesis dados los datos; confundir las dos es el mismo error de la prueba médica que da positivo, el de invertir una condicional que explica Bayes. Tampoco mide el tamaño del efecto: con suficientes datos, una diferencia minúscula e irrelevante da un p diminuto. “Significativo” en estadística quiere decir “difícil de atribuir al azar”, no “importante”. Y un p mayor que 0,05 no demuestra que no haya efecto; puede que la muestra fuera muy chica para verlo. Por último, si haces veinte pruebas sobre cosas que no tienen ningún efecto, esperas en promedio que una salga “significativa” por pura suerte. Quien prueba muchas hipótesis y solo cuenta las que salieron está fabricando hallazgos.
Correlación no es causalidad
La última herramienta del kit básico mide si dos variables se mueven juntas. El coeficiente de correlación de Pearson tiene una lectura geométrica preciosa: si centras los datos (les restas su media) y los ves como dos vectores de componentes, la correlación es el coseno del ángulo entre ellos:
Vale 1 si apuntan igual, −1 si apuntan al revés y 0 si son perpendiculares. Es la misma cuenta del coseno con la que una IA que busca leyes compara frases. Y mide solo relaciones lineales: dos variables pueden depender por completo una de la otra, como y en datos simétricos alrededor de cero, y tener correlación cero.
Lo más importante es lo que no dice. En los meses calurosos se venden más helados y también hay más ahogados, y nadie cree que los helados ahoguen: hay una tercera variable, el calor, que empuja a las dos. Una correlación puede venir de que A cause B, de que B cause A, de una causa común, de cómo se escogió la muestra o del azar. Para separar esas posibilidades la herramienta más limpia es el experimento aleatorizado: si el azar decide quién recibe el tratamiento, ninguna tercera variable puede estar decidiéndolo a escondidas. Cuando no se puede experimentar, hay métodos para razonar sobre causas con datos observados, pero todos exigen supuestos explícitos sobre cómo funciona el mundo. Los datos solos no traen la flecha de la causa pintada.
Pensar con datos
De aquí en adelante, la estadística se vuelve muchas cosas. Cuando los modelos crecen hasta tener miles de perillas y el objetivo deja de ser estimar un parámetro para pasar a predecir casos nuevos, se convierte en aprendizaje automático, que hereda todos los problemas de este capítulo, empezando por el de la muestra que no representa. Cuando los datos viven en tablas enormes, la pregunta de qué se guarda y cómo se consulta es de bases de datos. Un índice como el de la inflación es, en el fondo, un promedio ponderado cuidadosamente diseñado, con todas las decisiones de qué pesa cuánto que eso implica. Y la termodinámica estadística es el caso extremo en que el teorema central del límite trabaja a escala de billones de billones de partículas, y por eso la temperatura de un vaso de agua casi no fluctúa.
Pero lo que me quedo de la estadística no es una fórmula. Es una disciplina de humildad: decir cuánto sabes y también cuánto no, con un número. Un promedio sin su dispersión, un porcentaje sin su muestra o un hallazgo sin su valor p (y sin saber cuántas pruebas se hicieron) son afirmaciones a medio hacer. Qué cuenta como evidencia suficiente para creer algo es una pregunta vieja de la filosofía, la de qué es saber, y la estadística es una de las respuestas más prácticas que se le han dado. También tiene su lado moral: decidir qué datos recoger, a quién contar y a quién dejar fuera de la muestra es una decisión de ética antes que de matemáticas. El multimillonario sigue en el bar. La pregunta es si vas a dejar que el promedio hable por todos.