Teoría del todo

Parte VIII · Los datos

Datos: cómo sacamos información

en cursoÚltima actualización: 26 de octubre de 2026 · Primera versión del capítulo

Se construye sobre: Medida, Entropía e información

Imagina una celda de una hoja de cálculo que dice 37. Nada más. ¿Es un dato?

Todavía no. Treinta y siete ¿qué? ¿Grados? ¿Años? ¿Pedidos? Supón que te digo que son grados Celsius. Mejor, pero sigue siendo poco: ¿de quién, o de qué? ¿Medidos cuándo, con qué termómetro, en la boca o en la axila? Treinta y siete grados de una persona un martes en la mañana es una temperatura normal; treinta y siete grados de una nevera es una nevera dañada. El número es el mismo. Lo que cambia es todo lo demás.

Este capítulo abre la parte del libro dedicada a los datos, y empieza por ahí: por lo que hace falta para que un número diga algo, y por las maneras, muchas y muy humanas, en que los mismos números pueden contar historias opuestas.

Un número con su contexto

Un dato es una medición con contexto: un valor, más la respuesta a qué se midió, a quién o a qué, cuándo y cómo. Sin eso el valor flota. En el capítulo de medida la pregunta de fondo era decir bien qué se está midiendo; un dato es esa pregunta ya respondida y anotada al lado del número. Y como toda medida, viene de una elección previa: alguien decidió que eso valía la pena registrar, y lo que nadie decidió medir simplemente no aparece en la tabla. Lo que medimos termina pareciendo lo que existe.

Cuando hice el programa de ciencia de datos de Platzi Master, el primer proyecto arrancaba con un conjunto de datos público de Kaggle: las órdenes de un marketplace brasileño de comercio electrónico, con más de cien mil registros. En mis notas de esa sesión quedó una línea en negrita: el objetivo número uno es conocer el contexto de los datos. Antes de cualquier gráfico o modelo: qué negocio es, de qué periodo, qué representa cada fila, qué se anonimizó y cómo. Una respuesta que puedes rastrear hasta su origen es la misma obsesión de una IA que cita la ley: sin procedencia, un dato es un rumor con decimales.

Cuatro escalas, cuatro gramáticas

No todos los números se dejan tratar igual. En 1946 el psicólogo Stanley Smith Stevens propuso clasificar las mediciones en cuatro escalas, según qué operaciones tienen sentido sobre ellas.

Nominal: los valores solo nombran. El número de la camiseta de un futbolista, el código de un departamento, el tipo de sangre. Lo único que puedes preguntar es si dos son iguales o distintos; sumar dos camisetas no da nada. El resumen que tiene sentido es la moda, la categoría más frecuente. Ordinal: los valores tienen orden pero no distancia. Las estrellas de una reseña, el puesto en una carrera, “nada, poco, mucho”. Entre la primera y la segunda pudo haber un segundo o una hora. Aquí ya tiene sentido la mediana. De intervalo: las diferencias significan algo, pero el cero es una convención. La temperatura en grados Celsius: de 10 a 20 grados sube lo mismo que de 20 a 30, pero 20 grados no es “el doble de calor” que 10. La media tiene sentido. De razón: hay un cero de verdad, el que significa ausencia. La masa, la distancia, los ingresos, la temperatura en kelvin (cuyo cero es el de la termodinámica). Aquí, y solo aquí, decir “el doble” es decir algo.

Lo elegante de la idea de Stevens es que se puede decir con funciones. Cada escala tiene un grupo de transformaciones que no le cambian el contenido, y una afirmación tiene sentido si sobrevive a todas ellas:

Pasar de Celsius a Fahrenheit es una transformación de intervalo, . Los 10 y 20 grados se vuelven 50 y 68: el “doble” desaparece, así que nunca fue una afirmación sobre el calor, sino sobre la escala. La clasificación tiene críticos (en la práctica se promedian encuestas ordinales todo el tiempo), pero como pregunta de control funciona: antes de sacar un promedio, pregúntate si sobrevive a un cambio de escala.

La pregunta va primero

Un análisis tiene un ciclo que, contado en orden, suena así: una pregunta, unos datos que podrían responderla, la limpieza de esos datos, la exploración, un modelo y, al final, la comunicación. En la vida real es un ir y volver: la exploración cambia la pregunta y el modelo revela que faltaban datos. Pero la pregunta va primero. Sin ella no sabes qué datos buscar, qué cuenta como un valor raro ni cuándo terminar, y lo que se encuentra por casualidad en un millón de filas es casi siempre ruido: el problema de las veinte pruebas de hipótesis que estadística advierte.

Datos ordenados

Hay una forma de organizar una tabla que ahorra la mitad de los dolores de cabeza. En 2014 Hadley Wickham la llamó datos ordenados (tidy data): cada variable es una columna, cada observación es una fila y cada tipo de unidad observada va en su propia tabla. Parece obvio hasta que abres una hoja de cálculo real, con los meses como columnas, dos variables metidas en una misma celda (“Pereira-2024”) o subtotales mezclados con los datos. El propio Wickham lo presentó como la versión, en lenguaje estadístico, de la normalización de Codd que se cuenta en bases de datos: decir cada cosa una sola vez y en su lugar.

Es una afirmación común en el oficio que la limpieza y la preparación se comen la mayor parte del trabajo. En una charla de Platzi Master sobre problemas reales de aprendizaje automático anoté un caso que lo ilustra: un proyecto de mantenimiento predictivo con los registros de miles de máquinas de imágenes médicas, en el que, según contaron, hubo dos años de ingeniería de datos y apenas dos meses de modelo. Los registros eran semiestructurados y muchos eventos ocurrían en el mismo instante. Antes de aprender algo, había que lograr que cada fila significara una sola cosa.

Lo que falta, y por qué falta

Una celda vacía no es un cero. Es la ausencia de una medición, y la pregunta importante es por qué falta. La estadística distingue tres casos, en la clasificación que sale del trabajo de Donald Rubin de 1976. Si falta completamente al azar (un sensor que se quedó sin batería un día cualquiera, un paquete que se perdió en una red LoRa), lo que queda sigue siendo una muestra justa, solo más chica. Si falta al azar dado lo que sí ves (los jóvenes contestan menos la encuesta, pero sabes la edad de todos), se puede corregir. Y si falta por razones que dependen del propio valor (los que ganan más son los que no declaran su ingreso), el hueco tiene forma, y rellenarlo con el promedio es inventar una respuesta que sesga todo lo que viene después. Incluso en el caso bueno, rellenar con el promedio encoge la dispersión: los datos inventados son todos iguales.

Cuando trabajé con series de tiempo en DataRobot, había dos reglas antes de modelar: que no hubiera dos registros de la misma serie en el mismo instante y que no hubiera huecos; la herramienta sugería completarlos antes de entrenar. Cómo se completan, y si tiene sentido hacerlo, es una decisión sobre el mundo, no sobre la tabla (en series de tiempo se ve por qué el orden del tiempo cambia todas las reglas).

Mirar antes de modelar

En 1977 John Tukey publicó Exploratory Data Analysis, un libro que defendía algo que hoy suena obvio y entonces no tanto: antes de confirmar hipótesis hay que explorar, mirar los datos con herramientas sencillas para ver qué tienen. De ese espíritu viene el diagrama de caja, que él popularizó: la mediana, los cuartiles y los puntos que se salen de lo esperado, que muchas veces dicen más que el resto.

El argumento más famoso a favor de mirar lo dio Francis Anscombe en 1973. Armó cuatro conjuntos de once puntos con estadísticas casi idénticas: en los cuatro la media de es 9, su varianza 11, la media de es 7,50, la correlación cerca de 0,816 y la recta de mínimos cuadrados . Y dibujados no se parecen en nada: una nube razonable, una curva perfecta, una recta con un punto que la desvía, y un montón de puntos en una misma vertical con uno solo lejos que fabrica toda la correlación. En 2017 Justin Matejka y George Fitzmaurice llevaron la broma al extremo: partiendo de un dinosaurio dibujado con puntos por Alberto Cairo, el Datasaurus, generaron una docena de figuras (una estrella, círculos, rayas) con las mismas medias, desviaciones y correlación hasta el segundo decimal. Los resúmenes comprimen, y al comprimir botan información; el dibujo es lo que te dice qué botaron. Cómo dibujar bien es el tema del capítulo siguiente, visualizar datos.

El total que miente

Ahora el caso más desconcertante. En 1986 un estudio de Charig y colegas comparó dos tratamientos para cálculos renales: la cirugía abierta (A) y una técnica percutánea, menos invasiva (B), con 350 pacientes cada uno. En total, B tuvo éxito en el 83 % de los casos y A en el 78 %. B gana. Pero separa a los pacientes por el tamaño de la piedra: con piedras pequeñas, A acierta el 93 % y B el 87 %; con piedras grandes, A el 73 % y B el 69 %. A gana en los dos grupos y pierde en el total.

Juega · la paradoja de Simpson
Ver:
0 %50 %100 %78 %83 %todos los pacientes

A · cirugía abiertaB · percutánea

A gana en piedras pequeñas (93 % contra 87 %) y en grandes (73 % contra 69 %), y aun así pierde en el total: 78 % contra 83 %. Hay paradoja: A se llevó la mayoría de los casos difíciles.

Con este reparto de B, A gana en el total solo si más del 47,6 % de sus pacientes tienen piedras pequeñas.

No hay error de cuentas. Mira la vista por grupo: el truco está en el reparto. A recibió sobre todo piedras grandes, los casos difíciles (263 de sus 350 pacientes), y B sobre todo pequeñas (270 de 350). La tasa total de cada tratamiento es un promedio de sus dos tasas, pesado por cuántos pacientes cayeron en cada grupo:

Con chico, el promedio de A se pega a su tasa de piedras grandes; con grande, el de B se pega a la de pequeñas. Mueve los deslizadores: si los dos tratamientos reciben el mismo reparto, la paradoja desaparece y A gana también en el total. Con el reparto real de B, a A le basta con que algo más del 47,6 % de sus pacientes tengan piedras pequeñas. Esto se llama paradoja de Simpson, por el estadístico Edward Simpson, que la describió en 1951 (otros la habían notado antes).

El ejemplo más citado viene de las admisiones de posgrado de la Universidad de California en Berkeley en 1973. En el agregado, los hombres eran admitidos en mayor proporción que las mujeres (cerca del 44 % frente al 35 %). Cuando Peter Bickel y sus colegas lo analizaron por departamento, en un artículo de 1975, la mayoría de los departamentos no mostraba sesgo contra las mujeres, y varios lo mostraban levemente a favor. La diferencia venía de a dónde se postulaba cada quien: las mujeres se presentaban más a los departamentos que admitían a pocos.

¿Cuál de las dos lecturas es la verdadera? Los datos solos no lo dicen. En las piedras, el tamaño influye a la vez en qué tratamiento se elige y en cómo sale, así que hay que comparar dentro de cada grupo. Pero si la variable por la que separas fuera una consecuencia del tratamiento, separar sería esconder justamente su efecto. Judea Pearl ha insistido en que decidir eso exige un modelo de causas, que es la otra cara de que correlación no es causalidad.

Los que no llegaron

Hay un sesgo todavía más silencioso: el de los datos que nunca llegaron a la tabla. En la Segunda Guerra Mundial, el matemático Abraham Wald trabajó en un grupo de investigación estadística en Columbia, y uno de sus problemas fue estimar qué tan vulnerables eran las partes de un avión a partir del daño de los que volvían. La versión que suele contarse simplifica sus memorandos, pero la idea es exactamente esa: los huecos de bala que ves están en los aviones que sobrevivieron, así que las zonas sin huecos son las que, probablemente, tumbaron a los que no volvieron. Blindar donde hay huecos es blindar lo que ya aguanta.

Es el sesgo de supervivencia, un caso del sesgo de selección, y está por todas partes: los consejos de las empresas que lo lograron (las que hicieron lo mismo y quebraron no dan entrevistas), los registros parroquiales que permiten armar un árbol genealógico (de quien no dejó papeles no queda rama). Incluso una base pública tan rica como la de la contratación estatal muestra lo que se registró, no todo lo que pasó. Antes de preguntar qué dicen los datos conviene preguntar quién no está en ellos. Es la misma pregunta que hace aprendizaje automático cuando un modelo aprende la muestra torcida que le dieron.

De datos a sabiduría, y por qué la pirámide cojea

En los cursos de gestión y de datos circula una pirámide: abajo los datos, encima la información, luego el conocimiento y en la punta la sabiduría. Se le dice DIKW por sus iniciales en inglés, y su versión más citada es la de Russell Ackoff, de 1989. La intuición es útil: un número suelto vale poco, un número con contexto responde una pregunta, y saber qué hacer con muchas respuestas es otra cosa.

Pero como teoría tiene críticos serios (uno de los más citados es Martin Frické, en 2009). Sugiere que los datos son materia prima neutral que se refina hacia arriba, y ya vimos que cada dato carga las decisiones de quien lo midió. Y usa la palabra “información” en un sentido que no es el de Shannon. En entropía e información, la información es sorpresa: cuánto reduce un mensaje tu incertidumbre, sin importar lo que signifique. Una cadena de letras al azar tiene la máxima entropía y ningún significado; un modelo de n-gramas mide la sorpresa de un texto sin entender una palabra. La información de la pirámide es otra: significado para alguien con una pregunta. Y el paso siguiente tampoco es apilar: que una creencia verdadera llegue a ser conocimiento exige justificación, y eso no sale de sumar filas.

Lo que los números no dicen solos

Si tuviera que resumir el capítulo en una línea sería esta: los datos no hablan; responden. Responden la pregunta que les haces, en la escala en que fueron medidos, con sus huecos y sus ausentes. El resto de esta parte construye sobre eso: la visualización para mirar, la estadística para no engañarse con el azar (con la probabilidad debajo), las bases de datos para guardarlos, las series de tiempo cuando el orden importa y el aprendizaje automático para predecir.

Y una cosa más, que no es técnica: casi todos los datos que importan son de alguien. Cada fila de una tabla de pacientes, de compradores o de postulantes es una persona que no está en la sala cuando se decide qué hacer con ella; por eso la pregunta por los datos termina siendo también una pregunta de ética.