Parte VIII · Los datos
Aprendizaje automático
Se construye sobre: Estadística, Funciones
Nadie le escribió a tu correo una regla que diga qué es spam. Nadie le explicó a la cámara del celular qué forma tiene una cara. Alguien juntó miles de ejemplos ya marcados, este correo sí, este no, aquí hay una cara, aquí no, y un programa encontró solo la regla. Lo raro no es que acierte en los ejemplos que vio. Lo raro es que acierte en el correo que llegó esta mañana, que nunca había visto nadie.
Este capítulo es sobre esa rareza. Por qué algo que aprende de ejemplos puede acertar en casos nuevos, cuándo deja de hacerlo, y cómo se vigila la diferencia. Es la estadística llevada a otra escala: el objetivo ya no es estimar un número de la población, sino predecir el caso que viene.
Aprender es ajustar una función
Lo que el programa busca es una función que a cada entrada (un correo, una foto, el historial de ventas de una tienda) le asigne una salida (spam o no, cara o no, las ventas de la semana que viene). No la busca entre todas las funciones posibles, sino dentro de una familia que alguien eligió de antemano: las rectas, los polinomios de cierto grado, los árboles de decisión, las redes neuronales de cierta forma. Esa familia, la clase de hipótesis, es la primera decisión y quizá la más importante. Dentro de ella, aprender es elegir la función que menos se equivoca en los ejemplos :
A se le llama riesgo empírico: el error promedio en los datos que tienes. Cómo se encuentra el mínimo depende de la familia. En una red neuronal se baja por la pendiente con el gradiente, como cuento en su capítulo. Para un polinomio y error al cuadrado hay algo mejor: una solución exacta. Buscar los coeficientes que hacen lo más parecido posible a los datos es proyectar el vector de datos sobre el espacio que generan las columnas de , una pregunta de pura álgebra lineal. Se llama mínimos cuadrados, y es el ajuste que hace la animación de abajo.
Quince puntos
El experimento es de juguete y lo digo de entrada: los datos los fabrica el programa, con semilla fija, a partir de una curva suave a la que le suma ruido de desviación 0,2. Los números que salen no son evidencia de nada sobre el mundo; sirven para ver un mecanismo. Hay quince puntos de entrenamiento, los únicos que el modelo ve, y sesenta de prueba que salen de la misma curva y el mismo ruido pero que el modelo nunca toca. Mueve el grado del polinomio:
- entrenamiento (15)
- prueba (60, el modelo no los ve)
- polinomio ajustado
Abajo: el error típico (raíz del error cuadrático medio, escala logarítmica) para cada grado. Azul, en los datos de entrenamiento; ámbar, en los de prueba.
grado 1 · error de entrenamiento 0,469 · error de prueba 0,469
Subajuste: la curva es demasiado rígida para la forma de los datos; falla parecido en los puntos que vio y en los que no.
Con grado 1, una recta, el error típico es 0,47 en los dos grupos: el modelo es tan rígido que no alcanza a seguir la forma de la curva, y se equivoca parecido en lo que vio y en lo que no. Eso es subajuste. Con grado 4 el error de prueba llega a su mínimo, cerca de 0,26, no muy lejos del 0,2 del ruido, que es un piso que ningún modelo puede romper porque el ruido no se puede predecir. Sigue subiendo el grado y pasa lo interesante: el error de entrenamiento baja siempre (con más coeficientes nunca se ajusta peor), pero el de prueba empieza a subir. En grado 12, con trece coeficientes para quince puntos, el error de entrenamiento es 0,057, bastante menos que el ruido mismo, y el de prueba es 2,04, casi ocho veces el mínimo. El polinomio se dobló para pasar cerca de cada punto, con su ruido incluido, y entre los puntos y en los bordes se dispara. Eso es sobreajuste: un error de entrenamiento por debajo del ruido es la señal de que el modelo aprendió el ruido.
Esa curva en U del error de prueba es probablemente el dibujo más importante de todo el oficio. Y fíjate que ningún número calculado con los datos de entrenamiento te la muestra: la U solo aparece si guardaste datos aparte.
Sesgo y varianza
Hay una forma precisa de decir qué pasa en los dos extremos. Supón que los datos vienen de , donde es ruido independiente de media cero y varianza , y que repites el entrenamiento con muchas muestras distintas . Para un punto fijo y error al cuadrado, el error esperado se parte en tres pedazos:
El sesgo mide cuánto se equivoca el modelo en promedio, aunque le dieras infinitas muestras: la recta tiene mucho sesgo, porque ninguna recta es una curva. La varianza mide cuánto cambia el modelo si le cambias la muestra: el polinomio de grado 12 tiene muchísima, porque cada puñado distinto de quince puntos lo haría doblarse de otra forma. Bajar uno suele subir el otro, y el mejor modelo es el que equilibra la suma. Ojo con la palabra: este “sesgo” es un término técnico del error, distinto del sesgo de los datos del que hablo más abajo.
Atar al modelo
Una salida es elegir el grado con cuidado. Otra es dejar el grado alto pero castigar al modelo por usar coeficientes grandes. Eso es la regularización. La versión de la animación, que se conoce como ridge, minimiza
donde los son los coeficientes del polinomio escrito en una base de polinomios de Legendre (la constante no se castiga). Activa el botón y vuelve a grado 12: el error de prueba baja de 2,04 a 0,28, casi el del mejor grado, mientras el de entrenamiento sube un poco. Le cambiaste un poco de sesgo por mucha menos varianza. Hay muchas otras formas de atar a un modelo: parar el entrenamiento antes de que memorice, apagar al azar neuronas de una red mientras aprende, o el suavizado de los n-gramas, que reparte un poco de probabilidad a lo que nunca se vio para no creerse del todo los conteos. Todas dicen lo mismo: no le creas del todo a tu muestra.
Datos que el modelo nunca ve
Hay una trampa sutil en lo anterior. Si miro los sesenta puntos de prueba para escoger el grado y después reporto ese mismo error de prueba como lo que el modelo va a lograr en el mundo, hice trampa: los usé para decidir, y ya no son datos que el modelo no haya visto. Por eso en la práctica se separan tres grupos: entrenamiento para ajustar, validación para escoger entre modelos y prueba, que se abre una sola vez al final.
Cuando hay pocos datos, apartar tantos duele. La validación cruzada lo resuelve rotando: parte los datos en pedazos, entrena con y mide en el que quedó afuera, repite con cada pedazo y promedia. Con datos en el tiempo hay que tener aún más cuidado, porque barajar mezcla el futuro con el pasado y el modelo termina “prediciendo” con información que no tendría. Ahí se entrena con lo anterior a una fecha y se valida con lo posterior, corriendo esa fecha varias veces. En las notas que tomé cuando trabajaba con series de tiempo ese esquema aparece con su nombre de oficio, backtesting, y es de lo primero que hay que entender antes de creerle a un pronóstico. Su primo peligroso es la fuga de datos: una columna que, sin que nadie lo note, ya trae escondida la respuesta. Un modelo con fuga se ve brillante en validación y fracasa el primer día en producción.
Por qué funciona, cuando funciona
Queda la pregunta del principio: por qué un buen desempeño en los datos de entrenamiento debería decir algo sobre los nuevos. La respuesta de la teoría del aprendizaje tiene dos ingredientes que se pueden decir en una línea: más datos y modelos más simples.
El primero es el de la ley de los grandes números, con cifras. Si los ejemplos son independientes y salen de la misma distribución que los casos futuros, y la pérdida está entre 0 y 1, para una función fijada de antemano la desigualdad de Hoeffding da
donde es el error verdadero, el promedio sobre todos los casos posibles. Pero nosotros no fijamos de antemano: la escogimos mirando los datos, justo la que mejor les va. El segundo ingrediente arregla eso. Si la familia tiene un número finito de funciones, sumando el riesgo de todas, con probabilidad al menos se cumple para todas a la vez que
Léela despacio porque ahí está todo. La brecha entre lo que ves y lo que vas a obtener se achica con y crece con el tamaño de la familia, aunque solo como un logaritmo. Una familia enorme puede ajustar casi cualquier cosa, también el ruido, y por eso que le vaya bien en los datos dice menos. Para familias infinitas, como los polinomios con coeficientes reales, el tamaño se mide de otra forma, con nociones como la dimensión de Vapnik y Chervonenkis, que cuentan cuántos patrones distintos puede imitar la familia. La idea es la misma, y es una versión matemática de la navaja de Ockham que también se puede contar en bits, como en entropía e información: un modelo que se describe corto y explica mucho probablemente encontró algo.
Dos advertencias honestas. Las cotas de este tipo suelen ser muy pesimistas para los modelos enormes de hoy, que generalizan mucho mejor de lo que ellas garantizan; entender por qué es un problema abierto. Y todo descansa en la hipótesis de que el futuro sale de la misma distribución que el pasado. Cuando el mundo cambia (llega una pandemia, cambia una ley, otra tienda abre en la esquina) la garantía se evapora sin avisar. Ninguna teoría del aprendizaje resuelve el viejo problema de la inducción; solo cuantifica cuánto apostamos a que el mundo siga pareciéndose a sí mismo, una pregunta que vive en qué es saber.
Contar bien los aciertos
Para clasificar, el error al cuadrado no es la medida natural. Lo usual es que el modelo devuelva una probabilidad y que un umbral, por defecto 0,5, la convierta en un sí o un no. Al compararlo con la realidad salen cuatro casillas, la matriz de confusión: verdaderos positivos, falsos positivos, falsos negativos y verdaderos negativos. De ahí salen las métricas. La exactitud es la fracción de aciertos, y engaña cuando las clases están desbalanceadas: si el 1 % de las transacciones es fraude, un modelo que dice siempre “no es fraude” acierta el 99 % y no sirve para nada. Por eso se miran la sensibilidad (de los positivos reales, cuántos atrapé) y la precisión (de los que marqué como positivos, cuántos lo eran), que se mueven en sentidos contrarios cuando corres el umbral. Es la misma tensión de la prueba médica del capítulo de probabilidad: con una enfermedad rara, hasta una prueba buena da muchos falsos positivos.
Si recorres todos los umbrales posibles y dibujas la tasa de verdaderos positivos contra la de falsos positivos, sale la curva ROC. El área bajo esa curva tiene una lectura limpia: es la probabilidad de que, tomando un positivo y un negativo al azar, el modelo le dé un puntaje más alto al positivo. Vale 0,5 si el modelo adivina y 1 si ordena perfecto. Pero el umbral final no lo escoge la curva; lo escoge cuánto cuesta cada error. Dejar pasar un fraude y bloquear a un cliente honesto no cuestan lo mismo, y esa decisión es del negocio, no del modelo.
El modelo aprende lo que le das
Un modelo es un espejo muy fiel de su muestra. Si los datos con los que se entrenó un sistema para filtrar hojas de vida vienen de años en que una empresa contrató casi solo hombres, el sistema puede aprender que ser hombre predice ser contratado, y lo aprende muy bien. Si las fotos de entrenamiento casi no tienen pieles oscuras, el modelo se equivocará más con ellas. Y si las predicciones cambian el mundo que después se vuelve dato (a quién se le presta, dónde se patrulla), el sesgo se retroalimenta. Ninguna de esas fallas aparece en la matriz de confusión si la prueba sale de la misma muestra torcida. Por eso hay que medir el desempeño por grupos, preguntar quién falta en los datos y decidir qué errores son aceptables y para quién, que son preguntas de ética antes que de código.
Del cuaderno a producción
En un curso, el aprendizaje automático termina cuando el error de prueba sale bonito. En la práctica, ahí empieza. Los datos hay que sacarlos de algún lado y limpiarlos, casi siempre de bases de datos que no se diseñaron para esto; el modelo hay que ponerlo a responder en un sistema real, y después hay que vigilarlo, porque el mundo se mueve y los datos de hoy se alejan de los del entrenamiento. A ese oficio de mantener modelos vivos se le dice MLOps. Las herramientas de AutoML, como DataRobot, automatizan una parte enorme del trabajo: prueban decenas de familias de modelos, ajustan sus perillas y los comparan con validación bien hecha. Lo que no pueden automatizar es lo de antes y lo de después: qué pregunta vale la pena hacer, si los datos la responden y qué hacer con la respuesta. Una IA que cita la ley, por ejemplo, se mide menos por lo bien que redacta que por si la fuente que cita existe.
Vuelvo a los quince puntos. Lo que más me gusta de esa animación es que el mejor modelo no es el que mejor explica lo que ya pasó, sino el que renuncia a explicarlo del todo. Aprender, para una máquina y quizá para cualquiera, es saber qué parte de la experiencia es forma y qué parte es ruido, y tener la disciplina de no memorizar el ruido.