Parte VII · Lo computable
N-gramas: predecir la siguiente palabra
Se construye sobre: Entropía e información, Probabilidad
Escribe en el celular “la tarde está nublada y va a” y mira lo que te sugiere el teclado. Muy probablemente llover. El teclado no sabe nada del clima, ni de Pereira, ni de ti. Lo que tiene es una cuenta: después de esas palabras, en los textos que vio, casi siempre venía esa otra. Adivinar la siguiente palabra resulta ser una pregunta de probabilidad condicional, y la forma más vieja y más honesta de responderla es contar.
Este capítulo es sobre esa cuenta. Sobre un matemático ruso que contó vocales en un poema, sobre cómo Claude Shannon fabricó un inglés falso cada vez más convincente y sobre cuánta información trae de verdad cada letra que escribimos. Y es también el camino más corto que conozco para entender qué hace, en el fondo, un modelo de lenguaje moderno.
Márkov cuenta vocales
En 1913 Andréi Márkov tomó las primeras veinte mil letras, más o menos, de Eugenio Oneguin, la novela en verso de Pushkin, y las clasificó en solo dos tipos: vocal o consonante. Luego contó. Encontró que la probabilidad de que una letra fuera vocal dependía mucho de la letra anterior: después de una vocal, otra vocal era bastante menos frecuente que después de una consonante. Las letras del ruso, como las del español, tienden a alternar.
Lo que Márkov quería mostrar no era nada sobre Pushkin. Unos años antes había introducido las cadenas que hoy llevan su nombre, sucesiones de resultados donde cada uno depende solo del anterior, para probar que la ley de los grandes números no necesita que los eventos sean independientes. El poema fue su ejemplo con datos reales: una cadena donde el pasado importa, pero solo un paso hacia atrás. Una cadena así se describe con una matriz de transición, y su comportamiento a la larga lo decide el vector que esa matriz deja quieto, el vector propio de valor propio uno: en el texto, la proporción de vocales a la que se acerca cualquier fragmento largo.

Qué es un n-grama
Un n-grama es una ventana de símbolos seguidos: letras o palabras. En “café” están los bigramas “ca”, “af” y “fé”, y los trigramas “caf” y “afé”. La probabilidad de un texto entero se puede escribir, sin aproximar nada, con la regla de la cadena: cada símbolo condicionado a todos los anteriores,
El problema es que “todos los anteriores” es demasiado: a la palabra quinientos de un texto la antecede una historia que nunca se repite. El modelo de n-gramas hace la apuesta de Márkov y olvida todo menos las últimas posiciones:
Con (bigramas) solo importa el símbolo anterior; con (trigramas), los dos anteriores. Y la estimación más natural de cada probabilidad es una frecuencia: cuántas veces vino “c” después de “ab”, dividido por cuántas veces apareció “ab”,
Eso es todo el modelo: una tabla enorme de probabilidades condicionales, una fila por contexto, cada fila sumando uno. Es una función que a cada contexto le asigna una distribución sobre lo que sigue, y es exactamente una cadena de Márkov cuyos estados son los contextos. Para escribir con ella basta lanzar, en cada paso, un dado cargado con los pesos de la fila que toca.
espurasierendor a la perentarde el ta qués llas la más quiebla a mucho exismon mucho endesperano y la na tar cuál co re el cua prece sistumbras la de enal viemo y la va nir u derra máquierena unada temporpre verra cómo c▌
Perplejidad 6,1: ante un texto que no leyó, el modelo duda como si tuviera unas 6 letras igual de probables en cada paso (de 31 posibles). En el texto que sí leyó, 2,28 bits por letra.
La máquina de arriba aprendió de unos pocos párrafos escritos para este capítulo, unos 3.200 caracteres (letras y espacios) sobre la niebla, el café y la lluvia de la tarde. No tiene diccionario ni gramática: solo la tabla. Mueve y mira cómo cambia la textura. Con sale una sopa de letras con la frecuencia correcta: muchas “a” y “e”, muchos espacios, nada pronunciable. Con aparecen sílabas (“anon corererespa a a qundes”). Con , palabras que casi existen: “la perentarde”, “quiebla”, “endesperano”. Con ya casi todo es español: “en la sorprende demasiado la montaña”.
El inglés falso de Shannon
Ese experimento tiene un antecedente ilustre. En Una teoría matemática de la comunicación, de 1948, el mismo artículo donde definió la entropía, Shannon construyó una escalera de aproximaciones al inglés. En el peldaño cero, las 26 letras y el espacio salen al azar, todas igual de probables. En el primero, cada letra sale con su frecuencia real. En el segundo, cada letra depende de la anterior; en el tercero, de las dos anteriores. Luego repitió la escalera con palabras: primero sueltas, con su frecuencia; luego en pares. Cada peldaño se parece más al inglés, y en el de pares de palabras aparecen trozos que casi se pueden leer.
No tenía un computador para hacer las tablas. Para los peldaños altos usó un truco: abría un libro en una página cualquiera, buscaba la última letra (o palabra) que había escrito, y anotaba la que la seguía en el libro. Luego abría otra página y buscaba esa. El libro hacía de tabla de probabilidades, porque la frecuencia con que algo sigue a algo en un texto largo es la probabilidad condicional estimada. La matemática de Márkov aparece en el artículo con nombre propio: Shannon modela una fuente de mensajes como un proceso de Márkov.
Cuánta información trae una letra
Si las 27 opciones fueran igual de probables, cada letra traería bits. Pero el idioma no es uniforme, y cada peldaño de la escalera reduce la sorpresa: con las frecuencias de las letras se baja a unos 4 bits, y cada letra de contexto que se agrega baja un poco más. La pregunta de fondo es a dónde llega eso cuando el contexto es todo el texto anterior. Esa es la entropía del idioma.
En 1951 Shannon la atacó con un experimento precioso: le mostraba a una persona un texto hasta cierto punto y le pedía adivinar la siguiente letra, y la siguiente, contando cuántos intentos necesitaba. Las personas somos un modelo de lenguaje excelente. A partir de esos conteos obtuvo cotas, y con contextos de muchas letras la entropía del inglés escrito le quedó del orden de un bit por letra (sus cotas iban, más o menos, de 0,6 a 1,3). Es decir: de los casi cinco bits que cabrían en cada letra, el idioma usa alrededor de uno. El resto es redundancia. Por eso el texto se comprime tan bien, como se ve en el capítulo de entropía e información, y por eso puedes leer una frase con letras borradas: esa redundancia es justo lo que protege un mensaje del ruido de un canal.
Entropía cruzada y perplejidad
¿Cómo se mide si un modelo es bueno? Se le da un texto que no vio y se mira cuánto se sorprende con él. Si el modelo asigna probabilidad a cada símbolo que efectivamente aparece, su sorpresa promedio es la entropía cruzada estimada sobre ese texto:
Es la misma cantidad que en el capítulo de entropía aparece como el costo de codificar los datos con la distribución equivocada, y por la misma razón nunca baja, en promedio y a la larga, de la entropía verdadera de la fuente (bajo supuestos razonables sobre ella, como que sus estadísticas no cambien con el tiempo). Por eso cada modelo mejor da una cota más ajustada de cuánta información hay en el idioma: el experimento de Shannon era eso, con personas en vez de tablas.
Hay una forma más intuitiva de leer ese número. Si se eleva al exponente, sale la perplejidad:
Un modelo con perplejidad 6 se sorprende, en promedio, como si en cada paso dudara entre seis opciones igual de probables. En la animación, el modelo sin memoria tiene una perplejidad de 14,6 sobre el texto nuevo (3,9 bits por letra), cuando lanzar letras al azar entre las 31 posibles daría 31. El de trigramas baja a 6,1 (2,6 bits por letra). Cada letra de contexto le ahorra dudas.
Lo que nunca se vio
Hasta ahí, la historia parece decir que más contexto siempre es mejor. No lo es, y la razón es aritmética. Con 31 símbolos hay casi un millón de contextos posibles de cuatro letras (), y el corpus de la animación tiene unos 3.200 caracteres. El modelo de encuentra en él 1.599 contextos distintos, la mayoría vistos una sola vez. Con palabras es peor: con un vocabulario de cincuenta mil palabras hay más de trigramas posibles, y casi ninguno aparecerá nunca en ningún texto. A eso se le llama dispersión: la tabla está casi toda vacía.
Y una casilla vacía es un desastre. Si el texto de prueba trae una combinación que el modelo nunca vio, la frecuencia le da probabilidad cero, la sorpresa es y la entropía cruzada de todo el texto se vuelve infinita. Le pasa ya al modelo de bigramas de la animación si no se le corrige. El arreglo más simple es de Laplace: sumarle uno a cada conteo antes de dividir,
donde es el tamaño del alfabeto. Nada queda en cero, y cada fila sigue sumando uno. Con tan poco texto, sumar uno resulta demasiado generoso con lo que nunca pasó, así que la animación suma una fracción, (la variante de Lidstone). Los sistemas serios usan esquemas más finos, que retroceden a un contexto más corto cuando el largo no tiene datos.
Memorizar no es aprender
Mira las dos barras de la animación para cada . Sobre el texto que el modelo leyó, la entropía cruzada baja siempre: 4,0, 3,0, 2,3, 1,8 y 1,7 bits por letra. Sobre el texto nuevo baja hasta los trigramas y luego sube: 3,9, 3,0, 2,6, 2,7 y 3,2. Con el modelo es excelente recitando lo que ya leyó y peor que el de trigramas frente a algo nuevo. De hecho, cada ventana de cinco letras que escribe está, tal cual, en su corpus: no inventa, copia y empalma. (Son cifras de un corpus de juguete; no dicen nada sobre el español en general, solo muestran la forma del problema.)
Es la misma trampa que aparece en el capítulo de redes neuronales: un modelo con demasiada capacidad para los datos que tiene los memoriza en vez de generalizar. La tabla de n-gramas no tiene ninguna noción de parecido. Para ella, “la tarde está nublada” y “la noche está nublada” son contextos tan distintos como cualquier otro par; lo que aprendió de uno no le sirve para el otro. Más datos ayudan, pero el número de contextos crece exponencialmente con y los datos no.
De la tabla a la red
Aquí está el puente honesto hacia los modelos de lenguaje de hoy. Hacen exactamente la misma pregunta: estiman y escriben eligiendo, paso a paso, una continuación probable. Y se entrenan con el mismo criterio: minimizar la entropía cruzada sobre una cantidad enorme de texto, es decir, sorprenderse lo menos posible con lo que de verdad viene después.
La diferencia está en cómo representan la función. En vez de una tabla con una casilla por contexto, usan una red neuronal con muchísimos parámetros, ajustados por descenso de gradiente. La red convierte el contexto en vectores donde contextos parecidos quedan cerca, y por eso lo que aprende de “la tarde está nublada” le sirve para “la noche está nublada”. La idea de estimar las probabilidades de un modelo de lenguaje con una red que aprende representaciones de las palabras se hizo conocida a comienzos de los años dos mil, con el trabajo de Yoshua Bengio y sus colaboradores; lo que vino después la llevó a contextos de miles de símbolos, imposibles para cualquier tabla.
Un detalle más: esos modelos no trabajan ni con letras ni con palabras sino con tokens, pedazos de palabra elegidos para que lo frecuente quede entero y lo raro se arme con piezas. Es un punto medio práctico: las letras dan contextos muy largos para decir poco, y las palabras dejan por fuera todo lo que no esté en el vocabulario.
Conviene no olvidar de dónde viene todo esto. Cuando construí Licitarus, la parte que redacta las respuestas es un modelo de lenguaje, y la decisión central fue no dejarlo responder de memoria sino condicionado a los fragmentos del pliego y de la norma que se encontraron antes. La razón está en este capítulo: un modelo que minimiza la entropía cruzada aprende lo que es probable que venga después, y lo probable no siempre es lo verdadero. Una perplejidad baja dice que el modelo conoce bien las costumbres del idioma, no que sepa qué es cierto.
Me gusta que la historia empiece con un hombre contando vocales a mano en un poema. Entre esa tabla de dos filas y una red que conversa hay más de un siglo de ingeniería, pero la pregunta es la misma, y también la vara con que se mide: dado lo que vino antes, ¿cuánto me sorprende lo que viene?