Teoría del todo

Parte VII · Lo computable

Redes neuronales

en cursoÚltima actualización: 23 de octubre de 2026 · Primera versión del capítulo

Se construye sobre: Funciones

Si abro mi vault de notas y busco cuál es la más conectada, la que más flechas recibe y más flechas manda, sale una que se llama Neural Network. Durante un tiempo pensé que era porque las redes neuronales están de moda. Ahora creo que es por otra razón: una red neuronal es un lugar donde se cruzan casi todas las cosas que me gustan. Hay funciones, hay cálculo, hay probabilidad, hay una idea vieja sobre cómo funciona el cerebro y hay una pregunta filosófica incómoda sobre qué significa aprender.

Lo que quiero hacer en este capítulo es quitarle el misterio sin quitarle la gracia. La versión corta es esta: una red neuronal es una función con muchísimas perillas, y entrenarla es dejar que la propia función descubra hacia dónde girar cada perilla para equivocarse un poco menos. Todo lo demás es detalle. Pero el detalle es precioso.

Una neurona es una suma con opinión

Empecemos por la pieza más pequeña. Imagina que quieres decidir si salir a trotar. Miras varias cosas: si está lloviendo, cuántas horas dormiste, si tienes una reunión temprano. No todas pesan igual. La lluvia pesa mucho y en contra; haber dormido bien pesa a favor. Sumas todo eso, cada cosa multiplicada por cuánto te importa, y si el total pasa de cierto umbral, sales.

Eso es una neurona artificial. Recibe unos números , los multiplica por unos pesos , les suma un sesgo (qué tan dispuesta está de entrada a decir que sí) y pasa el resultado por una función de activación :

La parte de adentro es un producto punto, una suma ponderada. La activación es la “opinión”: decide cómo responder a esa suma. Una de las clásicas es la tangente hiperbólica,

que aplasta cualquier número real al intervalo : los valores muy negativos quedan cerca de , los muy positivos cerca de , y en el medio hay una zona donde la respuesta cambia rápido. Es la versión suave del umbral “salgo o no salgo”. Tiene un defecto que tengo anotado desde hace años: en los extremos es casi plana, su derivada se acerca a cero, y eso, como vamos a ver, hace que la red aprenda muy despacio cuando sus neuronas se saturan. Por eso hoy se usan mucho activaciones más simples, como la ReLU, , que no se aplana del lado positivo.

El nombre de “neurona” viene de una analogía con las neuronas biológicas, que reciben señales de muchas otras y disparan si la suma pasa un umbral. La analogía viene de los años cuarenta (McCulloch y Pitts, 1943) y a finales de los cincuenta dio el primer modelo que aprendía, el perceptrón de Rosenblatt; pero conviene no tomársela muy en serio: una neurona de tu cerebro es muchísimo más complicada que esta fórmula. Lo que tienen en común es la idea de sumar evidencias y reaccionar.

Fotografía en blanco y negro de una máquina del tamaño de varios armarios, con paneles de cables, interruptores y medidores, y una cámara sobre un trípode al frente; rótulos en inglés señalan sus partes
El Mark I Perceptron, la máquina construida para el perceptrón de Rosenblatt, en su manual de operación de 1960. La cámara del trípode le mostraba las imágenes; los gabinetes del centro guardan sus «unidades de asociación», las neuronas hechas de cables y circuitos.Foto: John C. Hay y Albert E. Murray · Dominio público · Wikimedia Commons

Capas: funciones metidas dentro de funciones

Una sola neurona hace poco. La gracia está en ponerlas en fila. Una capa es un montón de neuronas que miran las mismas entradas, cada una con sus propios pesos. Si las juntamos, la capa entera se escribe con una matriz y un vector :

y la red completa es la composición de varias capas, la salida de una es la entrada de la siguiente:

Aquí es el nombre de todas las perillas juntas: todos los pesos y sesgos de todas las capas. En los modelos grandes de hoy son miles de millones de números. Pero fíjate en que no hay nada nuevo: es exactamente la composición de funciones del capítulo de funciones, solo que repetida muchas veces.

La activación no es un adorno. Si la quitaras, cada capa sería una transformación lineal (más un desplazamiento), y la composición de transformaciones lineales es otra transformación lineal. Cien capas sin activación valen lo mismo que una. Es la pequeña curvatura de lo que permite que, al apilar, la red pueda doblar el espacio en formas cada vez más complicadas. Hay un resultado clásico, el teorema de aproximación universal, que dice que una red con una sola capa oculta y suficientes neuronas (con activaciones como la sigmoide o la tangente hiperbólica) puede aproximar tanto como uno quiera cualquier función continua sobre una región cerrada y acotada. Es un teorema de existencia: promete que la función está ahí, en algún lugar del espacio de perillas. No dice cómo encontrarla.

Medir qué tan mal lo hacemos

Para encontrarla, primero hay que decidir qué significa “hacerlo bien”. Tenemos ejemplos: pares , una foto y lo que hay en ella, una frase y su traducción, una casa y su precio. Para cada ejemplo comparamos lo que la red responde, , con lo que debería responder, , y promediamos los errores. Eso es la función de pérdida:

Una elección típica para números es el error al cuadrado, . Para clasificar, cuando la red devuelve probabilidades, lo usual es : castigar a la red según qué tan poca probabilidad le dio a la respuesta correcta. Minimizar eso es lo mismo que buscar los parámetros que hacen más verosímiles los datos, una idea que viene directamente de la probabilidad, y su promedio tiene un nombre que viene de la teoría de la información: la entropía cruzada, prima de la sorpresa de un mensaje.

Aquí aparece una idea que me persigue por todo este libro. La pérdida es una decisión sobre qué estamos midiendo. La red no aprende “a ver” ni “a entender”: aprende a bajar ese número. Si el número mide algo torcido, la red aprende algo torcido, y lo aprende muy bien. Elegir la pérdida es elegir qué cuenta como acierto.

Bajar una montaña con niebla

Ahora imagina que la pérdida es un paisaje. Cada posición de las perillas es un punto del terreno, y la altura en ese punto es qué tan mal lo hace la red. Queremos llegar al fondo del valle. El problema es que hay una niebla espesa: no vemos el valle, no vemos nada a más de un metro. Lo único que podemos hacer es sentir con los pies hacia dónde está inclinado el piso justo donde estamos.

La estrategia obvia es dar un paso cuesta abajo, volver a sentir el piso, dar otro paso, y así. Eso es el descenso de gradiente. El gradiente es el vector que apunta hacia donde la pérdida sube más rápido; nosotros caminamos en sentido contrario:

El número es la tasa de aprendizaje: el largo del paso. Pruébalo con la neurona más pequeña que se me ocurre, una sola perilla y una recta que intenta pasar cerca de unos puntos.

Juega · bajar la montaña con niebla

Una neurona con una sola perilla, w, intenta que la recta y = w·x pase cerca de los puntos. Arriba ves la recta; abajo, la pérdida para cada posición de la perilla.

xy012w
Tasa de aprendizaje:

paso 0 · w = 0,000 · pérdida = 2,473

La recta empieza plana (w = 0). Da un paso y mira hacia dónde se mueve la bolita.

Si jugaste con las tres tasas habrás visto las tres personalidades del descenso. Con una tasa pequeña baja, pero tarda una eternidad. Con una justa llega al fondo en pocos pasos. Con una grande pasa algo que al principio parece absurdo: el gradiente apunta en la dirección correcta, y aun así la bolita sale volando. Cada paso es tan largo que cruza el valle y aterriza más arriba en la ladera del frente.

En este ejemplo se puede ver exactamente por qué. La pérdida es una parábola, , su curvatura es la misma en todas partes, y si llamamos al fondo del valle, un paso hace esto con la distancia al fondo:

Cada paso multiplica el error por . Si ese número tiene tamaño menor que uno, el error se encoge y llegamos; eso pasa cuando . Si se pasa de , el factor es menor que : el error cambia de signo y crece en cada paso. Ese es el salto de lado a lado que viste. En una red de verdad el paisaje no es una parábola y la curvatura cambia de un lugar a otro, pero la lección sobrevive: un paso demasiado largo no es un paso más rápido, es un paso que no sabe dónde va a caer.

Cómo sabe cada perilla hacia dónde girar

Con una perilla, calcular la pendiente es fácil. Con mil millones, la pregunta es cómo saber, para cada una, cuánto cambiaría la pérdida si la movemos un poquito. La respuesta es la regla de la cadena, la regla para derivar funciones compuestas:

Como la red es una composición de capas, la derivada de la pérdida con respecto a un peso de la primera capa es un producto de derivadas, una por cada capa que hay entre ese peso y la salida. El algoritmo que hace esa cuenta de forma eficiente, de la salida hacia atrás, reutilizando lo ya calculado, se llama retropropagación (backpropagation). Es solo la regla de la cadena bien organizada.

Y aquí vuelve el defecto de la tangente hiperbólica. Si muchas neuronas están saturadas, cada una aporta a ese producto una derivada cercana a cero, y un producto de muchos números pequeños es un número diminuto. Las primeras capas casi no reciben señal y casi no aprenden. Se le dice el problema del gradiente que se desvanece, y buena parte de la ingeniería de las redes modernas (otras activaciones, mejores inicializaciones, conexiones que saltan capas) es una pelea contra él.

Aprender no es memorizar

Hay una trampa en todo lo anterior. Una red con suficientes perillas puede bajar la pérdida casi a cero simplemente memorizando los ejemplos, como un estudiante que se aprende de memoria las respuestas del taller sin entender el tema. En el examen, con preguntas nuevas, se estrella.

Lo que de verdad queremos no es que la red acierte en los ejemplos que vio, sino en los que va a ver. Si pensamos que los datos salen de una distribución , la pérdida que nos importa es el promedio sobre todo lo posible, no sobre lo que tenemos a mano:

Esa es una integral contra una medida de probabilidad, exactamente el tipo de objeto del capítulo de medida. El problema es que no la conocemos; solo tenemos muestras. Entrenar es minimizar el promedio sobre las muestras con la esperanza de que se parezca al promedio de verdad. Para vigilar esa esperanza se aparta un pedazo de los datos que la red nunca ve durante el entrenamiento, y se mide ahí. Cuando la pérdida de entrenamiento sigue bajando pero la de esos datos apartados empieza a subir, la red dejó de aprender y empezó a memorizar.

Por eso digo que cuando una red “aprende” lo que encontró es una función que generaliza: que se porta bien en lugares del espacio donde no tenía ejemplos. Por qué estas redes enormes, con muchas más perillas que datos, generalizan tan bien como lo hacen es, honestamente, una pregunta que la teoría todavía no termina de responder. Me gusta que así sea. Es uno de esos lugares donde la práctica va por delante de la explicación.

Hacia dónde cruza esto

Las redes que mejor ven imágenes usan un truco con un parecido lejano a cómo está organizado nuestro sistema visual: pequeños filtros que miran solo un pedacito de la imagen y se repiten por toda ella, y capas que van combinando bordes en formas y formas en objetos. El ojo empieza ese trabajo mucho antes, en la retina, con los conos y los bastones. Y las redes que leen texto convierten cada frase en un punto de un espacio donde la cercanía quiere decir parecido de significado, la idea sobre la que construí una IA que cita la ley.

Lo que me queda, después de todo esto, es una frase sencilla. Una red neuronal no tiene adentro nada que no hayamos visto ya: sumas, una función que dobla, composición, una medida del error y una derivada para saber hacia dónde bajar. Lo asombroso no es ninguna de las piezas. Es que, repetidas suficientes veces, con suficientes ejemplos, alcancen para que una función aprenda a ajustarse sola.