Parte VII · Lo computable
Una IA que cita la ley
Se construye sobre: Redes neuronales
Un pliego de condiciones de una licitación pública en Colombia puede tener cien, doscientas páginas, más los anexos, más las adendas que llegan después. La persona que lo lee casi nunca tiene tiempo para leerlo entero, y casi siempre quiere saber una sola cosa: ¿me puedo presentar? ¿Mi empresa cumple lo que piden? ¿Qué póliza tengo que comprar? ¿Hasta cuándo tengo?
Construyendo Licitarus, una plataforma que lee esos pliegos y los cruza con la ley de contratación y con el perfil de cada empresa, aprendí más sobre lo que significa que una máquina “entienda” un texto que en todos los cursos que había hecho antes. Este capítulo es lo que me quedó. No es un manual del producto. Es la parte de la historia que creo que vale para cualquiera que quiera usar una IA para algo donde equivocarse cuesta.
El problema de las palabras
La forma más vieja de buscar es por palabras. Escribes “póliza” y el sistema te trae los textos donde aparece “póliza”. Funciona sorprendentemente bien muchas veces, y falla de una forma muy particular: el pliego no dice “póliza”, dice “garantía de seriedad de la oferta”. O dice “amparo”. Quien lo redactó y quien lo busca están hablando de lo mismo con palabras distintas, y una búsqueda literal no tiene cómo saberlo.
Peor todavía: a veces trae lo que no es. Si preguntas “¿hasta cuándo puedo presentar la oferta?”, la palabra “oferta” aparece en la garantía de seriedad de la oferta, que no tiene nada que ver con fechas. Y la frase que sí responde, “fecha de cierre para presentar ofertas”, la búsqueda literal solo la encuentra de rebote, por “presentar”, y la pone al mismo nivel que la garantía, porque “ofertas” en plural no cuenta como “oferta”. Las palabras son la superficie del significado, y buscar por la superficie tiene esos límites.
Frases como puntos
La idea que lo cambia todo es convertir cada texto en un punto. Un embedding es una función que a cada fragmento de texto le asigna una lista de números, un vector:
con del orden de cientos o miles. Esa función no la escribe nadie a mano: es una red neuronal entrenada con cantidades enormes de texto para que frases que se usan en contextos parecidos queden cerca, y frases que no tienen que ver queden lejos. Después del entrenamiento pasa algo que todavía me parece notable: la distancia en ese espacio se comporta como una distancia de significado. “Póliza que respalda la propuesta” y “garantía de seriedad de la oferta” no comparten ni una palabra importante, y quedan una al lado de la otra.
Para medir qué tan cerca están dos frases se suele usar el ángulo entre sus vectores más que la distancia entre las puntas. Es la similitud coseno:
Vale si los dos vectores apuntan exactamente en la misma dirección, si son perpendiculares y si son opuestos. No le importa el largo de las flechas, solo hacia dónde miran. Buscar por significado es, entonces, convertir la pregunta en un vector y quedarse con los fragmentos cuyo vector forma el ángulo más pequeño con ella.
Doce frases de un pliego, convertidas en flechas de juguete en dos dimensiones. Elige una pregunta: la flecha oscura es la pregunta, los anillos marcan las 3 frases que apuntan en la dirección más parecida.
Por significado · coseno
- 1. Póliza que respalda la propuesta 1,00
- 2. Garantía de seriedad de la oferta 0,99
- 3. Amparo de cumplimiento del contrato 0,98
Por palabras · anillo punteado
- Póliza que respalda la propuesta
- Fecha de cierre para presentar ofertas · otro tema
Los vectores están puestos a mano para el ejemplo. En dos dimensiones el coseno solo mira el ángulo: el largo de cada flecha no cambia quién es vecino de quién.
Lo que acabas de ver es de juguete: dos dimensiones y vectores puestos por mí para que se entienda. Uno de verdad tiene cientos de dimensiones y nadie sabe decir qué significa cada una. Pero la mecánica es la misma, y la pregunta por la plata muestra la idea: no comparte una sola palabra con “índice de liquidez” ni con “capital de trabajo”, y aun así, en un espacio bien entrenado, quedaría junto a ellas, como aquí (estos vectores de juguete los puse a mano para mostrarlo).
Hay una imagen que me ayuda a no endiosar esto. Tu ojo hace algo parecido con la luz: un espectro entero, con energía repartida en infinitas longitudes de onda del espectro electromagnético, se resume en lo que responden tres tipos de conos. Tres números. Esa compresión conserva justo lo que nos sirve para distinguir colores y tira todo lo demás, tanto que dos luces físicamente distintas pueden verse idénticas. Un embedding también comprime: guarda lo que su entrenamiento consideró importante y descarta el resto. Dos textos pueden quedar cerca por razones que a ti no te importan, y lejos por un detalle que a ti sí. Como en el capítulo de medida, la similitud no es una propiedad de los textos: es una manera de medirlos, y alguien la eligió.
Lo literal también importa
La primera lección de constructor me la dio el propio uso. Cuando empecé, pensé que la búsqueda por significado iba a reemplazar a la de palabras. No fue así. Hay preguntas donde lo literal es exactamente lo que se quiere: alguien pega el código de un proceso, el nombre de una entidad, el número de un artículo. Ahí la cercanía semántica estorba, porque trae cosas “parecidas” cuando la persona quería esa y solo esa. Lo que terminó funcionando fue una búsqueda híbrida: las dos señales al tiempo, con la coincidencia exacta mandando cuando la hay y el significado rellenando alrededor. Ninguna de las dos maneras de medir es la correcta; cada una ve cosas que la otra no ve.
Buscar antes de hablar
Un modelo de lenguaje, el tipo de red que conversa, produce texto eligiendo en cada paso una continuación probable. Es una máquina de probabilidad muy sofisticada, y eso explica su virtud y su defecto. Escribe con fluidez porque aprendió cómo suele continuar el lenguaje. Y puede afirmar cosas falsas con la misma fluidez, porque “probable” y “verdadero” no son lo mismo. Si le preguntas qué dice el numeral 4.2 de un pliego que nunca leyó, te va a dar una respuesta que suena a lo que diría un pliego.
La salida es no dejarlo responder de memoria. Primero se busca: se parte el pliego en fragmentos, se calcula el embedding de cada uno, y ante una pregunta se recuperan los fragmentos más cercanos,
Después se le entregan al modelo la pregunta y esos fragmentos, y se le pide que responda con base en ellos y en nada más. En vez de generar a partir de la pregunta sola, genera condicionado a lo que se encontró:
A eso se le dice RAG, generación aumentada por recuperación. En Licitarus la recuperación mira en dos lugares a la vez: el pliego del proceso y un corpus con el marco legal de la contratación pública colombiana, empezando por la Ley 80 de 1993, el estatuto general de contratación; la Ley 1150 de 2007, que entre otras cosas separó los requisitos que habilitan a un proponente (se cumplen o no se cumplen) de los factores que se califican con puntaje; y el Decreto 1082 de 2015, que reúne la reglamentación. Y del otro lado está la empresa: su Registro Único de Proponentes, el RUP, con su experiencia y sus indicadores financieros.
Un detalle que parece técnico y no lo es: cómo se parte el texto. Un fragmento que dice “el proponente deberá acreditar un índice mayor o igual a 1,2” no sirve si se perdió de qué capítulo y de qué numeral venía. Cortar un documento legal es parecido a citarlo: cada pedazo tiene que llevar consigo la dirección de dónde salió.
Por qué la cita es lo que importa
Aquí está, para mí, el centro de todo. Una respuesta que muestra de dónde sale cambia de naturaleza. Ya no es una afirmación que tienes que creer; es una afirmación que puedes revisar. Cada vez que el sistema afirma algo, por ejemplo cuánto debe cubrir la garantía de seriedad, al lado aparece un marcador que te lleva al fragmento exacto del pliego donde lo dice, o al artículo de la norma. Si el fragmento no dice eso, lo ves en dos segundos.
Conviene ser honesto sobre lo que la cita no hace. No garantiza que la respuesta sea correcta: el modelo puede leer mal un fragmento, o citar uno que no sostiene lo que afirma. Lo que garantiza es que el error, si lo hay, queda a la vista. Esa es la diferencia entre confiar en alguien y poder verificarlo, y en un proceso donde se juega mucho dinero es toda la diferencia. Por eso trato cada marca de cita como algo que tiene que resolverse a un fragmento real; una cita que no apunta a nada no es un detalle de formato, es un error.
Esto se conecta con una pregunta que me interesa mucho más allá de las licitaciones: qué cuenta como real, o al menos qué cuenta como sabido. Una afirmación con fuente puede ser discutida, comparada, corregida. Una afirmación sin fuente solo puede ser creída o no creída. La ciencia funciona con la primera clase. Quería que la herramienta también.
La IA redacta; las cuentas se hacen aparte
La última lección fue la más simple y la que más me costó aceptar. Hay preguntas que no son de lenguaje. Si el pliego pide un índice de liquidez mínimo y la empresa tiene otro en su RUP, saber si cumple es comparar dos números. No hace falta una red neuronal para eso, y pedírselo a una es invitar al error. Lo que funcionó fue separar: un código común y corriente, determinístico, que se puede probar, decide qué cumple y qué no; y el modelo de lenguaje solo redacta la explicación sobre esos hechos ya calculados, con sus citas.
Visto desde lejos, eso resume lo que pienso hoy de estas herramientas. Son extraordinarias para leer, para encontrar lo parecido, para explicar en palabras humanas. No son buenas para ser la fuente de la verdad. El trabajo de quien las construye es ponerlas en el lugar donde su fuerza sirve, rodearlas de cosas que se puedan verificar y no pedirles que adivinen lo que se puede calcular. Una IA que cita la ley no es una IA que sabe la ley. Es una IA que te muestra dónde mirar, y te deja a ti la última palabra.