El internet humano tiene fecha de caducidad como fuente de entrenamiento para los modelos de lenguaje. Durante años la fórmula fue sencilla: más texto extraído de la red generaba sistemas más capaces, así que la respuesta natural ante cualquier limitación era añadir más datos. Ese planteamiento choca ahora con un límite físico y con un fenómeno mucho más sutil, conocido como colapso de modelo, que empieza a filtrarse en la industria del aprendizaje automático justo cuando el contenido generado por máquinas se mezcla sin distinción con el escrito por personas.

Un experimento de 1969 que explica el problema actual

En 1969 el compositor estadounidense Alvin Lucier grabó su propia voz leyendo un texto breve dentro de una habitación. Después reprodujo esa grabación con un altavoz, volvió a captarla con un micrófono y repitió el proceso decenas de veces, dejando que cada nueva grabación sirviera de origen para la siguiente. Al principio se distinguía perfectamente su voz. Con cada repetición, la acústica de la sala reforzaba ciertas frecuencias y difuminaba las demás, hasta que las palabras se disolvieron en un conjunto de tonos resonantes sin ningún rastro reconocible del habla original.

Nadie manipuló la grabación de forma maliciosa. Cada reproducción hizo exactamente lo que se le pedía. La pérdida apareció porque cada nueva versión trató a la anterior como si fuese la fuente original, cuando en realidad ya arrastraba una distorsión acumulada. Ese mecanismo, pensado como pieza artística hace más de cinco décadas, describe con bastante precisión lo que les puede ocurrir a los modelos de lenguaje entrenados de forma recursiva con datos generados por otros modelos.

Por qué el texto humano se está agotando

Los modelos actuales se construyeron absorbiendo una cantidad enorme de escritura humana: libros, artículos, foros, código, papers académicos y todo tipo de contenido disponible en la red abierta. Esa primera cosecha fue gigantesca, pero nunca infinita. Las personas generan contenido nuevo cada día, aunque a un ritmo muy inferior al que necesitan sistemas que procesan volúmenes masivos de información. Además, no todo texto disponible sirve: tiene que ser accesible, legal de usar, variado y suficientemente limpio como para enseñar algo útil al modelo.

Los investigadores de Epoch AI han calculado que, si la tendencia actual se mantiene, los modelos podrían haber agotado prácticamente todo el texto humano útil y disponible en la web pública entre 2026 y 2032, según el análisis publicado en arxiv.org. Esto no significa que internet se quede sin frases nuevas, sino que la estrategia de escalar mediante más datos deja de tener margen: ya no existe un segundo internet virgen esperando detrás del que ya se ha utilizado. La consecuencia directa es que las compañías empiezan a fabricar parte del material de entrenamiento de forma interna, generando contenido sintético a partir de sus propios modelos.

Los datos sintéticos no son el enemigo, pero exigen control

Los datos sintéticos no son, en sí mismos, un problema. Son útiles para enseñar formatos concretos, entrenar situaciones poco frecuentes o mejorar modelos pequeños a partir de la salida de modelos más potentes, siempre que exista revisión humana y verificación externa. El problema surge cuando ese material se mezcla de forma indiscriminada con el corpus original, sin etiquetar su procedencia, y el modelo empieza a aprender el mundo a partir de decisiones estadísticas tomadas por una versión anterior del mismo tipo de sistema. A partir de ese punto, la copia deja de complementar el original y empieza a sustituirlo poco a poco.

El colapso de modelo y la desaparición de los casos raros

Un equipo de investigadores de Oxford, Cambridge, Imperial College London, la Universidad de Toronto, el Vector Institute y la Universidad de Edimburgo publicó en 2024 un estudio en nature.com que describe este fenómeno como colapso de modelo: un proceso degenerativo en el que los sistemas generativos entrenados de forma recursiva con sus propios datos van olvidando la distribución real que representaban los datos originales. La fase inicial es la más engañosa, porque no parece un fallo evidente. Los sucesos poco probables desaparecen primero, así que el modelo puede seguir produciendo respuestas fluidas y coherentes mientras pierde capacidad para representar los casos poco comunes que están en los márgenes de la experiencia humana.

Con cada generación posterior, el sistema aprende de un mundo ya recortado por la generación previa, añade sus propios errores de muestreo y transmite una versión todavía más empobrecida hacia adelante. Con el tiempo, el modelo se aleja de la distribución original y se concentra en un conjunto cada vez más reducido de patrones dominantes. No se trata de un fallo puntual ni de una respuesta extraña aislada, sino de un deterioro estructural que ocurre generación tras generación de entrenamiento.

La red abierta se convierte en la propia sala de eco

El problema se agrava porque el contenido generado por modelos ya circula por la red abierta sin ningún tipo de etiqueta que lo distinga del escrito por personas. Aparece en descripciones de producto, resultados de búsqueda, publicaciones en redes sociales, páginas de atención al cliente, repositorios de código y artículos académicos. Esto no implica que cada frase sintética sea falsa o inútil, pero sí que resulta cada vez más difícil establecer la procedencia real del siguiente corpus de entrenamiento.

Un modelo que recopila texto de la web pública se encuentra cada vez con más frecuencia con lenguaje producido por otros modelos entrenados a partir de recopilaciones anteriores de esa misma web. La red se convierte, en la práctica, en la sala de Lucier: cada nueva pasada refuerza los patrones ya dominantes y difumina las excepciones minoritarias. Las defensas técnicas existen (conservar datos humanos verificados, rastrear el origen del material generado, pagar por corpus privados de calidad, usar evaluación experta), pero todas ellas comparten un mismo trasfondo económico: el recurso escaso ya no es el texto en sí, sino el texto con una relación verificable con el mundo que lo produjo, y verificar esa relación cuesta bastante más que rastrear una página web cualquiera.

Vertus plantea una alternativa a la fórmula de entrenar contra otro internet

Frente a este panorama, la startup Vertus presenta un enfoque distinto que evita depender de una nueva ronda masiva de entrenamiento sobre texto extraído de la web. La compañía describe su sistema como una Superinteligencia de Razonamiento Cognitivo, diseñada para desarrollar conocimiento estructurado y persistente a partir de interacciones reales en el entorno donde se utiliza. La idea central es que lo que el sistema aprende sobre una persona, un proyecto o un dominio concreto no se pierde al terminar la conversación ni se limita a pegarse como transcripción en el siguiente prompt.

Vertus llama a esa estructura persistente Memoria Cognitiva. Su función no es sustituir la evidencia externa ni convertir la información incorrecta en inofensiva, porque cualquier sistema sigue dependiendo de la calidad de lo que recibe. La diferencia está en que el desarrollo del sistema ya no depende exclusivamente de comprimir un corpus público cada vez más grande en un modelo fijo, con la esperanza de que esa compresión conserve todo lo relevante. Un sistema orientado a investigación acumula conocimiento específico del dominio a través del trabajo que realmente ejecuta, y un sistema orientado a un negocio concreto desarrolla comprensión estructurada de ese negocio a partir de sus propias interacciones, en lugar de partir cada vez de una fotografía estadística congelada del lenguaje.

Reflexiones adicionales

El problema de fondo no es solo que la web se quede sin páginas nuevas que rastrear. Es que la recursión ocurre de forma casi invisible mientras el resultado sigue sonando pulido y convincente. Ningún fallo evidente avisa del momento en que un modelo empieza a perder contacto con los casos minoritarios y las excepciones incómodas que forman parte de la experiencia humana real. Para cuando el problema se hace evidente en la salida del sistema, el deterioro ya llevaba generaciones de entrenamiento produciéndose por debajo de la superficie.

Esto no es una ley inevitable de la tecnología, sino la consecuencia de un diseño concreto: el de un modelo fijo que necesita devorar una copia cada vez mayor del pasado para aprender algo nuevo. Un sistema construido de otra manera, capaz de seguir aprendiendo de personas y trabajo reales a medida que avanza, no necesita volver a entrar en ese bucle. La pregunta que queda abierta para toda la industria es si el conocimiento humano seguirá siendo una fuente viva de la que los sistemas continúan aprendiendo, o si acabará convertido en un yacimiento finito que hay que extraer, copiar, comprimir y, tarde o temprano, sustituir por su propio eco.

12