La inteligencia artificial ha experimentado un crecimiento espectacular gracias a modelos entrenados con cantidades ingentes de datos recopilados de Internet y cuidadosamente procesados. Sin embargo, algunos de los investigadores más influyentes del sector consideran que este enfoque podría haber alcanzado un punto en el que resulta necesario explorar alternativas. Richard Sutton, uno de los padres del aprendizaje por refuerzo, apuesta ahora por una idea diferente: desarrollar sistemas capaces de aprender directamente de su propia experiencia, igual que lo hacen los seres vivos. A través de Oak Lab, el investigador propone una arquitectura que permita construir agentes inteligentes que evolucionen continuamente mientras interactúan con el mundo, reduciendo al mismo tiempo la dependencia de enormes conjuntos de datos y del gigantesco consumo energético que caracteriza a los modelos actuales.

¿Y si la inteligencia artificial aprendiera como nosotros?

Durante los últimos años, el desarrollo de la inteligencia artificial ha estado dominado por un mismo esquema. Se recopilan millones —o incluso billones— de ejemplos de texto, imágenes, vídeos o sonidos, se filtran cuidadosamente y posteriormente se utilizan para entrenar grandes redes neuronales capaces de encontrar patrones en toda esa información. Gracias a este procedimiento han nacido los actuales modelos de lenguaje y los sistemas de generación de imágenes que hoy utilizan millones de personas.

Sin embargo, Richard Sutton lleva décadas defendiendo que este método no representa la forma en la que realmente surge la inteligencia. Según el investigador canadiense, los seres humanos y los animales no necesitan estudiar millones de ejemplos perfectamente etiquetados para aprender a caminar, hablar o manipular objetos. Lo consiguen experimentando continuamente con el entorno, cometiendo errores, corrigiéndolos y acumulando experiencia.

Esa filosofía constituye precisamente el núcleo del nuevo proyecto de Oak Lab, presentado en el artículo Learning from experience instead of curated datasets.. En lugar de entrenar modelos utilizando enormes bases de datos estáticas, el laboratorio propone desarrollar agentes capaces de aprender directamente mientras interactúan con el mundo real.

Oak Lab, mucho más que un laboratorio de investigación

Más que desarrollar un nuevo chatbot o un gran modelo de lenguaje, Oak Lab pretende diseñar una arquitectura completamente diferente para el aprendizaje automático. Su visión puede consultarse aquí, donde explican que todos los componentes del sistema deberían aprender de forma continua, adaptándose en tiempo real a las nuevas experiencias sin depender de fases independientes de entrenamiento y despliegue.

La idea supone romper con una de las bases sobre las que se sustenta actualmente la inteligencia artificial. Hoy en día los modelos se entrenan durante semanas o meses utilizando enormes centros de datos y, una vez terminado ese proceso, permanecen prácticamente congelados hasta que llega una nueva versión. Oak Lab quiere eliminar esa separación y permitir que el aprendizaje nunca se detenga.

El problema de depender de datos preparados

Uno de los argumentos más interesantes del artículo consiste en cuestionar la dependencia de los llamados curated datasets, es decir, conjuntos de datos cuidadosamente preparados por personas.

En muchas ocasiones estos datos eliminan el ruido, corrigen errores y seleccionan únicamente la información considerada útil. Aunque este procedimiento facilita el entrenamiento, también introduce un importante sesgo: el modelo aprende un mundo artificialmente limpio que rara vez coincide con la realidad.

Los investigadores de Oak Lab utilizan como ejemplo un flujo continuo donde únicamente un pequeño porcentaje de las observaciones contiene información verdaderamente útil mientras el resto corresponde a ruido aleatorio. Un algoritmo convencional intenta adaptar todos sus parámetros a todas las muestras recibidas, desperdiciando capacidad de cálculo en relaciones que en realidad no existen.

Desde un punto de vista técnico, el problema puede describirse como una asignación ineficiente del crédito (credit assignment). Cada actualización modifica miles o millones de parámetros aunque sólo una pequeña fracción haya contribuido realmente a la predicción obtenida.

Aprender modificando sólo lo necesario

La propuesta de Oak Lab consiste en que cada parámetro aprenda a una velocidad distinta.

En lugar de utilizar una única tasa de aprendizaje para toda la red neuronal, los algoritmos desarrollados por el laboratorio ajustan dinámicamente la importancia de cada conexión dependiendo de la información que aporta realmente.

En el artículo disponible aquí se describe cómo algoritmos derivados de Network Incremental Delta-Bar-Delta (NetworkIDBD) permiten que determinadas conexiones prácticamente dejen de modificarse mientras otras evolucionan mucho más deprisa cuando detectan señales relevantes.

Desde un punto de vista matemático, esto equivale a optimizar individualmente el learning rate de cada peso sin necesidad de intervención humana. Como consecuencia, el sistema converge más rápidamente, resulta menos sensible al ruido y aprovecha mejor la capacidad disponible de la red neuronal.

Del entrenamiento masivo al aprendizaje permanente

Actualmente, entrenar un gran modelo de lenguaje puede requerir decenas de miles de GPU funcionando simultáneamente durante varias semanas.

Cada iteración procesa enormes lotes (batches) compuestos por miles de ejemplos, obligando a mover continuamente grandes cantidades de datos entre memoria y procesadores.

Oak Lab propone exactamente lo contrario.

Su arquitectura trabaja con batch size igual a uno, es decir, cada nueva experiencia actualiza inmediatamente el modelo sin esperar a acumular miles de muestras.

Esta estrategia reduce drásticamente el tráfico de memoria, elimina la necesidad de almacenar gigantescos conjuntos de entrenamiento y convierte el aprendizaje en un proceso continuo.

Desde el punto de vista computacional, también disminuye el número de operaciones de entrada y salida, uno de los principales cuellos de botella de las arquitecturas actuales basadas en GPU.

El sueño de una IA que consuma como el cerebro humano

Uno de los aspectos más llamativos del proyecto es que su objetivo a largo plazo consiste en construir agentes con alrededor de un billón de parámetros capaces de aprender continuamente consumiendo aproximadamente 20 vatios.

La cifra resulta especialmente llamativa porque coincide con el consumo energético aproximado del cerebro humano.

Actualmente los grandes modelos de inteligencia artificial necesitan centros de datos cuyo consumo eléctrico se mide en megavatios durante las fases de entrenamiento. Reducir esa diferencia en varios órdenes de magnitud supondría un cambio radical tanto desde el punto de vista económico como medioambiental.

Naturalmente, se trata de un objetivo extremadamente ambicioso cuya viabilidad todavía está por demostrar.

Richard Sutton vuelve a desafiar las ideas establecidas

No es la primera vez que Sutton cuestiona el rumbo seguido por la inteligencia artificial.

Hace ya varios años formuló The Bitter Lesson, un ensayo convertido en referencia dentro del sector donde defendía que, históricamente, los mayores avances siempre habían llegado gracias al incremento de la capacidad de cálculo y al desarrollo de algoritmos generales, en lugar de mediante reglas diseñadas específicamente por expertos.

Ahora su propuesta va un paso más allá.

En lugar de aumentar simplemente el tamaño de los modelos o de recopilar más datos, plantea que la inteligencia artificial debería ser capaz de generar su propio conocimiento interactuando con el entorno.

En otras palabras, el sistema dejaría de limitarse a consumir información creada por los seres humanos para convertirse en un agente activo que aprende mientras actúa.

¿Qué papel desempeña el aprendizaje por refuerzo?

Toda esta estrategia gira alrededor del Reinforcement Learning o aprendizaje por refuerzo.

A diferencia del aprendizaje supervisado tradicional, donde el algoritmo conoce de antemano cuál debería ser la respuesta correcta, el aprendizaje por refuerzo únicamente recibe una recompensa cuando realiza una acción beneficiosa.

Con el paso del tiempo el agente descubre qué decisiones producen mejores resultados y modifica su comportamiento para maximizar esa recompensa acumulada.

Un camino prometedor, aunque todavía lleno de incógnitas

La propuesta de Oak Lab resulta enormemente atractiva desde el punto de vista conceptual, pero también plantea numerosos interrogantes.

Los grandes modelos actuales han demostrado una extraordinaria capacidad para resolver tareas complejas gracias precisamente a los gigantescos conjuntos de datos utilizados durante su entrenamiento. Sustituir completamente ese paradigma exigirá demostrar que los nuevos algoritmos son capaces de mantener la estabilidad del aprendizaje durante largos periodos de tiempo, evitar el denominado catastrophic forgetting y seguir mejorando continuamente sin necesidad de volver a entrenarse desde cero.

También será necesario comprobar cómo se comportan estos sistemas cuando interactúan con entornos extremadamente complejos y cambiantes, donde las recompensas pueden tardar mucho tiempo en aparecer y las decisiones correctas no siempre resultan evidentes.

Reflexiones finales

La aparición de Oak Lab no significa que los grandes modelos de lenguaje hayan llegado a su fin, pero sí pone sobre la mesa una cuestión muy interesante: ¿es realmente suficiente entrenar una inteligencia artificial leyendo todo Internet o será necesario que también aprenda viviendo sus propias experiencias?

Richard Sutton lleva más de cuarenta años defendiendo que la inteligencia surge de la interacción continua con el entorno y no únicamente del análisis de información almacenada. Su nuevo laboratorio representa el intento más ambicioso hasta la fecha para demostrar que esa idea puede hacerse realidad.

Si consigue alcanzar los objetivos que plantea, podríamos asistir a un cambio de paradigma comparable al nacimiento del deep learning. En lugar de construir modelos cada vez más grandes alimentados con cantidades crecientes de datos, la próxima generación de inteligencias artificiales podría evolucionar continuamente, aprender durante toda su vida útil y hacerlo, además, con un consumo energético extraordinariamente reducido. Todavía es pronto para saber si esa visión llegará a materializarse, pero pocas iniciativas recientes resultan tan sugerentes para imaginar cómo será la inteligencia artificial de la próxima década.