Ejecutar modelos de lenguaje en una Raspberry Pi 5 ha dejado de ser un experimento de aficionado para convertirse en una alternativa real a los servicios de IA en la nube. Un desarrollador ha documentado durante tres meses el funcionamiento de un agente autónomo capaz de escribir código, gestionar correo electrónico y desplegar aplicaciones web, todo ello con inferencia local y sin pagar un solo euro en llamadas a API. El proyecto demuestra que un SBC, combinado con modelos cuantizados y el software adecuado, puede sustituir a servicios como OpenAI en tareas de complejidad moderada. A continuación repasamos el hardware necesario, los modelos que realmente funcionan en un equipo con memoria limitada y los pasos para poner en marcha un servidor de inferencia propio en casa.

Por qué apostar por la inferencia local

El motivo económico es evidente. Octopi (el autor del proyecto) gastaba entre 40 y 60 dólares mensuales en llamadas a la API de OpenAI para alimentar su agente personal. Cada revisión de código, cada resumen de texto y cada consulta se facturaba por token consumido. A eso se suma la cuestión de la privacidad: cualquier correo o archivo procesado por el agente viajaba hasta servidores de terceros antes de obtener una respuesta. La Raspberry Pi 5 cambia esa ecuación. Por unos 80 euros se obtiene un ordenador capaz de ejecutar modelos de lenguaje cuantizados a una velocidad suficiente para uso interactivo. No compite con GPT-4 en velocidad ni en calidad, pero resulta más que aceptable para un asistente de programación, un resumidor de textos o un flujo de trabajo automatizado que no requiera razonamiento avanzado.

El hardware que marca la diferencia

La configuración recomendada parte de la Raspberry Pi 5 con 8 GB de RAM, descartando la versión de 4 GB salvo para modelos muy pequeños. El almacenamiento es el punto donde más se nota la diferencia de rendimiento: una tarjeta microSD tarda más de 30 segundos en cargar un modelo de 4 GB, frente a los 3 segundos que tarda un SSD NVMe conectado mediante una base compatible con el conector PCIe de la placa. Además, la tarjeta SD sufre un desgaste acelerado con las escrituras constantes que implica cambiar de modelo con frecuencia, hasta el punto de quedar inutilizable en apenas dos meses de uso intensivo. Un disipador activo oficial resulta igualmente imprescindible, ya que la Raspberry Pi 5 sufre limitación térmica agresiva por encima de los 80 grados centígrados, lo que reduce la frecuencia de reloj hasta 1 GHz y hunde el rendimiento de generación de tokens a apenas 3 o 4 por segundo.

Ollama como motor de inferencia

Para ejecutar los modelos en arquitectura ARM, la referencia del sector es Ollama, la herramienta que se ha convertido en estándar de facto para desplegar modelos GGUF cuantizados en Linux embebido. Se instala con una sola línea de terminal, se registra como servicio systemd y arranca automáticamente en cada reinicio del sistema. Expone además una API compatible con el formato de OpenAI en el puerto 11434, lo que permite apuntar cualquier herramienta ya preparada para trabajar con la API comercial hacia el servidor local sin modificar el código de la aplicación. Bastan un par de comandos para exponer ese servicio al resto de la red doméstica, sustituyendo la escucha por defecto en localhost por una dirección accesible desde otros equipos.

Los modelos que realmente funcionan con memoria limitada

Aquí está el matiz técnico más relevante del proyecto. Muchas guías recomiendan modelos que suenan atractivos sobre el papel pero que agotan la memoria en una placa con 8 GB de RAM. Las pruebas propias sitúan el modelo Llama 3.2 de 3.000 millones de parámetros como el punto óptimo: ocupa unos 2 GB en disco, consume alrededor de 4 GB de RAM en reposo y ofrece entre 12 y 15 tokens por segundo, una cifra que se traduce en una experiencia de chat fluida aunque bastante alejada de los 40-60 tokens por segundo habituales en servicios en la nube. Para tareas de programación, la variante especializada Qwen2.5-Coder de 3.000 millones de parámetros ofrece mejores resultados al comprender con más precisión la sintaxis de Python y JavaScript. Con solo 4 GB de RAM disponibles conviene recurrir a modelos de 1.000 millones de parámetros, que dejan una ventana de contexto de más de 16.000 tokens frente a los aproximadamente 8.000 tokens que quedan disponibles al ejecutar el modelo de 3B con todo el sistema operativo y el agente funcionando en paralelo.

Del chatbot al agente autónomo

La parte más llamativa del proyecto no es el chatbot en sí, sino la capa de agente construida encima. El sistema, bautizado Hermes Agent, se conecta al servidor Ollama local y dispone de acceso a terminal, sistema de archivos, navegador web y correo electrónico. Con esas herramientas ha llegado a desplegar una aplicación Next.js completa en un servidor virtual de DigitalOcean: instaló Node.js, configuró nginx como proxy inverso, generó un certificado SSL mediante Let’s Encrypt y dejó el servicio corriendo bajo systemd, todo ello en unos 90 minutos y sin intervención manual más allá de proporcionar las claves de API necesarias. El coste de ese servidor en la nube ronda los 6 dólares mensuales, una cifra que ilustra bien la filosofía del proyecto: usar hardware barato tanto para el cerebro del agente como para su infraestructura de despliegue.

Rendimiento real y sus límites

Conviene ser realista con las cifras. El consumo eléctrico de la placa se sitúa en torno a 5 vatios en reposo y entre 8 y 12 vatios durante la inferencia, lo que equivale a aproximadamente un euro mensual en electricidad frente a los 40-60  que costaría el mismo volumen de trabajo en una API comercial. Ollama, además, procesa las peticiones de una en una: no está pensado para atender a varios usuarios simultáneos, por lo que una segunda consulta debe esperar a que termine la primera. El propio autor estima que en torno al 70% de las tareas de su agente no se benefician de un modelo más potente, mientras que el 30% restante sigue derivándose hacia servicios en la nube cuando la complejidad lo exige. La ficha técnica del modelo Llama 3.2, publicada por Meta en Hugging Face, detalla precisamente ese equilibrio entre tamaño reducido y capacidad de razonamiento que hace viable este tipo de despliegue en hardware modesto.

El producto en el centro de todo: la Raspberry Pi 5

La protagonista indiscutible de este proyecto es la propia Raspberry Pi 5, la placa que la Raspberry Pi Foundation presentó como un salto generacional respecto a su predecesora, con un procesador más rápido y soporte nativo para almacenamiento NVMe a través del conector PCIe. Esa combinación de CPU decente y acceso a un SSD rápido es precisamente lo que permite que un modelo de varios gigabytes cargue en segundos en lugar de en medio minuto. La placa, con un precio de partida en torno a los 80 dólares en su configuración de 8 GB, se ha convertido en la referencia para quienes quieren experimentar con inferencia local sin invertir en una tarjeta gráfica dedicada. Quien quiera consultar las especificaciones oficiales, el catálogo de accesorios compatibles y la disponibilidad regional puede hacerlo en la página oficial del producto, donde también se detallan las diferencias entre las versiones de 4 GB y 8 GB de memoria que condicionan qué modelos se pueden ejecutar con comodidad.

Reflexiones finales

Lo interesante de este experimento no es que una Raspberry Pi 5 pueda igualar a GPT-4, porque no lo hace ni de lejos. Lo relevante es que buena parte del trabajo que hoy se delega en servicios de pago no necesita ese nivel de inteligencia: decidir qué comando ejecutar a continuación, clasificar un texto o redactar un resumen breve son tareas perfectamente asumibles por un modelo de 3.000 millones de parámetros ejecutado en un dispositivo del tamaño de una baraja de cartas. La tendencia, además, apunta a mejorar: cada nueva generación de hardware y cada nueva versión de los modelos reduce la distancia respecto a los servicios en la nube. Para quien ya paga una suscripción mensual por acceso a IA y no necesita el nivel de sofisticación de los modelos más grandes, montar un servidor local con Ollama sobre una Raspberry Pi 5 es una tarde de trabajo que se amortiza en menos de dos meses. Y, más allá del ahorro, queda la garantía de que ningún dato sale de la propia red doméstica.