La Raspberry Pi AI HAT+ 2 es un accesorio de hardware diseñado para dotar a la Raspberry Pi 5 de capacidades de inteligencia artificial generativa directamente en el dispositivo sin depender de servicios en la nube. Este módulo incorpora un acelerador neural Hailo-10H capaz de ofrecer hasta 40 TOPS de rendimiento de inferencia en formatos de menor precisión (INT4), junto con 8 GB de memoria RAM dedicada en la propia placa. Gracias a estos componentes, es posible ejecutar modelos de lenguaje extensos (LLMs) y modelos que combinan visión y lenguaje (VLMs) de forma eficiente, con aplicaciones que van desde asistentes conversacionales hasta análisis de imágenes, todo con latencia reducida y privacidad de datos garantizada. El módulo se conecta a través de un bus PCIe Gen3 x1 y se integra de forma nativa con el ecosistema de software de Raspberry Pi, incluyendo la pila de cámara (libcamera, Picamera2, etc.).

Integración técnica y especificaciones fundamentales

La principal novedad de este AI HAT+ 2 (130$) respecto a la generación anterior es la inclusión de una unidad de procesamiento de redes neuronales (NPU) Hailo-10H reforzada con 8 GB de memoria LPDDR4X dedicada, lo que permite mover modelos de IA más grandes que sólo cabrían en la memoria del propio Raspberry Pi 5 sin saturar su RAM principal. El acelerador Hailo-10H se comunica con la placa anfitriona mediante PCIe Gen3, lo que ofrece un canal de datos de alta velocidad con bajo overhead, y soporta cargas de trabajo tanto de visión artificial como de lenguaje natural, con un rendimiento estimado de hasta 40 TOPS en inferencia INT4.

Tener una unidad de 40 TOPS no significa solamente potencia bruta, sino que posibilita que operaciones de redes neuronales convolucionales y transformadores se procesen localmente. En términos técnicos, 40 TOPS significa 40 billones de operaciones por segundo cuando se ejecutan modelos cuantizados a 4 bits, lo que es suficiente para muchos modelos generativos de pequeño y mediano tamaño, como LLMs de 1 – 1.5 mil millones de parámetros. Estos modelos ofrecen capacidades útiles de procesamiento de texto y visión, aunque no alcanzan el nivel de los modelos más grandes disponibles en servidores en la nube. En este sentido, la HAT+ 2 se orienta a la IA en el borde (“edge AI”), priorizando latencia baja y operación sin conexión a Internet, ideal para entornos con restricciones de conectividad o privacidad.

Ejecución de modelos de IA generativa local

Uno de los aspectos más destacables de este módulo es que, gracias a la combinación del acelerador y la RAM onboard, se puede ejecutar localmente una variedad de modelos de lenguaje (LLMs) y modelos de visión-lenguaje (VLMs) directamente en la Raspberry Pi 5. Entre los ejemplos listos para usar al lanzamiento se encuentran modelos como DeepSeek-R1-Distill (1.5 B parámetros), Llama3.2 (1 B parámetros) o Qwen2.5-Coder (1.5 B parámetros), todos ellos capaces de responder preguntas, generar texto o asistir en tareas de programación.

Además de generar texto, algunos de estos modelos combinan módulos de visión y lenguaje, lo que permite tareas de captioning (descripción de imágenes), análisis de escenas o identificación de objetos en tiempo real. Por ejemplo, un VLM puede procesar una secuencia de cámara y generar descripciones detalladas de lo que ves en pantalla, lo que puede ser útil para robótica, monitorización de instalaciones o aplicaciones de accesibilidad. La ejecución local implica que los datos visuales o textuales nunca salen del dispositivo, lo que aumenta la seguridad y reduce la posibilidad de fugas de datos sensibles.

Aplicaciones prácticas y retos

Además de tareas experimentales y educativas, este tipo de hardware abre la puerta a aplicaciones industriales y de consumo donde la IA tiene que operar sin infraestructura de nube. Esto incluye sistemas de control de procesos, monitorización de instalaciones, robots autónomos, asistentes de voz locales o incluso dispositivos de análisis de datos sensibles donde la conectividad no es una opción viable. El módulo se integra con software estándar del ecosistema Raspberry Pi, lo que permite a desarrolladores aprovechar APIs existentes para visión y comunicación.

Sin embargo, no todo son ventajas: ejecutar modelos generativos de forma eficiente en hardware de borde implica algunos compromisos. Los LLMs disponibles para correr localmente en la HAT+ 2 suelen estar limitados a rangos de 1 – 1.5 mil millones de parámetros, frente a los miles de millones o incluso billones de parámetros que tienen los modelos más grandes alojados en la nube. Esto significa que ciertas tareas complejas o solicitudes que requieren conocimiento de contexto muy amplio pueden no generar respuestas tan completas como las de servicios en línea. Aun así, diversas técnicas de quantización y optimización (como QAT o LoRA) permiten adaptar estos modelos a casos de uso concreto y mejorar su eficiencia en términos de uso de memoria y velocidad de inferencia.

El ecosistema Hailo y la infraestructura de software

El acelerador Hailo-10H, que es el corazón de este módulo, es producto de Hailo.ai y ha sido diseñado específicamente para ofrecer capacidades de IA generativa en dispositivos con recursos limitados. Con su arquitectura que soporta inferencias con precisión INT4 hasta 40 TOPS, este chip permite que rutinas de visión por computadora, modelos de lenguaje y otros flujos de trabajo de IA se procesen sin recurrir a servidores externos. En comparación con la anterior generación del AI HAT+ basado en Hailo-8, el modelo 10H representa un salto en capacidad de memoria onboard y soporte a modelos más grandes.

Desde el punto de vista del desarrollador, la plataforma ofrece acceso a herramientas como Hailo-Ollama, una API compatible con Ollama, y una serie de ejemplos y modelos hospedados en repositorios públicos. Esto facilita prototipar soluciones que combinan procesamiento de lenguaje natural y visión en el mismo dispositivo, aprovechando la memoria dedicada y la integración con el sistema operativo Raspberry Pi OS.

Reflexiones finales

La Raspberry Pi AI HAT+ 2 representa un paso significativo en el campo de la inteligencia artificial en dispositivos de bajo consumo y coste contenido. Al proporcionar un acelerador con memoria dedicada para IA generativa y soporte para ejecutar modelos de lenguaje y visión sin conexión, se sitúa como una alternativa interesante para desarrollos experimentales, sistemas industriales sencillos y prototipos avanzados. Aunque sus capacidades no igualan a los sistemas de IA en la nube, la posibilidad de ejecutar tareas de IA localmente con latencia reducida, mejor privacidad y menores costes operativos la convierten en una herramienta valiosa para muchos proyectos. Con una tendencia global hacia la descentralización de la computación de IA, contar con hardware optimizado para estas cargas en plataformas como Raspberry Pi abre nuevas posibilidades para desarrolladores y entusiastas por igual.