Amanda ha conseguido que ChatGPT funcione a través de sus Ray-Ban Meta sin tocar el firmware de las gafas ni sustituir el asistente oficial. El truco consiste en usar el iPhone como puente: el terminal recibe el audio y las imágenes de las gafas y se los pasa a ChatGPT, que responde a través de los altavoces integrados. No hace falta jailbreak ni ningún hackeo agresivo, solo aprovechar herramientas que Meta y OpenAI ya han puesto sobre la mesa. El resultado, según cuenta el propio autor, es tener el ingenio visual de Meta AI pero con la personalidad y la calidad de respuesta de ChatGPT, algo que cambia bastante la experiencia diaria de usar unas gafas inteligentes. El experimento también sirve como anticipo de hacia dónde podría moverse OpenAI si finalmente lanza hardware propio de la mano de Jony Ive.

Cómo funciona el puente entre las gafas y el iPhone

El planteamiento se apoya en dos piezas distintas: voz e imagen. La parte de audio es la más sencilla porque las Ray-Ban Meta ya están pensadas para actuar como auriculares Bluetooth del iPhone, así que cualquier app que suene en el teléfono, incluida ChatGPT, se escucha directamente por los altavoces de las patillas. Basta con dejar la app de ChatGPT abierta en modo voz y hablarle como si fuera Meta AI. La parte visual es más compleja porque exige que el iPhone reciba imágenes captadas por la cámara de las gafas en lugar de usar su propia óptica. Aquí entra en juego el Meta Wearables Device Access Toolkit, un kit de desarrollo que permite a aplicaciones externas acceder a la cámara y al micrófono de los modelos compatibles, entre ellos Ray-Ban Meta, Ray-Ban Meta Display y Oakley Meta. El flujo de trabajo final queda resumido en una cadena bastante clara: la cámara de las Ray-Ban capta la escena, el iPhone la envía a ChatGPT, ChatGPT genera la respuesta y esa respuesta vuelve a sonar en los altavoces de las gafas.

Conviene detallar algunas cifras técnicas para entender los límites reales del sistema. El streaming de vídeo a través del Wearables Device Access Toolkit está limitado a una resolución máxima de 720p y a 30 fotogramas por segundo, un techo impuesto por el ancho de banda que ofrece Bluetooth, y si la conexión pierde estabilidad la propia plataforma reduce automáticamente calidad y tasa de refresco. El kit exige un teléfono con iOS 15.2 o superior, o Android 10 en su versión mínima, además de tener instalada la app Meta AI en una versión igual o posterior a la 247, ya que es esta la que gestiona los permisos de acceso al hardware. En el lado del software de las propias gafas, la compatibilidad requiere firmware v20 o superior. Meta ha confirmado que, de momento, su propio asistente no puede integrarse dentro de aplicaciones de terceros construidas con este kit, así que cualquier desarrollador que quiera montar algo parecido debe correr sus propios modelos de IA y asumir el consumo de batería que eso implica.

El producto protagonista: las Ray-Ban Meta como plataforma abierta a terceros

Las Ray-Ban Meta llevan tiempo consolidándose como el modelo de referencia dentro de las gafas inteligentes de consumo, con millones de unidades vendidas en todo el mundo según cifras de la propia Meta, y su gancho principal siempre ha sido la combinación de diseño reconocible de Ray-Ban con cámara de 12 megapíxeles, sistema de cinco micrófonos y altavoces de audio abierto que no aíslan al usuario del entorno. Hasta ahora, esa capa de inteligencia artificial dependía en exclusiva de Meta AI, un asistente que resulta práctico para tareas rápidas como traducir un cartel o describir lo que hay delante, pero que muchos usuarios describen como más seco y menos conversacional que ChatGPT. La llegada del Wearables Device Access Toolkit cambia esa ecuación porque convierte las gafas en una especie de periférico abierto: cualquier aplicación con los permisos adecuados puede recibir audio y vídeo en tiempo real y devolver una respuesta por los altavoces, sin que Meta tenga que programar esa integración de fábrica. Esto abre la puerta a que empresas como OpenAI, o incluso desarrolladores independientes, construyan experiencias completas sin depender del calendario de actualizaciones de Meta AI. Ya hay ejemplos concretos que apuntan en esa dirección, desde una app de golf que calcula distancias y recomienda palos sin sacar el móvil del bolsillo, hasta un proyecto del equipo de Imagineering de Disney para ofrecer un guía personal con IA dentro de sus parques temáticos.

Por qué ChatGPT y no Meta AI

La razón que da Amanda para preferir ChatGPT es sobre todo de tono. Meta AI tiende a responder de forma directa y sin rodeos, mientras que ChatGPT ofrece una conversación más cercana, algo que puede parecer un matiz menor pero que se nota especialmente en el uso diario de un dispositivo que se lleva puesto todo el día. Además, ChatGPT es el asistente que ya usa de forma habitual en el resto de sus dispositivos, así que unificar el asistente en todos sus aparatos evita tener que acordarse de qué IA responde mejor según el contexto. Aun así, el propio autor reconoce que la integración nativa de Meta AI sigue siendo más limpia en términos técnicos, porque Meta controla de extremo a extremo la cámara, los micrófonos, los altavoces y la palabra de activación, mientras que el puente con ChatGPT depende de mantener una app de terceros abierta en segundo plano en el iPhone.

Reflexiones finales

Este tipo de experimentos caseros suelen anticipar movimientos que después terminan oficializándose. Si OpenAI decide entrar en el terreno del hardware ponible, ya sea con gafas propias o con los dispositivos que está desarrollando junto a Jony Ive, es muy probable que la compatibilidad con accesorios ya existentes en el mercado, como las propias Ray-Ban Meta, forme parte de la estrategia inicial mientras se construye un catálogo de dispositivos propios. Para el usuario medio, la lección práctica es que las gafas inteligentes actuales ya no están tan cerradas como parecía hace un año, y que el software que corre por detrás puede cambiar sin necesidad de comprar un nuevo par de gafas. Queda por ver si Meta amplía el acceso de su kit de desarrollo a asistentes de terceros de forma oficial, algo que simplificaría mucho experimentos como este y evitaría depender de una app puente instalada en el teléfono.

Quien quiera profundizar en los detalles técnicos del kit de desarrollo puede consultar el anuncio oficial de Meta en Introducing the Meta Wearables Device Access Toolkit, donde la compañía explica los tres modos de interacción entre app y gafas. La cobertura de UploadVR sobre la disponibilidad en fase de vista previa pública, con los límites de resolución y los requisitos de sistema, está recogida en Meta’s Smart Glasses SDK Is Now Available To Build With, But Not Yet To Ship. Y el relato original de este experimento con ChatGPT, incluyendo las impresiones de uso día a día, puede leerse en I put ChatGPT on my Ray-Ban Meta glasses, publicado en Tom’s Guide.

8