Nvidia está dando otro paso adelante en la experiencia de “IA en tu PC” con una aplicación de chatbot actualizada que llama ChatRTX. La compañía lanzó anteriormente una demostración técnica bajo un nombre similar en febrero llamada Chat with RTX, que ahora ha actualizado y abreviado el nombre. La nueva versión trae consigo un rendimiento mejorado y nuevas características, y es gratuita para cualquier persona con una GPU RTX.

Entrenamiento de modelos de lenguaje personalizados

La característica principal de ChatRTX es la capacidad de entrenar tu propio modelo de lenguaje grande en contenido local de tu PC. Según Nvidia, puedes apuntarlo a una carpeta llena de archivos y luego hacerle preguntas sobre dicho contenido. Esto le permite funcionar más rápido que un programa basado en la nube como Microsoft Copilot o ChatGPT, pero con la desventaja de que no está utilizando petabytes de datos para sus respuestas. Ejecutar la aplicación localmente también garantiza que todo lo que le proporcionas se mantenga privado en lugar de subirlo a la nube. Nvidia afirma que ChatRTX puede procesar varios formatos de archivo, que incluyen txt, pdf, doc/docx, jpg, png, gif y xml, para que puedas apuntarlo a carpetas con esos archivos dentro y luego consultarle sobre el contenido descubierto.

Soporte de voz y texto a imagen

La aplicación también admite la conversión de voz a texto, por lo que puedes hacer preguntas al bot utilizando el micrófono de tu computadora, y también se admiten varios idiomas. Además, puedes usar voz o texto para ordenar las carpetas de imágenes, con el ejemplo de “senderismo en las montañas” que muestra imágenes de senderismo. Es algo así como la búsqueda de Windows que podría funcionar correctamente pero con la capacidad avanzada de reconocer lo que está en las fotos en lugar de solo usar nombres de archivo. Puede hacer esto gracias a la tecnología llamada CLIP (preentrenamiento de lenguaje de imagen contrastiva), que fue creada por OpenAI, según TechPowerUp.

Modelos de lenguaje actualizados

ChatRTX también presenta modelos de lenguaje actualizados con respecto a la versión anterior y varios modelos nuevos para que los usuarios seleccionen. Ha actualizado los modelos Mistral 7B y Llama 2, y ha agregado el modelo Gemma de Google y ChatGLM3, con este último compatible tanto en inglés como en chino. Poder seleccionar diferentes modelos de lenguaje al ejecutar consultas es una gran característica que realmente lo diferencia de otros chatbots.

Limitaciones y futuro

A pesar de todos estos avances, según comentan está diseñado para responder a consultas de un solo tema, pero tiene problemas con las preguntas de seguimiento a preguntas anteriores. Por ejemplo, si le preguntaste que encontrara fotos de senderismo, no puedes refinar esa búsqueda con preguntas adicionales sobre lo que presentó, ya que aparentemente la vinculación requerida entre preguntas y respuestas es difícil de entender en esta etapa temprana.

La aplicación es gratuita para probar, aunque pesa  11.6 GB!. Puedes descargarla desde Nvidia aquí.

Conclusiones

Con ChatRTX, Nvidia ofrece a los usuarios la oportunidad de experimentar la IA directamente en sus PC, con la capacidad de entrenar modelos de lenguaje personalizados y acceder a una amplia gama de funciones y modelos actualizados. Aunque presenta algunas limitaciones en la capacidad de manejar preguntas de seguimiento, representa un paso significativo hacia adelante en la interacción con la IA en entornos locales.