En la actualidad, ejecutar Modelos de Lenguaje Grande (LLMs) localmente ha ganado popularidad, ya que ofrece mayor seguridad, privacidad y control sobre las respuestas generadas por el modelo. En este artículo, te enseñaremos la forma más fácil de descargar y usar el modelo Llama 3 de Meta AI, utilizando la herramienta Ollama.

Llama 3 es la última familia de LLMs de Meta AI. Es de código abierto, cuenta con capacidades avanzadas de inteligencia artificial y mejora la generación de respuestas en comparación con modelos anteriores como Gemma, Gemini y Claud 3.

¿Qué es Ollama?

Ollama es una herramienta de código abierto diseñada para utilizar LLMs como Llama 3 en tu máquina local. Gracias a los avances en investigación y desarrollo, estos grandes modelos de lenguaje ya no requieren una gran cantidad de VRam, capacidad de cómputo o almacenamiento. En cambio, están optimizados para su uso en laptops.

Existen múltiples herramientas y marcos para usar LLMs localmente, pero Ollama es la más fácil de configurar y usar. Te permite utilizar LLMs directamente desde una terminal o Powershell. Es rápida y cuenta con características principales que te permitirán comenzar a usarla de inmediato.

Una de las mejores características de Ollama es que se integra con todo tipo de software, extensiones y aplicaciones. Por ejemplo, puedes usar la extensión CodeGPT en VSCode y conectar Ollama para empezar a usar Llama 3 como tu asistente de código de IA.

Instalando Ollama

Para descargar e instalar Ollama, ve al repositorio de GitHub Ollama/ollama, desplázate hacia abajo y haz clic en el enlace de descarga para tu sistema operativo (MacOS, Windows, Linux, Docker).

Descargar y Usar Llama 3

Para descargar el modelo Llama 3 y comenzar a usarlo, basta con escribir el siguiente comando en tu terminal o shell:

Dependiendo de la velocidad de tu internet, tomará aproximadamente 30 minutos descargar el modelo de 4.7GB.

Una vez completada la descarga, podrás utilizar Llama 3 localmente como si lo estuvieras usando en línea. Para demostrar lo rápida que es la generación de respuestas, aquí tienes un ejemplo de cómo Ollama genera código Python y luego lo explica.

Reflexiones Finales

Los marcos y modelos de código abierto han hecho que la IA y los LLMs sean accesibles para todos. En lugar de estar controlados por unas pocas corporaciones, estas herramientas locales como Ollama hacen que la IA esté disponible para cualquier persona con un portátil.

Utilizar LLMs localmente proporciona privacidad, seguridad y más control sobre la generación de respuestas. Además, no tienes que pagar por utilizar ningún servicio. Incluso puedes crear tu propio asistente de codificación potenciado por IA y usarlo en VSCode.

Si quieres aprender sobre otras aplicaciones para ejecutar LLMs localmente, te recomendamos leer “5 Maneras de usar LLMs en tu portátil“.