En medio del auge de la inteligencia artificial generativa (IA), no sorprende que esta tecnología haya sido aprovechada por “los malos” para su propio beneficio, abriendo camino a delitos cibernéticos acelerados.

Según investigaciones de SlashNext, una nueva herramienta de ciberdelincuencia basada en IA generativa llamada WormGPT ha sido anunciada en foros clandestinos como una forma para los adversarios de lanzar ataques de phishing sofisticados y de compromiso de correo electrónico empresarial (BEC, por sus siglas en inglés).

Esta herramienta se presenta como una alternativa  a los modelos GPT, diseñada específicamente para actividades maliciosas. Los ciberdelincuentes pueden utilizar esta tecnología para automatizar la creación de correos electrónicos falsos altamente convincentes, personalizados para el destinatario, aumentando así las posibilidades de éxito del ataqu”.

El autor del software lo ha descrito como el “mayor enemigo del conocido ChatGPT” que “te permite hacer todo tipo de cosas ilegales”.

En manos de un actor malicioso, herramientas como WormGPT podrían ser un arma poderosa, especialmente a medida que OpenAI ChatGPT y Google Bard están tomando medidas cada vez más estrictas para combatir el abuso de los grandes modelos de lenguaje (LLM, por sus siglas en inglés) para fabricar correos electrónicos de phishing convincentes y generar código malicioso.

A principios de febrero, la SlashNext reveló cómo los ciberdelincuentes están eludiendo las restricciones de ChatGPT aprovechando su API, además de comercializar cuentas premium robadas y vender software de fuerza bruta para hackear cuentas de ChatGPT mediante el uso de enormes listas de direcciones de correo electrónico y contraseñas.

El hecho de que WormGPT opere sin ningún límite ético subraya la amenaza que representa la IA generativa, permitiendo incluso a los ciberdelincuentes novatos lanzar ataques de manera rápida y a gran escala sin tener los conocimientos técnicos para hacerlo.

Para empeorar las cosas, los actores de amenazas están promoviendo “jailbreaks” para ChatGPT, creando elementos de entrada y consignas especializadas diseñadas para manipular la herramienta y generar resultados que podrían implicar la divulgación de información sensible, producir contenido inapropiado y ejecutar código dañino.

Esta revelación se produce cuando investigadores de Mithril Security “modificaron” un modelo de IA de código abierto existente conocido como GPT-J-6B para difundir desinformación y lo subieron a un repositorio público como Hugging Face, que luego podría integrarse en otras aplicaciones, lo que lleva a lo que se denomina envenenamiento de la cadena de suministro de LLM.

El éxito de la técnica, llamada PoisonGPT, se basa en el requisito de que el modelo lobotomizado se suba utilizando un nombre que suplante a una empresa conocida, en este caso, una versión de EleutherAI, la compañía detrás de GPT-J, con errores de escritura en el nombre.