Parece increíble la velocidad a la que se está moviendo la inteligencia artificial en estos últimos meses y ya hay hasta chats inteligentes con los que puedes charlar, incluso en diferentes idiomas y que hasta parece más listo que cualquiera de los asistentes que conocíamos hasta la fecha. El ChatGPT de OpenAI hasta da miedo de ver todo lo que hace… y tan bien.

El pasado jueves, un par de aficionados a la tecnología lanzaron Riffusión, un modelo de IA que genera música a partir de indicaciones de texto mediante la creación de una representación visual del sonido y su conversión a audio para su reproducción.

Utiliza una versión mejorada del Stable Diffusion modelo de síntesis de imagen, aplicando visual difusión latente al procesamiento del sonido de una forma novedosa.

Riffusion funciona generando sonogramas, que almacenan audio en una imagen bidimensional. En un sonograma, el eje X representa el tiempo (el orden en que se reproducen las frecuencias, de izquierda a derecha) y el eje Y representa la frecuencia de los sonidos. Mientras tanto, el color de cada píxel en la imagen representa la amplitud del sonido en ese momento dado.

Los ‘prompts’ o descripciones de imagen que le damos a Stable Diffusion acaban por tanto convirtiéndose en música, y como explican los desarrolladores, el procesado de audio se realiza de forma transparente con un modelo basado en Torchaudio que además puede crear “variaciones infinitas” al ir haciendo que la “semilla” —el prompt original— cambie ligeramente.

Aunque inicialmente el sistema genera composiciones de tan solo cinco segundos de duración sus desarrolladores querían hacerla “infinita” por lo que, a partir de un espectrograma inicial, ir variando esa semilla para que la música fluyera de forma continua. Aplicaron además una serie de técnicas para que los espectrogramas fueran demasiado distintos y las transiciones fueran suaves.

Pero lo mejor de todo es que tú mismo pruebes el sistema accediendo a su página web.