Meta presenta AudioCraft, su nueva herramienta de IA generativa de audio

AudioCraft utiliza dos modelos de entrenamiento diferentes: uno que utiliza música con licencia y música propia de la compañía de Menlo Park, y otro que utiliza un catálogo público de efectos de sonido. Además, aseguran que EnCodec es una versión optimizada que permite obtener resultados de alta calidad con menos artefactos.

AudioCraft

Para quien no lo sepa, AudioCraft es similar a otras plataformas capaces de generar imágenes o chatbots conversacionales, donde el usuario proporciona un prompt de texto y la herramienta se encarga de completarlo. Por ejemplo, se puede solicitar a AudioCraft que genere el sonido de una sirena de policía acercándose y alejándose, o que componga una canción de un género musical específico con instrumentos determinados - incluso incluyendo un solo. En el primer caso, se utiliza AudioGen, mientras que en el segundo, se usa MusicGen.

Según Meta, el objetivo de AudioCraft es que sus distintas herramientas sean fáciles de utilizar y proporcionen resultados inmediatos de calidad, asegurando al mismo tiempo la consistencia de las creaciones a largo plazo. Al ofrecer esta inteligencia artificial como software de código abierto, la compañía californiana espera que los expertos puedan utilizarlo para entrenar sus propios modelos con sus propios conjuntos de datos. Además, también ofrecerán versiones preentrenadas del modelo AudioGen para simplificar la creación de efectos de sonido utilizando información preexistente.

En base a esto, Meta ha dicho que "si bien hemos visto mucho entusiasmo en torno a la IA generativa para imágenes, video y texto, el audio parece estar un poco rezagado. Hay algo de trabajo por ahí, pero es muy complicado y no muy abierto, por lo que las personas no pueden jugar fácilmente con él. La generación de audio de alta fidelidad de cualquier tipo requiere el modelado de señales y patrones complejos en diferentes escalas. Podría decirse que la música es el tipo de audio más difícil de generar, ya que se compone de patrones locales y de largo alcance, desde un conjunto de notas hasta una estructura musical global con múltiples instrumentos".

Será interesante ver el impacto que tendrá el enfoque de código abierto de AudioCraft para su adopción entre los investigadores y los fanáticos de la inteligencia artificial generativa. A pesar de esto, es probable que las nuevas herramientas de Meta se conviertan en un posible foco de conflicto en el futuro, particularmente MusicGen, ya que las herramientas de IA para crear música han generado controversias en el pasado.

Google ya había presentado una herramienta similar a AudioCraft llamada MusicLM, que se creó para generar canciones a partir de una orden escrita y se entrenó con más de 280,000 horas de música. Sin embargo, todavía no está disponible para el público en general porque los ingenieros de Mountain View no han podido resolver el problema del plagio. Alrededor del 1% de la música que genera esta inteligencia artificial es una réplica de material con derechos de autor, lo que podría generar graves problemas legales.

Paralelamente, Universal Music Group, una de las discográficas más importantes del mundo, ha solicitado a Apple y Spotify que bloqueen los bots que extraen letras y melodías de las canciones de sus artistas. Según la compañía, ese material protegido por derechos de autor se utiliza para entrenar modelos de inteligencia artificial que pueden producir música similar a la de intérpretes o compositores famosos, como Taylor Swift y Elton John.