Qu’est-ce que le Jukebox d’OpenAI et que pouvez-vous en faire ?

L’IA générative s’étend lentement à de plus en plus de disciplines de l’industrie créative. Elle a commencé avec les générateurs d’art, puis s’est étendue à l’écriture avec les textes générés par l’IA. Aujourd’hui, nous pouvons ajouter la musique à cette liste.

Dans un avenir proche, la musique générée par l’IA, créée de toutes pièces, deviendra une réalité. En fait, c’est déjà possible avec Jukebox, le modèle d’IA musicale d’OpenAI. Il n’est pas encore disponible sous la forme d’une application facile à utiliser, et le son n’est pas encore assez bon, mais les os algorithmiques sont là.

Voici ce qu’il faut savoir sur le Jukebox d’OpenAI et ce que vous pouvez en faire.

Jukebox : Une IA qui génère de la musique à partir de données audio brutes

Jukebox est un réseau neuronal qui peut générer de la musique sous forme d’audio brut lorsque vous lui donnez des informations telles que le genre, l’artiste ou les paroles. Il a été lancé en avril 2020 par OpenAI, la même société qui nous a apporté le générateur d’art IA appelé Dall-E, et le chatbot IA appelé ChatGPT.

Contrairement à Dall-E, qui s’est rapidement répandu dans le monde entier et a fait de l’IA un sujet brûlant d’actualité et de médias, Jukebox n’a pas suscité un grand intérêt après sa sortie. L’une des raisons en est qu’il ne dispose pas d’une application web conviviale, du moins pas encore.

Vous trouverez le code sur le site site web d’OpenAI ainsi qu’une explication détaillée du fonctionnement du processus d’encodage et de décodage.

Une autre raison probable est qu’il faut énormément de temps et de puissance de calcul. Pour vous donner une idée, le rendu d’une minute de son peut prendre 9 heures. Vous devrez être prêt à explorer le modèle sous sa forme de code, et faire preuve de beaucoup de patience si vous voulez voir ce qu’un modèle d’IA peut faire pour générer de la musique.

Vous pouvez également passer directement à la section Jukebox Sample Explorer. C’est ici qu’OpenAI a publié ses expériences de génération de chansons à l’image d’Ella Fitzgerald ou de 2Pac.

Pour être clair, d’autres outils musicaux d’IA existent pour vous aider à générer une chanson, mais ils ne génèrent pas d’audio à partir de zéro. Au lieu de cela, ils combinent des échantillons préenregistrés ou créent des informations MIDI qui sont transmises à un synthétiseur numérique.

À quoi ressemble le son Jukebox ?

Les résultats de Jukebox sont reconnaissables mais étranges. Il n’est pas difficile de comprendre la forme de la chanson et le genre auquel elle appartient, mais la qualité des résultats donne l’impression d’écouter une des premières musiques enregistrées : c’est-à-dire étouffée avec beaucoup de bruit.

On peut dire que le Jukebox ne produit pas le genre de son haute-fidélité que l’on entend avec un bon casque. C’est un peu comme si vous entendiez de la musique provenant d’une station de radio qui n’est pas réglée sur la bonne fréquence. Certaines chansons sont des réinterprétations, tandis que d’autres sont des prolongements de chansons existantes. Il existe également une catégorie pour les artistes et les styles nouveaux, ainsi que pour les paroles inédites.

Malgré la qualité du son, les premiers expérimentateurs décrivent avoir été impressionnés par la beauté étrange et la nature bizarre de la musique créée par Jukebox. « Comme une bande sonore pour une documentation sur un pays inconnu avec une culture inconnue », écrit Merzmench sur Medium.

Actuellement, les résultats sont loin d’être assez bons pour copier, ou même remplacer, la musique créée par des humains, mais la technologie évolue rapidement et, bientôt, des modèles comme Jukebox seront également en mesure d’accomplir ces exploits.

Comment le Jukebox d’OpenAI a été entraîné

Si le Jukebox est capable de créer de la musique qui n’a jamais existé auparavant, c’est en partie parce qu’il a été formé à partir de la musique de vrais musiciens. OpenAI explique cela :

« Pour entraîner ce modèle, nous avons parcouru le web pour constituer un nouvel ensemble de données de 1,2 million de chansons (dont 600 000 en anglais), associées aux paroles et aux métadonnées correspondantes de LyricWiki. »

L’exploration de données est une pratique utilisée par certaines entreprises d’intelligence artificielle pour créer un ensemble de données qu’un modèle d’intelligence artificielle peut utiliser pour apprendre et prendre des décisions lors de la génération d’une image, d’un texte ou, dans ce cas, d’une musique. Les ensembles de données créés par crawling sont controversés car le consentement des propriétaires des données n’est pas obtenu en premier lieu. Cependant, certaines plateformes vous permettent d’exclure votre contenu des ensembles de données.

On peut penser que 1,2 million de chansons, c’est beaucoup, mais en comparaison, Dall-E 2 a été formé sur des centaines de millions de paires image-texte provenant de l’internet. Dans ce contexte, le Jukebox a ses limites.

Son bassin d’entraînement relativement restreint ne permet pas d’appréhender la richesse et la diversité de la musique humaine. OpenAI a déclaré qu’il a été largement formé sur la musique occidentale, ce qui représente un biais évident dans la musique qu’il est capable de générer.

Que peut-on faire avec Jukebox ?

Compte tenu de ses limites, que peut-on faire avec le Jukebox ? Une façon rapide de répondre à cette question est de dire ce que vous ne pouvez pas faire avec le Jukebox.

Comme il faut près d’une demi-journée pour produire une minute de musique, il n’est pas très utile pour produire de la musique. Du moins, pas dans le sens traditionnel du terme. Normalement, les musiciens font des allers-retours entre le jeu sur un instrument (improvisation) et la planification de la structure d’une chanson. Le même type d’expérimentation n’est pas possible avec le Jukebox.

Comme il n’est pas facile de créer une chanson avec le Jukebox à ce stade, il s’agit plutôt d’une nouvelle façon de générer des échantillons de musique. Une fois que vous avez généré un son qui vous plaît, vous pouvez l’utiliser dans vos projets créatifs comme vous le feriez normalement.

La vidéo ci-dessous est le résultat de l’utilisation d’une musique créée avec Jukebox pour souligner un court montage vidéo.

L’intelligence artificielle a également un large éventail d’applications en dehors des applications créatives, c’est pourquoi il est utile de comprendre ce qu’est l’IA et les dangers qu’elle représente.

Êtes-vous ému par la musique de l’IA ?

La musique générée par Jukebox n’est pas facile à rejeter, et malgré son étrangeté et sa qualité étrange d’interaction entre l’homme et la machine, elle ressemble finalement à de la musique. Alors que l’industrie musicale utilise des outils d’IA depuis un certain temps déjà, la possibilité de générer de la musique à partir de données audio brutes n’est une réalité que depuis peu.

Bien que des modèles tels que Jukebox existent, ils n’ont pas encore été intégrés dans un outil commercial et restent en deçà des capacités des musiciens humains.

S’abonner à notre lettre d’information