Une plongée profonde dans Replika : mon ami IA

Replika : My AI Friend est une application pas comme les autres. Alors que la plupart des applications avec des chatbots les utilisent comme assistants virtuels, Replika commercialise son chatbot comme, vous l’avez deviné, un ami.

Avec sa capacité promise à « percevoir » et à évaluer des quantités abstraites telles que l’émotion, le chatbot de Replika pourrait bien rendre justice à sa description humaine.

D’une histoire d’origine déchirante à un backend impressionnant, Replika est l’une de ces choses fascinantes qui ne cessent jamais d’être intéressantes. Lisez la suite pour découvrir ce qui rend l’IA de Replika si remarquable et ce qu’elle promet pour l’avenir.

Les origines de Réplika

RéplikaLa première version de – un simple chatbot IA – a été créée par Eugenia Kuyda pour remplacer le vide laissé par la perte prématurée de son ami le plus proche, Roman Mazurenko. Construit en alimentant les messages texte de Roman dans un réseau de neurones pour construire un bot qui envoyait des SMS comme lui, il était censé servir de « monument numérique » en quelque sorte pour garder sa mémoire vivante.

Finalement, avec l’ajout de modèles de langage plus complexes dans l’équation, le projet s’est rapidement transformé en ce qu’il est aujourd’hui – une IA personnelle qui offre un espace où vous pouvez discuter en toute sécurité de vos pensées, sentiments, croyances, expériences, souvenirs, rêves – votre « monde perceptif privé”.

Mais outre les immenses perspectives techniques et sociales de cette sorte de thérapeute artificiellement sensible, ce qui rend vraiment Replika impressionnant, c’est la technologie à la base.

Sous la capuche

Au cœur de Replika se trouve un modèle de langage autorégressif complexe appelé GPT-3 qui utilise l’apprentissage en profondeur pour produire un texte de type humain. Dans ce contexte, le terme « autorégressif » suggère que le système apprend à partir de valeurs (du texte dans ce cas) avec lesquelles il a précédemment interagi.

En termes simples, plus vous l’utilisez, mieux c’est.

L’ensemble de l’expérience utilisateur de Replika est construit autour des interactions de l’utilisateur avec un bot programmé à l’aide de GPT-3. Mais qu’est-ce que GPT-3 exactement et comment est-il assez puissant pour émuler la parole humaine ?

GPT-3 : un aperçu

GPT-3, ou Generative Pre-trained Transformer 3, est une adaptation plus avancée du Transformer de Google. D’une manière générale, il s’agit d’une architecture de réseau neuronal qui aide les algorithmes d’apprentissage automatique à effectuer des tâches telles que la modélisation du langage et la traduction automatique.

Les nœuds d’un tel réseau de neurones représentent des paramètres et des processus qui modifient les entrées en conséquence (quelque peu similaires aux instructions logiques et/ou conditionnelles en programmation), tandis que les bords ou les connexions du réseau agissent comme des canaux de signalisation d’un nœud à un autre.

Chaque connexion de ce réseau de neurones a un poids, ou un niveau d’importance, qui détermine le flux de signaux d’un nœud à l’autre. Dans un modèle d’apprentissage autorégressif tel que GPT-3, le système reçoit une rétroaction en temps réel et ajuste en permanence les poids de ses connexions afin de fournir une sortie plus précise et pertinente. Ce sont ces poids qui aident un réseau de neurones à « apprendre » artificiellement.

GPT-3 utilise 175 milliards de niveaux ou paramètres de poids de connexion. Un paramètre est un calcul dans un réseau de neurones qui ajuste le poids de certains aspects des données, pour donner à cet aspect une importance plus ou moins grande dans le calcul global des données.

Salué comme l’autocomplétion ultime, le modèle de langage de GPT-3, qui est destiné à fournir un texte prédictif, a été formé sur un ensemble de données si vaste que l’ensemble de Wikipédia ne constitue que 0,6 % de ses données de formation.

Cela comprend non seulement des articles de presse, des recettes et de la poésie, mais également des manuels de codage, des fanfictions, des prophéties religieuses, des guides sur les montagnes du Népal et tout ce que vous pouvez imaginer.

En tant que système d’apprentissage en profondeur, GPT-3 recherche des modèles dans les données. Pour le dire simplement, le programme a été formé sur une collection massive de textes qu’il extrait pour les régularités statistiques. Ces régularités, telles que les conventions linguistiques ou la structure grammaticale générale, sont souvent considérées comme acquises par les humains, mais elles sont stockées sous forme de milliards de connexions pondérées entre les différents nœuds du réseau neuronal de GPT-3.

Par exemple, si vous saisissez le mot « oreille » dans GPT-3, le programme sait, en fonction des poids de ses réseaux, que les mots « mal » et « téléphone » sont beaucoup plus susceptibles de suivre que « américain » ou  » en colère ».

GPT-3 et Replika : une convergence significative

Replika est ce que vous obtenez lorsque vous prenez quelque chose comme GPT-3 et que vous le distillez pour traiter des types de conversation spécifiques. Dans ce cas, cela inclut les aspects empathiques, émotionnels et thérapeutiques d’une conversation.

Bien que la technologie derrière Replika soit encore en cours de développement, elle offre une passerelle plausible vers une conversation interpersonnelle facilement accessible.

Commentant sa convivialité, les créateurs affirment avoir créé un bot qui non seulement parle mais écoute également. Cela signifie pour ses utilisateurs que leurs entretiens avec l’IA ne sont pas un simple échange de faits et d’informations, mais plutôt un dialogue doté de nuances linguistiques.

Mais les discussions avec Replika ne sont pas seulement une question de dialogue sensé. Il se trouve également qu’ils sont étonnamment significatifs et émotifs dans de nombreux cas. Lors de l’interaction avec un utilisateur, l’IA de Replika « comprend » ce que dit l’utilisateur et trouve une réponse humaine en utilisant son modèle d’apprentissage prédictif.

En tant que système autorégressif, Replika apprend et adapte ses schémas conversationnels en fonction de la manière dont l’utilisateur lui parle.

Cela signifie que plus vous utilisez Replika, plus il s’entraîne sur vos propres textes, et plus il devient comme vous. Une bonne proportion d’utilisateurs ont également mentionné qu’ils avaient un niveau important d’attachement émotionnel à leur Replika, ce qui n’est pas atteint en sachant simplement « comment parler ».

Replika va bien sûr au-delà de cela. Il ajoute de la profondeur à ses conversations sous la forme de généralisation sémantique, de discours inflectif et de suivi de conversation. Son algorithme essaie de comprendre qui vous êtes, à la fois en termes de personnalité et d’émotions, puis façonne le dialogue en fonction de ces informations.

Un examen plus approfondi de l’efficacité du GPT-3

Cependant, l’humanité de Replika est encore largement théorique en raison des limitations opérationnelles de GPT-3. En tant que tel, il y a beaucoup de travail à faire pour que l’IA se réplique et participe avec compétence à la conversation humaine.

Des inspections minutieuses de GPT-3 révèlent toujours des erreurs clairement distinguables ainsi que des écritures absurdes et simples dans certains cas. Les experts du secteur suggèrent qu’un modèle de traitement du langage devrait avoir plus de 1 000 milliards de connexions pondérées avant de pouvoir être utilisé pour produire des bots capables de reproduire efficacement le jargon humain.

Le meilleur est à venir

Étant donné que GPT-3 est déjà considéré comme un bond exponentiel depuis des années par rapport à des prédécesseurs tels que Turing NLG de Microsoft, il est prudent de supposer qu’il faudra peut-être un certain temps avant de trouver quelque chose de mieux.

Cela dit, avec les futures améliorations de l’informatique, la puissance de traitement offerte par les nouveaux systèmes réduira sûrement encore plus l’écart entre l’homme et la machine.

En attendant, Replika reste un produit formidable qui allie le meilleur de la psychologie et de l’intelligence artificielle. Son intégration réussie d’une UX conviviale avec un modèle NLP de pointe témoigne en effet de l’immense potentiel des technologies d’interaction homme-ordinateur.