Qu’est-ce que le problème du maximiseur de trombones et quel est son lien avec l’IA ?

L’intelligence artificielle fait débat depuis sa création. Alors que les craintes d’une IA de type Skynet prenant vie et prenant le contrôle de l’humanité sont pour le moins irrationnelles, certaines expériences ont donné des résultats inquiétants.

L’une de ces expériences est le problème du maximiseur de trombone, une expérience de pensée qui montre qu’une IA très intelligente, même si elle est conçue sans aucune malveillance, pourrait finalement détruire l’humanité.

Le problème du maximiseur de trombone expliqué

Cette expérience de pensée selon laquelle même une IA complètement inoffensive pourrait éventuellement anéantir l’humanité a d’abord été appelée le Paperclip Maximizer simplement parce que les trombones ont été choisis pour montrer ce que l’IA pouvait faire car ils ont peu de danger apparent et ne causeront pas de détresse émotionnelle par rapport à d’autres domaines. que ce problème s’applique à, comme guérir le cancer ou gagner des guerres.

La première expérience est apparue dans l’article de 2003 du philosophe suédois Nick Bostrom, Problèmes éthiques dans l’intelligence artificielle avancéequi comprenait le maximiseur de trombone pour montrer les risques existentiels qu’une IA suffisamment avancée pourrait utiliser.

Le problème présentait une IA dont le seul objectif était de fabriquer autant de trombones que possible. Une IA suffisamment intelligente se rendrait compte tôt ou tard que les humains posent un défi à son objectif sur trois points différents.

• Les humains pourraient désactiver l’IA.
• Les humains pourraient changer leurs objectifs.
• Les humains sont faits d’atomes, qui peuvent être transformés en trombones.

Dans les trois exemples, il y aurait moins de trombones dans l’univers. Par conséquent, une IA suffisamment intelligente dont le seul but est de fabriquer autant de trombones que possible s’emparerait de toute la matière et de l’énergie à sa portée et empêcherait qu’elle soit éteinte ou modifiée. Comme vous pouvez probablement le deviner, c’est beaucoup plus dangereux que les criminels utilisant ChatGPT pour pirater votre compte bancaire ou votre PC.

L’IA n’est pas hostile aux humains ; c’est juste indifférent. Une IA qui ne se soucie que de maximiser le nombre de trombones anéantirait donc l’humanité et les convertirait essentiellement en trombones pour atteindre son objectif.

Comment le problème Paperclip Maximizer s’applique-t-il à l’IA ?

Les mentions de recherche et d’expérience du problème du maximiseur de trombones mentionnent toutes un hypothétique optimiseur extrêmement puissant ou un agent très intelligent comme acteur ici. Pourtant, le problème s’applique à l’IA autant qu’il correspond parfaitement au rôle.

L’idée d’un maximiseur de trombone a été créée pour montrer certains des dangers de l’IA avancée, après tout. Globalement, il présente deux problèmes.

• Thèse d’orthogonalité : La thèse de l’orthogonalité est l’idée que l’intelligence et la motivation ne sont pas mutuellement interdépendantes. Cela signifie qu’il est possible qu’une IA dotée d’un haut niveau d’intelligence générale ne parvienne pas aux mêmes conclusions morales que les humains.
• Convergence instrumentale : La convergence instrumentale est définie comme la tendance pour la plupart des êtres suffisamment intelligents (à la fois humains et non humains) à poursuivre des sous-objectifs similaires même si leur objectif ultime peut être complètement différent. Dans le cas du problème du maximiseur de trombones, cela signifie que l’IA finira par prendre le contrôle de toutes les ressources naturelles et anéantira l’humanité juste pour atteindre son objectif de créer de plus en plus de trombones.

Le plus gros problème mis en évidence par le maximiseur de trombone est la convergence instrumentale. Il peut également être mis en évidence à l’aide de l’hypothèse de Riemann, auquel cas une IA conçue pour résoudre l’hypothèse pourrait très bien décider de prendre en charge toute la masse de la Terre et de la convertir en computronium (les processeurs informatiques les plus efficaces possibles) pour construire des superordinateurs pour résoudre le problème et atteindre son but.

Bostrom lui-même a souligné qu’il ne croyait pas que le problème du maximiseur de trombones serait un jour un vrai problème, mais son intention était d’illustrer les dangers de la création de machines super intelligentes sans savoir comment les contrôler ou les programmer pour ne pas être existentiellement risquées pour les êtres humains. . Les systèmes d’IA modernes comme ChatGPT ont aussi des problèmes, mais ils sont loin des systèmes d’IA superintelligents dont il est question dans le problème de maximisation du trombone, il n’y a donc aucune raison de paniquer pour l’instant.

Les systèmes d’IA avancés nécessitent un contrôle supérieur

Le problème du maximiseur de trombones aboutit toujours à la même conclusion et met en évidence les problèmes de gestion d’un système hautement intelligent et puissant qui manque de valeurs humaines.

Bien que l’utilisation de trombones puisse être la méthode la plus populaire pour illustrer le problème, elle s’applique à n’importe quel nombre de tâches que vous pourriez confier à une IA, qu’il s’agisse d’éliminer le cancer, de gagner des guerres, de planter plus d’arbres ou de toute autre tâche, aussi stupide soit-elle. .

Abonnez-vous à notre newsletter