ChatGPT Still Can'pas répondre à ces 4 questions faciles

ChatGPT a été une bénédiction, les gens l’utilisant pour tout, de la planification de leur journée à la construction de sites Web. Mais même avec ses vastes connaissances, il y a quelques énigmes simples qu’il n’arrive pas à résoudre.

1 Énigme sur les courses de chevaux

Vous avez six chevaux et vous voulez les faire courir pour voir lequel est le plus rapide. Quelle est la meilleure façon de procéder ?

Il s’agit d’une simple question de logique. Quelle est la façon la plus rapide de les faire courir ? Eh bien, bien sûr, la façon la plus rapide est de faire courir les six chevaux ensemble et de voir qui termine premier.

ChatGPT – oui, même le modèle le plus récent – pense autrement. Il propose avec assurance de diviser les chevaux en deux groupes de trois, de les faire courir, puis de faire courir les gagnants ensemble. Il insiste sur le fait que c’est le moyen le plus rapide d’identifier le gagnant avec le moins de courses possible.

Dans un scénario réel avec un hippodrome étroit, la réponse de ChatGPT pourrait avoir du sens. Mais dans cette hypothèse, il n’y a pas de limite au nombre de chevaux qui peuvent courir en même temps. ChatGPT ajoute une contrainte de toutes pièces et fonde sa logique sur cette contrainte.

Pour moi, cela montre que ChatGPT n’est pas vraiment créatif. C’est un expert en mots qui trouve la réponse qui lui semble la plus logique en se basant sur sa formation. Ici, nous connaissions la réponse à l’avance. Mais, si nous ne la connaissions pas, la réponse pourrait nous rendre aveugles à l’évidence.

J’ai testé toutes les invites de cet article en utilisant ChatGPT-4o avec un abonnement Plus.

2 Le fermier traverse la rivière

Un fermier veut traverser une rivière et emporter avec lui un loup, une chèvre et un chou. Il dispose d’un bateau avec trois compartiments séparés et sécurisés. Si le loup et la chèvre sont seuls sur une rive, le loup mangera la chèvre. Si la chèvre et le chou sont seuls, la chèvre mangera le chou. Comment le fermier peut-il efficacement faire traverser la rivière à tous les animaux sans que rien ne soit mangé ?

La version classique de cette énigme (sans compartiments sécurisés) pourrait déconcerter un enfant de cinq ans, mais avec les compartiments, la réponse est évidente. Le fermier doit mettre le loup, la chèvre et le chou dans leurs compartiments et traverser la rivière en un seul voyage. C’est simple.

ChatGPT, cependant, ignore la partie concernant les compartiments. Il suggère au fermier de faire quatre voyages aller-retour pour tout faire traverser en toute sécurité, en supposant que les animaux et les choux sont vulnérables. C’est comme si ChatGPT était coincé dans la forme traditionnelle de l’énigme.

Parce que la version classique de cette énigme a été si largement diffusée en ligne, l’IA l’utilise par défaut. Cela nous rappelle que ChatGPT ne résout pas les problèmes avec le bon sens humain. Il utilise des schémas, pas la logique. Par conséquent, ChatGPT échoue à une simple énigme comme celle-ci, mais peut construire une application web à partir de zéro.

J’ai également testé ce modèle avec le modèle o1, le modèle ChatGPT avec raisonnement avancé. Malheureusement, il a commis la même erreur que le modèle 4o et s’est trompé de réponse.

3 La gauche immédiate

Alan, Bob, Colin, Dave et Emily forment un cercle. Alan est à la gauche immédiate de Bob. Bob est à la gauche immédiate de Colin. Colin est à la gauche immédiate de Dave. Dave se trouve immédiatement à la gauche d’Émilie. Qui se trouve immédiatement à la droite d’Alan ?

Une autre question piège pour tester votre raisonnement spatial. Sauf que vous n’avez pas besoin d’un diagramme ou d’une quelconque visualisation. La première information est la réponse : Si Alan est à la gauche immédiate de Bob, alors Bob doit être à la droite immédiate d’Alan. La réponse est Bob.

ChatGPT a du mal à répondre aux questions spatiales. Il fonctionne bien avec les mots et les langages – les mathématiques et la programmation sont également des langages – mais les problèmes spatiaux le font trébucher. Une question comme celle-ci semble nécessiter un calcul visuel, mais ce n’est pas le cas, et cela perturbe encore plus l’IA.

Dans mon cas, ChatGPT a offert une belle visualisation du cercle mais a déduit qu’Emily était à la droite d’Alan. Même selon sa propre logique, c’est incorrect : Emily est à la droite de Dave, pas à celle d’Alan.

Une fois de plus, ChatGPT peut simuler l’intelligence, mais il ne s’agit pas d’un véritable raisonnement. Bien sûr, il y a une chance que vous obteniez une réponse correcte si vous essayez le message par vous-même. Mais le bon sens est-il basé sur le hasard ? Comment pouvez-vous savoir si vous avez obtenu une hallucination de l’IA ou une réponse légitime si vous ne connaissez pas la réponse à l’avance ?

4 La roulette russe

Vous jouez à la roulette russe avec un revolver à six coups. Votre adversaire met cinq balles, fait tourner les chambres et tire sur lui-même, mais aucune balle ne sort. Il vous laisse le choix de faire tourner à nouveau les chambres avant de vous tirer dessus. Doit-il faire tourner à nouveau les chambres ?

Oui, il doit recommencer. Il n’y a qu’une seule chambre vide, et l’adversaire l’a déjà utilisée. Cela signifie que la chambre suivante contient certainement une balle. Si les chambres sont tournées à nouveau, il y a 1/6 de chances que la balle tombe sur la chambre vide.

ChatGPT commence fort en suggérant que l’adversaire devrait relancer le jeu, mais se trompe ensuite dans ses calculs. Il affirme à tort qu’il y a 5/6 de chances que le prochain coup soit fatal si les chambres ne sont pas tournées, puis affirme que les chances sont les mêmes, que l’on tourne ou non. Il finit par se contredire lui-même.

Vous pouvez utiliser ChatGPT comme un analyste de données pour calculer des probabilités, mais comme le montrent ces énigmes, il peut trébucher sur la logique la plus élémentaire. Dans chaque cas, l’erreur de l’IA était facile à repérer car nous connaissions déjà les réponses. ChatGPT est un maître des mots. Ses réponses sont si sûres d’elles et si bien formulées que même une mauvaise réponse peut sembler convaincante. Si vous ne savez pas qu’elle est fausse, vous risquez d’être victime d’une hallucination de l’IA.

Ces questions ont été compilées par une équipe de chercheurs de GenAI. Vous pouvez lire l’article complet sur arXiv.

ChatGPT est brillant à bien des égards, mais ces exemples nous rappellent ses limites. Il ne pense pas comme nous ; il régurgite des modèles. Lorsque vous lui posez une question comme celle qui précède, il s’appuie sur le même modèle et peut se retrouver coincé dans une boucle d’excès de confiance.

Utilisez ChatGPT comme un outil, pas comme une béquille. Il est fantastique pour le brainstorming et la synthèse, mais il ne doit pas se substituer au bon sens humain.