On entend partout que l’IA va tout bouleverser. Mais face à un vieux jeu d’échecs sorti sur Atari 2600 en 1979, ChatGPT a mordu la poussière. L’expérience menée par un ingénieur illustre avec humour les limites bien réelles de l’IA, surtout quand on la sort de son terrain de jeu favori.
Les grands discours sur les capacités extraordinaire de l’intelligence artificielle — on commence même à entendre parler de « superintelligence » ! — peuvent aussi se fracasser sur le mur froid de la réalité. Robert Caruso, ingénieur chez Citrix, a voulu savoir à quelle vitesse ChatGPT pourrait battre aux échecs un Atari 2600, un ordinateur vieux de 48 ans, la préhistoire de l’informatique personnelle.
L’IA de pointe mise en difficulté par un jeu rétro
Avec l’aide d’un émulateur, l’ingénieur a lancé une partie de Video Chess et a demandé à ChatGPT (avec le modèle GPT-4o) d’analyser les positions de l’échiquier à partir d’images du plateau du jeu. Au vu de la puissance du modèle et des limites de l’Atari aux performances anémiques, il s’attendait à une victoire facile de ChatGPT.
« ChatGPT s’est fait complètement pulvériser en mode débutant », s’amuse Robert Caruso dans un post LinkedIn. « Même après lui avoir fourni une grille de départ pour identifier les pièces, ChatGPT a confondu les tours et les fous, n’a pas vu des coups de pions gagnants et perdu à plusieurs reprises la trace des pièces — accusant d’abord les icônes Atari d’être trop abstraites, puis ne faisant pas mieux après être passé à la notation classique des échecs. »
Elle est belle l’IA à plusieurs milliards de dollars ! Le jeu Atari a pourtant des capacités de jeu très modestes. Après une heure et demie passée à suer sang et eau (virtuels), ChatGPT a convenu qu’il n’était pas de taille. Le bot a tout de même demandé s’il pouvait recommencer…
ChatGPT n’est pas un modèle conçu pour les échecs, contrairement au moteur open source Stockfish dont l’ELO (un système mesurant le niveau d’un joueur) dépasse les 3 600 — les meilleurs joueurs humains atteignent le niveau 2 800. Mais tout de même, le fiasco est notable après les promesses souvent exagérées autour de l’IA générative.
Interrogé par nos soins sur ce flop total, ChatGPT nous a expliqué que « même les plus grands peuvent avoir un coup de mou… Et puis, on ne m’a pas entraîné pour reconnaître des fous en 8 pixels verts fluo » !
🔴 Pour ne manquer aucune actualité de 01net, suivez-nous sur Google Actualités et WhatsApp.
Source :
ExtremeTech