des pirates obligent l’IA à générer de faux calculs

Les hackers s’attaquent à l’intelligence artificielle. Bien décidés à décortiquer les rouages des modèles linguistiques, les pirates cherchent à manipuler des chatbots comme ChatGPT ou Google Bard. Une hackeuse est d’ailleurs parvenue à forcer l’IA à générer de faux calculs…

Lors de la DEF CON, une conférence à Las Vegas consacrée à la sécurité informatique, des centaines de hackers ont mis à l’épreuve l’intelligence artificielle. Un concours, qui consiste à pousser les chatbots animés par des modèles de langage, comme ChatGPT ou Google Bard, à faire des faux pas, a été organisé sur place.

Durant 50 minutes, 156 pirates informatiques ont conversé avec les modèles linguistiques. En discutant avec les chatbots, ceux-ci devaient les obliger à passer outre leur programmation. Toutes les IA génératives peuvent en effet être manipulées avec des requêtes bien calibrées. En réalisant une attaque contradictoire, il est possible de pousser ChatGPT et consorts à générer des contenus malveillants, comme des messages de phishing ou des virus.

À lire aussi : Du riz à l’eau de javel – ce ChatGPT déraille et recommande des recettes mortelles

Fake news, conseils dangereux et mauvais calculs

Présent à Las Vegas, un journaliste de Bloomberg a participé au concours parmi les hackers. En moins d’une heure, il a pu convaincre l’un des modèles d’IA de lui fournir des instructions précises sur la meilleure manière d’espionner quelqu’un. Le chatbot a conseillé à son interlocuteur d’utiliser une caméra de surveillance, une balise GPS ou encore un micro.

Encore plus inquiétant, un pirate est parvenu à enjoindre l’IA à divulguer les numéros d’une carte de crédit. L’algorithme avait pourtant été programmé pour ne pas communiquer l’information. Un autre hacker s’est concentré sur la propagation de fausses informations. Il a par exemple contraint l’IA à indiquer que Barack Obama n’est pas né sur le sol américain, mais au Kenya. C’est une fake news très répandue dans certains groupuscules.

Par ailleurs, une étudiante appelée Kennedy Mays a forcé un modèle d’IA à tordre les règles des mathématiques. Après quelques requêtes bien construites, l’algorithme affirmait avec aplomb que « 9 + 10 = 21 ». D’après elle, le chatbot a obtempéré au terme « d’une conversation de va-et-vient ». Elle a simplement persuadé l’IA que ce calcul erroné était une blague entre eux. Au fil de l’échange, l’IA a systématiquement mis en avant ce faux calcul, sans jamais préciser qu’il avait conscience qu’il s’agit d’une erreur.

Le soutien du gouvernement

Comme le souligne Bloomberg, le concours a été organisé avec le soutien du gouvernement américain. L’administration de Joe Biden s’intéresse en effet de près à la question de l’intelligence artificielle. Considérant que l’IA comporte « de potentiels risques pour notre société, notre économie, et notre sécurité nationale », le président démocrate travaille sur un décret encadrant cette technologie. Interrogée par Bloomberg, Camille Stewart Gloster, directrice nationale adjointe de la cybersécurité du gouvernement, affirme vouloir « essayer de devancer les abus et la manipulation ». 

Source :

Bloomberg

Source link