Il n’y a pas lieu de craindre que l’IA se retourne contre les humains. Il faut craindre BadGPT, l'IA pour les hackers

ChatGPT, Copilot et Gemini sont là pour essayer de nous aider, mais par rapport à ces chatbots on commence désormais à voir des versions qui sont justement conçues pour le contraire. C’est le mauvais côté de tout outil ou technologie comme l’intelligence artificielle : il peut être utilisé pour le bien, mais aussi pour le mal.

Les méchants chatbots. Comme le souligne le Wall Street Journal, des chatbots portant des noms comme BadGPT ou FraudGPT ont récemment commencé à apparaître, conçus pour aider les pirates informatiques à développer tout type d'activités frauduleuses et criminelles.

Hameçonnage. Ces outils d’IA permettent d’améliorer encore les campagnes de phishing des cybercriminels. En fait, avec ces outils, ils peuvent créer de faux sites Web qui imitent des sites Web légitimes, en plus d'écrire des logiciels malveillants et de concevoir des messages personnalisés qui usurpent l'identité d'autres personnes ou entités. Cette dernière est appelée « spear-phishing », une technique qui utilise les informations de ces personnes ou entités pour composer des e-mails qui semblent provenir d'elles et qui sont encore plus difficiles à détecter pour les victimes.

En vente sur le dark web. Dans le WSJ, ils citent une étude réalisée par des chercheurs de l'Université d'Indiana qui révèle comment ils ont découvert plus de 200 chatbots malveillants vendus sur le dark web. Ils ont commencé à apparaître début 2023, et depuis, leur évolution est notable. Beaucoup d'entre eux sont basés sur des LLM Open Source tels que Llama 2, ou sur des versions de modèles OpenAI ou Anthropic qui ont été modifiées avec des « jailbreaks » grâce à une ingénierie rapide qui permet à ces chatbots de surmonter les contrôles de sécurité.

Les modèles ouverts peuvent être un problème. Dane Sherrets, hacker éthique et expert de la société HackerOne, a expliqué au WSJ qu'une partie du problème réside dans le fait que certains modèles d'IA sont disponibles gratuitement sur le Web et ne disposent pas de mécanismes de censure. Ces versions sont développées par des chercheurs en IA et en cybersécurité précisément pour travailler dans ces domaines, mais le fait qu'elles puissent être facilement trouvées signifie que d'autres peuvent en profiter à des fins criminelles.

Mixtral à l'honneur. L'un des exemples utilisés pour générer des e-mails de phishing est une version de Mixtral, développée par la startup française Mistral AI. Ce modèle a été modifié pour qu'il n'y ait aucune barrière à utiliser et, de par sa conception, il semble se comporter mieux que la plupart des outils d'IA que l'on peut trouver sur le Dark Web.

Mais soyez prudent avec les outils du Dark Web. Néanmoins, les outils vendus sur le « dark web » peuvent représenter un autre type de menace, car ils peuvent avoir été formés avec des données telles que des fuites et des vols de données ou des listes de victimes d'attaques de ransomwares. Les services de piratage d’IA ont des prix très variés qui, selon l’étude de l’Université d’Indiana, vont de cinq à 199 dollars par mois.

Microsoft et OpenAI sont en alerte. Ces types d’utilisations malveillantes des chatbots sont bien connus des grandes entreprises qui mènent le développement de ces technologies. Il y a deux semaines, Microsoft et OpenAI ont indiqué que les pirates informatiques utilisaient des LLM et des chatbots comme ChatGPT pour améliorer leurs cyberattaques. Tous deux ont détecté des tentatives de groupes criminels dans des pays comme la Russie, la Corée du Nord, l'Iran ou la Chine d'utiliser ChatGPT pour améliorer leurs scripts ou participer à des attaques d'ingénierie sociale.

Mais l’IA peut aussi aider. Si ces outils sont certainement utilisés par les cybercriminels, ils peuvent également contribuer à lutter contre ces menaces. Microsoft lui-même avait déjà proposé cette solution il y a un an, et Sundar Pichai, PDG de Google, expliquait il y a quelques jours comment l'intelligence artificielle peut contribuer à nous protéger « de manière disproportionnée » des menaces de sécurité.

Images | Javier Pastor avec Bing Image Creator

À Simseo | La plus grande menace pour la cybersécurité de la Chine ne vient pas des États-Unis : ce sont les pirates informatiques indiens.