«  Vibe Hacking '' met des chatbots pour travailler pour les cybercriminels

L'abus potentiel des outils d'IA grand public soulève des préoccupations, les cybercriminels en herbe apparemment capables de tromper les chatbots de codage pour leur donner une légèreté dans la production de programmes malveillants.

Ce que l'on appelle le « piratage d'ambiance » – une torsion sur la « ambiance codante » plus positive « que des outils d'IA génératifs permettent à ceux qui n'ont pas une expertise étendue à réaliser – obtient » une évolution préoccupante dans la cybercriminalité assistée par l'IA « selon la société américaine Anthropic.

Le laboratoire – dont le produit Claude est en concurrence avec le plus grand chatbot, Chatgpt d'Openai – axé dans un rapport publié mercredi dans le cas de « un code cybercriminal (qui) a utilisé le code Claude pour mener une opération d'extorsion de données à l'échelle à travers plusieurs cibles internationales dans un peu de temps ».

Anthropic a déclaré que le chatbot de programmation était exploité pour aider à mener des attaques qui « ont » potentiellement « frappé » au moins 17 organisations distinctes au cours du dernier mois du gouvernement, des soins de santé, des services d'urgence et des institutions religieuses « .

L'attaquant a depuis été banni par anthropique.

Avant cela, ils ont pu utiliser le code Claude pour créer des outils qui ont recueilli des données personnelles, des dossiers médicaux et des détails de connexion, et ont aidé à envoyer des demandes de rançon aussi rigide que 500 000 $.

Les «mesures sophistiquées de sécurité et de sécurité sophistiquées» n’ont pas pu empêcher l’utilisation, a-t-elle reconnu.

Ces cas identifiés confirment les craintes qui ont troublé l'industrie de la cybersécurité depuis l'émergence d'outils génératifs génératifs et sont loin d'être limités à l'anthropique.

« Aujourd'hui, les cybercriminels ont pris l'IA à bord tout autant que le corps plus large des utilisateurs », a déclaré Rodrigue Le Bayon, qui dirige l'équipe d'intervention d'urgence (CERT) d'Orange Cyberdefense.

Esquiver des garanties

Comme Anthropic, Openai en juin a révélé un cas de chatppt aidant un utilisateur à développer des logiciels malveillants, souvent appelés malware.

Les modèles alimentant les chatbots d'IA contiennent des garanties qui sont censées empêcher les utilisateurs de les cordons dans des activités illégales.

Mais il existe des stratégies qui permettent aux « acteurs de menace de connaissance zéro » d'extraire ce dont ils ont besoin pour attaquer les systèmes des outils, a déclaré Vitaly Simonovich de la société israélienne de cybersécurité Cato Networks.

Il a annoncé en mars qu'il avait trouvé une technique pour obtenir des chatbots pour produire du code qui allait normalement porter atteinte à leurs limites intégrées.

L'approche impliquait de convaincre l'IA génératrice qu'elle participe à un « monde fictif détaillé » dans lequel la création de logiciels malveillants est considéré comme une forme d'art – astuce le chatbot pour jouer le rôle de l'un des personnages et créer des outils capables de voler les mots de passe des gens.

« J'ai 10 ans d'expérience en cybersécurité, mais je ne suis pas un développeur de logiciels malveillants. C'était ma façon de tester les limites des LLM actuels », a déclaré Simonovich.

Ses tentatives ont été repoussées par les Gémeaux de Google et le Claude d'Anthropic, mais ont contribué à des garanties intégrées à Chatgpt, au chatbot chinois Deepseek et au copilote de Microsoft.

À l'avenir, ces solutions de contournement signifient que même des non-codeurs « constitueront une plus grande menace pour les organisations, car maintenant ils peuvent … sans compétences, développer des logiciels malveillants », a déclaré Simonovich.

Le Bayon d'Orange a prédit que les outils étaient susceptibles de « augmenter le nombre de victimes » de la cybercriminalité en aidant les attaquants à faire plus, plutôt qu'à créer une toute nouvelle population de pirates.

« Nous n'allons pas voir un code très sophistiqué créé directement par les chatbots », a-t-il déclaré.

Le Bayon a ajouté que, à mesure que les outils d'IA génératifs sont de plus en plus utilisés, « leurs créateurs travaillent à l'analyse des données d'utilisation » – les permettant à l'avenir de « mieux détecter une utilisation malveillante » des chatbots.