Un nouveau logiciel peut vérifier la quantité d’informations que l’IA connaît vraiment
Crédit : Pixabay/CC0 Domaine public
Avec un intérêt croissant pour les systèmes d’intelligence artificielle générative (IA) dans le monde entier, des chercheurs de l’Université de Surrey ont créé un logiciel capable de vérifier la quantité d’informations qu’un système de données d’IA a extraites de la base de données numérique d’une organisation.
Le logiciel de vérification de Surrey peut être utilisé dans le cadre du protocole de sécurité en ligne d’une entreprise, aidant une organisation à comprendre si l’IA a trop appris ou même accédé à des données sensibles.
Le logiciel est également capable d’identifier si l’IA a identifié et est capable d’exploiter les failles du code logiciel. Par exemple, dans un contexte de jeu en ligne, il pourrait identifier si une IA a appris à toujours gagner au poker en ligne en exploitant une erreur de codage.
Le Dr Fortunat Rajaona est chercheur en vérification formelle de la vie privée à l’Université de Surrey et auteur principal de l’article. Il a déclaré: « Dans de nombreuses applications, les systèmes d’IA interagissent entre eux ou avec les humains, comme les voitures autonomes sur une autoroute ou les robots hospitaliers. Déterminer ce qu’un système de données d’IA intelligent sait est un problème permanent auquel nous avons mis des années à trouver une solution de travail pour.
« Notre logiciel de vérification peut déduire ce que l’IA peut apprendre de leur interaction, s’ils ont suffisamment de connaissances pour permettre une coopération réussie et s’ils ont trop de connaissances qui briseront la vie privée. Grâce à la possibilité de vérifier ce que l’IA a appris, nous pouvons donner organisations la confiance nécessaire pour libérer en toute sécurité la puissance de l’IA dans des environnements sécurisés. »
L’étude sur le logiciel de Surrey a remporté le prix du meilleur article au 25e Symposium international sur les méthodes formelles.
Le professeur Adrian Hilton, directeur de l’Institut pour l’IA centrée sur les personnes à l’Université de Surrey, a déclaré : « Au cours des derniers mois, il y a eu un énorme regain d’intérêt du public et de l’industrie pour les modèles d’IA générative alimentés par les progrès des grands modèles de langage tels que comme ChatGPT. La création d’outils capables de vérifier les performances de l’IA générative est essentielle pour étayer leur déploiement sûr et responsable. Cette recherche est une étape importante vers le maintien de la confidentialité et de l’intégrité des ensembles de données utilisés dans la formation.
