Amplifier l'impact de l'IA en le rendant compréhensible
Alors que l'IA devient une partie omniprésente de la vie quotidienne, les gens comprennent de plus en plus comment cela fonctionne. Alors que les programmes informatiques traditionnels fonctionnent sur une logique claire – « Si A se produit, alors B » – les modèles AI, en particulier les réseaux de neurones, prennent des décisions difficiles à retrouver à n'importe quelle règle ou ligne de code. En conséquence, les techniques traditionnelles d'analyse de programme telles que l'examen du code sont inefficaces pour traiter les vulnérabilités des réseaux de neurones.
Yang Zhou, lauréat du SMU Research Staff Excellence Award pour 2024, fait partie du projet SMU professeur de SUM de l'informatique Sun Sun Jun, le projet MOE Tier 3 intitulé « La science des systèmes d'IA certifiée » qui examinera la question. Comme indiqué dans la proposition, le premier objectif du projet est:
« Premièrement, nous développerons une base scientifique pour l'analyse des systèmes d'IA, en mettant l'accent sur trois concepts fondamentaux: l'abstraction, la causalité et l'interprétabilité. Notez que ces concepts sont fondamentaux pour l'analyse du programme et doivent pourtant être réinventés formellement en raison de la différence entre les programmes et les réseaux de neurones. Cette base scientifique sera la base du développement d'outils d'analyse systématique. »
L'abstraction, la causalité et l'interprétabilité sont des concepts fondamentaux de l'IA et de l'informatique. L'abstraction fait référence au processus invisible de la façon dont un programme ou un modèle produit une sortie, comme une fonction « Calculate_area » dans un programme informatique qui considère Pi et Radius que l'utilisateur ne voit jamais.
Dans l'IA, un modèle apprendrait à identifier ce qui est un « cercle » grâce à une formation répétée et à apprendre à mesurer sa zone, mais personne ne peut indiquer une seule ligne de code pour l'identifier comme où / quand il a appris à le faire.
La causalité est plus simple à comprendre. En programmation, c'est une situation si-alors, par exemple, si le niveau d'eau> 2 m, une alarme sonore. Il est moins clair dans l'IA, où une demande de prêt automobile pourrait être rejetée en fonction des modèles et des corrélations. Par exemple, une personne de plus de 50 ans pourrait faire rejeter la demande de prêt, mais un autre joueur de 50 ans pourrait être rejeté.
Le modèle de dépistage pourrait avoir repéré d'autres facteurs tels que des antécédents d'hospitalisation dans un hôpital pour les yeux ou de publier un billet d'excès de vitesse récemment. En tant que tels, les systèmes d'IA apprennent les corrélations mais pas nécessairement les causes.
L'interprétabilité, tout simplement, est: comprenez-vous comment le logiciel est arrivé à la sortie ou à la décision finale? La sortie de l'IA peut parfois être opaque et a besoin d'outils spéciaux pour que les décisions aient un sens.
Une fois cela fait, ce qui suit sera développé:
- Un ensemble d'outils efficaces pour analyser et réparer les réseaux de neurones, y compris les moteurs de test, les débogueurs et les vérificateurs.
- Normes de certification qui fournissent des directives exploitables pour atteindre un niveau de contrôle de qualité différent.
- Proposer des processus de principe pour développer des systèmes d'IA, avec les meilleures pratiques et directives des chercheurs ainsi que des praticiens.
« Ce projet est énorme, et le groupe de recherche sous chaque CO-PI travaille sur un sous-ensemble des problèmes ci-dessus », explique Yang. « Je travaille avec [UOB Chair Professor of Computer Science] David Lo, et notre responsabilité est de comprendre les préoccupations et les défis auxquels les développeurs sont confrontés lors du développement de systèmes compatibles AI dans la pratique, ainsi que d'extraire les meilleures pratiques et directives des chercheurs et praticiens de l'IA. «
L'impact
Des exemples de systèmes compatibles AI comprennent la conduite autonome, la reconnaissance d'image et les feux de circulation intelligents. « Mes recherches dans ce projet se concentrent sur une phase importante de l'IA: comment l'IA est intégrée dans les logiciels dans la pratique et sur les défis, les solutions, les préoccupations et les pratiques dans cette phase importante », a déclaré Yang au Bureau de la gouvernance et de l'administration de la recherche (ORGA).
« Par exemple, nous suggérons qu'il est important d'écrire une documentation bien structurée pour qu'un modèle open source soit plus facilement adapté dans d'autres logiciels. »
L'impact réel du travail de Yang est substantiel. Une documentation claire et complète pourrait aider à lisser le déploiement en répertoriant les exigences matérielles et les alternatives en cas de logiciels qui ne fonctionnent pas sur certains appareils.
La documentation appropriée facilite également une adoption plus rapide en montrant que les développeurs comment brancher les modèles d'IA sur les systèmes, qu'ils soient pour la conduite autonome, l'optimisation de la chaîne d'approvisionnement ou les assistants intelligents tels que Alexa et Google Assistant d'Amazon.
Le travail de Yang sur le projet est lié à certaines de ses autres collaborations, dont l'une consiste à interviewer des praticiens de l'IA de l'industrie pour comprendre les défis et les solutions pour assurer la qualité des systèmes d'IA et valider les résultats en menant des enquêtes pour collecter les opinions et les pratiques des développeurs d'IA.
Plus de recherches, plus d'impact
Yang a également récemment publié un article intitulé « Dévoilage de la mémorisation dans les modèles de code » qui a examiné les modèles d'IA formés pour comprendre et générer du code informatique. Comme écrit dans l'article, ces modèles « automatisent une série de tâches critiques telles que la prédiction des défauts, l'examen du code, la génération de code et l'analyse des questions logicielles ».
Bien que les modèles de code facilitent l'écriture et le maintien du code, ils le font en étant formés sur de nombreuses données, à tel point qu'ils mémorisent le code fréquemment qui se produit.
« Généralement, les modèles de langue sont formés sur un grand corpus de code, visant à apprendre » étant donné un morceau de code, quels sont les prochains jetons / extraits de code « », explique Yang. « Il existe de nombreux clones de code (code identique) dans les données de formation, et les modèles de code apprendront très bien ces informations, tout comme la mémorisation de certaines données de formation.
« Les modèles de code peuvent mémoriser les informations appartenant à un développeur et exposer les informations à une autre, ce qui peut causer certaines préoccupations », ajoute-t-il.
Parmi ceux-ci, notamment les violations de sécurité (modèles fuisent les mots de passe et les informations d'identification de la base de données), le vol de propriété intellectuelle (algorithmes propriétaires et code sous licence exposés), propagation de vulnérabilité (modèles de code non sécurisés répartis à de nouvelles applications) et violations de la confidentialité (informations personnelles et exposition aux données commerciales sensibles).
Comment le travail de Yang aborde-t-il ce problème? « Nous invitons le modèle à générer un grand nombre d'extraits de code et à identifier ceux qui peuvent également être trouvés dans les données de formation via une technique appelée« détection de clone de code », explique Yang.
« Dans l'article, nous visons à exposer le problème de la mémorisation et de ne pas y remédier. Nous avons récemment publié un autre article sur l'atténuation de la fuite d'informations sur la confidentialité dans les modèles de code. »
L'impact de cette recherche particulière réside dans une meilleure préservation de la vie privée des développeurs à l'ère des modèles de grande langue. Il explique: « Plus précisément, nous concevons une nouvelle méthode » Machine Unwarning « pour guider le modèle pour » oublier « les informations de confidentialité tout en préservant ses connaissances générales. Lorsque le nouveau modèle est déployé, il peut toujours générer le code correct à la demande de l'utilisateur, mais utilisera un espace réservé lorsque les informations de confidentialité seront susceptibles d'être impliquées. »
