comprendre comment fonctionne la « boîte noire » de l'IA

L’intelligence artificielle (IA) s’est avérée être une ressource précieuse pour un large éventail d’applications. Il alimente actuellement des systèmes d’aide à la conduite tels que Tesla Autopilot ou permet le fonctionnement de chatbots conversationnels tels que ChatGPT. Cependant, même si cela peut paraître surprenant, nous ne savons pas exactement Comment ça marche. Et cela est présenté comme un obstacle lorsqu’il s’agit d’améliorer la sécurité des modèles que nous utilisons quotidiennement.

OpenAI a annoncé de nouvelles méthodes pour démêler le fonctionnement de GPT-4. Pour ce faire, la société dirigée par Sam Altman utilise ce que l'on appelle des « sparse encoders » ou « Sparse Autoencoders » en anglais pour identifier les caractéristiques et découvrir des modèles qui peuvent aider à comprendre le modèle. Jusqu’à présent, 16 millions de fonctionnalités ont été trouvées, mais ce nombre devrait augmenter avec le temps.

Essayer de comprendre « la boîte noire » de l’IA

Dans le monde de l’IA, tout n’est pas inconnu. Nous avons des concepts très clairs et définis. Nous utilisons d'énormes ensembles de données (ensembles de données) pour former les réseaux de neurones qui font partie du excellents modèles de langage (LLM). Lorsque ceux-ci sont trop grands et complexes pour fonctionner sur l'infrastructure informatique actuelle, nous recourons à des techniques telles que le mélange d'experts (MoE) pour diviser la capacité du modèle en différentes spécialités.

Nous sommes également capables de créer des modèles multimodaux tels que Gemini 1.5 ou GPT-4o capables de traiter les entrées de texte, d'audio et d'image. Or, ce qui se passe dans chacun de ces exemples est un véritable mystère. On peut demander à une IA de résumer un chapitre d’un livre. Nous connaîtrons l’entrée, qui est le chapitre en question, et la sortie, le résumé, mais pas ce qui s’est passé à l’intérieur de la soi-disant « boîte noire » du modèle.

On pourrait dire qu’il ne s’agit pas seulement d’une boîte noire, mais aussi d’une sorte de boîte fermée dans laquelle il est difficile d’enquêter sur ce qui se passe à l’intérieur. La raison en est que nous ne créons pas les réseaux de neurones artificiels qui font partie du modèle, mais que nous nous occupons plutôt de les former grâce à des algorithmes. Oui, nous le savons, c’est une technologie étonnante que nous ne comprenons pas entièrement et qui, dans de nombreux cas, finit par surprendre les experts eux-mêmes.

Comme l’explique OpenAI, les activations neuronales des modèles présentent des schémas imprévisibles qui les rendent difficiles à étudier. Les encodeurs dispersés arrivent pour apporter un peu de lumière. Ceux-ci sont capables de récupérer des dizaines de millions de fonctionnalités des modèles pour mieux les comprendre. Même si bon nombre de ces fonctionnalités seront abstraites ou insignifiantes, de nombreuses autres auront le potentiel d’améliorer la sécurité et, par conséquent, la qualité du modèle.

Il convient de noter qu’il reste encore beaucoup de travail à faire et que la mise en œuvre des Sparse Autoencoders n’en est qu’à ses débuts. Pour l'instant, OpenAI espère que les premiers résultats de cette solution deviendront des ressources pour surveiller et ajuster le comportement de ses « modèles d’avant-garde ». Il convient de noter que les créateurs de ChatGPT ne sont pas les seuls à travailler là-dessus, Anthropic se concentre également sur l'alimentation d'encodeurs clairsemés.

Images | Simseo avec Bing Image Creator

À Simseo | Le PDG de NVIDIA a dénigré les puces Intel à l'ère de l'IA. Intel, bien sûr, s'est défendu

À Simseo | OpenAI vient de nous rapprocher plus que jamais de 'Elle' : son nouveau modèle de voix nous accompagnera (et nous fera peut-être tomber amoureux)