Taille, garde-fous et étapes vers les agents IA

Je recherche l'intersection de l'intelligence artificielle, du traitement du langage naturel et du raisonnement humain en tant que directeur du laboratoire Advancing Human and Machine Reasoning à l'Université de Floride du Sud. Je commercialise également cette recherche dans une startup d'IA qui fournit un scanner de vulnérabilités pour les modèles de langage.

De mon point de vue, j’ai observé des évolutions significatives dans le domaine des modèles linguistiques d’IA en 2024, tant dans la recherche que dans l’industrie.

Les plus intéressants d’entre eux sont peut-être les capacités de modèles de langage plus petits, la prise en charge de la gestion des hallucinations de l’IA et les cadres de développement d’agents d’IA.

Les petites IA font sensation

Au cœur des produits d'IA générative disponibles dans le commerce comme ChatGPT se trouvent de grands modèles de langage, ou LLM, qui sont formés sur de grandes quantités de texte et produisent un langage convaincant, semblable à celui d'un humain. Leur taille est généralement mesurée en paramètres, qui sont les valeurs numériques qu'un modèle dérive de ses données d'entraînement. Les modèles plus grands, comme ceux des grandes sociétés d’IA, comportent des centaines de milliards de paramètres.

Il existe une interaction itérative entre les grands modèles de langage et les modèles de langage plus petits, qui semble s'être accélérée en 2024.

Premièrement, les organisations disposant du plus grand nombre de ressources informatiques expérimentent et forment des modèles linguistiques de plus en plus vastes et puissants. Ceux-ci génèrent de nouvelles capacités de modèle de langage étendu, des références, des ensembles de formation et des astuces de formation ou d'incitation. À leur tour, ceux-ci sont utilisés pour créer des modèles de langage plus petits (de l’ordre de 3 milliards de paramètres ou moins) qui peuvent être exécutés sur des configurations informatiques plus abordables, nécessitent moins d’énergie et de mémoire pour s’entraîner et peuvent être ajustés avec moins de données.

Il n'est donc pas surprenant que les développeurs aient publié une multitude de modèles de langage puissants et plus petits, même si la définition de petit ne cesse de changer : Phi-3 et Phi-4 de Microsoft, Llama-3.2 1B et 3B et Qwen2-VL-2B ne sont que des exemples. quelques exemples.

Ces modèles de langage plus petits peuvent être spécialisés pour des tâches plus spécifiques, telles que la synthèse rapide d'un ensemble de commentaires ou la vérification des faits par rapport à une référence spécifique. Ils peuvent travailler avec leurs cousins ​​plus grands pour produire des systèmes hybrides de plus en plus puissants.

Accès plus large

Un accès accru à des modèles linguistiques hautement performants, grands et petits, peut être une bénédiction mitigée. Comme il y a eu de nombreuses élections consécutives dans le monde en 2024, la tentation d’une utilisation abusive des modèles linguistiques était forte.

Les modèles linguistiques peuvent donner aux utilisateurs malveillants la possibilité de générer des publications sur les réseaux sociaux et d’influencer de manière trompeuse l’opinion publique. Cette menace a suscité de nombreuses inquiétudes en 2024, étant donné que c’était une année électorale dans de nombreux pays.

Et en effet, un appel automatisé simulant la voix du président Joe Biden a demandé aux électeurs démocrates des primaires du New Hampshire de rester chez eux. OpenAI a dû intervenir pour perturber plus de 20 opérations et réseaux trompeurs qui tentaient d'utiliser ses modèles pour des campagnes trompeuses. De fausses vidéos et mèmes ont été créés et partagés à l’aide d’outils d’IA.

Malgré l’inquiétude suscitée par la désinformation liée à l’IA, on ne sait pas encore clairement quel effet ces efforts ont réellement eu sur l’opinion publique et sur les élections américaines. Néanmoins, les États américains ont adopté en 2024 un grand nombre de lois régissant l’utilisation de l’IA lors des élections et des campagnes.

Des robots qui se comportent mal

Google a commencé à inclure des aperçus de l'IA dans ses résultats de recherche, donnant des résultats hilarants et manifestement faux, à moins que vous n'aimiez la colle dans votre pizza. Cependant, d’autres résultats auraient pu être dangereusement erronés, par exemple lorsqu’il suggérait de mélanger de l’eau de Javel et du vinaigre pour nettoyer vos vêtements.

Les grands modèles de langage, tels qu’ils sont le plus souvent mis en œuvre, sont sujets aux hallucinations. Cela signifie qu’ils peuvent énoncer des choses fausses ou trompeuses, souvent avec un langage sûr. Même si moi-même et d’autres battions continuellement le tambour à ce sujet, 2024 a quand même vu de nombreuses organisations découvrir à leurs dépens les dangers des hallucinations de l’IA.

Malgré des tests importants, un chatbot jouant le rôle d'un prêtre catholique a plaidé pour le baptême via Gatorade. Un chatbot informant sur les lois et réglementations de la ville de New York a déclaré à tort qu'il était « légal pour un employeur de licencier une travailleuse qui se plaint de harcèlement sexuel, ne révèle pas sa grossesse ou refuse de couper ses dreadlocks ». Et le modèle capable de parler d'OpenAI a oublié à qui revenait le tour de parler et a répondu à un humain avec sa propre voix.

Heureusement, 2024 a également vu de nouvelles façons d’atténuer et de vivre avec les hallucinations de l’IA. Les entreprises et les chercheurs développent des outils pour s'assurer que les systèmes d'IA suivent des règles données avant le déploiement, ainsi que des environnements pour les évaluer. Les cadres dits de garde-fou inspectent les entrées et les sorties des grands modèles de langage en temps réel, bien que souvent en utilisant une autre couche de grands modèles de langage.

Et le débat sur la réglementation de l’IA s’est accéléré, obligeant les grands acteurs du vaste espace de modèles linguistiques à mettre à jour leurs politiques en matière de mise à l’échelle et d’exploitation responsable de l’IA.

Mais bien que les chercheurs trouvent continuellement des moyens de réduire les hallucinations, en 2024, des recherches ont montré de manière convaincante que les hallucinations de l’IA existeront toujours sous une forme ou une autre. Cela peut être une caractéristique fondamentale de ce qui se produit lorsqu’une entité dispose de ressources informatiques et informationnelles limitées. Après tout, même les êtres humains sont connus pour se souvenir avec confiance et énoncer des mensonges de temps en temps.

La montée des agents

Les grands modèles de langage, en particulier ceux alimentés par des variantes de l’architecture du transformateur, sont toujours à l’origine des avancées les plus significatives en matière d’IA. Par exemple, les développeurs utilisent de grands modèles de langage non seulement pour créer des chatbots, mais aussi pour servir de base aux agents d’IA. Le terme « IA agentique » a pris de l’importance en 2024, certains experts le qualifiant même de troisième vague d’IA.

Pour comprendre ce qu'est un agent IA, pensez à un chatbot développé de deux manières : Premièrement, donnez-lui accès à des outils qui lui permettent d'agir. Il peut s'agir par exemple de la possibilité d'interroger un moteur de recherche externe, de réserver un vol ou d'utiliser une calculatrice. Deuxièmement, donnez-lui une autonomie accrue, ou la capacité de prendre davantage de décisions par lui-même.

Par exemple, un chatbot IA de voyage pourrait être capable d'effectuer une recherche de vols en fonction des informations que vous lui fournissez, mais un agent de voyages équipé d'outils pourrait planifier un itinéraire de voyage complet, y compris la recherche d'événements, la réservation et les ajouter à votre compte. calendrier.

En 2024, de nouveaux cadres de développement d’agents d’IA ont émergé. Pour n'en nommer que quelques-uns, LangGraph, CrewAI, PhiData et AutoGen/Magentic-One ont été publiés ou améliorés en 2024.

Les entreprises commencent tout juste à adopter les agents IA. Les cadres de développement d’agents d’IA sont nouveaux et évoluent rapidement. De plus, les risques liés à la sécurité, à la vie privée et aux hallucinations restent préoccupants.

Mais les analystes du marché mondial prévoient que cela va changer : 82 % des organisations interrogées prévoient d’utiliser des agents d’ici 1 à 3 ans, et 25 % de toutes les entreprises qui utilisent actuellement l’IA générative sont susceptibles d’adopter des agents d’IA en 2025.