ChatGPT et ses concurrents « hallucinent ». NVIDIA a donc créé une technologie pour le résoudre
Les chatbots font des gaffes de temps en temps. Ils le font parce que les utilisateurs le provoquent, mais aussi sans trop de raison. C’est l’un des gros problèmes de ChatGPT et de ses concurrents, mais chez NVIDIA, ils pensent avoir la solution.
Que s’est-il passé. NVIDIA a annoncé le lancement de NeMo Guardrails, un nouveau logiciel qui aidera les développeurs de solutions basées sur l’IA à faire en sorte que leurs modèles demandent de mauvaises réponses, parlent de manière toxique ou exposent des failles de sécurité.
Garde-corps pour éviter les problèmes. Ce que fait ce logiciel, c’est ajouter une sorte de barrières virtuelles pour empêcher le chatbot de parler de sujets qu’il ne devrait pas. Avec NeMo Guardrails, un chatbot peut être forcé de parler de n’importe quel sujet, en évitant le contenu toxique, et il est également conçu pour empêcher les systèmes LLM d’exécuter des commandes nuisibles sur nos ordinateurs.
Faites attention à ce que vous dites, chatbot. NeMo Guardrails est une couche logicielle qui se situe entre l’utilisateur et le modèle d’IA conversationnel ou toute autre application d’IA. Son objectif est d’éliminer les réponses erronées ou toxiques avant que le modèle ne puisse les proposer à l’utilisateur. Dans un exemple de centre d’appels proposé par NVIDIA, ils ont indiqué que l’entreprise « ne voudra pas que vous répondiez aux questions sur les concurrents ».
Aucune donnée confidentielle. Ce type d’outil est également utile pour un autre scénario dans lequel quelqu’un essaie d’obtenir des informations confidentielles ou sensibles à partir des données avec lesquelles le chatbot a été formé. Nous savons que ChatGPT et ses concurrents ne savent pas garder les secrets, et la solution de NVIDIA veut être la réponse à ce problème.
Des IA qui se parlent. Ce logiciel NVIDIA est capable de faire en sorte qu’un LLM détecte ces erreurs et « hallucinations » en demandant à d’autres modèles de LLM de vérifier que les réponses du premier sont correctes. Si le LLM « vérificateur » ne peut pas fournir cette réponse, le premier LLM répondra à l’utilisateur avec quelque chose à l’effet de « Je ne sais pas ».
Open source. NeMo Guardrails a une autre caractéristique frappante : il est Open Source. Il peut être utilisé via les services NVIDIA et peut être utilisé dans des applications commerciales. Pour l’utiliser, les développeurs peuvent utiliser le langage de programmation Colang, avec lequel il est possible de créer des règles personnalisées qui seront ensuite appliquées au modèle d’IA.
