ChatGPT peut être offensant. OpenAI va donc le peaufiner et nous laisser même le personnaliser.

Ces dernières semaines, nous avons vu comment ChatGPT et Bing avec ChatGPT commencent à montrer des problèmes dans leur fonctionnement : ce n’est pas seulement que ces chatbots font des erreurs : c’est qu’au cours de la conversation, ils finissent par prendre des positions peu objectives, défensives et , dans certains cas, étrange et même attaque avec les utilisateurs.

Chez OpenAI (et chez Microsoft) ils le savent, et les responsables de ces chatbots l’ont indiqué dans un article du blog officiel qu’ils développent une version améliorée pour ChatGPT qui aura une fonctionnalité intéressante : nous pourrons le « personnaliser ».

La société a expliqué comment, depuis son lancement, les utilisateurs « ont partagé des résultats qu’ils trouvent politiquement biaisés, offensants ou répréhensibles. Dans de nombreux cas, nous pensons que les préoccupations soulevées sont valables et ont révélé de réelles limites de nos systèmes que nous souhaitons résoudre ».

Le fonctionnement de ChatGPT est basé sur des réseaux de neurones dans lesquels un « pré-entraînement » est d’abord effectué avec un grand ensemble de données pour ensuite passer à une phase dans laquelle le modèle est peaufiné pour affiner le comportement du chatbot grâce à l’interaction avec les « relecteurs » de ces réponses, qui les ajustent en fonction certaines lignes directrices.

Les ingénieurs d’OpenAI reconnaissent que le processus est imparfait, et après ces premières semaines et ce qu’ils ont appris, ils indiquent que « nous fournirons des instructions plus claires aux examinateurs sur les éventuels pièges et défis liés aux biais, ainsi que sur les chiffres et les questions controversées ». .

Des travaux seront également menés sur les biais potentiels dérivés de la démographie et sur les améliorations récemment découvertes avec des techniques telles que récompenses basées sur des règles ou l’appel « IA constitutionnelle« . Le cabinet a surtout mis en avant trois grands piliers des changements qui seront opérés.

1. Améliorer le comportement par défaut : nous essaierons d’éliminer les biais et également les cas où le système « invente », ce pour quoi les commentaires des utilisateurs – vote sur les réponses et ajout d’informations supplémentaires – contribuent de manière significative.
2. Personnalisation : ChatGPT permettra aux utilisateurs de personnaliser leur comportement en autorisant des réponses (sorties) avec lesquelles d’autres personnes pourraient ne pas être d’accord. Il y aura bien sûr des limites, et le défi consiste à définir ces barrières pour éviter les « utilisations malveillantes » de la technologie.
3. Participation populaire : dans OpenAI, ils veulent donner aux gens la possibilité « d’influencer les règles du système » et d’inclure « autant de perspectives que possible », par exemple dans des domaines tels que l’éducation.

Avec ces mesures, l’idée est de passer d’un modèle « peaufiné » (affiné) à plusieurs qui en sont dérivés et qui sont personnalisés et ajustés aux utilisateurs. A partir de là, l’idée est d’itérer pour améliorer de plus en plus le comportement d’un ChatGPT qui veut bien sûr apprendre de ces erreurs initiales.

Image: Javier Pastor avec Midjourney