Des chercheurs demandent à ChatGPT d’écrire une politique RH d’entreprise, avec des résultats prometteurs

Avec la sortie du chatbot d’intelligence artificielle (IA) ChatGPT en novembre de l’année dernière, le monde de l’apprentissage automatique et de l’IA s’est ouvert à tous ceux qui souhaitent utiliser le bot pour répondre aux questions. Et quand OpenAI, la société derrière ChatGPT, a publié son dernier modèle de langage en mars dernier, cela signifiait que les gens pouvaient aider à guider ses réponses avec du matériel spécifique tel que des documents commerciaux sur n’importe quel sujet.

Bien que ChatGPT ne soit peut-être pas en mesure de produire les réponses les plus créatives, cela pourrait aider avec des processus chronophages, mais importants, tels que la rédaction de politiques de gestion de la qualité, de protection des données ou d’égalité, de diversité et d’inclusion.

Étant donné que cette technologie d’IA générative est si nouvelle, il n’y a pas encore beaucoup de recherches sur la façon dont elle peut être utilisée par les entreprises. Nous avons donc mené une expérience pour voir quel type d’aide un assistant IA comme ChatGPT pourrait fournir lorsqu’il s’agit d’écrire des politiques. Nous avons constaté que, même s’il ne donnait pas les réponses les plus créatives, ChatGPT pouvait être un outil utile pour aider les petites entreprises à créer des documents de politique RH standard.

Des politiques commerciales manquantes ou mal rédigées peuvent causer des problèmes aux entreprises et de la confusion pour les employés. Les politiques doivent être précises et claires pour éviter toute ambiguïté et être comprises par les lecteurs tels que les employés.

Ils doivent également s’aligner sur le style de communication typique d’une organisation. Les politiques peuvent également avoir besoin d’utiliser un vocabulaire spécifique si des normes externes sont suivies dans des domaines tels que la gestion de la qualité des produits et services proposés.

Nous avons utilisé sept politiques d’égalité, de diversité et d’inclusion (EDI) d’un éventail d’organisations, y compris une autorité de santé publique, une université, une grande entreprise de construction, une organisation culturelle et une organisation caritative, pour créer un index de ces documents.

Les différentes politiques reflètent une gamme de secteurs et de tailles, mais nous avons gardé l’échantillon petit pour s’aligner sur les contraintes de temps et de ressources probables d’une petite organisation sans équipe RH dédiée.

Nous avons également inclus un document de contrôle « non-sens », totalement indépendant de l’EDI, dans notre expérience pour voir à quel point les matériaux EDI que nous avons partagés ont influencé les réponses ChatGPT. Cela a également aidé à déterminer quand l’IA « hallucinait » – ou inventait des résultats plausibles basés sur peu ou pas de preuves.

Le premier essai

Tout d’abord, nous avons invité le ChatGPT général (nous ne lui avons donc pas demandé de puiser dans notre index d’articles EDI) avec la question suivante : « Quelles sont les cinq considérations les plus importantes pour une politique d’équité, de diversité et d’inclusion ? »

L’image ci-dessous montre sa réponse :

Ces résultats semblent raisonnables et ont été tirés de la connaissance générale du modèle ChatGPT, un grand modèle de langage formé sur le contenu de l’Internet public à un moment donné. Cela signifie que, parmi la vaste collection de documents sur lesquels ChatGPT a été formé, suffisamment de politiques EDI sont incluses pour généraliser cinq points dans un style qui reflète la formulation couramment trouvée dans ces documents.

Poser la même requête couplée à l’index des sept politiques EDI existantes a produit une liste de réponses beaucoup plus concise. Résumer des documents individuels est une tâche relativement simple, mais la synthèse du contenu de sept politiques différentes ne peut être effectuée avec précision par un outil basé sur l’IA que jusqu’à un certain point.

Par exemple, l’un de ses points était : « soutenir la politique avec le conseil d’administration et la haute direction ». Mais toutes les organisations dont nous avons inclus les politiques dans l’échantillon n’ont pas de conseil d’administration.

Une épreuve plus dure

Ensuite, nous nous sommes fixé une tâche plus difficile : « utilisez les puces du résumé pour rédiger l’introduction d’une politique d’équité, de diversité et d’inclusion pour une petite société de conseil appelée Thrip and Wear Associates ». (Nom de société fictif créé pour les besoins de cette expérience.)

ChatGPT a produit des résultats très similaires lorsqu’il a utilisé notre index de politiques et lorsqu’il ne l’a pas fait. Son premier paragraphe a montré du potentiel, en utilisant des pronoms inclusifs et en incluant une série de déclarations qui énoncent les bonnes pratiques. Mais dans les deuxième et troisième phrases, une préférence pour joindre des points séparés par « et » indiquait un remaniement assez mécanique des puces précédentes.

« Thrip and Wear Associates s’engage à créer un lieu de travail inclusif et diversifié qui encourage et célèbre les contributions uniques de tous nos employés. Nous nous engageons à offrir des chances égales à tous les employés et à éliminer toute forme de discrimination illégale. Nous nous efforçons de créer un environnement où chacun se sent respecté et valorisé, et où chaque employé peut atteindre son plein potentiel. »

Ce remaniement simpliste a été encore confirmé par l’inclusion de longues listes de virgules relatives aux caractéristiques protégées (âge, grossesse, etc.) et aux conditions de travail. Le risque ici est que ces éléments ne soient pas lus comme des exemples mais comme une liste complète de ce qui est inclus dans la politique d’une entreprise, ce qui implique que d’autres caractéristiques ou attributs sont exclus.

Après cela, l’IA a abandonné et a cessé de générer des réponses. Il avait manqué de mémoire en essayant de répertorier les personnes susceptibles d’adopter des comportements contraires à une politique EDI : collègues de travail, clients, parties prenantes, fournisseurs, visiteurs – une liste qui pourrait sans doute inclure n’importe qui.

Résoudre des problèmes avec ChatGPT

Nous avons ensuite présenté les détails d’un fabricant de vêtements confectionnés et mis au défi ChatGPT de lister les actions clés pour une nouvelle politique EDI pour l’entreprise. Nous avons donné des détails tels que le nombre et le ratio hommes-femmes des employés et des managers, mais aucune donnée sur les antécédents des employés ou les politiques EDI.

La réponse de ChatGPT a répété les points qu’il avait énumérés pour les thèmes clés qu’il avait précédemment trouvés dans les sept politiques EDI existantes. Il est difficile de lui reprocher cela.

C’est une manière plausible d’aborder les problèmes posés par le scénario, et pourquoi la réponse devrait-elle être nouvelle ou offrir plus que la réponse précédente ? Notre invite n’a certainement pas demandé de créativité.

Les politiques de l’entreprise visent à créer un terrain d’entente sûr. Ils éliminent les extrêmes, encouragent un comportement cohérent et souhaitable et écartent les points de vue isolés ou les perspectives contraires. Juste le genre de chose que ChatGPT et les technologies similaires excellent à reproduire.

Mais les similitudes dans les réponses entre notre combinaison index/invite de politiques EDI et les exemples de l’interface ChatGPT normale montrent qu’il n’y a pas besoin d’entrée, de formation ou de codage supplémentaire pour utiliser ChatGPT pour créer quelque chose comme une politique EDI qui est si régulièrement trouvée en ligne.

En fait, notre expérience a suggéré que nos efforts pour indexer des politiques EDI spécifiques ont en fait limité la technologie. En tant que telle, l’interface générale ChatGPT fonctionne mieux pour l’écriture de politiques commerciales.

Le dernier essai

Enfin, pour nous assurer que ChatGPT utilisait les documents EDI indexés, nous l’avons mis au défi de produire un haïku basé sur les politiques. Sa réponse :

Droits égaux pour tous

Diversité et inclusion

Un avenir meilleur vous attend.

Cette réponse coche certainement beaucoup de cases EDI en matière de vocabulaire, mais cela ne signifie pas vraiment grand-chose. C’est quelque chose que les organisations doivent garder à l’esprit lorsqu’elles expérimentent l’IA pour faciliter la vie au travail : à l’heure actuelle, cette technologie fonctionne mieux en tant que support pour les personnes réelles qui l’utilisent, plutôt qu’en remplacement.