ChatGPT promet d’améliorer radicalement notre productivité. Le MIT a enquêté et sa conclusion est claire

Que l’intelligence artificielle (IA) promette de marquer profondément les entreprises est difficile à douter aujourd’hui, même malgré la jeunesse d’outils tels que Stable Diffusion, Midjourney V5 ou GPT-4. Ce n’est pas une question d’intuitions ou de soupçons. Son impact se fait déjà sentir dans certaines entreprises et certains métiers et il existe même des études, comme celle publiée en mars par des chercheurs d’OpenResearch, de l’université de Pennsylvanie et d’Open AI, père de ChatGPT et de DALL-AE, qui reconnaissent que leurs modèles peut affecter des milliers d’emplois.

La grande inconnue est… Quels scénarios s’ouvrent dans l’interaction entre les travailleurs et l’IA ? Peut-il devenir un allié, nous rendre plus efficaces ? au MIT ils ont déjà étudié la question. Et ses conclusions sont révélatrices.

En quoi consistait votre étude ? Fondamentalement, en vérifiant comment ChatGPT affecte notre productivité en tant que travailleurs. Au moins celle d’un échantillon qui se consacre à la préparation de documents commerciaux. Pour ce faire, Shakked Noy et Whitney Zhang du MIT ont réuni 444 professionnels avec une expérience dans différentes tâches, telles que vendeurs, rédacteurs, analystes et techniciens dans le domaine des ressources humaines. Ensuite, ils ont demandé à chacun d’eux de rédiger deux textes dans leurs domaines respectifs, tels que des rapports, des plans d’analyse ou des communiqués de presse, des tâches similaires à celles qu’ils effectuent au quotidien pour leur entreprise.

Le premier document a été rédigé de façon routinière, avec leurs ressources habituelles. Les choses ont commencé à devenir intéressantes avec le second : la moitié a été autorisée à utiliser ChatGPT et les 222 restants ont repris le travail de manière « normale », avec leurs ressources traditionnelles et sans aucune aide d’intelligence artificielle. Une fois tout le matériel prêt, les documents ont été évalués par trois professionnels qui leur ont attribué une note comprise entre 1 et 7. Lors de leur examen, ils ne savaient bien sûr pas lesquels avaient été réalisés avec l’IA.

Et qu’ont-ils vérifié ? Que les employés qui avaient eu l’aide de ChatGPT se démarquaient sur deux points : la rapidité et la qualité. En regardant les premiers documents, tous produits sans le support de l’IA, les résultats des deux groupes de test étaient similaires, mais les choses ont changé lorsque 222 des travailleurs ont pu mettre la main sur le moteur de Ouvrir l’IA. Dans ce cas, il y avait des différences.

Les employés qui avaient manipulé l’IA ont rendu leur travail en 17 minutes, bien en dessous des 27 % des collègues qui n’ont pas eu l’aide d’algorithmes. Si ce résultat est reporté sur une journée entière de travail, cela signifie qu’un professionnel assisté par intelligence artificielle serait capable de produire un total de 28,3 documents contre 17,7 pour un autre privé de cette aide. La différence en termes de productivité est écrasante : 59 %.

Mais… Et la qualité du travail ? En cela, ils excellaient également. Plus de vitesse conduit parfois à une diminution de la qualité, mais cette prémisse n’a pas été respectée lors du test du MIT. Lorsque ce fut à leur tour d’évaluer les documents, des œuvres d’origine inconnue, les examinateurs assignèrent une moyenne de 4,5 à ceux qui avaient été réalisés avec l’aide de ChatGPT contre 3,8 reçus par ceux réalisés sans IA. Si l’on tient compte du fait que l’échelle est passée de 1 à 7, la différence est notable.

Les données sont pertinentes pour une autre raison : la plupart des employés qui utilisaient ChatGPT ne l’avaient jamais manipulé auparavant, ils manquaient donc d’expérience. Être plus précis, seulement 30% des participants l’avaient déjà utilisé. La nuance est assez importante car ceux qui ont manipulé ChatGPT n’avaient pas de courbe d’apprentissage préalable, généralement une exigence fondamentale pour tirer pleinement parti d’un nouvel outil.

Et quelle est l’explication ? Comme détails Groupe Nielsen Norman, l’utilisation de l’outil réduit les déséquilibres de compétences. Ceux qui ont le plus profité du score final étaient les travailleurs qui avaient obtenu une note inférieure dans la première phase du test et utilisé l’IA dans la seconde. Une autre des clés est que la gestion de ChatGPT a changé la façon dont les employés investissent leur temps dans la réalisation des tâches.

Sans le moteur, ils ont consacré 25 % à la réflexion, 50% à la rédaction du brouillon et les 25% restants à son édition pour parvenir au résultat final. Lorsque l’IA est entrée dans l’équation, le temps passé à créer des brouillons a été réduit de plus de moitié et le temps passé à « peaufiner » a doublé. Qu’est-ce que cela signifie? Un temps total plus court et plus d’attention dans la phase finale, axée précisément sur la perfection du résultat. L’investissement des minutes dans le réflexion il était également inférieur, bien que la réduction se situe dans la marge d’erreur envisagée dans l’étude.

Les résultats sont-ils pertinents ? oui, bien que comme reconnu dans le groupe Nielsen NormanIls doivent être manipulés avec une certaine prudence. La raison : les limites de l’étude, centrée sur un profil professionnel bien précis et sur une tâche elle aussi bien précise. La rédaction de chaque document sans l’aide de l’IA a finalement demandé moins d’une demi-heure aux employés. Les conclusions du rapport sont significatives, mais elles laissent planer des doutes, comme l’impact de l’IA sur d’autres professionnels, différentes catégories professionnelles et des tâches plus étendues.

Image de couverture: Emiliano Vittoriosi (Unsplash)

A Simseo : L’IA a déjà généré le nouveau métier à la mode (avec un gros salaire) dans l’industrie technologique : « prompt engineer »