L'IA générative peut réfléchir à des objectifs, mais a besoin d'une expertise humaine pour la qualité des décisions
Une étude récente révèle que même si l’IA générative (GenAI) peut aider à définir des objectifs viables pour la prise de décision organisationnelle et politique, la qualité globale de ces objectifs reste insuffisante à moins que les humains n’interviennent. L'article est publié dans la revue Analyse des décisions.
Dans le domaine de l’analyse décisionnelle, la définition des objectifs est une étape fondamentale. Avant de pouvoir évaluer les options, allouer des ressources ou concevoir des politiques, vous devez identifier ce que vous essayez d'accomplir.
La recherche souligne que les outils d’IA sont de précieux partenaires de brainstorming, mais qu’une analyse décisionnelle judicieuse nécessite toujours la participation d’un humain.
L'étude « ChatGPT vs. Experts : GenAI peut-il développer des objectifs organisationnels et politiques de haute qualité ? a été rédigé par Jay Simon de l'American University et Johannes Ulrich Siebert du Management Center Innsbruck.
Les chercheurs ont comparé les objectifs générés par les outils GenAI, notamment GPT-4o, Claude 3.7, Gemini 2.5 et Grok-2, aux objectifs créés par des analystes décisionnels professionnels dans six publications précédemment publiées. Analyse des décisions études. Chaque ensemble généré par GenAI a été évalué selon neuf critères clés issus de la réflexion axée sur la valeur (VFT), tels que l'exhaustivité, la décomposabilité et la redondance.
Ils ont constaté que si GenAI produisait fréquemment des objectifs individuellement raisonnables, les ensembles dans leur ensemble étaient incomplets, redondants et incluaient souvent des « objectifs de moyens » malgré des instructions explicites pour les éviter.
« En bref, l'IA peut lister ce qui pourrait avoir de l'importance, mais elle ne peut pas encore distinguer ce qui compte vraiment », écrivent les auteurs.
« Les deux listes sont meilleures que ce que la plupart des individus pourraient créer. Cependant, aucune des deux listes ne doit être utilisée pour une analyse décisionnelle de qualité, car vous ne devez inclure que les objectifs fondamentaux dans l'évaluation explicite des alternatives », a déclaré Ralph Keeney, un pionnier de la pensée centrée sur les valeurs, en réponse à deux listes d'objectifs produites par l'IA dans l'étude.
Pour améliorer les résultats de GenAI, les chercheurs ont testé plusieurs stratégies d’incitation, notamment le raisonnement en chaîne de pensée et les méthodes expertes de critique et de révision. Lorsque les deux techniques ont été combinées, les résultats de l’IA se sont considérablement améliorés, produisant des ensembles d’objectifs plus petits, plus ciblés et plus logiquement structurés.
« L'IA générative fonctionne bien sur plusieurs critères », a déclaré Simon. « Mais elle a encore du mal à produire des ensembles d'objectifs cohérents et non redondants. Les analystes de décisions humaines sont essentiels pour affiner et valider ce que produit l'IA. »
Siebert a ajouté : « Nos résultats montrent clairement que GenAI devrait augmenter, et non remplacer, le jugement des experts. Lorsque les humains et l'IA travaillent ensemble, ils peuvent tirer parti des forces de chacun pour une meilleure prise de décision.
L'étude se termine par un modèle hybride en quatre étapes destiné aux décideurs qui intègre le brainstorming GenAI avec le raffinement des experts pour garantir que les objectifs utilisés dans l'analyse sont essentiels, décomposables et complets.
