Les réponses aux examens générées par l’IA ne sont pas détectées lors d’un test aveugle en situation réelle
Les correcteurs d'examens expérimentés peuvent avoir du mal à repérer les réponses générées par l'intelligence artificielle (IA), ont découvert des chercheurs.
L'étude a été menée à l'Université de Reading, au Royaume-Uni, où les dirigeants universitaires s'efforcent d'identifier les risques et opportunités potentiels de l'IA pour la recherche, l'enseignement, l'apprentissage et l'évaluation, avec des conseils actualisés déjà délivrés au personnel et aux étudiants à la suite de leurs conclusions. .
Les chercheurs appellent le secteur mondial de l’éducation à suivre l’exemple de Reading et d’autres qui élaborent également de nouvelles politiques et orientations et à faire davantage pour répondre à ce problème émergent.
Dans le cadre d'un test aveugle rigoureux d'un système d'examens universitaires réel, publié dans PLOS UNChatGPT a généré des réponses aux examens, soumises pour plusieurs modules de psychologie de premier cycle, n'a pas été détectée dans 94 % des cas et a obtenu en moyenne des notes plus élevées que les soumissions réelles des étudiants.
Il s’agit de l’étude aveugle la plus vaste et la plus robuste de ce type, à ce jour, visant à mettre les éducateurs humains au défi de détecter le contenu généré par l’IA.
Le professeur agrégé Peter Scarfe et le professeur Etienne Roesch, qui ont dirigé l'étude à l'École de psychologie et des sciences du langage clinique de Reading, ont déclaré que leurs résultats devraient constituer un « signal d'alarme » pour les éducateurs du monde entier. Une récente enquête de l'UNESCO auprès de 450 écoles et universités a révélé que moins de 10 % disposaient de politiques ou de conseils sur l'utilisation de l'IA générative.
Le Dr Scarfe a déclaré : « De nombreux établissements se sont éloignés des examens traditionnels pour rendre l'évaluation plus inclusive. Nos recherches montrent qu'il est d'une importance internationale de comprendre comment l'IA affectera l'intégrité des évaluations pédagogiques.
« Nous ne reviendrons pas nécessairement entièrement aux examens écrits à la main, mais le secteur mondial de l'éducation devra évoluer face à l'IA.
« Cela témoigne de la rigueur académique franche et de l'engagement envers l'intégrité de la recherche à Reading que nous avons tourné le microscope vers nous-mêmes pour diriger cette démarche. »
Le professeur Roesch a déclaré : « En tant que secteur, nous devons convenir de la manière dont nous attendons des étudiants qu'ils utilisent et reconnaissent le rôle de l'IA dans leur travail. Il en va de même pour l'utilisation plus large de l'IA dans d'autres domaines de la vie afin d'éviter une crise de confiance. à travers la société.
« Notre étude met en évidence la responsabilité que nous avons en tant que producteurs et consommateurs d'informations. Nous devons redoubler d'efforts sur notre engagement en faveur de l'intégrité universitaire et de la recherche. »
Le professeur Elizabeth McCrum, vice-chancelière chargée de l'éducation et de l'expérience étudiante à l'Université de Reading, a déclaré : « Il est clair que l'IA aura un effet transformateur dans de nombreux aspects de nos vies, y compris la manière dont nous enseignons aux étudiants et évaluons leur apprentissage.
« À Reading, nous avons entrepris un vaste programme de travail pour prendre en compte tous les aspects de notre enseignement, notamment en utilisant davantage la technologie pour améliorer l'expérience des étudiants et renforcer les compétences d'employabilité des diplômés.
« Les solutions consistent notamment à s'éloigner des idées dépassées en matière d'évaluation et à s'orienter vers des idées plus adaptées aux compétences dont les étudiants auront besoin sur le lieu de travail, notamment en utilisant l'IA. Partager des approches alternatives qui permettent aux étudiants de démontrer leurs connaissances et leurs compétences, avec des collègues du monde entier. disciplines, est d’une importance vitale.
« Je suis convaincu que grâce à l'examen détaillé déjà établi par Reading de tous nos cours, nous sommes dans une position de force pour aider nos étudiants actuels et futurs à découvrir et à bénéficier des développements rapides de l'IA. »
