L’IA correspond à la performance humaine pour développer de bonnes questions de test

Les chercheurs ont développé un modèle d’intelligence artificielle (IA) qui peut générer des questions d’évaluation de cours en ligne que les instructeurs ont trouvées indiscernables des questions écrites par des humains.

La nouvelle IA s’appelle QUADL, et elle fait deux choses : elle identifie les termes et idées clés dans les textes pédagogiques, puis élabore des questions qui se concentrent sur ces termes et idées.

« Nous fournissons à QUADL le contenu du didacticiel et les objectifs d’apprentissage du programme, et QUADL peut ensuite développer des questions qui aident les étudiants à atteindre ces objectifs d’apprentissage », déclare Noboru Matsuda, professeur agrégé d’informatique à la North Carolina State University et co-auteur de un article sur le travail.

« Les humains sont bons pour développer des cours, mais lors d’entretiens avec des instructeurs et des développeurs de didacticiels, nous avons constaté qu’ils ont souvent du mal à développer des questions efficaces pour évaluer les progrès des étudiants par rapport aux objectifs d’apprentissage de ces cours », déclare Machi Shimmei, titulaire d’un doctorat. . étudiant à NC State et premier auteur de l’article. « Notre étude suggère que QUADL peut être un outil utile pour les instructeurs et les développeurs de cours. »

Pour tester les performances de QUADL, les chercheurs ont utilisé un didacticiel en ligne existant appelé Open Learning Initiative. Les chercheurs ont recruté cinq instructeurs qui utilisent l’OLI pour leurs cours et leur ont demandé d’évaluer une longue liste de questions. Certaines des questions ont été générées par QUADL ; certains ont été générés par le modèle d’IA de génération de questions à la pointe de la technologie (appelé Info-HCVAE); et certaines des questions étaient déjà utilisées dans les cours de l’OLI. Les participants à l’étude n’ont pas été informés de l’origine des questions et ont été invités à évaluer la valeur pédagogique de chaque question.

« Les scores de valeur pédagogique attribués aux questions générées par QUADL étaient essentiellement identiques aux scores de valeur que les instructeurs ont attribués aux questions écrites par des personnes pour être utilisées dans l’OLI », explique Shimmei. « Les questions générées par Info-HCVAE ont reçu des scores inférieurs de la part des instructeurs. »

Les chercheurs planifient maintenant des études de premier cycle en classe qui demanderont aux instructeurs d’utiliser des questions générées par QUADL afin de voir comment, le cas échéant, les questions générées par QUADL affectent l’apprentissage des étudiants.

« Ce travail à venir devrait boucler la boucle de cette technologie », a déclaré Matsuda. « En théorie, QUADL fonctionnera. Nous devons maintenant voir s’il fonctionnera réellement dans la pratique. »

QUADL fait partie d’une suite plus large de technologies d’IA que Matsuda et ses collaborateurs développent, appelée PASTEL. Toutes les technologies PASTEL sont conçues pour faciliter le développement de didacticiels pédagogiques.

« Ces technologies traitent de tout, de la génération de questions – qui est le rôle de QUADL – aux fonctions d’assurance qualité utilisées pour évaluer l’efficacité de chaque élément du didacticiel pour aider les étudiants à apprendre », explique Matsuda. « Nous recherchons à la fois des partenaires de recherche pour nous aider à développer ces technologies d’IA génératives et des partenaires qui sont des éducateurs intéressés à utiliser ces outils d’IA dans leurs cours. »

L’article, « Les questions générées par les machines attirent les instructeurs lorsqu’ils sont familiarisés avec les objectifs d’apprentissage », sera présenté lors de la 24e Conférence internationale sur l’intelligence artificielle dans l’éducation (AIED 2023), qui se tiendra du 3 au 7 juillet à Tokyo, au Japon. Le document a été co-écrit par Norman Bier de l’Université Carnegie Mellon.