La confiance des étudiants dans les outils de codage de l'IA augmente brièvement, puis se stabilise avec l'expérience

Dans quelle mesure les étudiants de premier cycle en informatique font-ils confiance aux chatbots alimentés par de grands modèles de langage comme GitHub Copilot et ChatGPT ? Et comment les enseignants en informatique devraient-ils modifier leur enseignement en fonction de ces niveaux de confiance ?

Telles sont les questions auxquelles un groupe d'informaticiens américains a tenté de répondre dans une étude qui sera présentée lors de la conférence Koli Calling du 11 au 16 novembre en Finlande. Au cours des quelques semaines de l'étude, les chercheurs ont constaté que la confiance dans les outils d'IA générative augmentait à court terme pour une majorité d'étudiants.

Mais à long terme, les étudiants ont déclaré avoir réalisé qu’ils devaient devenir des programmeurs compétents sans l’aide des outils d’IA. En effet, ces outils génèrent souvent du code incorrect ou n’aident pas les étudiants dans leurs tâches de compréhension du code.

L’étude a été motivée par le changement radical dans les compétences requises des étudiants de premier cycle en informatique depuis l’avènement des outils d’IA générative capables de créer du code à partir de zéro. L'ouvrage est publié sur le arXiv serveur de préimpression.

« La science informatique et la programmation évoluent énormément », a déclaré Gerald Soosairaj, l'un des auteurs principaux de l'article et professeur associé au Département d'informatique et d'ingénierie de l'Université de Californie à San Diego.

Aujourd’hui, les étudiants sont tentés de trop compter sur les chatbots pour générer du code et, par conséquent, risquent de ne pas apprendre les bases de la programmation, selon les chercheurs. Ces outils peuvent également générer du code incorrect ou vulnérable aux attaques de cybersécurité. À l’inverse, les étudiants qui refusent d’utiliser les chatbots perdent l’opportunité de programmer plus rapidement et d’être plus productifs.

Mais une fois diplômés, les étudiants en informatique utiliseront très probablement des outils d’IA générative au quotidien, et devront être capables de le faire efficacement. Cela signifie qu’ils devront toujours avoir une solide compréhension des principes fondamentaux de l’informatique et du fonctionnement des programmes, afin de pouvoir évaluer le code généré par l’IA avec lequel ils travailleront, ont déclaré les chercheurs.

« Nous avons constaté que la confiance des étudiants augmentait en moyenne à mesure qu'ils utilisaient GitHub Copilot tout au long de l'étude. Mais après avoir terminé la deuxième partie de l'étude – un projet plus élaboré – les étudiants ont estimé que l'utilisation complète de Copilot nécessite un programmeur compétent capable d'effectuer certaines tâches manuellement », a déclaré Soosairaj.

L'étude a interrogé 71 étudiants juniors et seniors en informatique, dont la moitié n'avaient jamais utilisé GitHub Copilot. Après un cours de 80 minutes au cours duquel les chercheurs ont expliqué le fonctionnement de GitHub Copilot et ont demandé aux étudiants d'utiliser l'outil, la moitié des étudiants ont déclaré que leur confiance dans l'outil avait augmenté, tandis qu'environ 17 % ont déclaré qu'elle avait diminué. Les étudiants ont ensuite participé à un projet de 10 jours au cours duquel ils ont travaillé sur une grande base de code open source en utilisant GitHub Copilot tout au long du projet pour ajouter une petite nouvelle fonctionnalité à la base de code.

À la fin du projet, environ 39 % des étudiants ont déclaré que leur confiance dans Copilot avait augmenté. Mais environ 37 % ont déclaré que leur confiance dans Copilot avait quelque peu diminué, tandis qu'environ 24 % ont déclaré qu'elle n'avait pas changé.

Les résultats de cette étude ont des implications importantes sur la manière dont les enseignants en informatique devraient aborder l’introduction des assistants IA dans les cours d’introduction et avancés. Les chercheurs formulent une série de recommandations à l’intention des enseignants en informatique du premier cycle.

• Pour aider les étudiants à calibrer leur confiance et leurs attentes à l'égard des assistants d'IA, les enseignants en informatique devraient offrir aux étudiants la possibilité d'utiliser les assistants de programmation d'IA pour des tâches présentant un large éventail de difficultés, y compris des tâches au sein de grandes bases de code.
• Pour aider les étudiants à déterminer dans quelle mesure ils peuvent faire confiance aux résultats des assistants IA, les enseignants en informatique doivent s'assurer que les étudiants peuvent toujours comprendre, modifier, déboguer et tester le code dans de grandes bases de code sans assistants IA.
• Les enseignants en informatique doivent s'assurer que les étudiants sont conscients de la manière dont les assistants IA génèrent des résultats via le traitement du langage naturel afin que les étudiants comprennent le comportement attendu des assistants IA.
• Les enseignants en informatique doivent explicitement informer et démontrer les fonctionnalités clés des assistants d'IA qui sont utiles pour contribuer à une large base de code, comme l'ajout de fichiers comme contexte lors de l'utilisation de la fonctionnalité « expliquer le code » et l'utilisation de mots-clés tels que « /explain », « /fix » et « /docs » dans GitHub Copilot.

« Les éducateurs CS doivent être conscients que la façon dont nous présentons et discutons des assistants IA peut avoir un impact sur la façon dont les étudiants perçoivent ces assistants », écrivent les chercheurs.

Les chercheurs prévoient de répéter leur expérience et leur enquête auprès d’un bassin plus large de 200 étudiants au cours du trimestre d’hiver.