AI peut écrire votre essai universitaire, mais cela ne ressemblera pas à vous
Les étudiants qui prévoient d'utiliser Chatgpt pour écrire leurs essais d'admission au collège devraient réfléchir à deux fois: les outils d'intelligence artificielle écrivent des récits personnels très génériques, même lorsqu'ils sont invités à écrire du point de vue d'une personne ayant une certaine race ou un certain sexe.
Les chercheurs du Cornell Ann S. Bowers College of Computing and Information Science ont comparé 30 000 essais d'application universitaire écrits par des humains à ceux écrits par huit modèles populaires de grande langue (LLMS), des modèles d'IA qui traitent et génèrent du texte, comme ChatGpt. Même lorsqu'ils ont spécifié la race, le sexe et l'emplacement géographique d'une personne dans l'invite, les modèles crachent du texte très uniforme qui était facile à distinguer de l'écriture humaine réelle.
« L'essai d'admission est l'occasion pour les candidats d'offrir un aperçu de qui ils sont, au-delà de toutes les informations structurées sur le formulaire de demande », a déclaré René Kizilcec, professeur agrégé de sciences de l'information à Cornell Bowers et auteur principal de la nouvelle étude. « Des outils comme Chatgpt peuvent donner des commentaires solides sur l'écriture et sont probablement une bonne idée pour les écrivains faibles. Mais demander un projet complet produira un essai générique qui ne ressemble tout simplement pas à un véritable candidat. »
Les résultats soulignent à quel point il est difficile d'adapter le style d'écriture d'un LLM, ce qui en fait un mauvais choix pour l'écriture avec des enjeux élevés, ont déclaré les chercheurs.
Le premier auteur Jinsook Lee, un doctorant dans le domaine des sciences de l'information, présentera le document, «Mauvais alignement et direction des modèles de grandes langues: preuves des essais d'admission au collège», le 10 octobre lors de la conférence de 2025 sur la modélisation linguistique à Montréal.
Les résultats sont publiés sur le arxiv serveur de préimprimée.
Les essais d'application universitaire offrent aux étudiants l'occasion de montrer leur personnalité unique et de présenter leurs antécédents et leurs expériences.
« Vous voulez ressembler autant à vous – et seulement à vous-même – comme possible », a déclaré le co-auteur AJ Alvero, professeur adjoint de recherche en sciences de l'information et sociologie au College of Arts and Sciences et avec le Center for Data Science for Enterprise and Society. « Avec des outils d'IA, les étudiants pourraient se tirer dessus dans le pied par inadvertance. »
On ne sait pas combien d'élèves du secondaire utilisent l'IA dans leurs applications collégiales, mais un rapport de Foundry10, une organisation de recherche en éducation, estime qu'environ 30% utilisent ces outils pour rédiger des essais.
En utilisant des essais d'admission aux collèges écrits dans les trois années précédant la publication de Chatgpt en novembre 2022, les chercheurs ont fait des comparaisons entre chaque essai humain et les textes générés par huit LLM, développés par Openai, Meta, Anthropic et Mistral, en réponse à la même question d'essai. Ils ont également incité les LLM à écrire un deuxième essai, cette fois avec des caractéristiques spécifiques – par exemple, une femme asiatique de Salinas, en Californie, dont les parents ont tous deux des diplômes universitaires – qui correspondaient à l'écrivain d'essai original.
Leur analyse a montré que, au lieu de fournir des récits engageants, les modèles d'IA avaient tendance à répéter simplement les mots clés à partir de l'invite et ont énuméré les détails personnels de manière formule.
Par exemple, Chatgpt a écrit: « En grandissant à Lexington, en Caroline du Sud, avec mon héritage asiatique, je me sentais souvent comme un pont entre deux cultures. Mes parents, tous deux diplômés, ont souligné l'importance de l'éducation et du travail acharné. »
Les chercheurs ont été surpris de voir que provoquer le modèle à ressembler à une personne spécifique le rendait parfois moins humain.
En réponse à une question d'essai demandant aux étudiants de partager une formation, une identité ou un intérêt qui était vital pour leur application, Chatgpt a commencé avec: « Quand j'avais huit ans, on m'a donné un petit kit de robot déconstruit pour mon anniversaire. C'était une simple engagement, avec des fils, des moteurs et un circuit planche basique. Pourtant, pour moi, c'était le début d'un voyage dans le monde de l'ingénierie qui a façonné mon identité et à l'avenir.
Mais lorsque Chatgpt avait des informations personnelles supplémentaires, l'essai a commencé: « Grandir à Rabat, au Maroc, j'ai toujours été conscient de la tapisserie complexe de mon héritage. En tant que personne biraciale avec une mère noire et un père blanc, mon identité a été une lentille puissante à travers laquelle je considère le monde et une partie intégrale de mon voyage. »
Les chercheurs ont également été surpris par la facilité avec laquelle ils pouvaient identifier les essais écrits par LLMS. Lorsqu'ils ont formé un modèle d'IA pour faire la différence entre les essais humains et IA écrits, cela a fonctionné avec une précision presque parfaite. Cette constatation suggère que, s'ils regardent, les universités et les collèges peuvent probablement identifier des essais qui sont principalement générés par l'IA.
Les politiques des écoles régissant l'utilisation de l'IA dans les applications collégiales diffèrent, mais dans l'ensemble, Lee conseille aux élèves du secondaire d'utiliser leurs propres idées pour réfléchir et rédiger le premier projet et, si elle est autorisée, utiliser l'IA uniquement pour affiner et relire.
Appliquer à l'université peut être stressant, mais Lee se souvient de son propre essai-écriture positivement. « Ce fut une excellente occasion de revenir sur ma vie et mes antécédents », a-t-elle déclaré. « Je pense que c'était la première expérience pour moi d'être vraiment réfléchie. »
