Comment lire (et se méfier de) la dernière étude scientifique que tout le monde partage sur votre TL

l’académie a été remplie de recherches sur l’IA écrites par l’IA

Google Scholar (en anglais, Google Scholar) est un moteur de recherche développé par Google et spécifiquement axé sur la recherche de contenu et de bibliographie scientifique et académique. Jusqu’à présent, la chose normale était de trouver des citations et des liens vers des livres, des articles de revues scientifiques et des études de toutes sortes rédigés par des chercheurs humains. Mais c’était jusqu’à maintenant.

« En tant que modèle de langage d’IA… ». Andrew Jean Gao, étudiant de Stanford, découvert quelque chose d’unique lors d’une recherche sur ce service. Il voulait savoir si des textes écrits par une intelligence artificielle apparaîtraient dans les résultats de recherche, et plus précisément par ChatGPT, qui commence généralement certains de ses paragraphes par la phrase « As an AI language model… » … »). Il s’est avéré qu’il y avait des dizaines de résultats.

Articles co-écrits par ChatGPT. Ce qui est surprenant dans ces articles, c’est que les auteurs ne mentionnent pas du tout qu’ils ont utilisé ChatGPT —ou des chatbots similaires— pour écrire les textes. Même s’ils ne le font pas, cette phrase initiale les trahit, comme c’est le cas, par exemple, de l’étude de Dharmaraja Selvamuthu, de l’Institut indien de technologie de Delhi, qui a publié en janvier 2023 une étude sur la prédiction des valeurs boursières ​à l’aide de réseaux de neurones. Dès que la description commence, il semble clair que ChatGPT a écrit une partie (sinon la totalité) du texte.

des exemples partout. Il est facile de répliquer l’expérience en saisissant Google Scholar et en saisissant le texte «  »As an AI language model » -« ChatGPT » » dans le champ de recherche (sans les guillemets simples au début et à la fin). À la fois sur mobile et sur le Web, vous pouvez vérifier rapidement comment les résultats sont nombreux.

Citant de fausses études d’auteurs « X et Y ». Certaines de ces études montrer plus loin pour effacer la faiblesse de l’écriture de ChatGPT, qui est connue pour inventer des choses. Cette étude citait un autre rapport « des auteurs X et Y (année) » qui n’existe même pas. La mention littérale d’auteurs portant ces noms inexistants et qui ne sont rien de plus que des variables montre déjà clairement que les utilisateurs qui ont publié ces études n’ont même pas pris la peine de les examiner.

ironies. La situation est presque ironique dans certaines de ces publications. Comme l’a souligné Kean Gao, il est surprenant de trouver une étude qui parle de l’interaction entre les humains et les robots et que celui qui l’a écrit, encore une fois, a été un modèle d’un langage comme ChatGPT. il y a même Livres « Introduction au sexe » qui ont également été écrits à l’aide de ChatGPT.

Des études écrites par l’IA qui deviennent des références. Il est courant que des chercheurs se citent les uns les autres en référence à leurs études, et c’est justement un autre des problèmes de cette découverte : que ces études partiellement ou totalement écrites par un chatbot finissent par être des référents. C’est ce qui s’est passé avec une analyse de « I, Robot », qui a été cité 18 fois.

Situation préoccupante. Le problème ne concerne pas seulement les auteurs qui utilisent ChatGPT pour écrire ces textes en tout ou en partie, mais aussi les plateformes réputées sur lesquelles ils sont publiés, qui semblent également n’effectuer aucun type de contrôle ou de filtrage sur les textes. C’est comme si tout se passait tant que cela ressemble à un studio formel. De graves problèmes ont déjà été détectés dans le domaine de la publication scientifique pendant la pandémie, mais la montée en puissance de l’IA générative pourrait faire de cette situation une quasi chose du passé par rapport à ce nouveau lot d’études (co)écrites par ChatGPT et d’autres chatbots. .