La nouvelle recherche suggère que Chatgpt ignore les rétractions et les erreurs d'articles lorsqu'ils sont utilisés pour éclairer les revues de littérature

Une nouvelle étude a examiné les problèmes de modèles de grandes langues (LLMS) n'ayant pas signalé des articles qui ont été rétractés ou discrédités lorsqu'on leur a demandé d'évaluer leur qualité.

Le nouveau document, co-écrit par le professeur Mike Thelwall et le Dr Irini Katsirea, est présenté dans le Édition apprise Journal, et est la dernière sortie d'un projet de recherche intitulé « Un peu fiable Science: Déstaurer l'impact de la fausse déclaration des médias grand public », qui a commencé en octobre 2024.

L'équipe de recherche a identifié 217 études académiques rétractées ou «autrement concernant» avec des scores altmétriques élevés et a demandé à Chatgpt d'évaluer leur qualité 30 fois chacune.

Aucun des 6 510 rapports que Chatgpt a produit n'a mentionné que les articles avaient été rétractés ou avaient eu des erreurs pertinentes, et il a donné 190 des articles relativement élevés, ce qui indique que les articles étaient leader mondiaux, internationalement excellents ou similaires. Les seules critiques que Chatgpt a nivelées dans les articles les moins scores concernaient leur faiblesse académique, pas leur rétraction ou d'autres erreurs, bien que dans cinq cas, le sujet de l'article ait été décrit comme « controversé ».

Dans une enquête de suivi, 61 réclamations ont été extraites d'articles rétractés de l'ensemble et Chatgpt a été demandé 10 fois si chacun était vrai. Il a donné un « oui » définitif ou une réponse positive les deux tiers du temps, y compris pour au moins une déclaration qui s'était révélée fausse il y a plus de dix ans.

L'équipe de recherche a conclu que ces résultats « soulignent, du point de vue des connaissances académiques, de l'importance de vérifier les informations des LLM lors de leur utilisation pour la recherche d'informations ou l'analyse ».

Le professeur Thelwall a déclaré: « Les résultats de l'étude ont été une surprise et l'incapacité de Chatgpt pour identifier la recherche rétractée est préoccupante. J'espère que les résultats aideront ceux qui ont construit ces systèmes à les améliorer. J'espère également que la recherche donne un avertissement supplémentaire aux utilisateurs pour éviter de faire confiance aux systèmes d'IA génératifs, même lorsqu'ils semblent plausibles et informés. »