L'IA sera bientôt en mesure d'auditer toutes les recherches publiées – qu'est-ce que cela signifiera pour la confiance du public en science?

L'auto-correction est fondamentale pour la science. L'une de ses formes les plus importantes est l'examen par les pairs, lorsque des experts anonymes examinent la recherche avant sa publication. Cela aide à protéger l'exactitude du dossier écrit.

Pourtant, les problèmes passent. Une gamme d'initiatives de base et d'initiatives institutionnelles s'efforce d'identifier les articles problématiques, de renforcer le processus d'examen par les pairs et de nettoyer les archives scientifiques par le biais de rétractions ou de fermetures de journaux. Mais ces efforts sont imparfaits et intensifs en ressources.

Bientôt, l'intelligence artificielle (IA) sera en mesure de suralimenter ces efforts. Qu'est-ce que cela pourrait signifier pour la confiance du public dans la science?

L'examen par les pairs n'attrape pas tout

Au cours des dernières décennies, l'ère numérique et la diversification disciplinaire ont déclenché une explosion du nombre d'articles scientifiques publiés, du nombre de revues existantes et de l'influence de l'édition à but lucratif.

Cela a ouvert les portes pour l'exploitation. Les « paperons » opportunistes vendent une publication rapide avec un examen minimal aux universitaires désespérés pour les références, tandis que les éditeurs génèrent des bénéfices substantiels grâce à d'énormes frais de traitement des articles.

Les sociétés ont également saisi l'occasion de financer des documents de recherche de faible qualité et de ghostwrite destinés à fausser le poids des preuves, à influencer la politique publique et à modifier l'opinion publique en faveur de leurs produits.

Ces défis en cours mettent en évidence l'insuffisance de l'examen par les pairs en tant que principal gardien de la fiabilité scientifique. En réponse, les efforts ont vu le jour pour renforcer l'intégrité de l'entreprise scientifique.

Retraction Watch Tracks activement les papiers retirés et autres inconduites académiques. Les détectives et les initiatives académiques telles que les données Collada identifient les données et les chiffres manipulés.

Les journalistes d'investigation exposent l'influence des entreprises. Un nouveau domaine de méta-science (science des sciences) tente de mesurer les processus de la science et de découvrir les biais et les défauts.

Toutes les mauvaises sciences n'ont pas un impact majeur, mais certains le font certainement. Il ne reste pas seulement dans le monde universitaire; Il s'infiltre souvent dans la compréhension et la politique du public.

Dans une enquête récente, nous avons examiné un examen de la sécurité largement cité du glyphosate d'herbicide, qui semblait indépendant et complet. En réalité, les documents produits lors des procédures judiciaires contre Monsanto ont révélé que le journal avait été écrit par des employés de Monsanto et publié dans une revue avec des liens avec l'industrie du tabac.

Même après cela, le document a continué de façonner les citations, les documents politiques et les pages Wikipedia dans le monde.

Lorsque des problèmes comme celui-ci sont découverts, ils peuvent faire leur chemin dans des conversations publiques, où ils ne sont pas nécessairement perçus comme des actes de correction d'auto-correction triomphants. Ils peuvent plutôt être considérés comme une preuve que quelque chose est pourri dans l'état de science. Ce récit « Science est brisé » sape la confiance du public.

L'IA aide déjà à contrôler la littérature

Jusqu'à récemment, l'assistance technologique à l'auto-correction était principalement limitée aux détecteurs de plagiat. Mais les choses changent. Des services d'apprentissage à la machine tels que Imagetwin et Proofig scannent désormais des millions de chiffres pour des signes de duplication, de manipulation et de génération d'IA.

Les outils de traitement du langage naturel signalent les «phrases torturées» – les salades de mot révélateur des papeteries. Des tableaux de bord bibliométriques tels que celui par le savant sémantique Trace si les articles sont cités pour soutenir ou contradiction.

L'IA – en particulier les modèles agentiques et compatibles avec le raisonnement de plus en plus compétents en mathématiques et en logique – découvrira bientôt des défauts plus subtils.

Par exemple, le projet Black Spatula explore la capacité des derniers modèles d'IA à vérifier les preuves mathématiques publiées à grande échelle, identifiant automatiquement les incohérences algébriques qui ont échappé aux critiques humains. Notre propre travail mentionné ci-dessus repose également sur des modèles de grands langues pour traiter de grands volumes de texte.

Compte tenu de l'accès complet au texte intégral et de la puissance de calcul suffisante, ces systèmes pourraient bientôt permettre un audit global de l'enregistrement savant. Un audit complet trouvera probablement une fraude pure et simple et une masse beaucoup plus importante de routine et de compagnon de compagnie avec des erreurs de variété de jardin.

Nous ne savons pas encore à quel point la fraude est répandue, mais ce que nous savons, c'est que beaucoup de travail scientifique est sans conséquence. Les scientifiques le savent; Il est très discuté que beaucoup de travaux publiés ne sont jamais ou très rarement cités.

Pour les étrangers, cette révélation peut être aussi choquante que la découverte de fraude, car elle entre en collision avec l'image d'une découverte scientifique dramatique et héroïque qui remplit les communiqués de presse universitaires et des traitements de presse commerciale.

Ce qui pourrait donner à cet audit un poids ajouté, c'est son auteur de l'IA, qui peut être considéré comme (et peut en fait être) impartial et compétent, et donc fiable.

En conséquence, ces résultats seront vulnérables à l'exploitation dans les campagnes de désinformation, d'autant plus que l'IA est déjà habituée à cette fin.

Recadrer l'idéal scientifique

La sauvegarde de la confiance du public nécessite de redéfinir le rôle du scientifique en termes plus transparents et réalistes. Une grande partie de la recherche d'aujourd'hui est un travail supplémentaire et résistant à la carrière enracinée dans l'éducation, le mentorat et l'engagement public.

Si nous voulons être honnêtes avec nous-mêmes et avec le public, nous devons abandonner les incitations qui font pression sur les universités et les éditeurs scientifiques, ainsi que les scientifiques eux-mêmes, à exagérer la signification de leur travail. Le travail vraiment révolutionnaire est rare. Mais cela ne rend pas le reste du travail scientifique inutile.

Une représentation plus humble et honnête du scientifique en tant que contributeur à une compréhension collective et évolutive sera plus robuste à un examen minutieux de l'IA que le mythe de la science en tant que défilé de percées individuelles.

Un audit croisé et interdisciplinaire est à l'horizon. Il pourrait provenir d'un chien de garde du gouvernement, d'un groupe de réflexion, d'un groupe anti-science ou d'une société cherchant à saper la confiance du public en science.

Les scientifiques peuvent déjà anticiper ce qu'il révèlera. Si la communauté scientifique se prépare aux résultats – ou mieux encore, prend les devants – l'audit pourrait inspirer un renouvellement discipliné. Mais si nous retardons, les fissures qu'il découvre peut être mal interprétée comme des fractures dans l'entreprise scientifique elle-même.

La science n'a jamais tiré sa force de l'infaillibilité. Sa crédibilité réside dans la volonté de corriger et de réparer. Nous devons maintenant démontrer cette volonté publiquement, avant que la confiance ne soit brisée.