Un groupe de recherche dit qu'il peut le réparer
L’IA a le potentiel d’aider les médecins à détecter les premiers marqueurs de maladies et les décideurs politiques à éviter les décisions qui conduisent à la guerre. Mais un nombre croissant de preuves ont révélé de profondes failles dans la manière dont l’apprentissage automatique est utilisé en science, un problème qui a balayé des dizaines de domaines et impliqué des milliers d’articles erronés.
Aujourd'hui, une équipe interdisciplinaire de 19 chercheurs, dirigée par les informaticiens Arvind Narayanan et Sayash Kapoor de l'Université de Princeton, a publié des lignes directrices pour une utilisation responsable de l'apprentissage automatique en science.
« Lorsque nous passons des méthodes statistiques traditionnelles aux méthodes d'apprentissage automatique, il existe un nombre bien plus grand de façons de se tirer une balle dans le pied », a déclaré Narayanan, directeur du Centre pour la politique des technologies de l'information de Princeton et professeur d'informatique.
« Si nous n'intervenons pas pour améliorer nos normes scientifiques et nos normes de reporting en matière de science basée sur l'apprentissage automatique, nous risquons non seulement une discipline mais de nombreuses disciplines scientifiques différentes de redécouvrir ces crises les unes après les autres. »
Les auteurs affirment que leur travail constitue un effort pour éradiquer cette crise de crédibilité latente qui menace d’engloutir presque tous les recoins de l’entreprise de recherche. Un article détaillant leurs lignes directrices paraît le 1er mai dans la revue Avancées scientifiques.
Parce que l’apprentissage automatique a été adopté dans pratiquement toutes les disciplines scientifiques, sans normes universelles garantissant l’intégrité de ces méthodes, Narayanan a déclaré que la crise actuelle, qu’il appelle crise de reproductibilité, pourrait devenir bien plus grave que la crise de réplication apparue en psychologie sociale. il y a plus de dix ans.
La bonne nouvelle est qu’un simple ensemble de bonnes pratiques peut aider à résoudre cette nouvelle crise avant qu’elle ne devienne incontrôlable, selon les auteurs, issus de la recherche en informatique, en mathématiques, en sciences sociales et en santé.
« Il s'agit d'un problème systématique avec des solutions systématiques », a déclaré Kapoor, un étudiant diplômé qui travaille avec Narayanan et qui a organisé l'effort pour produire la nouvelle liste de contrôle basée sur un consensus.
La liste de contrôle vise à garantir l’intégrité de la recherche qui utilise l’apprentissage automatique. La science dépend de la capacité à reproduire les résultats de manière indépendante et à valider les affirmations. Faute de quoi, de nouvelles œuvres ne pourront pas être construites de manière fiable sur des œuvres anciennes, et l’entreprise toute entière s’effondrera.
Alors que d'autres chercheurs ont élaboré des listes de contrôle qui s'appliquent à des problèmes spécifiques à une discipline, notamment en médecine, les nouvelles lignes directrices commencent par les méthodes sous-jacentes et les appliquent à n'importe quelle discipline quantitative.
L’un des principaux points à retenir est la transparence. La liste de contrôle appelle les chercheurs à fournir des descriptions détaillées de chaque modèle d'apprentissage automatique, y compris le code, les données utilisées pour entraîner et tester le modèle, les spécifications matérielles utilisées pour produire les résultats, la conception expérimentale, les objectifs du projet et les éventuelles limites du les conclusions de l’étude.
Selon les auteurs, les normes sont suffisamment flexibles pour s'adapter à un large éventail de nuances, notamment des ensembles de données privés et des configurations matérielles complexes.
Même si la rigueur accrue de ces nouvelles normes pourrait ralentir la publication d’une étude donnée, les auteurs estiment qu’une large adoption de ces normes augmenterait potentiellement le taux global de découverte et d’innovation de manière considérable.
« Ce qui nous importe en fin de compte, c'est le rythme du progrès scientifique », a déclaré la sociologue Emily Cantrell, l'une des auteurs principales, qui poursuit son doctorat. à Princeton.
« En s'assurant que les articles publiés sont de haute qualité et qu'ils constituent une base solide sur laquelle s'appuyer pour de futurs articles, cela accélère potentiellement le rythme du progrès scientifique. Se concentrer sur le progrès scientifique lui-même et pas seulement sur la publication d'articles la porte est vraiment là où nous devrions mettre l'accent.
Kapoor était d’accord. Les erreurs font mal. « Au niveau collectif, c'est juste une perte de temps importante », a-t-il déclaré. Ce temps coûte de l’argent. Et cet argent, une fois gaspillé, pourrait avoir des effets catastrophiques en aval, limitant les types de sciences qui attirent des financements et des investissements, faisant échouer des projets construits par inadvertance sur des données scientifiques défectueuses et décourageant un nombre incalculable de jeunes chercheurs.
En cherchant à parvenir à un consensus sur ce qui devrait être inclus dans les lignes directrices, les auteurs ont déclaré qu'ils cherchaient à trouver un équilibre : suffisamment simple pour être largement adopté, suffisamment complet pour détecter autant d'erreurs courantes que possible.
Ils affirment que les chercheurs pourraient adopter ces normes pour améliorer leur propre travail ; les pairs évaluateurs pourraient utiliser la liste de contrôle pour évaluer les articles ; et les revues pourraient adopter les normes comme condition de publication.
« La littérature scientifique, en particulier dans la recherche appliquée sur l'apprentissage automatique, regorge d'erreurs évitables », a déclaré Narayanan. « Et nous voulons aider les gens. Nous voulons que les gens honnêtes restent honnêtes. »
