Les méthodes d’apprentissage automatique largement répandues derrière la « prédiction de lien » fonctionnent très mal, selon les chercheurs

Lorsque vous parcourez un flux de médias sociaux, vous serez probablement invité à suivre ou à devenir ami avec une autre personne, élargissant ainsi votre réseau personnel et contribuant à la croissance de l’application elle-même. La personne qui vous est suggérée est le résultat de la prédiction de liens : une tâche d’apprentissage automatique (ML) répandue qui évalue les liens d’un réseau (vos amis et ceux de tous les autres) et tente de prédire quels seront les prochains liens.

En plus d’être le moteur qui alimente l’expansion des médias sociaux, la prédiction de liens est également utilisée dans un large éventail de recherches scientifiques, telles que la prédiction de l’interaction entre les gènes et les protéines, et est utilisée par les chercheurs comme référence pour tester les performances de nouveaux algorithmes de ML.

Nouvelle recherche du professeur d’informatique et d’ingénierie de l’UC Santa Cruz, C. « Sesh » Seshadhri, publiée dans la revue Actes de l’Académie nationale des sciences établit que la métrique utilisée pour mesurer les performances de prédiction de lien manque d’informations cruciales et que les tâches de prédiction de lien fonctionnent bien moins bien que ce que la littérature populaire indique.

Seshadhri et son co-auteur Nicolas Menand, ancien étudiant de premier cycle et de maîtrise de l’UCSC et actuellement doctorant. candidat à l’Université de Pennsylvanie, recommandent aux chercheurs de ML d’arrêter d’utiliser la métrique de pratique standard pour mesurer la prédiction de lien, connue sous le nom d’AUC, et d’introduire une nouvelle métrique plus complète pour ce problème. La recherche a des implications sur la fiabilité de la prise de décision en matière de ML.

L’inefficacité de l’AUC

Seshadhri, qui travaille dans les domaines de l’informatique théorique et de l’exploration de données et est actuellement chercheur chez Amazon, a déjà effectué des recherches sur les algorithmes de ML pour les réseaux. Dans ces travaux précédents, il a découvert certaines limitations mathématiques qui avaient un impact négatif sur les performances des algorithmes et, dans le but de mieux comprendre les limitations mathématiques dans leur contexte, il a approfondi la prédiction de liens en raison de son importance en tant que problème de banc d’essai pour les algorithmes de ML.

«  »La raison pour laquelle nous nous sommes intéressés est que la prédiction de liens est l’une de ces tâches scientifiques très importantes qui sont utilisées pour évaluer de nombreux algorithmes d’apprentissage automatique », a déclaré Seshadhri.

« Ce que nous avons constaté, c’est que les performances semblaient vraiment bonnes… mais nous avions l’impression qu’il semblait y avoir quelque chose qui clochait avec cette mesure. On a l’impression que si vous mesuriez les choses d’une manière différente, vous ne verriez peut-être pas une telle chose. d’excellents résultats. »

La prédiction de lien est basée sur la capacité de l’algorithme ML à effectuer des intégrations vectorielles de faible dimension, le processus par lequel l’algorithme représente les personnes au sein d’un réseau sous la forme d’un vecteur mathématique dans l’espace. Tout l’apprentissage automatique se produit sous forme de manipulations mathématiques de ces vecteurs.

AUC, qui signifie « aire sous courbe » et est la mesure la plus courante pour mesurer la prédiction de lien, attribue aux algorithmes ML un score de zéro à un en fonction des performances de l’algorithme.

Dans leurs recherches, les auteurs ont découvert qu’il existe des limites mathématiques fondamentales à l’utilisation d’intégrations de faible dimension pour les prédictions de liens, et que l’AUC ne peut pas mesurer ces limitations. L’incapacité de mesurer ces limitations a amené les auteurs à conclure que l’AUC ne mesure pas avec précision les performances de prédiction des liens.

Seshadhri a déclaré que ces résultats remettent en question l’utilisation généralisée des intégrations vectorielles de faible dimension dans le domaine du ML, compte tenu des limites mathématiques que ses recherches ont mises en évidence sur leurs performances.

Les méthodes de pointe ne suffisent pas

La découverte des lacunes de l’AUC a conduit les chercheurs à créer une nouvelle mesure pour mieux saisir les limites, qu’ils appellent VCMPR. Ils ont utilisé VCMPR pour mesurer 12 algorithmes ML choisis pour être représentatifs du domaine, y compris des algorithmes tels que DeepWalk, Node2vec, NetMF, GraphSage et le leader des références graphiques HOP-Rec, et ont constaté que les performances de prédiction de lien étaient pires en utilisant VCMPR comme métrique. plutôt que l’AUC.

« Lorsque nous examinons les scores du VCMPR, nous constatons que les scores de la plupart des principales méthodes disponibles sont vraiment médiocres », a déclaré Seshadhri. « On dirait qu’ils ne font pas du bon travail quand on mesure les choses d’une manière différente. »

Les résultats ont également montré que non seulement les performances étaient inférieures dans tous les domaines, mais que certains des algorithmes qui avaient de moins bons résultats que d’autres lorsqu’ils étaient mesurés avec l’AUC avaient à leur tour de meilleurs résultats que la cohorte avec VCMPR, et vice versa.

Fiabilité dans l’apprentissage automatique

Seshadhri suggère que les chercheurs en ML utilisent VCMPR pour comparer les performances de prédiction de lien de leurs algorithmes, ou à tout le moins arrêter d’utiliser l’AUC comme mesure. Étant donné que les métriques sont étroitement liées à la prise de décision en matière de ML, l’utilisation d’un système défectueux pour mesurer les performances pourrait conduire à une prise de décision erronée quant aux algorithmes à utiliser dans les applications de ML du monde réel.

« Les mesures sont si étroitement liées à ce que nous décidons de déployer dans le monde réel : les gens doivent y avoir une certaine confiance. Si vous avez une mauvaise façon de mesurer, comment pouvez-vous faire confiance aux résultats ? » dit Seshadri. « Cet article est en quelque sorte une mise en garde : nous devons être plus prudents dans la manière dont nous menons nos expériences d’apprentissage automatique et nous devons proposer un ensemble de mesures plus riches. »

Dans le monde universitaire, l’utilisation d’une métrique précise est cruciale pour créer des progrès dans le domaine du ML.

« C’est en quelque sorte une énigme pour le progrès scientifique. Un nouveau résultat doit être censé être meilleur que tout le précédent, sinon il ne fait rien de nouveau, mais tout dépend de la façon dont vous le mesurez. »

Au-delà de l’apprentissage automatique, des chercheurs dans un large éventail de domaines utilisent la prédiction de liens et le ML pour mener leurs recherches, avec souvent un impact potentiel considérable. Par exemple, certains biologistes utilisent la prédiction de liens pour déterminer quelles protéines sont susceptibles d’interagir dans le cadre de la découverte de médicaments. Ces biologistes et autres chercheurs extérieurs au ML dépendent des experts en ML pour créer des outils fiables, car ils ne peuvent souvent pas devenir eux-mêmes des experts en ML.

Même s’il pense que ces résultats ne constitueront peut-être pas une énorme surprise pour ceux qui sont profondément impliqués dans le domaine, il espère que la communauté plus large des chercheurs en ML, et en particulier ceux des diplômés et des doctorants, s’impliqueront. les étudiants qui utilisent la littérature actuelle pour apprendre les meilleures pratiques et la sagesse commune dans le domaine prendront note de ces résultats et feront preuve de prudence dans leur travail. Il considère que cette recherche qui présente un point de vue sceptique contraste quelque peu avec une philosophie dominante du ML, qui tend à accepter un ensemble de mesures et se concentre sur « repousser la barre » lorsqu’il s’agit de progrès dans le domaine.

« Il est important que nous ayons un point de vue sceptique, que nous essayions de comprendre plus profondément et que nous nous demandions constamment ‘Mesurons-nous les choses correctement ?' »