En quoi l'IA et les recherches Web traditionnelles diffèrent

Comme le savent tous ceux qui utilisent Internet, la façon dont nous trouvons l’information a fondamentalement changé. Au cours des trois dernières décennies, les moteurs de recherche ont fourni des listes de liens classées en réponse à nos requêtes, et il était de notre devoir de les parcourir pour trouver ce que nous voulions. Désormais, les principaux moteurs de recherche utilisent des outils d’IA générative pour fournir une réponse unique et cohérente, souvent intégrée à quelques liens. Mais comment cette approche se compare-t-elle à la méthode traditionnelle ? Dans une nouvelle étude approfondie, les scientifiques ont comparé ces deux approches pour voir ce que nous gagnons et perdons.

Comparer l'IA avec les recherches traditionnelles

Pour comprendre cela, des chercheurs de l'Université de la Ruhr à Bochum et de l'Institut Max Planck pour les systèmes logiciels ont comparé la recherche Google traditionnelle avec quatre moteurs de recherche génératifs : Google AI Overview (AIO), Gemini, GPT-4o-Search et GPT-4o with Search Tool. L’équipe a exécuté des milliers de requêtes couvrant six domaines principaux, notamment les connaissances générales, la politique, la science et le shopping.

Ensuite, ils ont effectué une comparaison détaillée des deux styles de recherche sur la base de trois indicateurs clés. Tout d’abord, ils ont analysé la diversité des sources en comparant les sites Web utilisés par l’IA aux principaux liens de recherche traditionnels. Deuxièmement, ils ont mesuré la dépendance aux connaissances pour voir dans quelle mesure l’IA s’appuyait sur sa propre mémoire interne plutôt que sur la recherche de nouvelles informations sur le Web.

Ils ont ensuite examiné la couverture conceptuelle pour déterminer si les réponses finales de chaque IA couvraient un éventail d'idées plus large que les principaux résultats de recherche traditionnels. Enfin, ils ont recommencé l’expérience deux mois plus tard pour voir à quelle vitesse les sources et les réponses de l’IA évoluaient au fil du temps.

De nettes différences apparaissent

Comme l'équipe l'a souligné dans son article publié sur le arXiv serveur de préimpression, il existe des différences évidentes entre les deux. L’IA élargit son réseau en extrayant des informations d’un ensemble de sites Web plus diversifié que les recherches traditionnelles, mais les liens qu’elle utilisait ne figuraient souvent pas parmi les meilleurs résultats de recherche. Cependant, ce n’est pas parce que l’IA utilise davantage de sources que ses réponses sont plus complètes. En fait, ce n’était souvent pas le cas.

« Les différences dans la sélection des sources et l'utilisation interne des connaissances peuvent modifier subtilement les perspectives et les faits auxquels les utilisateurs sont exposés, même lorsque la couverture globale du sujet semble similaire », ont écrit les auteurs de l'étude.

Les réponses de l’IA ont également tendance à être moins stables dans le temps, changeant considérablement après deux mois.

Les chercheurs ont également découvert des différences entre les modèles d’IA. Par exemple, GPT-4o avec Search Tool s'appuyait sur sa mémoire interne, tandis que Google AI Overview et Gemini extrayaient constamment des informations d'un ensemble plus large et plus récent de sites externes.

Dans l’ensemble, l’équipe n’a pas pu déterminer si un type de recherche était meilleur que l’autre, bien qu’il existe un compromis évident lors de l’utilisation de l’IA. Les utilisateurs reçoivent une réponse diversifiée et résumée, mais perdent les sources fiables et les résultats cohérents qu'ils obtiennent des recherches traditionnelles. Plus particulièrement, les auteurs ont souligné la nécessité de nouveaux critères et normes pour évaluer correctement les réponses renvoyées par l’IA.