Une nouvelle étude explique pourquoi une mauvaise première impression a coûté 100 milliards de dollars à Google, voire plus

Le lancement par Google de Bard, son chatbot intégré à la recherche et alimenté par l’IA, a mal tourné lorsque la première publicité du bot a accidentellement montré qu’il était incapable de trouver et de présenter des informations précises aux utilisateurs.

Des recherches menées par des professeurs de la Kelley School of Business de l’Université de l’Indiana et de la Carlson School of Management de l’Université du Minnesota expliquent pourquoi il peut être plus difficile pour le créateur du plus grand moteur de recherche au monde de considérer la situation comme un problème temporaire.

Bien qu’il ne soit pas rare que les éditeurs de logiciels publient des produits incomplets, corrigent ensuite des bogues et fournissent des fonctionnalités supplémentaires, la recherche montre que ce n’est peut-être pas la meilleure stratégie pour l’IA.

Comme le montre une baisse de 100 milliards de dollars en une journée de la valeur marchande d’Alphabet, la société mère de Google, une démo bâclée peut causer des dommages importants. Conclusions dans un article accepté par la revue Transactions ACM sur l’interaction ordinateur-homme indique que les erreurs qui se produisent au début des interactions des utilisateurs avec un algorithme peuvent avoir un impact négatif durable sur la confiance et la fiabilité.

Antino Kim et Jingjing Zhang, professeurs associés d’opérations et de technologies de décision à Kelley, sont co-auteurs de l’article, « Lorsque les algorithmes se trompent : impact différentiel des erreurs précoces et tardives sur la dépendance des utilisateurs aux algorithmes« , avec Mochen Yang, professeur adjoint de sciences de l’information et de la décision à Carlson. Zhang est également codirecteur de l’Institute for Business Analytics à Kelley. Yang a enseigné à Kelley en 2018-19.

Connu sous le nom d' »aversion aux algorithmes », les utilisateurs ont tendance à éviter d’utiliser des algorithmes, en particulier après avoir rencontré une erreur. Les chercheurs ont découvert que donner aux utilisateurs plus de contrôle sur les résultats de l’IA peut atténuer certains des impacts négatifs des premières erreurs.

Kim, Yang et Zhang ont examiné la situation à travers le prisme de leurs recherches et présentent leur analyse ci-dessous :

« Il n’y a pas si longtemps, les moteurs de recherche récupéraient simplement le contenu existant sur Internet en fonction des mots clés fournis par les utilisateurs. Puis, fin 2022, ChatGPT, une IA conversationnelle développée par OpenAI, a pris d’assaut Internet. En quelques mois à peine, Microsoft a annoncé son investissement de plusieurs milliards de dollars dans OpenAI et a intégré les fonctionnalités de ChatGPT dans Bing.

« Naturellement, Google, le champion en titre des moteurs de recherche, ressentait la pression, et il n’a pas tardé à réagir. Le 6 février, Google a diffusé une publicité présentant son propre service d’IA conversationnel, Bard. Malheureusement, dans sa première démo, Bard a produit une erreur factuelle, et le marché n’a pas pardonné la mauvaise première impression de Bard.Cette erreur a entraîné une baisse de 100 milliards de dollars de la valeur marchande d’Alphabet, la société mère de Google.

« Par la suite, les employés de Google ont critiqué le PDG pour l’annonce » précipitée et bâclée « de Bard, et Google demande maintenant au personnel d’aider à corriger manuellement les » mauvaises réponses « de l’IA.

« Les algorithmes prédictifs et l’IA générative – généralement appelés « algorithmes » dans cet article – fonctionnent à l’aide de processus probabilistes au lieu de processus déterministes, ce qui signifie que même les meilleurs algorithmes peuvent parfois faire des erreurs.

« Cependant, les utilisateurs peuvent ne pas tolérer de telles erreurs, et le terme » aversion pour les algorithmes « fait référence à la tendance des utilisateurs à éviter d’utiliser des algorithmes, en particulier après avoir rencontré une erreur.

« Toutes les erreurs n’ont pas le même effet sur les utilisateurs et, dans le cas de Google, sur le marché. Nos recherches suggèrent que les erreurs qui se produisent tôt dans les interactions des utilisateurs avec un algorithme, avant qu’ils n’aient eu la chance d’établir la confiance grâce à des interactions réussies, ont un effet impact négatif durable sur la confiance et la confiance des utilisateurs.

« Essentiellement, les erreurs précoces peuvent créer une mauvaise première impression qui persiste pendant longtemps. En fait, au cours de notre expérience, où les participants ont interagi à plusieurs reprises avec un algorithme, leurs niveaux de confiance suite à une erreur précoce ne sont jamais complètement revenus au niveau d’aucune erreur.

« La situation était différente, cependant, pour les erreurs qui se sont produites après que les participants avaient déjà eu suffisamment d’interactions réussies avec l’algorithme et avaient établi une confiance. Dans de tels cas, les participants étaient plus indulgents lorsque les algorithmes faisaient une erreur, la traitant comme un coup de chance ponctuel. En conséquence, le niveau de confiance et de confiance n’a pas beaucoup souffert.

« Pour être juste envers Google, il n’est pas rare que les éditeurs de logiciels traditionnels publient des produits incomplets, corrigent ensuite des bogues et fournissent des fonctionnalités supplémentaires. Cependant, pour l’IA, ce n’est peut-être pas une stratégie judicieuse, car les dommages causés par une démo bâclée peuvent être Nos recherches suggèrent que la route de Google vers la récupération de l’impact négatif de l’erreur peut être longue.

« Alors, quelles mesures les systèmes d’IA peuvent-ils prendre pour atténuer les effets d’erreurs comme celle commise par Google’s Bard ? Nos résultats suggèrent que donner aux utilisateurs le contrôle sur la façon d’utiliser les résultats de l’algorithme peut atténuer certains des impacts négatifs des premières erreurs.

« Il est possible que l’erreur de Bard ait eu un effet négatif aussi important en raison de la confiance avec laquelle le résultat incorrect a été présenté. Lorsqu’on lui a demandé : « De quelles nouvelles découvertes du télescope spatial James Webb puis-je parler à mon enfant de 9 ans ? », ‘ le chatbot a répondu avec des puces que le télescope a pris les toutes premières images d’exoplanètes – une affirmation factuellement incorrecte que Google aurait pu vérifier en la recherchant sur Google.

« Pour les algorithmes qui impliquent des processus probabilistes, il existe généralement un score marquant le niveau de confiance du résultat. Lorsque le score est inférieur à un certain seuil, il peut être judicieux de donner plus de contrôle aux utilisateurs. Un exemple pourrait être de revenir au mode moteur de recherche , où plusieurs sources crédibles et pertinentes sont présentées pour que les utilisateurs puissent naviguer.

« Après tout, c’est ce que Google fait le mieux, et cela peut être une meilleure approche que de publier à la hâte une autre IA qui peut renvoyer en toute confiance une réponse incorrecte. »