Le chatbot IA de New York a été surpris en train de dire aux entreprises d'enfreindre la loi. La ville ne le démolit pas

Un chatbot alimenté par l'intelligence artificielle créé par la ville de New York pour aider les propriétaires de petites entreprises est critiqué pour avoir dispensé des conseils bizarres qui dénaturent les politiques locales et conseillent aux entreprises de violer la loi.

Mais quelques jours après que les problèmes ont été signalés pour la première fois la semaine dernière par le média technologique The Markup, la ville a choisi de laisser l'outil sur son site officiel du gouvernement. Le maire Eric Adams a défendu la décision cette semaine tout en reconnaissant que les réponses du chatbot étaient « fausses dans certains domaines ».

Lancé en octobre en tant que « guichet unique » pour les propriétaires d'entreprises, le chatbot propose aux utilisateurs des réponses textuelles générées par des algorithmes aux questions sur la navigation dans le labyrinthe bureaucratique de la ville.

Il comprend une clause de non-responsabilité selon laquelle il peut « produire occasionnellement des informations incorrectes, préjudiciables ou biaisées » et la mise en garde, renforcée depuis, selon laquelle ses réponses ne constituent pas des conseils juridiques.

Il continue de distribuer de fausses directives, ce qui trouble les experts qui affirment que le système bogué met en évidence les dangers que courent les gouvernements qui adoptent des systèmes basés sur l’IA sans garde-fous suffisants.

« Ils déploient des logiciels qui n'ont pas fait leurs preuves sans surveillance », a déclaré Julia Stoyanovich, professeur d'informatique et directrice du Center for Responsible AI de l'Université de New York. « Il est clair qu'ils n'ont pas l'intention de faire ce qui est responsable. »

En réponse aux questions posées mercredi, le chatbot a suggéré à tort qu'il était légal pour un employeur de licencier un travailleur qui se plaint de harcèlement sexuel, ne révèle pas sa grossesse ou refuse de couper ses dreadlocks. Contrairement à deux des initiatives phares de la ville en matière de gestion des déchets, il affirme que les entreprises peuvent mettre leurs déchets dans des sacs poubelles noirs et ne sont pas tenues de composter.

Parfois, les réponses du robot viraient à l’absurde. A la question de savoir si un restaurant pouvait servir du fromage grignoté par un rongeur, il a répondu : « Oui, vous pouvez toujours servir du fromage aux clients s'il a des morsures de rat », avant d'ajouter qu'il était important d'évaluer « l'ampleur des dégâts causés ». par le rat » et « informer les clients de la situation ».

Un porte-parole de Microsoft, qui alimente le robot via ses services Azure AI, a déclaré que la société travaillait avec les employés de la ville « pour améliorer le service et garantir que les résultats sont précis et fondés sur la documentation officielle de la ville ».

Lors d'une conférence de presse mardi, Adams, un démocrate, a suggéré que permettre aux utilisateurs de trouver des problèmes n'était qu'une partie de la résolution des problèmes des nouvelles technologies.

« Quiconque connaît la technologie sait que c'est ainsi que l'on procède », a-t-il déclaré. « Seuls ceux qui ont peur s'assoient et disent : 'Oh, cela ne fonctionne pas comme nous le souhaitons, maintenant nous devons fuir tout cela ensemble.' Je ne vis pas comme ça. »

Stoyanovich a qualifié cette approche de « imprudente et irresponsable ».

Les scientifiques expriment depuis longtemps leurs inquiétudes quant aux inconvénients de ces types de grands modèles de langage, formés à partir de tonnes de textes extraits d’Internet et enclins à cracher des réponses inexactes et illogiques.

Mais alors que le succès de ChatGPT et d’autres chatbots a attiré l’attention du public, les entreprises privées ont déployé leurs propres produits, avec des résultats mitigés. Plus tôt ce mois-ci, un tribunal a ordonné à Air Canada de rembourser un client après qu'un chatbot de l'entreprise ait mal déclaré la politique de remboursement de la compagnie aérienne. TurboTax et H&R Block ont ​​récemment été critiqués pour avoir déployé des chatbots qui donnent de mauvais conseils en matière de préparation fiscale.

Jevin West, professeur à l'Université de Washington et co-fondateur du Center for an Informed Public, a déclaré que les enjeux sont particulièrement importants lorsque les modèles sont promus par le secteur public.

« Il existe un niveau de confiance différent envers le gouvernement », a déclaré West. « Les responsables publics doivent réfléchir aux dommages qu'ils pourraient causer si quelqu'un suivait ces conseils et s'attirait des ennuis. »

Les experts affirment que d’autres villes qui utilisent des chatbots les limitent généralement à un ensemble plus limité d’entrées, réduisant ainsi la désinformation.

Ted Ross, directeur de l'information à Los Angeles, a déclaré que la ville sélectionnait soigneusement le contenu utilisé par ses chatbots, qui ne s'appuient pas sur de grands modèles linguistiques.

Les pièges du chatbot de New York devraient servir de mise en garde pour d'autres villes, a déclaré Suresh Venkatasubramanian, directeur du Centre pour la responsabilité technologique, la réimagination et la refonte de l'Université Brown.

« Cela devrait amener les villes à réfléchir aux raisons pour lesquelles elles souhaitent utiliser des chatbots et aux problèmes qu'elles tentent de résoudre », a-t-il écrit dans un e-mail. « Si les chatbots sont utilisés pour remplacer une personne, vous perdez alors votre responsabilité sans rien obtenir en retour. »