Un agriculteur s’est appuyé sur les conseils de l’IA pour prendre soin de sa récolte. Le résultat : 10 hectares détruits en une nuit

L’IA peut être très utile pour beaucoup de choses, mais si nous avons appris quelque chose au cours de ces années, c’est que nous ne pouvons pas faire confiance à 100 % à ses réponses. Une hallucination peut vous donner une mauvaise image au travail, ou elle peut également vous faire perdre dix hectares de plants de sésame. C’est ce qui est arrivé à M. Wu, un agriculteur de 67 ans originaire de Chuzhou, en Chine.

Que s’est-il passé ? Ils le racontent dans El Confidencial. M. Wu a commencé à utiliser l’IA il y a environ un an et, même s’il était sceptique au début, les bons résultats l’ont rendu de plus en plus confiant dans ses réponses. Tout se passait bien jusqu’à ce que Wu lui demande de l’aide pour se débarrasser des mauvaises herbes et des parasites qui affectaient sa récolte de sésame. Wu a préparé le mélange, l’a chargé dans son drone et l’a pulvérisé sur toute sa récolte. Le lendemain, toutes les plantes étaient mortes, les mauvaises herbes et leurs plants de sésame. Les pertes économiques sont estimées à 22 000 dollars, selon l’International Business Times.

Vous avez tout à fait raison, cet herbicide ne convient pas au sésame. L’IA a recommandé une combinaison de pesticides et d’herbicides pour obtenir l’effet souhaité, qui était de tuer uniquement les mauvaises herbes. Cependant, toutes les plantes sont mortes : « Les mauvaises herbes et les plants sont morts en même temps, et les plants de sésame sont morts encore plus vite. » Parmi les produits que j’avais recommandés figurait un herbicide utilisé pour lutter contre les mauvaises herbes dans les champs de soja, et non de sésame. Lorsqu’il a interrogé l’IA à ce sujet, celle-ci lui a répondu qu’en effet, ce produit était à l’origine du problème.

La confiance. Wu utilisait l’IA depuis un an et n’avait eu aucun problème, bien au contraire. Comme nous l’avons dit, au début il ne lui faisait pas beaucoup confiance, mais après avoir bien compris et lui avoir donné de bons conseils, l’agriculteur s’est détendu et a commencé à accepter les réponses de l’IA sans les remettre en question. C’est un phénomène qui a été observé dans des études récentes : l’IA répond en toute confiance et cela nous amène à lui donner une plus grande autorité.

Vérifiez les réponses. Dans tous les chatbots, nous avons des messages de ce type qui nous disent que l’IA fait des erreurs, le problème est qu’elle fait désormais partie du paysage et, comme pour les notifications de cookies, personne ne les lit. M. Wu a admis qu’il n’avait pas remarqué cet avertissement. L’entreprise qui a fourni l’IA qu’il a utilisée, qui n’a pas été identifiée, a expliqué que le système ne dispose pas de sa propre base de connaissances, mais génère plutôt des réponses en obtenant des informations provenant d’autres sources. Ils ne lui ont proposé aucune compensation.

Images | James Wainscoat sur Unsplash

À Simseo | Une entreprise a décidé de confier les clés de ses systèmes à un agent IA. L’agent IA a supprimé toute sa base de données