Deloitte a livré un rapport réalisé avec l'IA à l'Australie

L’IA générative a parcouru un long chemin, mais les hallucinations sont toujours à l’ordre du jour. Et l’IA préfère inventer une réponse plutôt que de dire qu’elle ne sait pas quelque chose. Ceux d'entre nous qui l'utilisent savent souvent que nous ne pouvons pas lui faire confiance à 100 % et que nous devons toujours faire des vérifications. Chez Deloitte, ils ne pensaient pas que la vérification était importante et ils doivent maintenant restituer près de 300 000 $ au gouvernement australien.

Que s'est-il passé ? Le ministère de l'Emploi du gouvernement australien a commandé un rapport au cabinet de conseil Deloitte. Il a été publié en juillet dernier et tout se passait bien jusqu'à ce que, comme le rapporte l'AP, un chercheur de l'Université de Sydney alerte les médias que le rapport était truffé de références erronées, y compris une citation fabriquée de toutes pièces d'une décision de justice et des références à des études qui n'existaient pas. La société l'a retiré et une version révisée a été publiée.

Pourquoi c'est important. L’industrie du conseil représente une activité multimilliardaire (on estime qu’elle générera 354 milliards de dollars en 2024) et, de par son essence même et son mode de fonctionnement, elle fait partie des secteurs vulnérables à la « substitution par l’IA ». L'IA est déjà une technologie largement utilisée dans le secteur pour des tâches telles que l'analyse de données volumineuses, la génération de rapports ou de présentations et d'autres tâches administratives. Le cas Deloitte en est un bon exemple, mais il montre qu’une supervision humaine est nécessaire. Nous rencontrerons probablement davantage de cas de ce type à l’avenir.

Conséquences. Le gouvernement a versé près de 300 000 $ à Deloitte pour la préparation du rapport, l'entreprise doit donc restituer une partie de cette somme. Cependant, Barbara Pocock, sénatrice du parti Vert, estime qu'ils devraient restituer la totalité de la somme : « Deloitte a abusé de l'IA : ils ont mal cité un juge et utilisé des références inexistantes (…) C'est le genre de choses pour lesquelles un étudiant de première année d'université aurait beaucoup d'ennuis. »

Cachez-le, cela n'a pas été remarqué. Chris Rudge, le chercheur qui a découvert le gâteau, affirme que le document contenait au moins 20 erreurs, dont une référence à un livre écrit par quelqu'un qu'il connaissait et qui n'existait pas. Le plus grave peut-être est qu’il cite une phrase complètement inventée d’un juge. Bien qu’il s’agisse d’un cas évident, Deloitte n’a pas admis que les erreurs étaient générées par l’utilisation de l’IA et s’est limité à déclarer que « le problème a été résolu directement avec le client ».

Images | Wikipédia

À Simseo | Klarna est très clair sur le fait que l’IA est le meilleur allié possible. Alors il l'a utilisée pour remplacer son PDG