Voler est sûr grâce aux données et à la coopération. Voici ce que l'industrie de l'IA pourrait apprendre des compagnies aériennes en matière de sécurité

Environ 185 000 personnes sont mortes dans des accidents d’aviation civile depuis l’avènement du vol propulsé il y a plus d’un siècle. Or, au cours des cinq dernières années, parmi les compagnies aériennes américaines, le risque de décès est devenu quasiment nul. En fait, vous avez bien plus de chances de gagner à la plupart des loteries que de mourir en tant que passager d’un transporteur aérien américain.

Comment voler est-il devenu si sûr ? Et pouvons-nous appliquer les leçons durement acquises en matière de sécurité de l’aviation à l’intelligence artificielle ?

Lorsque l’humanité introduit une nouvelle technologie qui change le paradigme et que cette technologie est rapidement adoptée à l’échelle mondiale, les conséquences futures sont inconnues et souvent collectivement redoutées. L’introduction du vol propulsé en 1903 par les frères Wright ne fait pas exception. Cette nouvelle technologie a suscité de nombreuses objections, notamment des préoccupations religieuses, politiques et techniques.

Peu de temps après l'introduction du vol propulsé, le premier accident d'avion s'est produit – et peu de temps après, je veux dire le même jour. Cela s'est produit lors du quatrième vol des frères Wright. La première personne à mourir dans un accident d'avion a été tuée cinq ans plus tard, en 1908. Depuis lors, il y a eu plus de 89 000 accidents d'avion dans le monde.

Je suis un chercheur qui étudie la sécurité du transport aérien et je vois à quel point l’industrie de l’IA d’aujourd’hui ressemble aux premières années – et nettement moins sûres – de l’industrie aéronautique.

De l’étude des accidents à leur prédiction

Bien que tragique, chaque accident et chaque décès représentait un moment de réflexion et d’apprentissage. Les enquêteurs sur les accidents ont tenté de recréer chaque accident et d’identifier les précurseurs et les causes profondes de l’accident. Une fois que les enquêteurs ont identifié les causes de chaque accident, les constructeurs et les exploitants d'avions ont mis en place des mesures de sécurité dans l'espoir de prévenir d'autres accidents.

Par exemple, si un pilote d’une époque de vol antérieure oubliait de sortir le train d’atterrissage avant l’atterrissage, un accident à l’atterrissage était probable. L’industrie a donc trouvé comment installer des systèmes d’avertissement qui alerteraient les pilotes de l’état dangereux du train d’atterrissage – une leçon apprise seulement après des accidents. Ce processus réactif, bien que nécessaire, constitue un lourd tribut à payer pour apprendre à améliorer la sécurité.

Au cours du XXe siècle, le monde de l’aviation a organisé et standardisé ses opérations, procédures et processus. En 1938, le président Franklin Roosevelt a signé la loi sur l'aéronautique civile, qui a créé l'Autorité de l'aéronautique civile. Ce précurseur de la Federal Aviation Administration comprenait un Bureau de la sécurité aérienne.

Le paradigme de sécurité entièrement réactif a évolué au fil du temps pour devenir proactif et finalement prédictif. En 1997, un groupe d'organisations industrielles, syndicales et gouvernementales de l'aviation a formé un groupe appelé l'équipe de sécurité de l'aviation commerciale. Ils ont commencé à examiner les données et ont tenté de trouver des tendances et d'analyser les rapports des utilisateurs pour identifier les risques et les dangers avant qu'ils ne se transforment en véritables accidents.

Le groupe, qui comprend la FAA et la NASA, a décidé très tôt qu'il n'y aurait pas de concurrence entre les compagnies aériennes en matière de sécurité. L’industrie partagerait ouvertement les données de sécurité. À quand remonte la dernière fois que vous avez vu une campagne publicitaire d’une compagnie aérienne affirmant que « notre compagnie aérienne est plus sûre que la leur ? »

C'est une question de données

L’équipe de sécurité de l’aviation commerciale a aidé l’industrie à passer d’une approche réactive à une approche prédictive en adoptant une approche systémique basée sur les données pour résoudre les problèmes de sécurité. Il a généré ces données à l’aide de rapports de personnes et de données d’avions.

Chaque jour, des millions de vols ont lieu dans le monde et sur chacun de ces vols, des milliers de points de données sont enregistrés. Les professionnels de la sécurité aérienne utilisent désormais des enregistreurs de données de vol, longtemps utilisés pour enquêter sur les accidents après coup, pour analyser les données de chaque vol. En examinant attentivement toutes ces données, les analystes de la sécurité peuvent repérer les événements et tendances émergents et problématiques. Par exemple, en analysant les données, un scientifique qualifié en sécurité peut déterminer si certaines approches d'aéronefs vers les pistes deviennent plus risquées en raison de facteurs tels qu'une vitesse excessive et un mauvais alignement, avant qu'un accident à l'atterrissage ne se produise.

Pour accroître encore les capacités proactives et prédictives, toute personne travaillant au sein du système aéronautique peut soumettre des rapports de sécurité anonymes et non punitifs. Sans garantie d’anonymat, les gens pourraient hésiter à signaler les problèmes et l’industrie aéronautique manquerait d’informations cruciales en matière de sécurité.

Toutes ces données sont stockées, regroupées et analysées par des scientifiques en sécurité, qui examinent l'ensemble du système et tentent de trouver les précurseurs des accidents avant qu'ils ne conduisent à des accidents. Le risque de mourir en tant que passager à bord d’une compagnie aérienne américaine est désormais inférieur à 1 sur 98 millions. Vous risquez davantage de mourir en vous rendant à l'aéroport que dans un accident d'avion. Aujourd’hui, plus de 100 ans après l’avènement du vol propulsé, l’industrie aéronautique, après avoir appris de dures leçons, est devenue extrêmement sûre.

Un modèle pour l'IA

L’IA imprègne rapidement de nombreuses facettes de la vie, des voitures autonomes aux actions en justice pénale en passant par les décisions d’embauche et de prêt. Cependant, la technologie est loin d’être infaillible et les erreurs imputables à l’IA ont eu des conséquences qui ont changé la vie, et dans certains cas même la vie ou la mort.

Presque toutes les entreprises d’IA tentent de mettre en œuvre certaines mesures de sécurité. Mais ils semblent déployer ces efforts individuellement, tout comme l’ont fait les premiers acteurs du secteur de l’aviation. Et ces efforts sont en grande partie réactifs, attendant que l’IA fasse une erreur pour ensuite agir.

Et s'il existait un groupe comme l'équipe de sécurité de l'aviation commerciale où toutes les entreprises d'IA, les régulateurs, les universités et autres parties intéressées se réunissaient pour lancer les processus proactifs et prédictifs visant à garantir que l'IA ne conduise pas à des calamités ?

Du point de vue du reporting, imaginez si chaque interface d'IA disposait d'un bouton de rapport sur lequel un utilisateur pourrait cliquer non seulement pour signaler des résultats potentiellement hallucinés et dangereux à chaque entreprise, mais également pour les signaler à une organisation d'IA calquée sur l'équipe de sécurité de l'aviation commerciale. En outre, les données générées par les systèmes d’IA, tout comme celles que nous observons dans l’aviation, pourraient également être collectées, regroupées et analysées pour détecter les menaces pour la sécurité.

Bien que cette approche ne soit peut-être pas la solution ultime pour prévenir les dommages causés par l’IA, si les grandes technologies adoptent les leçons tirées d’autres secteurs à conséquences élevées comme l’aviation, elles pourraient simplement apprendre à réglementer, contrôler et, bien sûr, rendre l’IA plus sûre pour tous.