Concevoir des voitures autonomes éthiques

L’expérience de pensée classique connue sous le nom de « problème du chariot » pose la question suivante : devez-vous tirer sur un levier pour détourner un chariot en fuite afin qu’il tue une personne au lieu de cinq ? Sinon : Et si vous deviez pousser quelqu’un sur les rails pour arrêter le chariot ? Quel est le choix moral dans chacun de ces cas ?

Pendant des décennies, les philosophes ont débattu pour savoir si nous devrions préférer la solution utilitaire (ce qui est mieux pour la société, c’est-à-dire moins de décès) ou une solution qui valorise les droits individuels (comme le droit de ne pas être intentionnellement mis en danger).

Ces dernières années, les concepteurs de véhicules automatisés ont également réfléchi à la manière dont les VA confrontés à des situations de conduite inattendues pourraient résoudre des dilemmes similaires. Par exemple : que doit faire le VA si un vélo entre soudainement dans sa voie ? Doit-il dévier dans la circulation venant en sens inverse ou heurter le vélo ?

Selon Chris Gerdes, professeur émérite de génie mécanique et codirecteur du Center for Automotive Research de Stanford (CARS), la solution est juste devant nous. Cela fait partie du contrat social que nous avons déjà avec les autres conducteurs, tel qu’énoncé dans nos codes de la route et leur interprétation par les tribunaux. Avec des collaborateurs de Ford Motor Co., Gerdes a récemment publié une solution au problème du chariot dans le contexte audiovisuel. Ici, Gerdes décrit ce travail et suggère qu’il engendrera une plus grande confiance dans les VA.

Comment notre code de la route pourrait-il aider à guider le comportement éthique des véhicules automatisés ?

Ford a une politique d’entreprise qui dit : Respectez toujours la loi. Et ce projet est né de quelques questions simples : cette politique s’applique-t-elle à la conduite automatisée ? Et quand, si jamais, est-il éthique pour un AV d’enfreindre le code de la route ?

Au cours de nos recherches sur ces questions, nous avons réalisé qu’en plus du code de la route, il existe des décisions d’appel et des instructions au jury qui aident à étoffer le contrat social qui s’est développé au cours des plus de cent ans où nous avons conduit des voitures. Et le cœur de ce contrat social tourne autour de l’exercice d’un devoir de diligence envers les autres usagers de la route en respectant le code de la route, sauf lorsque cela est nécessaire pour éviter une collision. Essentiellement : Dans les mêmes situations où il semble raisonnable d’enfreindre la loi éthiquement, il est également raisonnable d’enfreindre le code de la route légalement.

Du point de vue de l’IA centrée sur l’humain, c’est un gros point : nous voulons que les systèmes audiovisuels soient finalement responsables devant les humains. Et le mécanisme dont nous disposons pour les tenir responsables devant les humains est de les faire obéir au code de la route en général. Pourtant, ce principe fondamental – que les VA doivent respecter la loi – n’est pas entièrement accepté dans l’ensemble de l’industrie. Certaines personnes parlent de conduite naturaliste, ce qui signifie que si les humains accélèrent, le véhicule automatisé devrait également accélérer. Mais il n’y a aucune base légale pour faire cela, que ce soit en tant que véhicule automatisé ou en tant qu’entreprise qui déclare respecter la loi.

Donc, vraiment, la seule base pour qu’un AV enfreigne la loi devrait être qu’il est nécessaire d’éviter une collision, et il s’avère que la loi est à peu près d’accord avec cela. Par exemple, s’il n’y a pas de circulation venant en sens inverse et qu’un VA franchit la double ligne jaune pour éviter une collision avec un vélo, il peut avoir enfreint le code de la route, mais il n’a pas enfreint la loi car il a fait ce qui était nécessaire pour éviter un collision tout en respectant son devoir de vigilance envers les autres usagers de la route.

Quels sont les problèmes éthiques auxquels les concepteurs audiovisuels doivent faire face ?

Les dilemmes éthiques auxquels sont confrontés les programmeurs audiovisuels concernent principalement des situations de conduite exceptionnelles, des cas où la voiture ne peut pas en même temps remplir ses obligations envers tous les usagers de la route et ses passagers.

Jusqu’à présent, il y a eu beaucoup de discussions centrées sur l’approche utilitaire, suggérant que les fabricants de véhicules automatisés doivent décider qui vit et qui meurt dans ces situations de dilemme – le cycliste qui a traversé devant le VA ou les personnes dans la circulation venant en sens inverse, par exemple Exemple. Mais pour moi, le principe selon lequel la voiture décide quelle vie a le plus de valeur est profondément erroné. Et en général, les fabricants AV ont rejeté la solution utilitaire. Ils diraient qu’ils ne programment pas vraiment des problèmes de chariot ; ils programment des AV pour être en sécurité. Ainsi, par exemple, ils ont développé des approches telles que RSS [responsibility-sensitive safety]qui est une tentative de créer un ensemble de règles qui maintiennent une certaine distance autour de l’AV de sorte que si tout le monde suivait ces règles, nous n’aurions aucune collision.

Le problème est le suivant : même si le RSS ne gère pas explicitement les situations de dilemme impliquant une collision inévitable, l’AV se comporterait néanmoins d’une certaine manière, que ce comportement soit consciemment conçu ou émerge simplement des règles qui y ont été programmées. Et même si je pense qu’il est juste de la part de l’industrie de dire que nous ne programmons pas vraiment pour les problèmes de tramway, il est également juste de demander : que ferait la voiture dans ces situations ?

Alors, comment devrions-nous programmer les AV pour gérer les collisions inévitables ?

Si les VA peuvent être programmés pour respecter l’obligation légale de diligence qu’ils doivent à tous les usagers de la route, alors les collisions ne se produiront que lorsque quelqu’un d’autre viole leur obligation de diligence envers le VA – ou s’il y a une sorte de panne mécanique, ou qu’un arbre tombe sur le route, ou un gouffre s’ouvre. Mais disons qu’un autre usager de la route viole son devoir de vigilance envers l’AV en soufflant à travers un feu rouge ou en tournant devant l’AV. Ensuite, les principes que nous avons énoncés disent que l’AV a néanmoins une obligation de diligence envers cette personne et doit faire tout ce qu’il peut, jusqu’aux limites physiques du véhicule, pour éviter une collision, sans entraîner personne d’autre.

En ce sens, nous avons une solution au problème du chariot de l’AV. Nous ne tenons pas compte de la probabilité qu’une personne soit blessée par rapport à plusieurs autres personnes blessées. Au lieu de cela, nous disons que nous ne sommes pas autorisés à choisir des actions qui violent le devoir de diligence que nous avons envers les autres. Nous essayons donc de résoudre ce conflit avec la personne qui l’a créé – la personne qui a violé le devoir de diligence qu’elle nous doit – sans y impliquer d’autres personnes.

Et je dirais que cette solution remplit notre contrat social. Les conducteurs s’attendent à ce que, s’ils respectent le code de la route et s’acquittent de toutes leurs obligations de diligence envers les autres, ils puissent se déplacer en toute sécurité sur la route. Pourquoi serait-il acceptable d’éviter un vélo en faisant dévier un véhicule automatisé hors de sa voie et dans une autre voiture qui respecte la loi ? Pourquoi prendre une décision qui nuit à quelqu’un qui ne fait pas partie du dilemme actuel ? Doit-on présumer que le préjudice pourrait être moindre que le préjudice pour le cycliste ? Je pense qu’il est difficile de justifier cela non seulement moralement, mais en pratique.

Il y a tellement de facteurs inconnaissables dans toute collision de véhicules à moteur. Vous ne savez pas quelles seront les actions des différents usagers de la route, et vous ne savez pas quel sera le résultat d’un impact particulier. Concevoir un système qui prétend pouvoir faire ce calcul utilitaire instantanément est non seulement éthiquement douteux, mais pratiquement impossible. Et si un fabricant concevait un AV qui prendrait une vie pour en sauver cinq, il ferait probablement face à une responsabilité importante car il n’y a rien dans notre contrat social qui justifie ce genre de pensée utilitaire.

Votre solution au problème du chariot aidera-t-elle les membres du public à croire que les véhicules audiovisuels sont sûrs ?

Si vous lisez certaines des recherches, vous pourriez penser que les AV utilisent une éthique participative et sont formés pour prendre des décisions en fonction de la valeur d’une personne pour la société. Je peux imaginer que les gens s’en inquiètent beaucoup. Les gens ont également exprimé une certaine inquiétude au sujet des voitures qui pourraient sacrifier leurs passagers s’ils déterminaient que cela sauverait un plus grand nombre de vies. Cela semble également désagréable.

En revanche, nous pensons que notre approche cadre bien les choses. Si ces voitures sont conçues pour garantir que le devoir envers les autres usagers de la route soit toujours respecté, les citoyens comprendraient que s’ils respectent les règles, ils n’ont rien à craindre des véhicules automatisés. De plus, même si des personnes violent leur devoir de diligence envers l’AV, celui-ci sera programmé pour utiliser toutes ses capacités afin d’éviter une collision. Je pense que cela devrait rassurer les gens car cela montre clairement que les VA ne pèseront pas leur vie dans le cadre d’un calcul utilitaire programmé.

Quel impact votre solution au problème du tramway pourrait-elle avoir sur le développement audiovisuel à l’avenir ?

Nos discussions avec des philosophes, des avocats et des ingénieurs sont maintenant arrivées à un point où je pense que nous pouvons établir un lien clair entre ce que la loi exige, comment notre contrat social remplit nos responsabilités éthiques et les exigences techniques réelles que nous pouvons écrire.

Ainsi, nous pouvons maintenant confier cela à la personne qui programme l’AV pour mettre en œuvre notre contrat social en code informatique. Et il s’avère que lorsque l’on décompose les aspects fondamentaux du devoir de diligence d’une voiture, cela se résume à quelques règles simples telles que maintenir une distance de sécurité et conduire à une vitesse raisonnable et prudente. En ce sens, cela commence à ressembler un peu à RSS car nous pouvons en gros définir différentes marges de sécurité autour du véhicule.

Actuellement, nous utilisons ce travail au sein de Ford pour développer certaines exigences pour les véhicules automatisés. Et nous l’avons publié ouvertement pour le partager avec le reste de l’industrie dans l’espoir que, si d’autres le trouvent convaincant, il pourrait être intégré aux meilleures pratiques.