vaincre une légende GeoGuessr en localisant des photos

L’IA est vraiment efficace pour identifier des visages, des objets ou des animaux. Ces fonctionnalités sont traditionnellement utilisées dans des domaines quotidiens comme la gestion de photos avec Google Photos ou Apple Photos, mais aussi dans d’autres bien plus dérangeants comme la surveillance de masse qui, par exemple, est réglementée en Europe. Aujourd’hui, des chercheurs ont découvert une application qui présente également des applications pratiques formidables, mais inquiétantes.

Tout a commencé en classe. Trois étudiants de l’Université de Stanford ont commencé à suivre le sujet « Computer Science 330 : Deep Multi-task and Meta Learning ». Ils avaient besoin d’un projet sur lequel travailler, alors ces chercheurs, nommés Michael Skreta, Silas Alberti et Lukas Haas, ont réalisé qu’ils pouvaient appliquer ces nouvelles connaissances à leur passe-temps, un jeu en ligne unique.

GéoGuessr. Ce jeu en ligne, disponible depuis des années, est devenu un succès singulier qui obsède déjà un bon groupe de ses joueurs. L’idée est simple : on vous présente une photo d’un endroit, et vous devez essayer de déduire où elle a été prise en la pointant sur Google Maps à partir des détails de la photo elle-même. Le jeu compte 50 millions de joueurs dans le monde et tous s’affrontent, et parmi eux il y a déjà des célébrités de YouTube ou de Twitch, et des joueurs vraiment exceptionnels ont également commencé à émerger.

Battons GeoGuessr. Ces étudiants voulaient savoir s’ils pouvaient créer un système d’IA capable de mieux jouer à GeoGuessr que les humains. Ils sont partis d’une plate-forme OpenAI appelée CLIP, capable d' »apprendre » des données à partir d’images d’entrée à partir du texte qui y existe.

Formation avec Google Street View. Comme ils le soulignent sur NPR, pour entraîner leur modèle d’IA, ils ont commencé à le « nourrir » avec les données de Google Street View. « Nous avons créé notre propre ensemble de données avec environ 500 000 images Google Street View. Cela ne représente vraiment pas beaucoup de données, et nous avons quand même pu obtenir des performances assez spectaculaires », a déclaré Alberti.

PIGEON. Le projet, connu sous le nom de Predicting Image Geolocations (PIGEON), a fini par être le résultat de cet effort. Le modèle d’IA pourrait identifier l’emplacement à partir d’une image Google Street View de n’importe quel emplacement. Sa précision est étonnante : il déduit le pays avec une précision de 95 % et place généralement l’image à moins de 25 km de l’endroit où elle a été réellement prise.

Vaincre le champion du monde. Pour évaluer son comportement, les chercheurs ont contacté Trevor Rainbolt, devenu une légende dans la communauté GeoGuessr. Malgré ses exploits dans ce jeu, face à PIGEON, il a fini par perdre plusieurs tours. Comme l’a souligné Alberti, « nous n’étions pas la première IA à jouer contre Rainbolt. Nous étions simplement la première IA à gagner contre lui ».

Au-delà de PIGEON. Les responsables du projet sont allés plus loin et ont également créé PIGEOTTO, une version plus ambitieuse qui a été formée avec plus de quatre millions d’images de Flickr et Wikipedia, ce qui permet d’augmenter encore la capacité et les performances du système. Ils n’ont pas publié le développement, qui ne peut pas être testé, mais ils ont publié l’étude avec les détails et les conclusions du projet.

Experts concernés. Jay Stanley, de la American Civil Liberties Union (ACLU), explicaba que las empresas podrían usar sistemas como este para espiar dónde has viajado, y agencias gubernamentales podrían también detectar si un usuario que publica sus fotos ha viajado a cierto país que está en su Lumière. Cela pourrait également être utilisé pour harceler les utilisateurs, par exemple.