La crainte que l’IA mette fin à l’humanité a un épicentre : ce coworking de Berkeley
Un immeuble de bureaux à Berkeley est devenu le centre névralgique d’un réseau qui met en garde depuis des années contre quelque chose de très précis : l’intelligence artificielle pourrait conduire à l’extinction de l’humanité. L’espace, appelé Constellation, rassemble des chercheurs, des entrepreneurs et des partisans d’un altruisme efficace qui ont influencé le débat public, la culture d’entreprises comme Anthropic et les discussions sur la réglementation de l’IA.
Qu’est-ce que Constellation. Sur son site Internet, le Constellation Institute se présente comme « une organisation à but non lucratif qui veille à ce que l’IA transformatrice soit développée, déployée et gouvernée en toute sécurité ». Ils préviennent que l’IA peut « générer une prospérité humaine sans précédent », mais nous conduire également à des scénarios catastrophiques tels que :
- Perte permanente de contrôle de la civilisation humaine aux mains des IA.
- Événements extrêmes avec des pertes massives ou une extinction humaine.
- La consolidation de régimes autoritaires à grande échelle.
L’avenir qu’ils peignent est peu inspirant, c’est pourquoi ils s’organisent pour réduire les risques « par le développement des talents, le soutien aux acteurs clés et la création d’espaces de coordination ».
Le coworking du . Ils le racontent dans le Wall Street Journal. En pratique, Constellation fonctionne comme un coworking, un centre de réunion et un nœud physique de la communauté « AI security ». C’est, en d’autres termes, le siège où se coordonnent les personnes qui parlent le plus des apocalypses de l’IA et qui ont influencé la culture interne d’entreprises comme Anthropic et le débat public sur la manière de réglementer cette technologie.
D’où vient-il et qui le forme. Constellation est née de la sous-culture de l’altruisme et du rationalisme efficaces, une communauté qui se concentre depuis plus d’une décennie sur la mise en garde contre les risques possibles de l’IA. L’un des principaux personnages est Eliezer Yudkowsky, fondateur du Machine Intelligence Research Institute (MIRI) et créateur de la communauté LessWrong. Il est également, avec Nate Soares, l’auteur du livre « Si quelqu’un le construit, tout le monde meurt : pourquoi une IA surhumaine nous tuerait tous ».
C’est dans cet environnement que de nombreux premiers employés et cofondateurs d’Anthropic ont été formés, notamment Dario Amodei lui-même et sa sœur Daniela Amodei. Les frères ont pris leurs distances avec un altruisme efficace après l’emprisonnement du gourou des cryptomonnaies Sam Bankman-Fried, autre figure clé du mouvement.
Le moment actuel. L’influence de ce réseau s’est manifestée il y a quelques semaines, lorsqu’un ancien ingénieur d’Anthropic a accusé les laboratoires d’IA de « jouer avec nos vies ». Peu de temps après, le responsable de l’alignement d’Anthropic, Evan Hubinger, était d’accord avec lui et a augmenté la mise en disant qu’il pensait qu’il y avait 10 % de chances que l’IA nous anéantisse tous au cours de la prochaine décennie. Hubinger a également des liens avec cette communauté et a effectivement travaillé chez MIRI. Wow, tout reste à la maison.
Images | Institut des Constellations
À Simseo | « Nous devons ralentir le rythme. » Dario Amodei prévient qu’une IA pourrait prendre le contrôle d’Internet dans moins d’un an
