L’expert en sécurité de l’IA parle de l’avenir de la technologie
Lorsque le gouverneur de Californie Gavin Newsom a opposé son veto à SB 1047 – un projet de loi d’État régulant la technologie de l’intelligence artificielle – une année, le PDG de Redwood Research Buck Shlegeris était furieux et sidéré par le mépris du gouverneur des dangers de l’intelligence artificielle.
« Je pense que Newsom a cédé à l’intérêt de ses grands donateurs et d’autres partisans des entreprises d’une manière assez honteuse », a déclaré Shlegeris. « SB 1047 a été soutenu par la majorité des Californiens qui ont été interrogés. Il a été soutenu par une majorité d’experts. »
Redwood Research, basée à Berkeley, une société de conseil axée sur l’atténuation des risques de l’IA, espère que ses recherches ont mis en œuvre dans les nombreuses sociétés de l’IA de la région de la baie. Bien que Shlegeris considère l’IA comme une technologie qui semble infiniment capable, il pense également que cela pourrait être dangereux.
La montée en puissance de la technologie ces dernières années a conduit à des opinions divergentes sur la façon dont l’industrie technologique devrait réglementer sa croissance exponentielle. La région de la baie est zéro pour ce débat intellectuel entre ceux qui sont opposés à la régulation de l’IA et de ceux qui croient que cela condamnera l’humanité à l’extinction.
Shlegeris espère que Redwood Research pourra faire des progrès avec des entreprises comme Google Deep Mind et Anthropic avant que ses pires peurs ne soient réalisées.
Q: Comment décririez-vous le potentiel de l’IA?
R: Je pense que l’IA a le potentiel d’être une technologie vraiment transformatrice, encore plus que l’électricité. L’électricité est ce que les économistes appellent une technologie à usage général, où vous pouvez l’appliquer à des tas et à des tas de choses différentes.
Par exemple, une fois que vous avez une configuration d’électricité, cela affecte essentiellement tous les travaux, car l’électricité est juste un moyen tellement pratique de déplacer la puissance. Et de même, je pense que si les entreprises d’IA réussissent à construire des AIS qui sont capables de remplacer l’intelligence humaine, cela sera très transformateur pour le monde.
L’économie mondiale croît chaque année et le monde s’enrichit. Le monde devient plus technique et technologiquement avancé chaque année, et cela a été vrai pour toujours. Il a augmenté autour de la révolution industrielle. Cela devient plus rapide depuis lors, surtout.
Et une grande limite à la vitesse de la croissance de l’économie est la limite de la quantité de main-d’œuvre intellectuelle, de la quantité de science et de technologie peut être inventée et à quel point les organisations peuvent être gérées efficacement. Et actuellement, cela est goulot d’étranglement sur la population humaine. Mais si nous obtenons la possibilité d’utiliser des ordinateurs pour réfléchir, il est plausible que nous obtenions très rapidement une croissance technologique massivement accélérée. Cela pourrait avoir de très bons résultats, mais aussi, je pense, présente des risques extrêmes.
Q: Quels sont ces risques? Quel est le pire des cas pour l’IA?
R: Je ne veux pas parler littéralement du pire des cas. Mais je pense que les AIS qui ont des objectifs fondamentalement mal alignés avec l’humanité, devenant suffisamment puissants pour qu’ils prennent essentiellement le contrôle du monde, puis tuent tout le monde au cours de l’utilisation du monde à leurs propres fins. … Je pense que c’est un résultat plausible.
Q: C’est certainement effrayant
R: Je pense que le scénario où les armées de robots géantes sont construites, d’abord par des pays qui veulent des armées de robot pour la raison évidente qui, comme ils seraient très utiles pour lutter contre les guerres. Mais ensuite, les armées du robot sont élargies par des IA qui souhaitent qu’ils soient construits de manière autonome, et les achètent de manière autonome, et construire des usines de manière autonome qui se retournent et tuent tout le monde est concevable.
Q: Alors, parlons-nous d’une chance de 1%?
R: Plus de 1%. Un autre mauvais résultat serait, je pense qu’il est concevable, que quelqu’un d’une entreprise d’IA prenne le contrôle du monde et se désigne comme empereur du monde.
Q: Le retour à l’industrie de l’IA spécifique à la région de la baie: San Francisco semble être un lit de géants émergents dans le secteur de la technologie, tandis que Berkeley et Oakland semblent être plus un centre pour la recherche et les gardes de sécurité de l’IA. Comment ces factions disparates ont-elles évolué dans la région de la baie?
C’est en grande partie un accident historique. Par exemple, il y a juste eu une communauté de sécurité de l’IA à Berkeley depuis longtemps, en gros, juste parce que. Le Machine Intelligence Research Institute (Miri), qui était un gros problème dans cet espace, était basé à Berkeley de 2007. Et puis je pense que ce n’est qu’une tonne de personnes, comme une communauté nucléée.
Je connais beaucoup de gens qui travaillent dans Miri. J’avais l’habitude d’y travailler moi-même, et ils étaient à Berkeley, et j’ai donc fini par travailler pour eux, alors j’ai déménagé à Berkeley. Une autre façon de le dire est que Berkeley est une plaque tournante de la communauté rationaliste depuis longtemps, et beaucoup de gens qui sont intéressés par la recherche sur la sécurité de l’IA, à laquelle je pense que vous faites référence, sont associés à la communauté rationaliste.
Q: J’aime voir un lien historique qui explique comment les communautés ont grandi, même avec une technologie comme l’IA qui ne remonte que 30 ans
R: Et la raison pour laquelle les trucs SF se trouvent dans SF est surtout parce que c’est là que les startups VC ont été historiquement. Il n’y a tout simplement pas beaucoup de grandes entreprises technologiques à Berkeley et Oakland.
Q: Comment la Silicon Valley tient-elle dans cette division en IA?
R: Si je devais tirer des traits larges, les grandes sociétés de la Silicon Valley – par laquelle je veux dire Google et Apple et Meta – la façon dont ils regardent les choses est « Comment allons-nous gagner d’énormes sommes d’argent compte tenu de nos vastes ressources de talent technique et capital? » D’après mon expérience, ces entreprises essaient simplement de poursuivre les capacités d’IA, car elles pensent que ce sera utile pour eux dans de bons produits.
Les gens de l’IA de Meta, beaucoup d’entre eux sont des gens qui viennent de s’y lancer récemment. Mais les gens qui ont commencé à ouvrir l’IA et l’anthropique étaient de vrais croyants qui sont entrés dans ce genre de choses avant de discuter GPT, avant qu’il ne soit évident que cela allait être un gros problème à court terme.
Et donc vous voyez une différence où les personnes ouvertes d’IA et les personnes anthropes sont plus idéalistes. Sam Altman dit des choses très extrêmes sur l’IA sur Internet depuis plus d’une décennie. C’est beaucoup moins vrai pour les méta-populations.
Q: Pensez-vous que le battage médiatique qui sort de ces sociétés d’IA est exagéré – ou le sous-sert-ils?
R: Je pense que beaucoup de gens, en particulier les journalistes technologiques, ont tendance à être un peu cyniques lorsqu’ils entendent les gens de l’IA parler de la puissance qu’ils pensent que l’IA pourrait être. Mais je m’inquiète que cet instinct soit un raté raté ici. Je pense que les gens de l’IA ne sont pas trop hypocables leur technologie.
Mon sentiment est que les grandes entreprises d’IA, le cas échéant, ont sous-évalué ce qu’elles construisent réellement parce qu’elles sembleraient incroyablement irresponsables.
Je pense qu’ils disent parfois des choses sur la taille d’une affaire qu’ils pensent que leur technologie sera, ce qui rend fou que les entreprises privées sont autorisées à la développer. Je parie que si vous alliez dans ces entreprises, vous les entendriez dire des trucs plus fous qu’ils ne le disent publiquement.
