OpenAI publie des lignes directrices pour évaluer les « risques catastrophiques » de l’IA
Le créateur de ChatGPT, OpenAI, a publié lundi ses dernières lignes directrices pour évaluer les « risques catastrophiques » liés à l’intelligence artificielle dans les modèles en cours de développement.
Cette annonce intervient un mois après que le conseil d’administration de l’entreprise a licencié le PDG Sam Altman, pour le réembaucher quelques jours plus tard lorsque le personnel et les investisseurs se sont rebellés.
Selon les médias américains, les membres du conseil d’administration avaient critiqué Altman pour avoir favorisé le développement accéléré d’OpenAI, quitte à éluder certaines questions sur les risques possibles de sa technologie.
Dans un « Cadre de préparation » publié lundi, la société déclare : « Nous pensons que l’étude scientifique des risques catastrophiques liés à l’IA est loin d’avoir atteint le niveau souhaité. »
Le cadre, lit-on, devrait « aider à combler cette lacune ».
Une équipe de suivi et d’évaluation annoncée en octobre se concentrera sur les « modèles frontières » actuellement en cours de développement et dotés de capacités supérieures à celles des logiciels d’IA les plus avancés.
L’équipe évaluera chaque nouveau modèle et lui attribuera un niveau de risque, de « faible » à « critique », dans quatre catégories principales.
Seuls les modèles avec un score de risque « moyen » ou inférieur peuvent être déployés, selon le cadre.
La première catégorie concerne la cybersécurité et la capacité du modèle à mener des cyberattaques à grande échelle.
La seconde mesurera la propension du logiciel à contribuer à créer un mélange chimique, un organisme (comme un virus) ou une arme nucléaire, qui pourraient tous être nocifs pour l’homme.
La troisième catégorie concerne le pouvoir de persuasion du modèle, notamment la mesure dans laquelle il peut influencer le comportement humain.
La dernière catégorie de risque concerne l’autonomie potentielle du modèle, notamment s’il peut échapper au contrôle des programmeurs qui l’ont créé.
Une fois les risques identifiés, ils seront soumis au Safety Advisory Group d’OpenAI, un nouvel organisme qui fera des recommandations à Altman ou à une personne désignée par lui.
Le responsable d’OpenAI décidera alors des éventuelles modifications à apporter à un modèle pour réduire les risques associés.
Le conseil d’administration sera tenu informé et pourra annuler une décision de la direction.
