Formation d'agent de pentesting par apprentissage par renforcement dans des environnements réseau réalistes

Assurer la sécurité des systèmes et des infrastructures réseau est un aspect essentiel de la cybersécurité. Les tests d'intrusion (pentesting) sont une méthode efficace pour évaluer l'état de sécurité du réseau.

Ces dernières années, les chercheurs se sont efforcés de développer des approches efficaces pour mener automatiquement la procédure de test d’intrusion afin de résoudre les problèmes des méthodes manuelles traditionnelles et chronophages. Une approche consiste à utiliser des techniques d'apprentissage par renforcement (RL), qui ont été appliquées pour créer des agents automatisés qui imitent les actions des pentesters humains mais ont une vitesse, une échelle et une précision améliorées.

Divers environnements de simulation ont été introduits comme méthode principale pour former ces agents RL. Cependant, le recours massif à des constantes prédéfinies et à des valeurs probabilistes pour les actions des agents et les états de l'environnement conduit à des inexactitudes potentielles dans la réplication du comportement réel en raison de facteurs qui n'ont pas été modélisés, diminuant ainsi la précision et les performances des agents. De plus, le réseau simulé peut ne pas représenter avec précision la configuration et la topologie d'un réseau réel.

Pour combler ce « fossé de réalité », une équipe de chercheurs dirigée par le professeur agrégé Razvan Beuran, avec son doctorant Huynh Phuong Thanh Nguyen de l'Institut avancé des sciences et technologies du Japon (JAIST) et des chercheurs de KDDI Research, a conçu et a mis en œuvre PenGym, un cadre de formation réaliste, efficace et fiable pour les agents de pentesting RL, développé dans le cadre d'un projet conjoint avec KDDI Research.

PenGym permet aux agents RL d'exécuter des actions réelles sur des hôtes réalistes dans des environnements réseau. A cet effet, le framework contient un module Action/État qui implémente un ensemble d'actions de test d'intrusion réelles pour l'interaction entre les agents RL et l'environnement de formation. De plus, l’environnement de formation s’appuie sur la technologie cyber range utilisée pour la formation en cybersécurité humaine et est créé automatiquement selon plusieurs scénarios de pentesting.

Plusieurs techniques d'optimisation ont été mises en œuvre pour améliorer les performances temporelles d'exécution de PenGym. En conséquence, leur cadre élimine le besoin de modélisation des actions, ce qui se traduit par une représentation plus précise de la dynamique du réseau et de la sécurité par rapport aux environnements basés sur la simulation. Leur étude a été publiée dans Ordinateurs et sécurité.

L’approche consistant à utiliser un environnement réseau réel permettant l’exécution d’actions de test d’intrusion réelles, telle qu’utilisée dans cette recherche, donne des résultats prometteurs par rapport aux environnements simulés. En particulier, leurs expériences ont démontré les avantages et l’efficacité de l’utilisation de PenGym comme environnement de formation réaliste pour les agents de pentesting RL. Ainsi, les agents formés par PenGym ont montré des performances de test d’intrusion supérieures dans les réseaux réels par rapport aux agents formés par simulation.

Sur la base des résultats expérimentaux obtenus par les chercheurs, ils estiment que leurs recherches pourraient conduire à des changements dans divers domaines de recherche liés aux réseaux, remplaçant potentiellement l'approche traditionnelle consistant à créer des modèles logiques complexes pour simuler des environnements de réseau par des méthodes plus réalistes. De plus, des environnements de formation réalistes peuvent être appliqués à d’autres domaines de recherche.

Un exemple important est la cyberdéfense automatisée utilisant des agents RL, qui peut être utilisée pour améliorer les mécanismes de protection de l'infrastructure réseau réelle et contribuer à la fiabilité de la société 5.0. Pour soutenir les activités potentielles d’autres chercheurs dans ce domaine, ils ont publié PenGym en open source sur GitHub.