Comment les modèles causaux résolvent le problème de généralisation de l'apprentissage hors ligne

Comment les modèles causaux résolvent le problème de généralisation de l’apprentissage hors ligne

Des chercheurs de l’Université de Nanjing et de l’Université Carnegie Mellon ont introduit une approche d’IA qui améliore la façon dont les machines apprennent des données passées – un processus connu sous le nom d’apprentissage du renforcement hors ligne. Ce type d’apprentissage automatique est essentiel pour permettre aux systèmes de prendre des décisions en utilisant uniquement des informations historiques sans avoir besoin d’interaction en temps réel avec le monde.

En se concentrant sur les relations authentiques de cause à effet dans les données, la nouvelle méthode permet des systèmes autonomes – comme les voitures sans conducteur et les systèmes de prise de décision médicale – pour faire des choix plus sûrs et plus fiables. L’œuvre est publiée dans la revue Frontières de l’informatique.

Des signaux trompeurs à la vraie causalité: un nouveau paradigme d’apprentissage

Traditionnellement, l’apprentissage du renforcement hors ligne a eu du mal car il ramasse parfois des modèles trompeurs à partir de données historiques biaisées. Pour illustrer, imaginez apprendre à conduire en regardant uniquement des vidéos de quelqu’un d’autre au volant.

Si ce conducteur allume toujours les essuie-glaces en ralentissement sous la pluie, vous pourriez penser à tort que l’activation des essuie-glaces entraîne le ralentissement de la voiture. En réalité, c’est l’acte de freiner qui ralentit le véhicule.

La nouvelle méthode d’IA corrige ce malentendu en enseignant au système à reconnaître que l’action de freinage, et non l’activation des essuie-glaces, est responsable du ralentissement de la voiture.

Amélioration de la sécurité dans les systèmes autonomes

Avec la capacité d’identifier de véritables relations de cause à effet, la nouvelle approche rend les systèmes autonomes beaucoup plus sûrs, plus intelligents et plus fiables. Les industries telles que les véhicules autonomes, les soins de santé et la robotique bénéficient considérablement parce que ces systèmes sont souvent utilisés lorsque la prise de décision précise et digne de confiance est essentielle.

Le chercheur principal, le professeur Yang Yu, a déclaré: « Notre étude exploite le pouvoir du raisonnement causal pour réduire le bruit des données historiques, permettant aux systèmes de prendre des décisions qui sont à la fois plus précises et plus sûres – un progrès qui pourrait améliorer la façon dont la technologie autonome est déployée entre les industries. »

Pour les décideurs politiques et les chefs de file de l’industrie, ces résultats pourraient soutenir l’amélioration des normes réglementaires, des pratiques de déploiement plus sûres et une confiance du public accrue dans les systèmes automatisés. De plus, d’un point de vue scientifique, la recherche ouvre la voie à des études plus robustes sur la conscience de l’IAI de la causalité.

Une approche causale qui surpasse les modèles traditionnels

Les chercheurs ont constaté que les modèles d’IA traditionnels confondent parfois des actions non liées comme liées causalement, ce qui peut entraîner des résultats dangereux. Ils ont démontré que bon nombre de ces erreurs sont considérablement réduites en incorporant la structure causale dans ces modèles. De plus, la nouvelle méthode – a été considérée comme une nouvelle approche d’IA causale – s’est avérée fonctionner de manière cohérente mieux que les techniques existantes (c.-à-d. MOPO, Morel, combo, LNCM) lorsqu’elle est testée dans des scénarios pratiques.

Pour obtenir ces résultats prometteurs, l’équipe de recherche a développé une méthode qui identifie de véritables relations causales à partir de données historiques à l’aide de tests statistiques spécialisés conçus pour des données séquentielles et continues. Cette approche aide à discerner avec précision les vraies causes derrière les actions observées et réduit la complexité de calcul qui entrave souvent les méthodes traditionnelles, ce qui rend le système plus efficace et pratique.

Cette recherche améliore notre compréhension des capacités de l’IA en intégrant le raisonnement causal dans l’apprentissage du renforcement hors ligne. Il offre des améliorations pratiques dans la sécurité et l’efficacité des systèmes autonomes dans la vie quotidienne.

Fourni par Higher Education Press