L'apprentissage du renforcement permet un contrôle de tension en temps réel

Les piles à combustible sont des solutions d'énergie qui peuvent convertir l'énergie chimique dans les carburants en électricité via des réactions chimiques spécifiques, au lieu de s'appuyer sur la combustion. Les types prometteurs de piles à combustible sont les piles à combustible à méthanol direct (DMFC), les dispositifs spécialement conçus pour convertir l'énergie dans l'alcool méthylique (c'est-à-dire le méthanol) en énergie électrique.

Malgré leur potentiel d'alimentation de l'électronique importante, des véhicules et d'autres systèmes nécessitant une puissance portable, ces piles à combustible à base de méthanol ont encore des limitations significatives. Plus particulièrement, des études ont révélé que leurs performances ont tendance à se dégrader considérablement au fil du temps, car les matériaux utilisés pour catalyser les réactions dans les cellules (c.-à-d. Les surfaces électrocatalytiques) deviennent progressivement moins efficaces.

Une approche du nettoyage de ces surfaces et de la prévention de l'accumulation de produits d'empoisonnement produites lors des réactions chimiques implique la modulation de la tension appliquée aux piles à combustible. Cependant, l'ajustement manuellement de la tension appliquée aux surfaces de manière efficace, tout en tenant compte des processus physiques et chimiques dans les piles à combustible, n'est pas pratique pour les applications du monde réel.

Des chercheurs de l'Institut de technologie du Massachusetts (MIT) ont récemment développé Alpha-Fuel-Cell, un nouvel outil basé sur l'apprentissage machine qui peut surveiller l'état d'un catalyseur et ajuster la tension qui lui est appliquée en conséquence. Le nouvel outil de calcul, décrit dans un article publié dans Énergie de la natures'est avéré améliorer la puissance moyenne produite par les piles à combustible à méthanol direct de 153% par rapport aux stratégies conventionnelles de fonctionnement de la tension manuelle.

« Les piles à combustible perdent lentement la puissance au fur et à mesure de leur fonctionnement, et il est difficile pour les humains de continuer à ajuster les commandes pour en tirer le meilleur parti », a déclaré Ju Li, auteur principal du journal, à Tech Xplore. « Nous avons posé une question simple: un système d'IA pourrait-il surveiller la pile à combustible en temps réel et le faire fonctionner à son endroit optimal, la façon dont le régulateur de vitesse maintient votre voiture à une vitesse régulière? »

L'objectif principal de cette étude récente de Li et de ses collègues était d'évaluer le potentiel des modèles basés sur l'intelligence artificielle (IA) pour améliorer les performances des piles à combustible au méthanol. Plus précisément, ils souhaitaient démontrer que les techniques d'apprentissage automatique peuvent aider à optimiser la tension requise pour nettoyer les surfaces électrocatalytiques, fonctionnant bien non seulement dans les simulations, mais aussi sur les systèmes réels.

« Simplement, la cellule alpha-combustible est composée d'un acteur, qui contrôle le système en analysant l'état de la pile à combustible au cours du passé, et un critique, qui évalue la valeur des actions en fonction de l'état de la pile à combustible », explique Li. « En général, l'algorithme acteur-critique couramment utilisé dans l'apprentissage du renforcement utilise des réseaux de neurones distincts pour l'acteur et le critique. »

Bien que les réseaux de neurones artificiels (ANN) s'attaquent de manière fiable à s'attaquer de manière fiable à plusieurs tâches du monde réel, ils nécessitent généralement de grandes quantités de données de formation spécifiques au domaine. Pour mettre en œuvre leur cadre basé sur l'apprentissage automatique plus efficacement, les chercheurs ont décidé d'adopter une architecture acteur-critique, qui se compose de deux algorithmes (c'est-à-dire un acteur et un critique) qui apprennent de nouvelles connaissances via un processus d'essai et d'erreur.

« Le critique est composé de deux branches: une branche d'État pour analyser la condition de pile à combustible et une branche d'action pour reconnaître les actions », a déclaré Li. « La branche d'État utilise un réseau neuronal convolutionnel (CNN), une structure de réseau neuronal largement utilisé dans la vision par ordinateur, connue pour son efficacité de calcul. Cela nous permet d'utiliser directement les trajectoires brutes du courant et de la tension en entrée. »

La soi-disant « branche d'action » de l'algorithme de critique repose sur un réseau neuronal standard. Il s'agit d'un réseau neuronal artificiel largement utilisé composé de couches de nœuds interconnectés, avec des données qui coulent dans une seule direction à travers eux.

« Ce modèle est formé pour prédire les sorties futures en fonction des états passés et des entrées actuelles », a expliqué Li. « D'un autre côté, l'acteur exploite les connaissances apprises en incorporant le modèle de critique en lui-même. Étant donné que les réseaux de neurones sont différenciables, il est possible de calculer numériquement l'entrée actuelle nécessaire pour atteindre la sortie souhaitée. Si une valeur de sortie élevée est simplement définie comme objectif, le modèle tentera de le maximiser. »

L'architecture neuronale acteur-critique employée par Li et ses collègues leur ont permis de s'attaquer à la tâche d'évaluer l'état des catalyseurs et de moduler la tension qui leur est appliquée sans avoir besoin de données de formation approfondies. En fin de compte, ils ont pu obtenir des résultats prometteurs en utilisant un ensemble de données relativement petit, contenant environ 1 000 trajectoires de temps de tension collectées dans des paramètres du monde réel. Il n'a fallu que deux semaines pour collecter ces données dans une configuration expérimentale du monde réel.

« Notre contrôleur est une architecture en temps réel et adaptative à des objectifs qui tire directement des données expérimentales et aucun simulateur dans la boucle », a déclaré Li.

« Étant donné que la mise en œuvre d'un simulateur de haute qualité est difficile, il s'agit d'un avantage significatif. Ce système est la première démonstration d'une combinaison de dispositifs d'IA et d'énergie, en maintenant une puissance de pile à combustible maximale avec un catalyseur automatique auto-guérison. Le système comprend quand les courtes repos aident réellement la cellule à se remettre, au lieu de perdre du temps. Tous les dispositifs d'énergie propre (cellules de combustible, CO₂ Electrolyse) dérivent et vieillissent. »

La nouvelle approche conçue par cette équipe de chercheurs pourrait bientôt être affinée et testée dans un éventail plus large d'expériences et de scénarios du monde réel. À l'avenir, il pourrait aider à améliorer les performances des piles à combustible à méthanol direct, prolongeant leur durée de vie sans nécessiter un équipement coûteux.

« Nous étendons maintenant notre approche d'une seule cellule de laboratoire à des piles plus grandes et réelles, en ajoutant des limites de sécurité et de durée de vie directement dans le contrôleur, et testant la même idée sur les batteries et autres systèmes électrochimiques pour le généraliser », a ajouté Li.