Le modèle polyvalent améliore les prévisions en matière d’épidémies, d’énergie et d’économie
Un nouveau modèle d'apprentissage automatique (ML) de Georgia Tech pourrait à la fois protéger les communautés contre les maladies, mieux gérer la consommation d'électricité dans les villes et promouvoir la croissance des entreprises.
Des chercheurs de l’École des sciences et de l’ingénierie informatiques (CSE) ont créé le cadre du modèle LPTM (Large Pre-Trained Time-Series Model). LPTM est un modèle fondamental unique qui accomplit des tâches de prévision dans un large éventail de domaines.
En plus de fonctionner aussi bien, voire mieux, que les modèles spécialement conçus pour leurs applications, le LPTM nécessite 40 % de données en moins et 50 % de temps de formation en moins que les références actuelles. Dans certains cas, LPTM peut être déployé sans aucune donnée de formation.
La clé du LPTM est qu'il est pré-entraîné sur des ensembles de données provenant de différents secteurs tels que les soins de santé, les transports et l'énergie. Le groupe Georgia Tech a créé un module de segmentation adaptative pour utiliser efficacement ces ensembles de données très différents.
Les chercheurs de Georgia Tech présenteront le LPTM à Vancouver, en Colombie-Britannique, au Canada, lors de la conférence 2024 sur les systèmes de traitement de l'information neuronale (NeurIPS 2024). Ils ont également publié leurs recherches sur le arXiv serveur de préimpression.
« Le paradigme du modèle fondamental a commencé avec le texte et l'image, mais les gens n'ont pas encore exploré les tâches de séries chronologiques parce qu'elles étaient considérées comme trop diverses selon les domaines », a déclaré B. Aditya Prakash, l'un des développeurs de LPTM.
« Notre travail est pionnier dans ce nouveau domaine d'exploration où seules quelques tentatives ont été réalisées jusqu'à présent. »
Les modèles fondamentaux sont formés avec des données provenant de différents domaines, ce qui en fait des outils puissants lors de l'attribution de tâches. Les modèles fondamentaux pilotent GPT, DALL-E et d’autres plates-formes d’IA générative populaires utilisées aujourd’hui. LPTM est cependant différent car il est axé sur les séries chronologiques et non sur la génération de texte et d'images.
Les chercheurs de Georgia Tech ont formé le LPTM sur des données allant des épidémies à la macroéconomie, en passant par la consommation d'énergie, le trafic et les transports, les marchés boursiers, ainsi que les ensembles de données sur les mouvements et le comportement humains.
Après la formation, le groupe a comparé le LPTM à 17 autres modèles pour établir des prévisions aussi proches de neuf références réelles. LPTM a obtenu les meilleurs résultats sur cinq ensembles de données et s'est classé deuxième sur les quatre autres.
Les neuf références contenaient des données provenant de collections du monde réel. Il s'agit notamment de la propagation de la grippe aux États-Unis et au Japon, de la demande d'électricité, de la circulation et des taxis à New York, ainsi que des marchés financiers.
Les modèles concurrents ont été spécialement conçus pour leurs domaines. Bien que chaque modèle ait obtenu de bons résultats sur un ou deux benchmarks les plus proches de son objectif, les modèles se sont classés au milieu ou au bas des autres.
Dans une autre expérience, le groupe Georgia Tech a testé le LPTM par rapport à sept modèles de base sur les mêmes neuf références dans le cadre d'une tâche de prévision zéro. Zero-shot signifie que le modèle est utilisé immédiatement et ne reçoit aucune orientation spécifique pendant l'entraînement. LPTM a surpassé tous les modèles dans tous les benchmarks de cet essai.
LPTM s'est régulièrement classé parmi les meilleurs sur les neuf tests de référence, démontrant le potentiel du modèle à obtenir des résultats de prévision supérieurs sur plusieurs applications avec moins de ressources.
« Notre modèle va également au-delà de la prévision et permet d'accomplir d'autres tâches », a déclaré Prakash, professeur agrégé à l'École du CSE.
« La classification est une tâche utile relative aux séries chronologiques qui nous permet de comprendre la nature de la série chronologique et de déterminer si cette série chronologique est quelque chose que nous comprenons ou si elle est nouvelle. »
L’une des raisons pour lesquelles les modèles traditionnels sont conçus sur mesure est que les champs diffèrent en termes de fréquence et de tendances des rapports.
Par exemple, les données épidémiques sont souvent rapportées chaque semaine et connaissent des pics saisonniers avec des flambées occasionnelles. Les données économiques sont collectées trimestriellement et restent généralement cohérentes et monotones au fil du temps.
Le module de segmentation adaptative de LPTM lui permet de surmonter ces différences temporelles entre les ensembles de données. Lorsque LPTM reçoit un ensemble de données, le module divise les données en segments de différentes tailles. Ensuite, il évalue toutes les manières possibles de segmenter les données et choisit le segment le plus simple à partir duquel apprendre des modèles utiles.
Les performances du LPTM, améliorées grâce à l'innovation de la segmentation adaptative, ont valu l'acceptation du modèle au NeurIPS 2024 pour présentation. NeurIPS est l'une des trois principales conférences internationales sur la recherche à fort impact en IA et ML. NeurIPS 2024 se tiendra du 10 au 15 décembre.
doctorat l'étudiant Harshavardhan Kamarthi s'est associé à Prakash, son conseiller, sur LPTM. Le duo fait partie des 162 chercheurs de Georgia Tech présentant plus de 80 articles lors de la conférence.
Prakash est l'un des 46 professeurs de Georgia Tech dont les recherches ont été acceptées à NeurIPS 2024. Neuf membres du corps professoral de l'École du CSE, soit près d'un tiers du corps, sont auteurs ou co-auteurs de 17 articles acceptés à la conférence.
En plus de partager leurs recherches lors de NeurIPS 2024, Prakash et Kamarthi ont publié une bibliothèque open source de modules fondamentaux de séries chronologiques sur GitHub que les scientifiques des données peuvent utiliser dans leurs applications.
« Compte tenu de l'intérêt porté à l'IA dans tous les horizons, y compris les secteurs des affaires, du social et de la recherche et développement, beaucoup de travail a été réalisé et des milliers d'articles solides sont soumis aux principales conférences sur l'IA », a déclaré Prakash.
« L'acceptation de notre article témoigne de la qualité du travail et de son potentiel à faire progresser la méthodologie fondamentale, et nous espérons partager cela avec un public plus large. »
