Une étude établit la théorie de la surparamétrisation dans les réseaux de neurones quantiques
Surparamétrisation dans les réseaux de neurones quantiques (QNN). a) Description du circuit quantique du QNN. En ayant un nombre faible (élevé) de paramètres, on n’est pas capable (est capable) d’explorer toutes les directions pertinentes dans l’espace de Hilbert, et donc le QNN est sous-paramétrisé (surparamétrisé). b) La surface grise correspond au paysage de la fonction de perte sans contrainte. Un QNN sous-paramétrisé explore une coupe de faible dimension de la fonction de perte (coupe 1D sur les lignes rouges). Ici, l’optimiseur peut être piégé dans de faux minima locaux (segment bleu) qui ont un impact négatif sur l’optimisation des paramètres. En augmentant le nombre de paramètres au-delà d’un certain seuil Mc, on peut explorer une coupe dimensionnelle supérieure du paysage (coupe 2D sur la région verte). Comme indiqué, certains minima locaux parasites précédents correspondent à des points de selle (segment bleu), et l’optimiseur peut échapper au faux piège. Crédit: arXiv DOI : 10.48550/arxiv.2109.11676
Une preuve théorique montre qu’une technique appelée surparamétrisation améliore les performances de l’apprentissage automatique quantique pour les applications qui contrecarrent les ordinateurs classiques.
« Nous pensons que nos résultats seront utiles pour utiliser l’apprentissage automatique pour apprendre les propriétés des données quantiques, telles que la classification des différentes phases de la matière dans la recherche sur les matériaux quantiques, ce qui est très difficile sur les ordinateurs classiques », a déclaré Diego Garcia-Martin, chercheur postdoctoral. au Laboratoire national de Los Alamos. Il est co-auteur d’un nouvel article d’une équipe de Los Alamos sur la technique publié dans Science computationnelle de la nature.
Garcia-Martin a travaillé sur la recherche à l’école d’été d’informatique quantique du laboratoire en 2021 en tant qu’étudiant diplômé de l’Université autonome de Madrid.
L’apprentissage automatique, ou intelligence artificielle, implique généralement la formation de réseaux de neurones pour traiter des informations – des données – et apprendre à résoudre une tâche donnée. En un mot, on peut considérer le réseau de neurones comme une boîte avec des boutons, ou des paramètres, qui prend des données en entrée et produit une sortie qui dépend de la configuration des boutons.
« Pendant la phase de formation, l’algorithme met à jour ces paramètres au fur et à mesure qu’il apprend, en essayant de trouver leur réglage optimal », a déclaré Garcia-Martin. « Une fois les paramètres optimaux déterminés, le réseau de neurones devrait être en mesure d’extrapoler ce qu’il a appris des instances de formation à des points de données nouveaux et inédits. »
L’IA classique et quantique partagent un défi lors de la formation des paramètres, car l’algorithme peut atteindre une configuration sous-optimale dans sa formation et s’arrêter.
Un saut de performance
La surparamétrisation, un concept bien connu dans l’apprentissage automatique classique qui ajoute de plus en plus de paramètres, peut empêcher ce décrochage.
Les implications de la surparamétrisation dans les modèles d’apprentissage automatique quantique étaient mal comprises jusqu’à présent. Dans le nouvel article, l’équipe de Los Alamos établit un cadre théorique pour prédire le nombre critique de paramètres auquel un modèle d’apprentissage automatique quantique devient surparamétrisé. À un certain point critique, l’ajout de paramètres entraîne une augmentation des performances du réseau et le modèle devient beaucoup plus facile à entraîner.
« En établissant la théorie qui sous-tend la surparamétrisation dans les réseaux de neurones quantiques, notre recherche ouvre la voie à l’optimisation du processus de formation et à l’amélioration des performances dans les applications quantiques pratiques », a expliqué Martin Larocca, auteur principal du manuscrit et chercheur postdoctoral à Los Alamos.
En tirant parti d’aspects de la mécanique quantique tels que l’intrication et la superposition, l’apprentissage automatique quantique offre la promesse d’une vitesse ou d’un avantage quantique beaucoup plus élevé que l’apprentissage automatique sur des ordinateurs classiques.
Éviter les pièges dans un paysage d’apprentissage automatique
Pour illustrer les découvertes de l’équipe de Los Alamos, Marco Cerezo, le scientifique principal sur le papier et un théoricien quantique au laboratoire, a décrit une expérience de pensée dans laquelle un randonneur à la recherche de la plus haute montagne dans un paysage sombre représente le processus de formation. Le randonneur ne peut marcher que dans certaines directions et évalue sa progression en mesurant l’altitude à l’aide d’un système GPS limité.
Dans cette analogie, le nombre de paramètres dans le modèle correspond aux directions disponibles pour que le randonneur se déplace, a déclaré Cerezo. « Un paramètre permet un mouvement de va-et-vient, deux paramètres permettent un mouvement latéral et ainsi de suite », a-t-il déclaré. Un paysage de données aurait probablement plus de trois dimensions, contrairement au monde hypothétique de notre randonneur.
Avec trop peu de paramètres, le marcheur ne peut pas explorer à fond et peut confondre une petite colline avec la plus haute montagne ou rester coincé dans une région plate où tout pas semble vain. Cependant, à mesure que le nombre de paramètres augmente, le marcheur peut se déplacer dans plusieurs directions dans des dimensions plus élevées. Ce qui apparaissait initialement comme une colline locale pourrait s’avérer être une vallée élevée entre des sommets. Avec les paramètres supplémentaires, le randonneur évite de se faire piéger et trouve le vrai pic, ou la solution au problème.
