Les machines sont-elles plus intelligentes qu’un enfant de 6 ans ?

Des chercheurs de l’Institut des sciences de l’information de l’USC Viterbi développent un algorithme qui apprend aux machines à apprendre sans supervision humaine.

« D’une manière générale, l’apprentissage automatique est la science qui enseigne aux machines à agir de la même manière que les humains », a déclaré Mohammad Rostami, responsable de la recherche à l’Institut des sciences de l’information (ISI) de l’USC Viterbi. Enseigner aux machines à apprendre sans aucune supervision humaine est le sujet de son dernier article, Overcoming Concept Shift in Domain-Aware Settings through Consolidated Internal Distributions, qu’il a présenté au 37ème Conférence AAAI sur l’Intelligence Artificielletenue à Washington, DC du 7 au 14 février 2023.

Rostami a expliqué comment l’apprentissage automatique est généralement effectué : « Nous collectons des données annotées par des humains, puis nous enseignons à la machine comment agir de la même manière que les humains compte tenu de ces données. Le problème que nous rencontrons est que la connaissance que la machine obtient est limitée à la ensemble de données qui a été utilisé pour la formation. » De plus, l’ensemble de données utilisé pour la formation n’est souvent pas disponible une fois le processus de formation terminé.

Le défi qui en découle ? Si la machine reçoit une entrée suffisamment différente des données sur lesquelles elle a été formée, la machine devient confuse et n’agira pas comme un humain.

Un bouledogue ou un shih tzu ou tout autre chose ?

Rostami a donné un exemple : « Il existe de nombreuses catégories de chiens, différents types de chiens ne sont visuellement pas très similaires et la variété est importante. Si vous entraînez une machine à catégoriser les chiens, sa connaissance est limitée aux échantillons que vous avez utilisés pour l’entraînement. . Si vous avez une nouvelle catégorie de chien qui ne figure pas parmi les échantillons d’entraînement, la machine ne pourra pas apprendre qu’il s’agit d’un nouveau type de chien. »

Fait intéressant, les humains sont meilleurs dans ce domaine que les machines. Lorsque les humains reçoivent quelque chose à catégoriser, s’ils ne reçoivent que quelques échantillons dans une nouvelle catégorie (c’est-à-dire une nouvelle race de chien), ils s’adaptent et apprennent ce qu’est cette nouvelle catégorie. Rostami a déclaré qu' »un enfant de six ans peut apprendre une nouvelle catégorie en utilisant deux, trois ou quatre échantillons, contrairement à la plupart des techniques d’apprentissage automatique modernes qui nécessitent au moins plusieurs centaines d’échantillons pour apprendre cette nouvelle catégorie ».

Catégoriser face au changement de concept

Souvent, il ne s’agit pas d’apprendre des catégories entièrement nouvelles, mais de pouvoir s’adapter à l’évolution des catégories existantes.

Si une machine apprend une catégorie pendant la formation, puis au fil du temps, elle subit quelques changements (c’est-à-dire l’ajout d’une nouvelle sous-catégorie), Rostami espère qu’avec ses recherches, la machine pourra apprendre ou étendre la notion de ce que cette catégorie est, (c’est-à-dire, pour inclure la nouvelle sous-catégorie).

La nature changeante d’une catégorie est ce qu’on appelle le « changement de concept ». Le concept de ce qu’est une catégorie évolue avec le temps. Rostami a proposé un autre exemple concret : le dossier spam.

Il a expliqué : « Votre service de messagerie dispose d’un modèle pour classer les e-mails de votre boîte de réception en e-mails légitimes et en spams. Il est formé pour identifier les spams à l’aide de certaines fonctionnalités. Par exemple, si un e-mail ne vous est pas adressé personnellement, il est plus probable que c’est un spam. »

Malheureusement, les spammeurs connaissent ces modèles et ajoutent constamment de nouvelles fonctionnalités afin de tromper les modèles, pour éviter que leurs e-mails ne soient classés comme spam.

Rostami a poursuivi : « cela signifie que la définition de ‘spam’ change avec le temps. C’est une définition qui dépend du temps. Le concept est le même – vous avez le concept de ‘spam’ – mais avec le temps, la définition et les détails du concept changent. . C’est un changement de concept. »

Une nouvelle façon de s’entraîner

Dans son article, Rostami a développé une méthode de formation d’un modèle d’apprentissage automatique qui résout ces problèmes.

Étant donné que les données d’entraînement d’origine ne sont pas toujours disponibles, la méthode de Rostami ne repose pas sur ces données. Le co-auteur et scientifique principal de l’ISI, Aram Galstyan, a expliqué comment : « Le modèle apprend la distribution des anciennes données dans l’espace latent, puis il peut générer une représentation latente, presque comme générer un ensemble de données synthétiques en apprenant la représentation des anciennes données.  »

De ce fait, le modèle peut conserver ce qui a été appris lors de la phase de formation initiale, ce qui lui permet de s’adapter et d’apprendre de nouvelles catégories et sous-catégories au fil du temps.

Cela signifie également, et c’est important, qu’il n’oubliera pas les données d’entraînement d’origine ou ce qu’il en a appris. C’est un enjeu majeur de l’apprentissage automatique. Galstyan a expliqué: « Lorsque vous entraînez un nouveau modèle, il peut oublier certains modèles qui étaient utiles auparavant. C’est ce qu’on appelle l’oubli catastrophique », a déclaré Galstyan.

Avec l’approche développée dans cet article, Galstyan a déclaré que « l’oubli catastrophique est implicitement abordé car nous introduisons une correspondance entre l’ancienne distribution des données et la nouvelle. Ainsi, notre modèle n’oubliera pas l’ancien ».

Et après?

Rostami et Galstyan sont satisfaits des résultats, notamment parce qu’ils ne reposent pas sur la disponibilité des données sources. Galstyan a déclaré: « J’ai été agréablement surpris de voir que le modèle se compare favorablement à la plupart des lignes de base existantes à la pointe de la technologie. »

Rostami et Galstyan prévoient de poursuivre leurs travaux sur ce concept et d’appliquer la méthode proposée à des problèmes du monde réel.

Le document est également publié sur le arXiv serveur de préimpression.