Des chercheurs révèlent la vulnérabilité des modèles de reconnaissance des émotions vocales aux attaques adverses
Les avancées récentes dans le domaine de la reconnaissance des émotions par la parole ont mis en évidence le potentiel considérable des technologies d’apprentissage profond dans diverses applications. Cependant, ces modèles d’apprentissage profond sont vulnérables aux attaques adverses.
Une équipe de chercheurs de l'Université de Milan a évalué systématiquement l'impact des attaques en boîte blanche et en boîte noire sur différentes langues et différents genres dans le cadre de la reconnaissance des émotions vocales. L'étude a été publiée le 27 mai dans Informatique intelligente.
L'étude souligne la vulnérabilité considérable des modèles de mémoire à court terme à long terme des réseaux neuronaux convolutionnels aux exemples adverses, qui sont des entrées « perturbées » soigneusement conçues qui conduisent les modèles à produire des prédictions erronées. Les résultats indiquent que toutes les attaques adverses envisagées peuvent réduire considérablement les performances des modèles de reconnaissance des émotions vocales. Selon les auteurs, la sensibilité de ces modèles aux attaques adverses « pourrait entraîner de graves conséquences ».
Les chercheurs ont proposé une méthodologie de traitement des données audio et d'extraction de caractéristiques adaptée à l'architecture de mémoire à long terme du réseau neuronal convolutionnel. Ils ont examiné trois ensembles de données, EmoDB pour l'allemand, EMOVO pour l'italien et RAVDESS pour l'anglais. Ils ont utilisé la méthode Fast Gradient Sign, la méthode itérative de base, DeepFool, l'attaque de carte de saillance basée sur Jacobian et Carlini et Wagner pour les attaques en boîte blanche et l'attaque à un pixel et l'attaque de limite pour les scénarios en boîte noire.
Les attaques de type boîte noire, en particulier l'attaque de frontière, ont obtenu des résultats impressionnants malgré leur accès limité au fonctionnement interne des modèles. Même si les attaques de type boîte blanche ne présentaient pas de telles limitations, les attaques de type boîte noire les surpassaient parfois ; c'est-à-dire qu'elles généraient des exemples adverses avec des performances supérieures et des perturbations moindres.
Les auteurs ont déclaré : « Ces observations sont alarmantes car elles impliquent que les attaquants peuvent potentiellement obtenir des résultats remarquables sans aucune compréhension du fonctionnement interne du modèle, simplement en scrutant ses résultats. »
L’étude a intégré une perspective sexospécifique pour étudier les impacts différentiels des attaques adverses sur le discours des hommes et des femmes ainsi que sur le discours dans différentes langues. En évaluant les impacts des attaques dans trois langues, seules des différences mineures de performance ont été observées.
L'anglais est apparu comme la langue la plus sensible, tandis que l'italien a affiché la plus grande résistance. L'examen détaillé des échantillons mâles et femelles a indiqué une légère supériorité des échantillons mâles, qui ont montré une précision et une perturbation légèrement inférieures, en particulier dans les scénarios d'attaque en boîte blanche. Cependant, les variations entre les échantillons mâles et femelles étaient négligeables.
« Nous avons conçu un pipeline pour standardiser les échantillons dans les 3 langues et extraire les spectrogrammes log-Mel. Notre méthodologie consistait à augmenter les ensembles de données en utilisant des techniques de décalage de hauteur et d'étirement temporel tout en maintenant une durée d'échantillon maximale de 3 secondes », ont expliqué les auteurs. De plus, pour garantir la cohérence méthodologique, l'équipe a utilisé la même architecture de mémoire à long terme à réseau neuronal convolutionnel pour toutes les expériences.
Si la publication de recherches révélant des vulnérabilités dans les modèles de reconnaissance vocale et émotionnelle peut sembler susceptible de fournir des informations précieuses aux attaquants, ne pas partager ces résultats pourrait potentiellement s’avérer encore plus préjudiciable. La transparence des recherches permet aux attaquants comme aux défenseurs de comprendre les faiblesses de ces systèmes.
En faisant connaître ces vulnérabilités, les chercheurs et les praticiens peuvent mieux préparer et renforcer leurs systèmes contre les menaces potentielles, contribuant ainsi à un paysage technologique plus sûr.
