Le modèle AI bat PNG et FLAC en termes de compression
Que ferions-nous sans compression ?
Les bibliothèques musicales et les collections personnelles de photos et de vidéos qui nous obligeraient à acheter un disque dur après l’autre peuvent à la place être regroupées en portions d’un seul disque.
La compression nous permet d’extraire des volumes de données d’Internet pratiquement instantanément.
Les interruptions et les temps de latence irritants gâcheraient les conversations téléphoniques sans compression.
Il nous permet d’améliorer la sécurité numérique, de diffuser nos films préférés, d’accélérer l’analyse des données et de réaliser des économies significatives grâce à des performances numériques plus efficaces.
Certains observateurs parlent poétiquement de la compression. L’auteur scientifique populaire Tor Nørretranders a dit un jour : « La compression de grandes quantités d’informations en quelques macroétats riches en exformation avec de petites quantités d’informations nominales n’est pas seulement intelligente : elle est très belle. Oui, même sexy. Voir un fouillis de données confuses. et des fragments d’apprentissage par cœur compressés en un message concis et clair peuvent être vraiment excitants.
Un auteur anonyme a décrit la compression comme « une symphonie pour l’ère moderne, transformant la cacophonie des données en une mélodie élégante et efficace ».
Et le futuriste Jason Luis Silva Mishkin l’a exprimé succinctement : « À l’ère du numérique, la compression s’apparente à de la magie ; elle nous permet de mettre l’immensité du monde dans nos poches. »
Depuis les premiers jours de la compression numérique, lorsque des acronymes tels que PKZIP, ARC et RAR sont devenus partie intégrante du vocabulaire courant des utilisateurs d’ordinateurs, les chercheurs ont continué à explorer les moyens les plus efficaces pour regrouper les données en paquets de plus en plus petits. Et lorsque cela peut être fait sans perte de données, cela prend d’autant plus de valeur.
Des chercheurs de DeepMind ont récemment annoncé avoir découvert que de grands modèles de langage pouvaient amener la compression des données à de nouveaux niveaux.
Dans un article intitulé « Language Modeling Is Compression », publié sur le serveur de préimpression arXivGrégoire Delétang a déclaré que le grand modèle de langage Chinchilla 70B de DeepMind atteignait des taux de compression sans perte remarquables avec les données image et audio.
Les images ont été compressées à 43,4 % de leur taille d’origine et les données audio ont été réduites à 16,4 % de leur taille d’origine. En revanche, l’algorithme de compression d’image standard PNG réduit les images à 58,5 % de leur taille d’origine, et les compresseurs FLAC réduisent les fichiers audio à 30,3 %.
Les résultats ont été particulièrement impressionnants car contrairement aux formats PNG et FLAC, qui ont été conçus spécifiquement pour les médias image et audio, Chinchilla a été formé pour travailler avec du texte et non avec d’autres médias.
Leurs recherches ont également mis en lumière une vision différente des lois de mise à l’échelle, c’est-à-dire de la manière dont la qualité de la compression change en fonction de la taille des données compressées.
« Nous proposons une nouvelle vision des lois de mise à l’échelle », a déclaré Delétang, « montrant que la taille de l’ensemble de données constitue une limite stricte à la taille du modèle en termes de performances de compression ».
En d’autres termes, les avantages obtenus avec les grands compresseurs de modèles de langage ont des limites supérieures à mesure que leur ensemble de données est grand.
« La mise à l’échelle n’est pas une solution miracle », a déclaré Delétang.
« Les compresseurs classiques comme gzip ne vont pas disparaître de si tôt puisque leur compromis entre compression, vitesse et taille est actuellement bien meilleur que toute autre chose », a déclaré Anian Ruoss, ingénieur de recherche chez DeepMind et co-auteur de l’article, dans un article. entretien récent.
