Un modèle qui génère des recettes complexes à partir d’images d’ingrédients disponibles
Les modèles d’intelligence artificielle (IA) ont déjà fait leur chemin dans un large éventail de paramètres du monde réel, aidant les humains à résoudre les problèmes quotidiens plus rapidement et plus efficacement. Récemment, les informaticiens ont également exploré leur potentiel pour aider les humains dans des tâches créatives, telles que la création de dessins intéressants, de poèmes et même de recettes.
Deux chercheurs de PeopleTec, une entreprise technologique basée en Alabama, ont développé un modèle informatique capable de créer des recettes complexes contenant des ingrédients dont les utilisateurs disposent, après avoir analysé des images de ce qui se trouve à l’intérieur de leur réfrigérateur. Leur approche, présentée dans un article prépublié sur arXivest basé sur des modèles capables d’identifier des objets dans des images et GPT-4, le célèbre modèle de grand langage (LLM) développé par OpenAI.
« En 2020, un groupe de nos chercheurs en IA a organisé un jeu de société où une équipe proposait une liste d’ingrédients et une autre utilisait un modèle de langage pour imaginer une recette originale », a déclaré David Noever, l’un des chercheurs qui a mené l’étude. , a déclaré Tech Xplore.
« Au fur et à mesure que les ingrédients devenaient plus intéressants, les recettes devenaient de pire en pire, dégénérant finalement en absurdités comme » Une recette de cuir de chaussure hongrois, pour 2 personnes au petit-déjeuner « – en gros, un charabia complet. Mais depuis 2020, les modèles d’image et de langage ont est devenu si bon que maintenant nous pourrions vraiment créer une application qui résoudrait le défi du cuisinier pratique – il suffit de regarder dans votre réfrigérateur en ce moment, de prendre quelques idées préconçues de base sur ce que l’on pourrait vouloir cuisiner aujourd’hui et de générer une excellente nouvelle recette.
L’un des principaux objectifs des travaux récents de Noever et de sa collègue Samantha Elizabeth Miller Noever était de mettre en évidence les avancées récentes dans le domaine de l’IA de manière pratique et utile. Pour parvenir à générer des recettes à partir d’images, ils ont spécifiquement utilisé des interfaces de programmation d’applications (API) de modèles d’analyse d’images ainsi que le générateur de texte qui sous-tend ChatGPT.
« L’idée de base de notre travail était de combiner des aliments crus et des ingrédients de recette à l’aide d’une analyse d’image, puis de demander à un modèle de langage puissant de construire une recette de cuisine plausible, y compris le titre, la proportion et les étapes attendus », a expliqué Noever.
« L’un des rebondissements intéressants de cette approche langage-image est de contraindre le générateur de style de recette de manières différentes et souvent complexes en fonction, par exemple, de la minimisation du coût du repas, de la modification de la taille des portions ou de la prise en compte des restrictions alimentaires. Les parties difficiles de cela vraiment tomber sur la qualité du modèle linguistique, qui, bien sûr, a fait d’énormes percées au cours des derniers mois seulement. »
Les chercheurs ont évalué leur approche informatique dans une série de tests, en lui fournissant plus de 2 000 images de réfrigérateurs ouverts contenant différents ingrédients. À l’aide de ces images, leur modèle a généré un livre de recettes de 100 pages, avec des recettes intéressantes et uniques mettant en vedette les 30 meilleurs ingrédients illustrés dans les images d’entrée.
« Plusieurs chercheurs nous ont aidés en construisant des images des 30 meilleurs articles à trouver dans un réfrigérateur », a déclaré Noever. « Nous avons entraîné nos propres modèles d’images pour en restituer une liste dans différents contextes. La nouveauté de notre travail consistait à adapter en permanence la recette à différentes contraintes. Bien sûr, il existe des milliards de combinaisons disponibles, même pour une petite liste d’images. ingrédients, mais mettre la disponibilité saisonnière, les restes, la taille des portions, le coût et les restrictions alimentaires ont vraiment fait avancer le problème et la solution. »
À l’avenir, l’approche informatique introduite par Noever et Noever pourrait être intégrée dans une application pour smartphone ou d’autres outils logiciels conçus pour inspirer les cuisiniers humains amateurs et experts. Parallèlement, cela pourrait également inspirer d’autres équipes du monde entier à appliquer des LLM et d’autres modèles d’IA à des tâches de génération de recettes ou à d’autres problèmes créatifs.
« Dans nos prochaines études, nous prévoyons de développer une application mobile pratique qui prend une photo et inventorie un vrai réfrigérateur dans son état probablement encombré, sans la contrainte d’utiliser tous les ingrédients mais de les mélanger et de les assortir », a ajouté Noever. « Ce serait un grand raffinement de ce travail initial. »