Le scanner d’aliments de l’IA transforme les photos du téléphone en analyse nutritionnelle

En prendre une photo de votre repas, et l’intelligence artificielle vous indique instantanément son nombre de calories, sa teneur en matières grasses et sa valeur nutritionnelle – plus de journaux alimentaires ou de conjectures.

Ce scénario futuriste est désormais beaucoup plus proche de la réalité, grâce à un système d’IA développé par les chercheurs de la NYU Tandon School of Engineering qui promet un nouvel outil pour les millions de personnes qui souhaitent gérer leur poids, leur diabète et d’autres problèmes de santé liés à la régime.

La technologie, détaillée dans un article présenté à la 6e Conférence internationale de l’IEEE sur l’informatique mobile et l’informatique durable, utilise des algorithmes avancés d’apprentissage en profondeur pour reconnaître les aliments dans les images et calculer leur contenu nutritionnel, y compris les calories, les protéines, les glucides et les graisses.

Pendant plus d’une décennie, le groupe de recherche sur les incendies de NYU, qui comprend l’auteur principal du journal, Prabodh Panindre et le co-auteur Sunil Kumar, a étudié la santé critique des pompiers et les défis opérationnels. Plusieurs études de recherche montrent que 73 à 88% de la carrière et 76 à 87% des pompiers volontaires sont en surpoids ou obèses, confrontés à une augmentation des risques cardiovasculaires et autres qui menacent la préparation opérationnelle. Ces résultats ont directement motivé le développement de leur système de suivi alimentaire alimenté par l’IA.

« Les méthodes traditionnelles de suivi de l’apport alimentaire reposent fortement sur l’auto-évaluation, ce qui est notoirement peu fiable », a déclaré Panindre, professeur de recherche associé de NYU Tandon School of Engineering Department of Mechanical Engineering. « Notre système supprime l’erreur humaine de l’équation. »

Malgré la simplicité apparente du concept, le développement d’une reconnaissance alimentaire fiable IA est perplexe des chercheurs depuis des années. Les tentatives précédentes ont eu du mal à avoir trois défis fondamentaux que l’équipe NYU Tandon semble avoir surmontée.

« La diversité visuelle de la nourriture est stupéfiante », a déclaré Kumar, professeur de génie mécanique à NYU Abu Dhabi et professeur de génie mécanique mondial à NYU Tandon. « Contrairement aux objets fabriqués avec des apparences standardisées, le même plat peut être considérablement différent en fonction de qui l’a préparé. Un hamburger d’un restaurant ressemble peu à un d’un autre endroit, et des versions maison ajoutent une autre couche de complexité. »

Les systèmes antérieurs ont également vacillé lors de l’estimation de la taille des portions – un facteur crucial dans les calculs nutritionnels. L’avance de l’équipe NYU est leur fonction de calcul volumétrique, qui utilise un traitement d’image avancé pour mesurer la zone exacte que chaque aliment occupe sur une assiette.

Le système est en corrélation de la zone occupée par chaque aliment avec des données de densité et de macronutriments pour convertir les images 2D en évaluations nutritionnelles. Cette intégration des calculs volumétriques avec le modèle d’IA permet une analyse précise sans entrée manuelle, en résolvant un défi de longue date dans le suivi alimentaire automatisé.

Le troisième obstacle majeur a été l’efficacité informatique. Les modèles précédents nécessitaient trop de puissance de traitement pour être pratique pour une utilisation en temps réel, nécessitant souvent un traitement cloud qui a introduit des retards et des problèmes de confidentialité.

Les chercheurs ont utilisé une puissante technologie de reconnaissance d’image appelée Yolov8 avec ONNX Runtime (un outil qui aide les programmes AI à s’exécuter plus efficacement) pour créer un programme d’identification alimentaire qui fonctionne sur un site Web plutôt que comme une application téléchargeable, permettant aux gens de simplement le visiter en utilisant le navigateur Web de leur téléphone pour analyser les repas et suivre leur alimentation.

Lorsqu’il a été testé sur une tranche de pizza, le système a calculé 317 calories, 10 grammes de protéines, 40 grammes de glucides et 13 grammes de graisses – des valeurs nutritionnelles qui correspondaient étroitement aux normes de référence. Il a bien performé lors de l’analyse des plats plus complexes tels que Idli Sambhar, une spécialité du sud de l’Inde avec des gâteaux de riz cuites à la vapeur avec un ragoût de lentille, pour lequel il a calculé 221 calories, 7 grammes de protéines, 46 grammes de glucides et seulement 1 gramme de graisse.

« L’un de nos objectifs était de s’assurer que le système fonctionne à travers diverses cuisines et présentations alimentaires », a déclaré Panindre. « Nous voulions qu’il soit aussi précis avec un hot-dog – 280 calories selon notre système – comme c’est avec du baklava, une pâtisserie du Moyen-Orient que notre système identifie comme ayant 310 calories et 18 grammes de graisse. »

Les chercheurs ont résolu les défis des données en combinant des catégories d’aliments similaires, en éliminant les types de nourriture avec trop peu d’exemples et en mettant davantage l’accent sur certains aliments pendant la formation. Ces techniques ont aidé à affiner leur ensemble de données d’entraînement, de d’innombrables images initiales à un ensemble plus équilibré de 95 000 instances dans 214 catégories de nourriture.

Les mesures de performance technique sont impressionnantes: le système a obtenu un score moyen de précision (MAP) moyen de 0,7941 à un seuil d’intersection sur l’union (IOU) de 0,5. Pour les non-spécialistes, cela signifie que l’IA peut localiser et identifier avec précision les aliments environ 80% du temps, même lorsqu’ils se chevauchent ou sont partiellement obscurcis.

Le système a été déployé comme une application Web qui fonctionne sur les appareils mobiles, ce qui le rend potentiellement accessible à toute personne disposant d’un smartphone. Les chercheurs décrivent leur système actuel comme une « preuve de concept » qui pourrait être affiné et élargi pour des applications de soins de santé plus larges très bientôt.

En plus de Panindre et Kumar, les auteurs du journal sont Praneteth Kumar Thummalapalli et Tanmay Mandal, tous deux étudiants de maîtrise au Département d’informatique et d’ingénierie de NYU Tandon.