L'IA générative crée des livres d'histoires personnalisés pour l'avenir de l'apprentissage des langues chez les enfants
Des chercheurs ont créé un système innovant pour générer des livres d'histoires personnalisés. Ce système utilise l'intelligence artificielle générative et la technologie IoT domestique pour aider les enfants à apprendre les langues. Les résultats sont publiés dans la revue Actes de la conférence CHI sur les facteurs humains dans les systèmes informatiques.
Leurs recherches ont été présentées à l'ACM CHI (ACM SIGCHI Conference on Human Factors in Computing Systems), où elles ont remporté un « Honorable Mention Award », les reconnaissant comme l'une des 5 % des meilleures soumissions.
Le développement du langage des enfants est crucial car il a un impact sur leur croissance cognitive et scolaire, leurs interactions avec leurs pairs et leur développement social global. Il est essentiel d'évaluer régulièrement les progrès linguistiques et de fournir des interventions linguistiques opportunes pour soutenir l'acquisition du langage.
Le problème est que les enfants grandissent dans des environnements divers, ce qui entraîne des variations dans leur exposition au vocabulaire. Cependant, les approches traditionnelles s'appuient souvent sur des listes de vocabulaire standardisées et des livres d'histoires ou des jouets préfabriqués pour les évaluations et les interventions en matière de compétences linguistiques, ce qui ne permet pas d'apporter un soutien diversifié.
Consciente des lacunes des approches classiques et universelles qui ne tiennent pas compte des origines diverses des enfants, l'équipe a créé un système éducatif innovant adapté à l'environnement unique de chaque enfant. Ils ont commencé par utiliser des appareils IoT domestiques pour capturer et surveiller le langage que les enfants entendent et parlent dans leur vie quotidienne.
Grâce à des techniques de séparation des locuteurs et d'analyse morphologique, les chercheurs ont examiné le vocabulaire auquel les enfants étaient exposés, les mots qu'ils prononçaient et ceux qu'ils entendaient mais ne prononçaient pas. Ils ont ensuite évalué chaque mot en calculant les scores de chaque mot en fonction de facteurs clés pertinents pour l'orthophonie.
Pour créer des supports pédagogiques personnalisés, l'équipe a utilisé des technologies d'IA génératives avancées, notamment GPT-4 et Stable Diffusion. Cela leur a permis de produire des livres pour enfants personnalisés qui intègrent parfaitement le vocabulaire cible de chaque enfant. En combinant la théorie de l'orthophonie avec une expertise pratique, les chercheurs ont développé un système d'apprentissage des langues efficace et personnalisé.
Les chercheurs ont conçu le système pour s'adapter aux variations du développement du langage des enfants en permettant une pondération individualisée des facteurs et des critères de sélection du vocabulaire flexibles. Le système peut automatiser à la fois l'extraction du vocabulaire cible pour chaque enfant et la création de livres d'histoires personnalisés, garantissant que le vocabulaire et les livres d'histoires peuvent être continuellement mis à jour en réponse aux changements du développement du langage et de l'environnement de l'enfant.
Après avoir testé le système auprès de 9 familles sur une période de quatre semaines, les résultats ont montré que les enfants apprenaient efficacement le vocabulaire cible, démontrant ainsi l'applicabilité du système dans des contextes quotidiens au-delà de la salle de thérapie.
Inseok Hwang du Département d'informatique et d'ingénierie, ainsi que les étudiants Jungeun Lee, Suwon Yoon et Kyoosik Lee du Département d'informatique et d'ingénierie de POSTECH, en collaboration avec le professeur Dongsun Yim du Département des troubles de la communication de l'Université pour femmes d'Ewha, ont collaboré au projet.
Jungeun Lee de POSTECH, auteur principal de l'étude, a déclaré : « Nous avons abordé efficacement les limites des approches traditionnelles et universelles de l'évaluation et de l'intervention linguistiques auprès des enfants en utilisant l'IA générative. Notre objectif est de tirer parti de l'IA pour créer des guides personnalisés adaptés aux différents niveaux et besoins des individus. »
Le professeur Hwang de POSTECH, auteur correspondant, a déclaré : « Grâce à des recherches interdisciplinaires, nous avons réussi à développer un système personnalisé de stimulation et de développement du langage qui intègre la technologie de l'IA générative à la théorie de l'orthophonie. Nous espérons que nos résultats encourageront les éducateurs à respecter et à intégrer les divers environnements et objectifs d'apprentissage des enfants. »
La professeure Yim, co-auteure de l'étude et membre de l'Ewha Womans University, a déclaré : « Notre travail démontre le potentiel des services de soutien linguistique personnalisés et non traditionnels. Le système met en évidence la capacité à personnaliser l'extraction du vocabulaire cible et la diffusion de stimuli linguistiques pour les enfants exposés à des environnements et des langues variés. »