Apprentissage automatique et réalité étendue utilisés pour former les soudeurs

Depuis que les anciens Égyptiens martelaient deux pièces d’or jusqu’à ce qu’elles fusionnent, l’art du soudage n’a cessé de progresser.

Les forgerons de l’âge du fer utilisaient la chaleur pour forger et souder le fer. La découverte de l'acétylène au début de la révolution industrielle a ajouté un nouveau combustible polyvalent au soudage. À la fin du XIXe siècle, deux ingénieurs ont inventé le soudage à l'arc métallique et, plus récemment, l'essor des systèmes de soudage robotisés et les progrès des alliages à haute résistance ont élargi les applications du soudage.

Malgré une longue histoire d’améliorations technologiques, le soudage reste une compétence difficile à apprendre. Cela nécessite une combinaison de connaissances techniques et de dextérité manuelle. Et compte tenu de sa prévalence dans de nombreux secteurs, notamment la fabrication, la construction, l’aérospatiale et l’automobile, le besoin de soudeurs qualifiés reste fort. Selon l'American Welding Society, les employeurs américains sont désormais confrontés à un déficit de 375 000 soudeurs.

À l'Université Carnegie Mellon, des chercheurs s'attaquent au problème en développant une nouvelle façon de former les soudeurs qui applique une fois de plus une technologie émergente. Dina El-Zanfaly, professeure adjointe à l'École de design, et Daragh Byrne, professeur agrégé à l'École d'architecture, ont travaillé avec une équipe de chercheurs pour développer un casque de soudage et un système de torche à réalité étendue (XR) pour aider les soudeurs. acquérir les connaissances incorporées dont ils ont besoin pour maîtriser la compétence exigeante.

« Non seulement c'est un projet vraiment cool, mais il intègre également les objectifs clés de la mission de MFI », a déclaré Sandra DeVincent Wolf, directrice exécutive de MFI. « Il s'agit d'une recherche révolutionnaire qui fait progresser la technologie de fabrication, contribue au développement de la main-d'œuvre et mobilise des partenaires de la communauté locale. »

La réalité étendue combine la réalité virtuelle (VR), qui est un environnement généré par ordinateur qui simule une expérience réaliste ou imaginaire ; la réalité augmentée (RA), qui combine des informations générées par ordinateur avec l'environnement réel d'un utilisateur ; et la réalité mixte (MR), où les objets du monde réel et numériques coexistent et interagissent en temps réel. Ensemble, ces fonctionnalités créent une expérience immersive qui permet aux utilisateurs d'interagir avec les informations, les environnements et le contenu numérique en temps réel.

La formation des soudeurs nécessite le développement de la coordination œil-main et une perception aiguë de la position et du mouvement du corps dans l’espace. Ces connaissances incorporées sont acquises grâce à des interactions pratiques avec des outils et du matériel et peuvent être difficiles à reproduire dans des scénarios de formation.

Les chercheurs de Carnegie Mellon ont travaillé pour mieux comprendre les défis de la formation en organisant une série d'ateliers de co-conception. Ils ont travaillé avec huit instructeurs et quatre étudiants de l'Industrial Arts Workshop (IAW), un programme de formation en soudage pour les jeunes à but non lucratif situé dans le quartier Hazelwood de Pittsburgh, pour développer un système intégrant un casque de soudage et une torche avec un Meta Quest Pro et un système d'apprentissage automatique. modèle qui améliore l’apprentissage incarné du soudage de trois manières principales.

Guides visuels XR et détection de mouvement intégrée

La nature hautement immersive et incarnée de la pratique du soudage rend extrêmement difficile pour un instructeur de surveiller visuellement le processus et de fournir une rétroaction à l'étudiant de manière opportune, sûre et audible. Ni les instructions écrites ni les commentaires ne peuvent transmettre en temps réel les compétences nuancées et pratiques.

Les chercheurs ont surmonté ces obstacles en modifiant un casque de soudage avec un casque Meta Quest qui affiche une série de mécanismes de retour visuel, qui guident l'étudiant pendant les séances de formation et fournissent un enregistrement de ses performances que les instructeurs peuvent évaluer pendant ou après la séance.

Deux indicateurs XR distincts à l'intérieur du casque de soudage montrent les légers changements et ajustements que l'étudiant en soudage doit effectuer pour maintenir l'angle correct du pistolet de soudage connecté au contrôleur Quest Touch. Les icônes d'état, situées en haut de la fenêtre d'affichage du casque, permettent aux utilisateurs de voir les commentaires sans détourner leur attention de la soudure active. Les icônes d'état donnent également un aperçu beaucoup plus clair des performances aux instructeurs et aux utilisateurs lors de la visualisation de la lecture en direct.

Les chercheurs ont exploité les commentaires des instructeurs de l'atelier pour déterminer comment calibrer la représentation XR de la soudure sur une pièce réelle afin que les utilisateurs puissent définir le début et la fin de la ligne de soudure avec le pistolet de soudage afin de définir la position de la ligne directrice de défilement dont ils ont besoin. suivre.

Détection de signaux sonores pendant la pratique du soudage

Les chercheurs de Carnegie Mellon ont appris auprès des instructeurs d'atelier que les soudeurs expérimentés sont capables d'évaluer les soudures grâce à l'écoute active. Ainsi, au lieu d’évaluer visuellement les soudures une fois qu’elles sont terminées, leur système peut utiliser une méthode auditive pour diagnostiquer la soudure en temps réel.

« Par exemple, selon les instructeurs, une bonne vitesse de soudage devrait ressembler à du bacon grésillant et non à du pop-corn », a expliqué El-Zanfaly.

Le soudage au gaz inerte des métaux consiste à extruder un fil métallique à travers la pointe du pistolet de soudage, à protéger le fil avec un gaz inerte et à utiliser la chaleur générée par le courant de court-circuit entre le fil et la pièce pour fusionner les deux métaux. Des réglages incorrects de ce système entraînent des soudures de mauvaise qualité. Par exemple, si l’ampérage de la soudeuse est réglé trop bas, cela entraînera un cordon de soudure trop fin et entraînera une pénétration incohérente de la plaque de travail.

D'après des recherches antérieures et les retours des instructeurs AIW, différents réglages entraînent des modifications du son de soudage, ce qui offre un retour d'information potentiellement important sur la formation. Mais les conditions extrêmes de chaleur, de lumière et de bruit dans l'espace de soudage, ainsi que le casque de soudage encombrant et les autres équipements de protection individuelle nécessaires pour se protéger contre la chaleur intense, les étincelles, les rayons ultraviolets et les éclaboussures de métal, limitent la capacité du soudeur à percevoir ce stimulus auditif. .

En utilisant le minuscule apprentissage automatique (TinyML) permettant la détection du son pour reconnaître des facteurs clés tels que les paramètres et la distance de la pointe, les chercheurs ont formé et déployé leur modèle pour fournir un retour visuel indiquant les erreurs détectées par les sons, tels que ceux émis lorsque la pointe du pistolet. est tenu trop loin de la plaque de soudage.

Les chercheurs ont demandé à des soudeurs expérimentés d’effectuer à plusieurs reprises le même mouvement de soudage, en ne modifiant qu’un seul réglage par soudure. Ils ont collecté plus de 20 minutes de données audio, réparties uniformément dans les paramètres de catégorie, à utiliser pour la formation et le test d'un modèle de classification TinyML.

TinyML se concentre sur le déploiement et l'exécution de modèles d'apprentissage automatique sur des appareils aux ressources limitées, tels qu'un microcontrôleur, qui dans ce cas était connecté au casque augmenté pour fournir des commentaires. Les chercheurs ont formé le modèle TinyML pour alerter les stagiaires afin qu'ils soient attentifs aux erreurs courantes, telles que des réglages incorrects et une distance de pointe du pistolet.

Le son était également utilisé pour détecter le début et la fin des soudures. Les chercheurs ont collecté 19 minutes de bruit de soudage en utilisant simultanément des enregistrements de cinq appareils différents (deux microcontrôleurs, deux smartphones Samsung et un microphone USB) pour former un système de classification capable de détecter le soudage avec une précision de 97 %. Ce classificateur a remplacé la nécessité de détecter électromécaniquement les interactions avec le bouton physique du pistolet de soudage, qui était utilisé pour lancer le suivi du soudage et pour rendre le système plus portable.

Méditation avant soudage

Au cours des ateliers, les chercheurs ont constaté que les instructeurs encourageaient les étudiants à utiliser des exercices de médiation et de respiration avant de commencer à souder afin de provoquer une relaxation et de favoriser un sentiment de concentration pour compenser les effets de l'environnement de soudage, qui peut être accablant en raison des bruits forts. des étincelles, de la chaleur et une odeur de brûlé.

Afin d'améliorer les pratiques de pleine conscience, les chercheurs ont programmé la plateforme pour commencer chaque séance de soudage en encourageant les stagiaires à faire des exercices de respiration. Ils ont également placé un anémomètre près de la bouche et du nez à l'intérieur du casque de soudage pour mesurer la vitesse du vent expiré et suivre le rythme respiratoire au fil du temps afin de développer des invites système pour aider les étudiants en soudage à réguler leur respiration pour améliorer l'exécution des tâches.

La capacité du système à détecter les mouvements, à détecter les sons et à améliorer la concentration des utilisateurs grâce à des exercices de médiation et de respiration peut aider les étudiants à transférer les compétences acquises lors de la formation virtuelle vers la pratique réelle du soudage. Sa capacité à fournir des conseils en temps réel offre de nombreux avantages à la fois aux étudiants et aux instructeurs qui, autrement, doivent s'appuyer sur les informations obtenues une fois la soudure terminée pour évaluer les performances. L’approche globale pourrait également éclairer la formation artisanale et professionnelle dans les systèmes XR au-delà de la formation en soudage.

« Un aspect vraiment passionnant de notre travail est la capacité de notre système à permettre des expériences de soudage in situ en utilisant une configuration XR et une configuration de soudage disponibles dans le commerce légèrement modifiées », a expliqué El-Zanfaly.

Leur travail a déjà été reconnu et récompensé lors de la conférence 2023 de l'Association for Computing Machinery (ACM) sur les surfaces et espaces interactifs et lors de la conférence ACM 2024 sur les interactions tangibles, embarquées et incarnées.

À l’avenir, l’équipe prévoit de saisir de nombreuses opportunités pour améliorer à la fois les dimensions techniques du travail et l’expérience incarnée. Ils prévoient de déployer la plateforme dans le cadre d'études en laboratoire A/B et sur plusieurs semaines à l'IAW pour évaluer dans quelle mesure l'utilisation prolongée de cet appareil contribue à la formation de compétences, d'habitudes et de l'expérience du novice.