AI Act, quel impact sur le secteur des technologies éducatives

Technologie éducative (Technologie éducative) représente l'ensemble des solutions technologiques au service de l'éducation et de la formation, pour améliorer la qualité de l'expérience d'apprentissage. Il s’agit d’un secteur en croissance constante (notamment après l’accélération survenue lors de la pandémie de Covid-19) qui touche les écoles, les universités, les entreprises et les start-up engagées dans la transformation numérique de l’expérience éducative et de la formation digital learning.

Le marché mondial de l’EdTech vaut 325 milliards de dollars

Le marché mondial de l’EdTech est estimé à 325 milliards de dollars à l’échelle mondiale, dont environ 70 milliards de dollars sont générés en Europe. Selon les dernières données publiées par l'Observatoire EdTech de l'École de Gestion de l'École Polytechnique de Milan, même en Italie, le marché EdTech continue de croître (avec une valeur d'environ 2,8 milliards d'euros en 2022), se distinguant comme l'un des rares marchés où les investissements en capital-risque ont augmenté. Le potentiel du secteur EdTech est exponentiel si l’on considère que le marché mondial de l’éducation a atteint une valeur de 6,5 milliards de dollars en 2022 et devrait atteindre 10 milliards de dollars d’ici 2030.

Dans ce contexte, la nouvelle législation européenne sur l'intelligence artificielle (Loi sur l’IA) vise à donner une impulsion supplémentaire au développement de l’innovation technologique dans le secteur de l’éducation, de la formation et de l’apprentissage numérique.

Les nouvelles règles européennes sur l'intelligence artificielle

Le nouveau règlement sur l'intelligence artificielle approuvé par le Parlement européen le 13 mars 2024 représente le première loi au monde adoptée pour réglementer le développement et l’utilisation de l’intelligence artificielle, assurant ainsi à l’Union européenne un rôle stratégique dans ce secteur.

Avec l'AI Act, l'Union européenne a établi un cadre juridique uniforme pour le développement, la commercialisation et l'utilisation de systèmes d'intelligence artificielle, promouvant l'innovation technologique et la diffusion d'une IA anthropocentrique et fiable et, en même temps, dans le but d'assurer un niveau élevé de protection de la santé, de la sécurité et des droits fondamentaux consacrés dans la Charte européenne. Le nouveau règlement s'appliquera à tous les fournisseurs de systèmes d'IA, définis comme des personnes physiques ou morales qui développent ou ont développé un système d'IA en le plaçant sur le marché de l'UE sous leur propre nom ou marque, qu'ils soient établis ou situés dans l'UE. ou dans un pays tiers (donc également à des entreprises non européennes).

Après avoir été approuvée par le Parlement européen, la nouvelle loi est désormais soumise à une vérification finale par des juristes-linguistes et à l'approbation formelle du Conseil. La loi sur l'IA entrera en vigueur vingt jours après sa publication au Journal officiel de l'UE et sera applicable à partir de 24 mois par la suite (avec quelques exceptions, comme l'interdiction des systèmes d'IA présentant des risques inacceptables, applicable à partir de 6 mois et la obligations pour les systèmes d’IA à haut risque qui deviendront applicables 36 mois après l’entrée en vigueur de la loi sur l’IA).

Pratiques interdites et systèmes d’IA à haut risque

En particulier, le nouveau règlement interdit certaines pratiques d’IA qui peuvent présenter un risque inacceptable pour la sécurité et les droits des citoyens, y compris les systèmes d'IA capables de manipuler le comportement humain, qui permettent l'attribution d'un score social (notation sociale) classer ou évaluer des personnes en fonction de leur comportement social ou de leurs caractéristiques personnelles ou en vue d'une extraction non ciblée (grattage) d'images faciales provenant d'Internet ou de vidéosurveillance pour créer ou élargir des bases de données, ainsi que des systèmes de catégorisation biométrique basés sur des données sensibles.

Aux côtés des applications strictement interdites, la loi AI définit à haut risque les systèmes d'IA dont l'utilisation ou le dysfonctionnement pourrait présenter un risque important pour la santé, la sécurité ou les droits fondamentaux des personnes physiques et qui, par conséquent, ne peuvent être mis sur (ou utilisés sur) le marché de l'UE que s'ils répondent à certaines exigences. exigences obligatoires définies par la nouvelle législation.

Cette catégorie comprend les systèmes d'IA destinés à être utilisés dans la gestion et l'exploitation des infrastructures numériques critiques et du trafic routier, dans l'évaluation de l'emploi ou visant à optimiser la gestion des travailleurs et l'accès au travail indépendant (par exemple, pour publier des offres d'emploi ciblées, analyser ou filtrer candidatures et évaluer les candidats, prendre des décisions concernant la promotion ou la cessation des relations de travail), ainsi que pour déterminer l'accès aux services et avantages publics et privés essentiels (tels que les soins de santé ou l'évaluation de la solvabilité).

Systèmes d'IA dans l'éducation et la formation

La loi AI souligne l’importance de la diffusion des Systèmes d'IA dans l'éducation et la formation afin de promouvoir une expérience éducative et de formation numérique de haute qualité, permettant aux utilisateurs d'acquérir et de partager des compétences et des capacités de plus en plus essentielles dans le paysage éducatif et professionnel actuel et futur (y compris l'éducation aux médias et la pensée critique), ce qui peut contribuer à une participation active à l’économie, la société et les processus démocratiques.

Mais même dans le secteur de l’éducation et de la formation, il existe des risques dont le législateur a tenu compte. En particulier, le nouveau règlement a inclus parmi les pratiques d'IA interdites pour un risque inacceptable, je systèmes de reconnaissance des émotions utilisés sur les lieux de travail et dans les établissements d'enseignementsauf pour leur utilisation pour des raisons médicales ou de sécurité.

L’AI Act énumère également un certain nombre de systèmes d’IA à haut risque conçus pour être utilisés dans certains domaines de l’éducation et de la formation. Ces systèmes comprennent ceux destinés à : déterminer l’accès ou l’admission aux établissements d’enseignement et de formation professionnels ; évaluer les résultats d'apprentissage; prédéterminer à quel niveau d’éducation un individu pourra accéder ; surveiller et détecter les comportements interdits des étudiants lors des épreuves d’examen.

Ces systèmes d'IA, capables d'influencer le parcours éducatif/professionnel des personnes et d'avoir un impact sur leur capacité de gain future, peuvent en fait être particulièrement intrusifs et violer le droit à l'éducation, à la formation et à la non-discrimination, lorsqu'ils sont conçus et utilisés de manière inappropriée.

La loi sur l'IA introduit un certain nombre de obligations et responsabilités spécifiques supportés par les fournisseurs, les importateurs, les distributeurs et, dans certains cas, les soi-disant « déployeurs » de systèmes d'IA à haut risque, y compris dans le domaine de l'éducation et de la formation. En particulier, les fournisseurs de systèmes d'IA à haut risque devront évaluer et assurer la conformité de leurs produits aux exigences indiquées par le nouveau règlement, mettre en œuvre un système de gestion continue des risques, fournir aux destinataires du système d'IA des instructions d'utilisation complètes. , clair et compréhensible, ainsi que le respect des obligations d'enregistrement, le suivi du fonctionnement du système d'IA après sa mise sur le marché et la mise en œuvre de mesures de surveillance humaine.

Opportunités et défis pour les entreprises EdTech

Dans les années à venir, l’intelligence artificielle jouera un rôle clé dans l’amélioration des processus d’éducation et d’apprentissage dans les écoles, les universités et les entreprises. Les entreprises opérant dans le secteur EdTech, ainsi que les opérateurs intéressés à investir dans ce secteur, sont donc appelés à faire face au nouveau cadre réglementaire défini par la loi sur l'IA et aux nombreuses obligations et responsabilités découlant du développement de systèmes d'IA destinés à à utiliser pour une formation éducative ou professionnelle.

D'une part, en effet, la nouvelle réglementation européenne représente un terrain fertile pour tous les développeurs de systèmes d'IA grâce à l'introduction de règles précises pour opérer même dans les secteurs à haut risque, en promouvant l'innovation technologique et en encourageant les investissements des entreprises qui opèrent (ou décident de le faire). fonctionner) en Italie et en Europe (pensez notamment aux mesures de soutien à l'innovation et à l'expérimentation prévues par la loi sur l'IA pour faciliter et accélérer l'accès au marché de l'UE des PME et des start-up).

D'autre part, il ne faut pas négliger les risques juridiques liés au développement de nouveaux systèmes d'IA ou à la conformité des applications déjà présentes sur le marché, devant veiller au respect des nombreuses exigences posées par la nouvelle législation européenne et à la protection des droits des personnes. et intéresse les destinataires physiques de ces dispositifs (tels que les étudiants, les enseignants, les formateurs en entreprise, les salariés).

De nombreuses opportunités, mais aussi des risques

La loi AI prévoit en effet que toute personne pourra déposer une plainte pour toute violation des nouvelles dispositions européennes. En outre, les États membres seront invités à introduire des mesures de sanctions spécifiques en cas de non-respect des exigences réglementaires de la loi sur l'IA, pouvant prévoir des sanctions administratives pouvant aller jusqu'à 35 millions d'euros ou 7 % du chiffre d'affaires mondial annuel total de l'exercice précédent en cas de violations liées aux pratiques interdites en matière d'IA ou à hauteur de 15 millions d'euros ou 3 % du chiffre d'affaires mondial annuel total de l'exercice précédent pour non-respect d'autres exigences et obligations en vertu de la loi sur l'IA.

Il est donc recommandé d'agir rapidement pour saisir les nombreuses opportunités offertes par la première loi mondiale sur l'intelligence artificielle et, en même temps, éviter ou réduire les risques liés au développement de systèmes d'IA, en particulier s'ils sont à haut risque.