ChatGPT passe le difficile examen de licence médicale aux États-Unis

Le Dr ChatGPT vous verra bientôt. Le système d’intelligence artificielle a obtenu des résultats satisfaisants ou presque satisfaisants à l’examen de licence médicale américain, selon une étude publiée jeudi.

« Atteindre la note de passage pour cet examen expert notoirement difficile, et le faire sans aucun renfort humain, marque une étape notable dans la maturation clinique de l’IA », ont déclaré les auteurs de l’étude publiée dans la revue. Santé numérique PLOS.

« Ces résultats suggèrent que les grands modèles de langage peuvent avoir le potentiel d’aider à l’éducation médicale et potentiellement à la prise de décision clinique », ont-ils déclaré.

ChatGPT, qui est capable de produire des essais, des poèmes et du code de programmation en quelques secondes, a été développé par OpenAI, une startup californienne fondée en 2015 avec un financement initial d’Elon Musk, entre autres.

Microsoft a investi 1 milliard de dollars dans OpenAI en 2019 et vient de signer un nouvel accord de plusieurs milliards avec l’entreprise.

Pour l’étude, des chercheurs d’AnsibleHealth, basé en Californie, ont testé les performances de ChatGPT lors d’un examen de licence en trois parties passé par des étudiants en médecine et des médecins en formation aux États-Unis.

L’examen standardisé teste les connaissances dans plusieurs disciplines médicales, des sciences fondamentales à la biochimie, en passant par le raisonnement diagnostique et la bioéthique.

Le système d’IA a été testé sur 350 des 376 questions publiques de la version de juin 2022 de l’examen, selon l’étude, et le chatbot n’a reçu aucune formation spécialisée à l’avance.

Les questions basées sur des images ont été supprimées.

ChatGPT a obtenu entre 52,4 % et 75 % dans les trois parties de l’examen.

Une note de passage est d’environ 60 pour cent.

Selon l’étude, la première partie de l’examen, qui se concentre sur les sciences fondamentales et la pharmacologie, est généralement prise par des étudiants en médecine qui ont consacré 300 à 400 heures de temps d’étude.

La deuxième partie est généralement suivie par des étudiants en médecine de quatrième année et met l’accent sur le raisonnement clinique, la prise en charge médicale et la bioéthique.

La dernière section est destinée aux médecins qui ont suivi au moins six mois à un an de formation médicale postdoctorale.

Dr Google et l’infirmière Bing

Les questions ont été présentées à ChatGPT dans divers formats, y compris des questions ouvertes telles que « Quel serait le diagnostic du patient sur la base des informations fournies ? »

Il y avait également des questions à choix multiples telles que : « L’état du patient est principalement causé par lequel des agents pathogènes suivants ? »

Selon l’étude, deux médecins arbitres qui ne se connaissaient pas ont examiné les réponses pour obtenir les notes finales.

Un expert extérieur, Simon McCallum, maître de conférences en génie logiciel à l’Université Victoria de Wellington, en Nouvelle-Zélande, a noté que Google a reçu des résultats encourageants avec un outil médical d’IA appelé Med-PaLM.

« ChatGPT peut réussir l’examen, mais Med-PaLM est capable de donner aux patients des conseils aussi bons qu’un médecin généraliste professionnel », a déclaré McCallum. « Et ces deux systèmes s’améliorent.

« La société est sur le point de changer, et au lieu d’avertir de l’hypocondrie de rechercher au hasard des symptômes sur Internet, nous pourrions bientôt obtenir nos conseils médicaux du docteur Google ou de l’infirmière Bing. »

ChatGPT s’est également révélé utile aux auteurs de l’étude sur l’examen médical d’une autre manière.

Ils ont utilisé le chatbot pour aider à l’écrire, a déclaré le co-auteur Tiffany Kung.