humain ou machine

Il existe des détecteurs ChatGPT pour savoir si un texte a été écrit par une IA ou un humain. je les ai essayé

L’arrivée de ChatGPT a fait sensation dans le monde de l’éducation. Désormais, obtenir une dissertation de X mots sur un sujet, un résumé d’un texte ou une simple explication d’un sujet complexe est aussi simple que de demander à une IA d’accès.ou gratuit, et bien sûr, cela peut être un problème pour déterminer si quelque chose a été créé par une machine ou par une personne.

Cependant, de la même manière que des outils sont apparus pour voir si un clip était réel ou un deepfake, il existe déjà des outils qui prétendent pouvoir détecter si un texte a été écrit par ChatGPT ou par un vrai humain. Il convient donc de les mettre à l’épreuve.

Humain ou machine ?

Il existe actuellement trois outils spécialisés dans la détection de textes rédigés par IA : écrivain, Détecteur de chat GPT Oui GPTZéro. Tous les trois sont gratuits et nous les avons testés tous les trois. Pour cela, nous avons utilisé deux extraits de texte générés par ChatGPT et un écrit par un serveur. Le premier est le suivant et il a été extrait de l’expérience que nous avons faite en jouant le rôle avec ChatGPT il y a quelques jours. Nous l’avons choisi car il est naturel d’écrire à la première personne.

texte 1: « Je ressens une vive douleur dans ma jambe et je tombe au sol avec un cri. Le piège m’a profondément entaillé la peau et j’ai l’impression que mon pantalon est imbibé de sang. Je maudis ma malchance et j’essaie d’apaiser la douleur tout en sortant ma trousse médicale et je commence à soigner la plaie. Cela prend quelques minutes et un point d’esprit, mais j’arrive finalement à arrêter le sang et à panser la plaie du mieux que je peux. Même si ça fait très mal, je sais que je ne peux pas me permettre de m’arrêter maintenant. Je dois aller de l’avant et découvrir ce qui a tant troublé Lord Cunningham. Je lutte pour me relever et continue mon chemin, m’appuyant sur une canne.

Le deuxième fragment que nous avons généré à ce moment précis. En gros, nous avons demandé à ChatGPT de nous expliquer dans un paragraphe l’importance de la Révolution française et le texte généré a été le suivant :

texte 2: « La Révolution française a eu lieu entre 1789 et 1799 et a eu un grand impact sur l’histoire de France et du monde. La Révolution française était un mouvement social et politique qui cherchait à mettre fin à la monarchie absolue et à l’Ancien Régime en France, et à établir un système de gouvernement plus juste et démocratique. La devise de la Révolution française était « Liberté, Égalité, Fraternité » et ces idéaux sont devenus un tournant dans l’histoire du monde. La Révolution française a inspiré des mouvements similaires dans d’autres pays, comme l’indépendance de l’Amérique latine. Les pays américains et la lutte pour la démocratie en Europe La Révolution française a également eu un impact durable sur la politique, l’économie, les arts et les sciences L’abolition de la noblesse, la mise en place d’un système de gouvernement représentatif, la création d’un système d’enseignement public et la légalisation de la propriété privée sont quelques-uns des changements les plus significatifs de la Révolution française ».

Le texte généré par un humain (moi, qui pour autant que je sache, je suis toujours humain) est celui-ci et il a été extrait de cet article :

texte 3: « Ce n’est un secret pour personne que se procurer une PlayStation 5 a été compliqué. pire encore, payer une prime en raison non seulement de la hausse du prix de la console elle-même, mais aussi parce qu’elle est vendue dans des packages avec des jeux, des accessoires, etc.

Cela, cependant, est sur le point de changer, du moins ils l’ont confirmé par Sony au CES. Lors de la conférence, Jim Ryan a assuré deux choses. D’une part, plus de 30 millions d’unités PlayStation 5 ont déjà été vendues dans le monde (nous reviendrons maintenant sur ce chiffre). D’un autre côté, que «  »tous ceux qui veulent une PS5 auront beaucoup plus de facilité à la trouver dans les magasins du monde entier ».

Les trois textes sont en espagnol donc, pour rendre l’expérience plus intéressante, nous les avons traduits en anglais et nous avons passé le résultat à travers les mêmes outils. De cette façon, nous pouvons voir s’il y a une différence. Maintenant, nous allons voir les résultats, mais pas avant d’avoir appris à les interpréter.

perplexité

Texte anglais 1 perplexité dans GPTZero, phrase par phrase.

GPTZero analyse le « stumpiness », c’est-à-dire le caractère aléatoire du texte. Selon la plateforme, « il s’agit d’une mesure de la capacité d’un modèle linguistique comme ChatGPT à prédire un exemple de texte ». En peu de mots, plus il y a de perplexité, plus il y a de chaos dans le texte et plus probablement que le texte a été généré par un humain. L’outil rend ensuite un verdict basé sur la probabilité.

Le détecteur ChatGPT est plus clair : il le qualifie d’humain ou de ChatGPT et lui donne une probabilité. Writer, pour sa part, donne simplement la probabilité que le texte ait été généré par un humain. Nous avons passé les six textes à travers les trois outils et les choses se sont passées comme suit.

texte 1 (eng)

texte 1

Texte 2 (eng)

Texte 2 (entrée)

texte 3 (fr)

texte 3 (entrée)

GPTzéro

Perplexité:103

Résultat: Probablement généré par un humain.

Perplexité: vingt

Résultat: plus de texte est nécessaire pour déterminer s’il a été écrit par un humain ou une IA.

Perplexité:30

Résultat: Plus de texte est nécessaire pour déterminer s’il a été écrit par un humain ou une IA.

Perplexité:8

Résultat: sûrement généré par une IA.

Perplexité:85

Résultat: Probablement généré par un humain.

Perplexité: vingt et un

Résultat: Probablement généré par un humain.

écrivain

100% généré par l’homme

100% généré par l’homme

100% généré par un humain

95% généré par une IA

100% généré par un humain

100% généré par un humain

détecteur gpt

Humain

Probabilité: 84%

Humain

Probabilité: 68%

ChatGPT

Probabilité: 89%

ChatGPT

Probabilité: 99%

Humain

Probabilité: 98%

Humain

Probabilité: 99%

Comme on peut le voir, les outils n’offrent pas un résultat cohérent lorsqu’il s’agit de détecter quand un texte a été généré par une IA. En fait, il y a des différences selon la langue qu’on utilise et le premier texte, qu’on se le dise, c’est impressionnant comme c’est écrit, c’est totalement passé pour légitime.

Mais ce sont de courts paragraphes. Que se passera-t-il si nous faisons la même expérience, mais avec un texte plus long comme un essai ? Eh bien, voyons. Nous lui avons demandé d’écrire un essai de 300 mots résumant l’origine de l’univers, quelque chose qui pourrait parfaitement être un devoir de l’ESO ou du Baccalauréat. Le texte généré par ChatGPT a été le suivant :

texte 4: « L’origine de l’univers est un sujet étudié depuis des milliers d’années, et bien qu’il n’y ait toujours pas de réponse définitive, il existe plusieurs théories qui tentent d’expliquer comment tout a commencé.

L’une des théories les plus populaires est celle du Big Bang. Selon cette théorie, l’univers a commencé comme un point infiniment petit et dense, avec une température et une densité extrêmement élevées. À ce moment-là, une énorme explosion s’est produite, qui a donné naissance à toutes les galaxies, étoiles, planètes et à la matière en général. Au fil du temps, cette matière s’est dilatée et refroidie, permettant la formation d’éléments chimiques et l’émergence de la vie.

Une autre théorie populaire est celle de l’univers stationnaire. Selon cette théorie, l’univers n’a pas eu de commencement, mais a toujours existé. Cette théorie soutient que l’univers est éternel et que les galaxies, les étoiles et les planètes se sont formées et se sont désintégrées au fil du temps.

Une autre théorie est celle de l’univers cyclique, qui soutient que l’univers a subi divers cycles d’expansion et de contraction. Cette théorie suggère que l’univers a commencé par un grand Big Bang, s’est dilaté et refroidi, puis a recommencé à se contracter. Au cours de cette phase de contraction, un nouveau Big Bang aurait lieu, donnant lieu à un nouveau cycle.

Bien qu’il n’y ait toujours pas de réponse définitive sur l’origine de l’univers, ces théories nous donnent une idée de la façon dont tout cela aurait pu commencer. Au fur et à mesure que la recherche se poursuit et que de nouvelles données sont découvertes, une théorie pourrait être trouvée qui expliquerait l’origine de l’univers de manière précise et définitive. »

Quel est le problème avec ce texte ? Ce détecteur et cet écrivain ChatGPT ne fonctionnent pas avec un texte aussi long. Le premier donne une erreur et le second, directement, ne fait rien. GTPZero, cependant, fonctionne. Nous avons donc passé le texte à travers cet outil en anglais et en espagnol.

texte 4 (eng)

texte 4 (ENTRÉE)

GPTzéro

Perplexité:35

Résultat: Probablement généré par un humain.

Perplexité:8

Résultat: sûrement généré par une IA.

On revient à la même théorie qu’auparavant : le simple fait qu’il soit en espagnol ou en anglais fait complètement changer les résultats. Peut-on dire que l’outil fonctionne ? On peut plutôt dire qu’il le fait à moitié. En fait, il semble que les mots avec des tildes rendent le système un peu fou.

Il faut bien avouer qu’il nous restait le désir de voir quels résultats produisaient les deux autres outils, nous avons donc opté, ne connaissant pas leurs limites, d’analyser le texte en ajoutant des paragraphes : d’abord le premier paragraphe, puis le premier et le second, puis les trois premiers et ainsi de suite jusqu’à ce que l’outil tombe en panne. Voici les résultats.

Premier paragraphe

TEXTE 4 (ANG)

TEXTE 4 (ENTRÉE)

GPTzéro

Perplexité:60

Résultat: Plus de texte est nécessaire pour déterminer s’il a été écrit par un humain ou une IA.

Perplexité:8

Résultat: sûrement généré par une IA.

écrivain

100% généré par l’homme

82% généré par une IA.

détecteur gpt

Humain

Probabilité: 97%

ChatGPT

Probabilité: 99%

premier et deuxième paragraphe

TEXTE 4 (ANG)

TEXTE 4 (ENTRÉE)

GPTzéro

Perplexité:54

Résultat: Probablement généré par un humain.

Perplexité:8

Résultat: plus de texte est nécessaire pour déterminer s’il a été écrit par un humain ou une IA.

écrivain

100% généré par l’homme

97% généré par une IA.

détecteur gpt

Humain

Probabilité: 70%

ChatGPT

Probabilité: 99%

les trois premiers paragraphes

TEXTE 4 (ANG)

TEXTE 4 (ENTRÉE)

GPTzéro

Perplexité:46

Résultat: Probablement généré par un humain.

Perplexité:8

Résultat: plus de texte est nécessaire pour déterminer s’il a été écrit par un humain ou une IA.

écrivain

100% généré par l’homme

96% généré par une IA.

détecteur gpt

ChatGPT

Probabilité: 84%

ChatGPT

Probabilité: 99%

quatre paragraphes

TEXTE 4 (ANG)

TEXTE 4 (ENTRÉE)

GPTzéro

Perplexité:38

Résultat: Probablement généré par un humain.

Perplexité:8

Résultat: sûrement généré par une IA.

écrivain

100% généré par l’homme

83% généré par une IA.

détecteur gpt

ChatGPT

Probabilité: 97%

ChatGPT

Probabilité: 99%

cinq paragraphes

TEXTE 4 (ANG)

TEXTE 4 (ENTRÉE)

GPTzéro

Perplexité:35

Résultat: Probablement généré par un humain.

Perplexité:8

Résultat: sûrement généré par une IA.

écrivain

Erreur

Erreur

détecteur gpt

Erreur

ChatGPT

Probabilité: 99%

Résultats? Conclusion ? En anglais, les outils ont un taux de réussite plus élevé dans les textes longs, alors qu’en espagnol il y a encore place à l’amélioration. Ces outils peuvent nous aider dans certains cas, mais le « problème » est qu’il s’agit d’une course longue distance. On n’a pas encore tout à fait fini de digérer ChatGPT et on attend déjà une nouvelle version encore plus complète, alors oui, on est dans un jeu du chat et de la souris et pour l’instant la souris semble gagner.

Image de couverture générée avec DALL-E.