Même le créateur de ChatGPT peine à détecter les textes écrits par ChatGPT

OpenAI, la startup à l’origine de ChatGPT, a dévoilé ce mardi un logiciel chargé de déterminer si un texte a été réalisé avec le chatbot. Pour le moment, son efficacité est très relative.

"Un grand pouvoir implique de grandes responsabilités" disait Churchill (avant d’être plagié par Spider-Man). Et l’adage s’applique désormais à OpenAI, le créateur du très puissant ChatGPT. Adulé par beaucoup, le chatbot - un logiciel capable de répondre à de multiples questions, mais aussi d'écrire toutes sortes de textes à la demande - est aussi une vaste source d’inquiétude dans le domaine académique où les risques de plagiat se multiplient.

Alors pour assumer ses responsabilités, OpenAI a dévoilé ce mardi un détecteur de texte réalisé par ChatGPT. Avec une efficacité très relative, comme le reconnait-elle même la startup américaine.

Disponible sur le site de l’entreprise, cet outil est encore loin d’être fiable.

"Il contient à la fois des faux positifs et des faux négatifs", reconnait Jan Leike, un responsable d'OpenAI, au site Axios.

Fiable... à 26%

Selon les premiers essais de la startup, son détecteur n’est fiable qu’à 26% pour repérer des textes de ChatGPT et dans certains cas plus rares (9%), il attribue même un texte humain à son chatbot. Et cela ne concerne que l’anglais!

Si OpenAi promet que ces chiffres vont s’améliorer avec le temps (l’algorithme va, là encore, apprendre de ses erreurs), l'entreprise souligne que le détecteur fonctionne mieux sur des textes longs (plus de 1000 caractères) et non prévisibles.

Le détecteur d’OpenAI n’est pas le seul à être disponible. On peut citer GPTZero, un programme dévoilé par un étudiant, ou encore celui de la startup franco-canadienne Draft&Goal, qui promettent de meilleurs résultats.

Thomas Leroy Journaliste BFM Business