Comment les détecteur d'IA authentifient-ils un texte ?

Pangram, par exemple, entraîne son modèle avec des documents humains et des productions provenant de dizaines de modèles d’IA. Pour éviter qu’il apprenne simplement qu’un article scientifique est « humain » et qu’une dissertation est « artificielle », l’entreprise génère aussi des textes synthétiques reproduisant le sujet, le ton et la longueur des exemples humains. Cela permet de comprendre pourquoi l’ancienne explication fondée uniquement sur la « perplexité » est devenue insuffisante. Cette mesure évalue à quel point les mots d’un texte sont prévisibles. Elle a beaucoup servi aux premières générations de détecteurs, mais les outils actuels combinent bien davantage de caractéristiques grâce à des modèles d’apprentissage profond.

Le problème apparaît lorsque l’écriture devient hybride. Corriger quelques fautes avec une IA, lui faire réécrire plusieurs paragraphes ou lui demander l’intégralité d’un texte sont trois situations très différentes, alors que le détecteur ne voit que le résultat final. Une étude publiée cette année a ainsi montré qu’un détecteur scientifique repérant initialement 99,8 % des textes artificiels tombait à 70,4 % après paraphrase. Un autre projet, AITDNA, qui conserve tout l’historique de rédaction entre humains et IA, constate que les détecteurs sont souvent performants pour certaines définitions du « texte IA », beaucoup moins lorsqu’on mélange toutes les formes de collaboration.

Source : Clubic