Détecteurs d’IA : fiabilité réelle et faux positifs

· 4 min

Si un logiciel affirme que votre texte est « écrit à 92 % par une IA », ce chiffre ne prouve rien : aucun détecteur ne lit l’intention ni l’historique d’un document, il mesure une ressemblance statistique. Ces outils produisent des faux positifs réguliers, qui frappent d’abord les personnes écrivant dans une langue qui n’est pas la leur. Voici ce qu’ils mesurent vraiment, et comment répondre à une accusation fondée sur un score.

Comment un détecteur « décide »

Un détecteur ne cherche pas de signature cachée. Il mesure à quel point l’enchaînement des mots est prévisible : après « il fait un temps », le mot « magnifique » est attendu, « saumâtre » beaucoup moins. Les machines à générer du texte choisissent souvent le mot le plus probable. Un texte lisse, régulier, où chaque phrase suit la précédente sans surprise, obtient donc un score élevé.

S’y ajoute le rythme. Un humain alterne spontanément phrases longues et courtes, digressions, ruptures ; une machine produit des paragraphes de longueur homogène. L’outil combine ces indices et sort un pourcentage, présenté comme une probabilité alors qu’il s’agit d’une ressemblance stylistique.

Tout ce qui pousse un humain à écrire de façon régulière fait donc monter le score : une note de synthèse administrative, un compte rendu technique, un devoir rédigé selon un plan imposé, un texte relu et lissé plusieurs fois.

Les taux d’erreur mesurés

Les éditeurs annoncent des performances très élevées, mesurées sur leurs propres jeux de test. Les évaluations indépendantes menées à l’université donnent des résultats plus modestes et très instables d’un texte à l’autre : la fiabilité s’effondre dès qu’on sort du cas standard, notamment sur les textes courts, traduits ou reformulés.

Le signal le plus parlant vient d’OpenAI. L’entreprise avait lancé début 2023 son propre outil de détection de textes générés par IA, avant de le retirer quelques mois plus tard en invoquant un taux de justesse insuffisant. Le concepteur de ChatGPT a renoncé à détecter ChatGPT de façon fiable.

Reste l’effet d’échelle : quelques pour cent d’erreur sur des milliers de copies, ce sont des dizaines de personnes accusées à tort. Et reformuler quelques phrases suffit souvent à faire chuter le score d’un texte réellement généré.

Qui les faux positifs pénalisent

Le biais le mieux documenté concerne les personnes qui écrivent dans une langue apprise tard. Une étude de l’université Stanford publiée en 2023 dans la revue Patterns a montré que des détecteurs classaient massivement comme « générées par IA » des rédactions authentiques d’étudiants non anglophones, alors que les mêmes outils se trompaient très peu sur les auteurs natifs. La raison est mécanique : un vocabulaire plus restreint et des tournures plus prudentes produisent le profil que l’outil lit comme artificiel.

D’autres profils sont exposés pour des motifs voisins : les personnes dont l’écriture est très structurée, celles qui s’appuient sur des correcteurs grammaticaux avancés, les rédacteurs formés à un style normé. Le détecteur ne repère pas la fraude, il repère un style.

Le soupçon se concentre ainsi sur des personnes déjà fragilisées, étudiant étranger ou candidat qui postule dans une langue seconde, et qui disposent rarement des moyens de contester une décision automatisée.

Ce qu’un score prouve (rien, juridiquement)

Un pourcentage n’est pas une preuve. C’est l’avis probabiliste d’un logiciel privé, dont la méthode n’est généralement pas publiée et dont l’éditeur exclut souvent lui-même tout usage à charge. Deux détecteurs donnent d’ailleurs fréquemment des résultats contradictoires sur le même texte.

En France, une décision prise à l’égard d’une personne ne peut pas reposer sur le seul résultat d’un traitement automatisé : l’intéressé a le droit d’obtenir une intervention humaine, d’exprimer son point de vue et de contester. C’est le sens de l’article 22 du RGPD, dont la CNIL détaille la portée sur son site.

Le principe utile tient en une phrase : un score peut au mieux déclencher une vérification, jamais la conclure. Cet article donne des repères généraux ; si une procédure disciplinaire est engagée, l’avis d’un professionnel du droit reste la bonne démarche.

Se défendre en cas d’accusation injuste

Le meilleur atout est l’historique de travail. Un document rédigé en ligne conserve ses versions successives, un fichier local ses dates d’enregistrement, et les brouillons annotés forment un faisceau qu’aucun détecteur ne peut produire. Réunissez ces éléments avant de répondre, sans toucher aux fichiers d’origine.

Demandez ensuite par écrit, et calmement, sur quoi repose l’accusation : quel outil, quel score, quels passages exactement. La question suffit souvent à révéler la fragilité du dossier. Proposez une vérification humaine, reprendre un passage à l’oral ou expliquer vos sources, plutôt que de discuter le pourcentage.

Restez factuel : l’indignation déplace le débat. Si la décision est maintenue sans examen sérieux, des voies de recours internes existent dans la plupart des établissements, et la CNIL reste l’interlocuteur de référence sur les traitements automatisés. Conserver ses traces de travail devient au passage un réflexe utile : non parce qu’on aurait quelque chose à se reprocher, mais parce que la charge de la preuve retombe de fait sur la personne accusée.