Vérification des faits par l’IA : méthode et limites

Dans une étude publiée en 2024 dans PNAS, ChatGPT a correctement identifié 90 % des titres d’actualité faux : il en a reconnu 18 sur 20, sans en classer aucun comme vrai. En revanche, face aux titres vrais, le même modèle n’a rendu un verdict correct que dans 15 % des cas, soit 3 sur 20, et est resté indécis pour 13 d’entre eux. Le compte rendu de cette étude par Full Fact indique aussi que fournir aux participants l’évaluation du modèle n’améliorait pas clairement leur jugement et réduisait même leur discernement dans certaines conditions.

Ce contraste est essentiel pour comprendre la vérification des faits par l’IA. Bien détecter les contrevérités manifestes ne signifie pas être aussi fiable dans tous les cas, et un verdict assuré ne vaut pas vérification complète. Chacune des étapes ci-dessous peut échouer indépendamment des autres. Le bon réflexe consiste à demander sur quelles preuves repose le verdict, puis à les examiner vous-même.

Sommaire

Comment l’IA vérifie les faits, étape par étape

La plupart des outils de vérification, qu’ils soient intégrés à un chatbot ou proposés séparément, suivent le même processus. Une erreur en bout de chaîne trouve presque toujours son origine dans une étape antérieure, et non dans la formulation du verdict final.

Prenons une affirmation et gardons-la telle quelle : « Le taux de chômage de la ville a atteint 6,2 % en mars 2024. » Chaque étape traite cette phrase différemment.

D’une phrase à un verdict

La détection des affirmations parcourt le texte et extrait les phrases qui énoncent un élément vérifiable : un chiffre, une date, une citation ou un lien de cause à effet, par exemple. Elle doit écarter les opinions. « Le maire a mal géré le marché de l’emploi » n’est pas une affirmation vérifiable. Si la détection omet la phrase sur le chômage, aucune étape ultérieure ne pourra la récupérer.

La recherche de preuves explore le Web ou un ensemble de fichiers importés pour trouver des passages susceptibles d’éclairer l’affirmation. Des pages obsolètes et des blogs peu étayés apparaissent souvent avant le communiqué statistique d’origine. Le même risque existe dans les outils conçus pour répondre instantanément aux questions des chercheurs à partir de documents, lorsque le corpus est incomplet ou que la mauvaise page arrive en tête.

La comparaison des sources détermine si chaque passage confirme l’affirmation, la contredit ou ne permet pas de se prononcer. Un article sur le chômage au cours d’un autre mois ne permet pas de trancher : il ne confirme rien. L’attribution du verdict transforme ces évaluations en catégories : vrai, faux, partiellement vrai ou non résolu. La révision humaine sert de garde-fou pour les cas ambigus, mais de nombreux outils grand public s’en passent.

Schéma présentant les cinq étapes de la vérification des faits par l’IA, de la détection des affirmations à la révision humaine.

Les défaillances les plus courantes

Étape Rôle Défaillance typique
Détection des affirmations Repérer les phrases vérifiables Une opinion est traitée comme un fait, ou un chiffre noyé dans le texte est ignoré
Recherche de preuves Trouver des passages pertinents pour l’affirmation Un ancien récapitulatif passe avant la publication d’origine
Comparaison des sources Déterminer si les passages confirment, contredisent ou ne permettent pas de trancher Une correspondance partielle est considérée comme une confirmation complète
Attribution du verdict Conclure : vrai, faux, partiellement vrai ou non résolu Des éléments contradictoires sont réduits de force à un verdict binaire
Révision humaine Trancher les cas ambigus Personne n’examine le cas avant la publication du verdict

Un verdict final formulé avec assurance ne vous dit presque rien sur l’étape qui a échoué. Commencez chaque vérification en demandant sur quel passage il repose.

Quelle est la fiabilité réelle des outils de vérification par IA ?

Les méthodes du tableau diffèrent : ces pourcentages ne sont donc pas directement comparables. Ensemble, ils révèlent toutefois le même déséquilibre. Détecter une contrevérité manifeste est plus facile que confirmer la véracité d’une affirmation.

Étude ou source Objet du test Exactitude annoncée
Étude PNAS sur ChatGPT et les titres d’actualité 20 titres vrais et 20 titres faux 90 % de réponses correctes pour les titres faux, 15 % pour les titres vrais
Note du Reuters Institute sur les élections britanniques 300 réponses de chatbots à 100 questions 78 % de réponses correctes pour ChatGPT-4o, 83 % pour Perplexity
Étude de 1 493 réponses de grands modèles de langage Vérification d’affirmations vraies et fausses 60,4 % au total, 100 % pour une affirmation fausse, 10,2 % pour une affirmation vraie
Revue des travaux sur la vérification automatisée et étude PLOS ONE de 2026 Systèmes les plus performants, entraînés sur des jeux de données spécialisés Environ 65 % à 75 %, avec 67 % retenu comme niveau réaliste

Une note du Reuters Institute a évalué 300 réponses de chatbots à 100 questions sur les élections législatives britanniques de 2024, dans les deux semaines précédant le 4 juillet 2024. ChatGPT-4o a répondu correctement dans 78 % des cas, contre 83 % pour Perplexity. Les autres réponses étaient partiellement correctes ou fausses. Les auteurs précisent également qu’une autre méthode de notation peut modifier le résultat : un pourcentage donné n’est donc pas une propriété immuable du modèle.

Pourquoi un score unique est trompeur

Un article présenté lors d’un atelier CEUR a examiné 1 493 réponses de modèles et relevé un taux global d’exactitude de 60,4 %. Pour une affirmation fausse, ce taux atteignait 100 %, tandis qu’il tombait à 10,2 % pour une affirmation vraie. Les systèmes réussissaient mieux face aux affirmations fausses que face aux vraies. Une moyenne masque cet écart.

Selon la synthèse publiée dans un rapport de Boom sur ces recherches, une revue récente situait les meilleurs outils de vérification automatisée, entraînés sur de vastes jeux de données spécialisés, autour de 65 % à 75 %. Une étude PLOS ONE de 2026 a retenu 67 % comme niveau réaliste. Même à ce niveau, les participants restaient plus enclins à accepter les fausses informations conformes à leurs convictions. Des corrections plus exactes réduisaient néanmoins l’adhésion aux affirmations fausses.

Un score global élevé ne rend pas fiable un verdict portant sur une affirmation vraie.

Interroger plusieurs modèles, notamment au moyen d’un système multi-agents, peut faire apparaître des désaccords. Ces désaccords doivent vous inciter à lire les sources, pas vous en dispenser.

Quand les éléments récupérés induisent le modèle en erreur

Davantage de passages ne garantit pas un meilleur verdict. Le banc d’essai RAGuard a testé la recherche documentaire avec des éléments trompeurs, des éléments allant dans le sens de l’affirmation et des éléments sans rapport, issus de Reddit. Lorsque des contenus trompeurs étaient introduits, tous les systèmes de recherche fondés sur un grand modèle de langage obtenaient de moins bons résultats que le même modèle sans texte récupéré. Les annotateurs humains, eux, amélioraient leurs résultats.

L’emplacement compte aussi. Sur HOVER, FEVEROUS et ClimateFEVER, une étude sur la longueur du contexte a constaté que l’exactitude diminuait généralement à mesure que les requêtes s’allongeaient. Les preuves pertinentes placées au début ou à la fin étaient mieux exploitées que celles enfouies au milieu. Les preuves de référence, sans contenu superflu, amélioraient les résultats sur tous les jeux de données, avec des gains d’exactitude atteignant 0,20 sur FEVEROUS.

Trois signes d’une recherche défaillante :

  • Mauvaise page : la page citée ne mentionne jamais l’affirmation.
  • Page obsolète : la page est antérieure à l’événement qu’elle est censée décrire.
  • Page relais : la page provient d’un agrégateur qui reprend un autre site, et non d’une source primaire.

Un paragraphe fluide accompagné d’une citation peut tout de même reposer sur une recherche médiocre. Un système solide hiérarchise la qualité des sources, détecte les contradictions, distingue les types de preuves et s’abstient de trancher lorsque les passages se contredisent ou laissent la question ouverte.

Quelles sources considérer comme fiables ?

La confiance repose sur une hiérarchie, pas sur une impression. Suivez cet ordre, des sources les plus solides aux moins solides, et ne vous arrêtez que lorsque deux sources primaires s’accordent sur la valeur et sa définition.

  1. Documents de première main. Publications statistiques officielles, pièces judiciaires, déclarations réglementaires d’entreprises et étude originale accompagnée de sa méthodologie.
  2. Recherches évaluées par les pairs et revues systématiques. Examinez l’échantillon et le périmètre de l’étude, pas seulement son titre.
  3. Rédactions reconnues et agences de presse qui nomment leurs sources et publient des rectificatifs.
  4. Organismes professionnels de vérification des faits qui exposent leur méthode et les preuves à l’appui de chaque verdict.

Les sites militants, les blogs anonymes et les agrégateurs sont des pistes. Ce ne sont pas des preuves.

Trois questions à poser pour chaque page

Qui a effectué la mesure ? Le producteur des données doit expliquer comment le chiffre a été défini et recueilli.

Les erreurs sont-elles corrigées publiquement ? Un éditeur qui ne rectifie jamais ses erreurs offre moins de garanties qu’un autre qui le fait.

De quand datent les données par rapport à l’événement ? Un chiffre exact pour le mauvais mois reste une vérification ratée.

Supposons qu’une réponse annonce un taux de chômage et cite un article de presse. Ouvrez la publication de l’institut national de statistique pour le même mois. Comparez le chiffre et sa définition, notamment l’inclusion ou non des étudiants ou des travailleurs saisonniers. Ne validez l’affirmation qu’une fois cette concordance établie. Si l’article et la publication officielle divergent, cette dernière fait référence.

Arrêtez-vous lorsque deux sources primaires s’accordent sur la valeur et sur ce qu’elle mesure.

Démêler les preuves contradictoires ou évolutives

Des sources peuvent diverger sans que l’une d’elles soit fabriquée. Une seule ligne de ce tableau correspond à un désaccord de fond non résolu. Les autres décrivent des décalages que vous pouvez souvent clarifier.

Cause du désaccord Manifestation Vérification à effectuer
Qualité des sources Une agence de presse et un blog anonyme donnent des chiffres différents Examinez la fiabilité passée de l’éditeur et vérifiez s’il cite des données primaires
Date Les chiffres diffèrent parce qu’une source décrit une période antérieure Comparez les dates de publication et les dates des événements avant de comparer les chiffres
Définition Les sources mesurent des réalités différentes sous le même nom Lisez la méthodologie et les définitions de chaque source
Géographie L’affirmation vaut pour un pays ou une région, mais pas pour un autre Précisez le lieu et trouvez les données correspondantes
Évolution des connaissances Des recommandations officielles ou scientifiques ont été révisées Trouvez la version la plus récente et relevez sa date de révision
Véritable désaccord non résolu Des sources crédibles divergent sur les preuves elles-mêmes Classez l’affirmation comme non résolue plutôt que de forcer un verdict

Pourquoi ajouter des liens peut nuire

Lorsque les sources se contredisent, les systèmes de recherche accordent souvent trop de poids aux contenus les moins solides. Un article de l’IJCAI publié en 2025 a constaté que l’ajout d’informations sur le profil des médias et leur crédibilité améliorait le score F1 de Llama-3.1 de 10 points de pourcentage et l’exactitude de Mistral de 5 points. L’évaluation automatique de la crédibilité restait moins fiable que les appréciations établies manuellement. Davantage de liens ne rend pas automatiquement une réponse digne de confiance.

La santé, les élections, le climat, la finance et l’actualité immédiate évoluent particulièrement vite. Les dates, les indications sur la qualité des sources et la possibilité explicite de conclure « non résolu » y sont essentielles. Les anecdotes personnelles et les opinions sont particulièrement difficiles à vérifier sur le Web, faute, bien souvent, de trace publique permettant de les confirmer.

Classez une affirmation comme non résolue lorsque deux sources primaires crédibles restent en désaccord après vérification de la date, de la définition et du lieu. Sans nouvelle source primaire, poursuivre les recherches ajoute surtout du bruit. Un verdict « non résolu » est plus honnête qu’un « vrai » ou « faux » imposé.

Comment vérifier une affirmation de l’IA, pas à pas

Ce protocole ne dépend d’aucun produit en particulier. Il réduit l’effort de recherche sans prétendre que le modèle a supprimé le risque. Lorsque les informations récupérées sont erronées, une rédaction fluide rend l’erreur plus difficile à repérer.

Liste de contrôle en cinq étapes pour vérifier les affirmations générées par l’IA et obtenir des informations fiables et exactes.

  1. Décomposez la réponse en affirmations distinctes. Un même verdict ne doit pas couvrir trois énoncés. Vous évitez ainsi de valider tout un paragraphe parce qu’une seule phrase s’est révélée exacte.
  2. Ouvrez la source citée. Assurez-vous qu’elle confirme précisément le chiffre, le lieu et la période, et non une idée voisine. Vous évitez de prendre pour preuve un lien que vous n’avez jamais ouvert. Pour les publications fondées sur des images, vérifiez les sources de l’information et le contexte avant de vous fier à la légende.
  3. Vérifiez la date de publication et celle de l’événement. Signalez tout décalage. Vous évitez de citer une page de 2022 pour un événement de 2024.
  4. Cherchez deux ou trois sources de régions et de sensibilités politiques différentes. Notez si elles concordent. Vous évitez de réunir trois pages qui recopient toutes la première.
  5. Retirez les éléments cités, ou reformulez la question, puis relancez la demande. Si la réponse change, le premier verdict était fragile. Vous évitez de vous fier à une seule formulation.
  6. Séparez les faits avancés des jugements de valeur. « Le taux de chômage était de 6,2 % » est vérifiable. « Ce taux est inacceptable » ne l’est pas. Vous évitez d’évaluer une opinion comme s’il s’agissait d’une mesure.
  7. Consignez un statut pour chaque affirmation. Vérifiée, contredite ou non résolue, avec votre degré de certitude. Vous évitez de ne retenir qu’une impression plutôt qu’un résultat.

La même rigueur s’applique aux tableaux. Un guide sur l’analyse des données de tableur rappelle qu’un chiffre de synthèse doit toujours correspondre à une cellule, une définition et une date. La vérification des faits par l’IA peut accélérer la recherche. Elle ne vous dispense pas de repérer un passage erroné dissimulé dans une explication bien rédigée.

Vérifier des documents et des fichiers sensibles

Votre contrat, votre facture ou votre tableur peut servir de source, sans empêcher les réponses fondées sur ces documents d’inventer des informations. Des recherches sur les questions portant sur des documents, présentées dans une étude des réponses de modèles publiée sur arXiv, ont relevé des hallucinations dans 30 % des réponses évaluées. Gemini et ChatGPT en produisaient chacun dans environ 40 % des réponses échantillonnées. NotebookLM, le meilleur système de cette comparaison, en produisait encore dans 13 % des cas. Même le meilleur résultat rappelle qu’une réponse fondée sur un fichier peut contenir des éléments sans fondement.

Rattachez chaque point signalé au fichier source

Contrats. Ouvrez la page indiquée par le modèle et lisez la clause signalée. Une reformulation peut faire disparaître une condition, une date ou une exception.

Tableurs. Vérifiez chaque total annoncé dans la cellule d’origine, en tenant compte des unités et des filtres. Une somme calculée sur la mauvaise colonne paraît précise, mais reste fausse. L’analyse de documents n’est qu’un premier examen des fichiers PDF, DOCX et XLSX.

Factures. Pour conclure à un « doublon », il faut retrouver le même numéro de facture, la même date et le même montant. Deux totaux similaires ne correspondent pas nécessairement à la même facture.

Vérifiez la durée de conservation avant l’envoi

Les données personnelles ne peuvent pas être conservées indéfiniment. La CNIL indique que les organismes doivent fixer une durée de conservation adaptée à la finalité du traitement, en informer les personnes concernées et, en règle générale, supprimer les données lorsqu’elles ne sont plus nécessaires au développement courant. Leur réutilisation pour améliorer le produit exige des garanties, notamment des accès restreints, un stockage cloisonné et une sécurité renforcée.

Avant d’importer des fichiers personnels ou confidentiels, recherchez une durée de conservation explicite, une procédure de suppression et un engagement excluant les conversations et les fichiers de l’entraînement des modèles. Considérez chacun de ces points comme une affirmation à vérifier, pas comme un slogan. Pour examiner d’abord vos textes sensibles en local, vous pouvez consulter des outils open source de détection des données personnelles et retirer les éléments identifiants avant que quoi que ce soit ne quitte votre ordinateur.

L’examen d’un document n’est terminé que lorsque chaque point signalé a été rattaché à sa page, à sa cellule ou à sa ligne de facture d’origine.

Confirmez chaque affirmation avant de la partager

Vous avez trois options, et non une seule : utiliser, mettre en attente ou écarter.

Utilisez uniquement les affirmations dont la source et la date ont été vérifiées. Mettez en attente tout élément non résolu jusqu’à ce qu’une source primaire plus récente permette de trancher. Écartez toute affirmation que la source citée ne mentionne pas du tout.

Supposons qu’une réponse indique que la population d’une ville a augmenté de 12 %, alors que la page citée porte sur une autre année. Mettez l’affirmation en attente. Cherchez la publication du recensement pour l’année mentionnée dans la réponse. Ne partagez pas le chiffre de 12 % tant que les années ne concordent pas.

Dans notre espace de travail, chaque résultat d’une réponse renvoie au document dont il est issu : vous pouvez ainsi ouvrir le fichier et vérifier le passage. Agentic AI effectue des recherches Web en direct et joint les sources à ses résultats pour vous permettre de les contrôler. Une citation est un point de départ, pas une preuve. Il vous reste à lire la page. Pour obtenir un second avis, soumettez la même affirmation à plusieurs modèles. Les désaccords sont plus faciles à repérer lorsque les réponses sont affichées côte à côte.

Lors de votre prochaine utilisation de l’IA, choisissez une affirmation dans sa réponse et appliquez-lui le protocole en sept étapes avant de la partager.

BromeAI est un espace de travail qui vous permet de vérifier des affirmations à partir de sources Web consultées en direct et de vos documents importés. Les résultats sont reliés à leurs sources pour que vous puissiez les contrôler. Si vous utilisez la vérification des faits par l’IA pour vos études, vos recherches ou l’examen de fichiers, BromeAI vous permet de comparer plusieurs modèles au même endroit et de lire les sources jointes avant de vous appuyer sur une réponse. Prenez une affirmation que vous avez déjà sous la main et testez-la avant de la transmettre.