Copyright: les IA échouent à fournir des citations correctes puisées sur le Web !

C’est un constat assez accablant : d’après une récente étude, les moteurs de recherche IA échouent à fournir des citations correctes dans 60 % des cas. 

Une récente analyse menée par le Tow Center for Digital Journalism vient confirmer ce que l'on pressentait tous déjà plus ou moins : les moteurs de recherche utilisant l’intelligence artificielle affichent des lacunes importantes dès qu’il est question de fiabilité des citations fournies. Après avoir testé huit outils populaires, dont ChatGPT Search, Perplexity ou encore Gemini, les chercheurs ont constaté un taux d’erreur en moyenne supérieur à 60 %.

Un problème généralisé

C’est un problème presque aussi vieux que l’IA générative elle-même : les chatbots peinent à citer correctement leurs sources. Le phénomène touche particulièrement les éditeurs d’informations, dont les contenus sont souvent repris sans citation adéquate ou avec des liens erronés.

Le 6 mars dernier, Klaudia Jaźwińska et Aisvarya Chandrasekar, chercheuses au Tow Center for Digital Journalism de l’Université de Columbia, ont publié une étude intitulée « AI search has a citation problem ». Celle-ci apporte un éclairage précis sur l’ampleur du phénomène grâce à une méthodologie rigoureuse.

Des résultats vraiment préoccupants

Pour mener leurs travaux, les chercheuses ont réalisé 200 tests sur chacun des huit moteurs sélectionnés : ChatGPT Search, Perplexity, Perplexity Pro, Gemini, DeepSeek Search, Grok-2 Search, Grok-3 Search et Copilot. Chaque requête consistait à fournir une citation extraite d’un article existant, puis à demander au chatbot d’identifier précisément son titre, sa date de publication, le nom du média concerné ainsi qu’une URL valide.

Sur un total cumulé de 1600 requêtes effectuées durant ces tests, plus de six réponses sur dix se sont révélées incorrectes. Bien sûr, toutes les IA ne sont pas logées à la même enseigne. Perplexity obtient ainsi le meilleur résultat relatif avec un taux d’erreur tout de même élevé (37 %). À l’opposé se trouve Grok-3 Search qui affiche un taux d’échec particulièrement alarmant atteignant 94 %, malgré son positionnement haut de gamme auprès des abonnés X Premium+.

Des erreurs fréquentes… et variées

L’étude souligne également la diversité des erreurs commises par ces chatbots IA, avec notamment la génération fréquente d’URL inexistantes ou menant vers des pages introuvables (erreurs 404). Gemini et Grok-3 font encore “mieux” sur ce point négatif. Il s’agit en effet des seuls moteurs testés ayant fourni davantage de liens fictifs que corrects lors des essais réalisés. Grok-3 a ainsi redirigé ses utilisateurs vers 154 pages inexistantes durant ces tests.

De son côté, ChatGPT Search présente également un nombre non négligeable d’erreurs. Sur 134 citations incorrectes relevées pour ce moteur durant l’étude, seules 15 réponses comportaient un avertissement ou une formulation prudente indiquant une incertitude quant à leur exactitude.Copilot constitue quant à lui un cas particulier parmi tous ces outils. En effet, il a préféré refuser purement et simplement de répondre à la majorité des requêtes posées plutôt que risquer une réponse approximative ou fausse.

Un impact direct sur le trafic vers les médias

Ces problèmes récurrents ne sont pas sans conséquence directe pour les médias en ligne. En effet, ces erreurs répétées limitent drastiquement le potentiel de trafic référent généré par ces nouveaux outils intelligents vers leurs contenus. Une autre étude récente réalisée par TollBit indique que les chatbots génèrent en moyenne 96 % moins de trafic référent vers les sites éditeurs comparativement aux recherches traditionnelles effectuées via Google.

Ce chiffre préoccupant est confirmé par une analyse complémentaire menée par Generative AI in the Newsroom (Université Northwestern) sur cinq mois en 2024.Selon cette dernière analyse basée sur les données Comscore concernant ChatGPT et Perplexity, respectivement 3,2 % et 7,4 % seulement du trafic filtré issu directement de ces chatbots concernent effectivement la catégorie « éditeurs d’informations ».

Une remise en question nécessaire

Face à ces constats alarmants concernant leur fiabilité actuelle en matière de citation précise et vérifiable, il apparaît donc indispensable que ces outils basés sur l’intelligence artificielle améliorent rapidement leurs performances s’ils souhaitent s’imposer durablement auprès du grand public comme alternative crédible aux moteurs classiques tels que Google.