Les limites de l’intelligence artificielle
Le 6 mars 2025, Klaudia Jaźwińska et Aisvarya Chandrasekar, chercheuses au Tow Center for Digital Journalism de l’Université de Columbia, ont publié une étude intitulée « AI search has a citation problem ». L’objet de l’étude? Tester la fiabilité de huit moteurs de recherche basés sur l’intelligence artificielle: ChatGPT Search, Perplexity, Perplexity Pro, Gemini, DeepSeek Search, Grok-2 Search, Grok-3 Search et Copilot.
Les chercheuses ont demandé 200 fois à chaque moteur de recherche IA de fournir une citation extraite d’un article existant, puis d’identifier précisément son titre, sa date de publication, le nom du média concerné ainsi qu’une URL valide. Résultat? En moyenne, sur l’ensemble des réponses, moins de 40% étaient justes! Le graphique ci-dessous détaille les résultats suivant les IA sollicitées.
>> D’après le graphique:
Quelle a été l’intelligence artificielle la plus performante? Quel a été son pourcentage de bonnes réponses?
Quelle a été l’intelligence artificielle la moins performante? Quel a été son pourcentage de bonnes réponses?
Tester des intelligences artificielles
Pour nous alerter sur la fiabilité des IA et participer à leur amélioration, le gouvernement français a lancé le site: https://comparia.beta.gouv.fr/
Prête-toi au jeu! Va sur le site https://comparia.beta.gouv.fr/, compare deux intelligences artificielles, puis donne ton avis.
1>> Accepte les modalités d’évaluation puis clique sur le bouton « Commencer à discuter »
2>> Lis le texte dans la boîte de dialogue, puis clique sur le bouton « C’est parti »
3>> Ouvre le menu déroulant pour voir les différents modèles que tu peux utiliser
4>> Choisis le modèle « David contre Goliath », qui va t’orienter vers deux IA aux moyens techniques différents
5>> Écris maintenant la requête (« prompt » en anglais) pour trouver les informations que ton professeur t’a demandées
6>> Clique sur « Envoyer », puis lis les informations générées par les deux intelligences artificielles
7>> Compare les informations obtenues à celles du document fourni par ton professeur:
Est-ce que tu constates des différences?
8>> Tu vas maintenant évaluer les réponses des deux IA: clique sur « Passer à l’évaluation des modèles »
9>> Évalue les IA, en indiquant si tu en as préféré une et en cliquant sur les points positifs ou négatifs. Ensuite, clique sur le bouton pour révéler quelles IA tu as utilisées.
10>> Observe bien les informations données sur chaque IA. Qu’est-ce qui peut expliquer des différences de précision? Quels sont les bilans énergétiques de ta requête?
Appelle ton professeur, et fais le bilan de ton expérimentation.
Est-ce que les réponses données par une IA sont toujours correctes?
Comment être sûr.e. qu’une information générée par un moteur de recherche basé sur l’IA est fiable?
Quel est l’impact écologique de la génération d’une réponse? Est-ce que c’est un problème? Si oui, quelles sont les solutions?
Cyril Mottet, professeur de sciences et technologie ©eduscience 2025
Crédit images: eduscience / Pixabay