Avis sur l’IA

La troisième partie du questionnaire vise à recueillir l’avis des étudiants et étudiantes sur leur utilisation de l’IA.

Que pensez-vous des réponses apportées par l’IA ?

Le but de la question est de savoir comment les étudiantes et étudiantes jugent les réponses apportées par l’IA. Sont-elles fiables, complètes, précises … Pour chaque item, les réponses varient de 1 à 5, de Pas du tout à Tout à fait.

Pour les 4 indicateurs de qualité des réponses, le jugement est plutôt moyen (valeur 3). C’est surtout au point de vue pédagogique que les réponses de l’IA sont appréciées. De façon intéressante, personne ne juge les réponses de l’IA totalement fiables.

Avez-vous déjà constaté des hallucinations ?

Par hallucinations nous entendons des inventions de la part de l’IA dans ses réponses.

Dans le cas où Oui aurait été coché, il était demandé de préciser le type d’hallucinations.

Types d'hallucinations
Articles scientifiques / choses lambda
Invention de sources bibliographiques qui n'existent pas.
si la question posée n’est pas assez complète il peut dirigé sa réponse dans un hors sujet
Lors de generation de plan, parfois les parties ou sous parties peuvent être fausses (synthétisées à partir d'informations non fiables ou parfois même inventées).
L'IA a du mal à nous donner tort, donc si notre affirmation ne sont pas bonne, il peut continuer cette erreur. L'autre cas son des résumé de long texte ou l'IA va juste ce basé sur le titre et crée son propre résumée.
Dans des contextes très précis de données trop récentes
Lorsqu’on pose une question, l’IA répond souvent de sorte a nous donner raison, meme lorsqu’une autre reponse plus evidente/logique/ proche de la verité existe.
En ce qui concerne les sources académiques notamment, l’IA a tendance a en inventer.
Chatgpt invente des sources bibliographiques. En recherchant, elles n'existent pas.
Recherche
Dates erronées
Si on n’explique pas correctement, ils réponds à côté de la plaque
Je souhaitais réaliser le résumé d'un article sur Chatgpt. Cependant, il n'en avait pas l'accès il a donc créer un résumé sur le thème de l'article en piochant d'autres informations qui sont à sa disposition. Le résumé était incorrect avec des informations qui paraissaient sortir de son "imaginaire".
Par exemple, pour rechercher des journaux sur un sujet , Chatgpt peut inventer des faux titres ou des articles qui n'existe plus ou pas du tout. Les dates ne sont pas toujours mises à jours et donc l'information peut etre fausse.
Une demande pour sourcer une citation qui décalait totalement avec la réponse initiale (citation de Rousseau, mais source provenant d'un ouvrage de Marx)
Pas fiable dans les calculs (type moyenne, écart type etc) Quand on lui demande la source, il en donne mais on ne retrouve pas les infos dans les sources données
Dans le cadre de statistiques ou de macroéconomie appliquée. Pour des informations cherchées, il est nécessaire de demander les sources systématiquement et les rechercher par les liens donnés
Des erreurs de traduction assez lunaires
- Lorsque je demande des traductions et que l'IA transforme le texte au lieu de faire une traduction fidèle. - Lorsque l'IA invente des lignes de codes qui n'existent pas - Lorsque je demande de corriger des fautes d'orthographes et que l'IA transforme le texte
Invention d'articles de journaux pour répondre à ma demande
Lorsque j'avais connaissance d'une réponse mais que je volais qu'il détaille pour voir. Pour tester l'IA.
Demander des références bibliographiques à ChatGPT développe l'imagination.
On peut facilement lui faire dire ce qu’on veut en orientant les questions. Pour la programmation, les codes produits peuvent être améliorer par l’ia jusqu’à une certaine limite, parfois faible.
Au bout d'un moment il finit par tourner en boucle si il ne comprend pas la question ou le problème, notamment en programmation
Plusieurs exemples: l'IA m'a fournit à plusieurs reprises des informations fausses concernant la participation de chercheurs dans la production d'articles scientifiques. Ces derniers n'avaient pas participé aux articles mais travaillaient sur le même sujet.
Sur de l'aide pour créer un workbench FME. Il invente des Transformers répondant à mes besoins.
Des réponses erronées par rapport à ce qui avait été vu en cours
Réalisation d’un graphique absurde avec des données inventées.
Pas dans un contexte universitaire mais je cherchais les joueurs liechtensteinois passés par la ligue 1 et l'IA a inventé que Nicolas Hasler a joué au Tours FC alors que cela est évidemment faux
Dans le contexte de sujet de recherche où la littérature n'est pas foisonante.
Je ne me souviens pas mais plusieurs fois les réponses étaient complètement hors sujet
Données inventées, notamment des auteurs/articles, données complètement fausses, propositions d'addons R qui n'existent pas, etc.
Les images qui sont utilisés par les profs car peu précisés alors que cela risque vu la courbe de progression d'être cohérente d'ici quelques années. Ou d'autres résultats illogiques souvent amené par un mauvais promptage.
Quand il n’a pas la réponse, il invente - programmation non à jour, code il ne connaît pas…
Certains sujets ne sont passez connu de l'IA, donc elle meuble sans savoir de quoi il s'agit (ex : la restauration fluviale)
En donnant le cadre du sujet, l'ia peut dériver et nous parler un sujet autre qui n'a rien avoir ou même qui contredit ce qu'il a dit précédemment.
Des erreurs flagrante de calculs et invention d'événements historiques. Carte et diagramme totalement faux aussi, a des niveaux très comiques.
Je ne trouvais pas d'articles scientifiques sur Google scholar ou autre donc j'ai demandé à chat gpt et il me les a inventés.
ca se passe surtout lorsqu'un logiciel a changé de version parfois l'IA invente littéralement des fonctions comme sur qgis ou sagagis je cherche a donné les localisations de photos, il m'a dit que c'etait dans vecteur puis il m'a inventé une extension qui n'avait aucun sens
Des choses complètement fausses comme des articles qui n’existent pas
Des auteurs inventées lors de recherches bibliographiques. Lors de demandes Excel, l’IA invente des fonctionalités qui n’existent pas.
Cyclone "Chido" transformé en permanence en cyclone "Chidoma" par chatgpt particulièrement
Dans le cadre de la programmation lorsque que je n'arrive pas à résoudre une erreur, que les forums non plus, fatalement l'IA a de grandes difficultés aussi
En interprétation des données
pour un devoir, il m'a sorti des chiffres faux, inventés
Je n’ai plus vraiment d’exemples en tête mais il est arrivé que l’IA me réponde totalement à côté de la plaque et plusieurs fois d’affilée
J’ai demandé à ChatGPT, si Barnier avait été premier ministre, il m’a répondu que non. Il a fallu que je lui envoie sa page Wikipedia pour qu’il se rende compte de l’erreur.
L'IA est parfois "bloquer" sur une informations donner précédent et reste à revenir en boucle dessus
Une amie qui me montre une bibliographie ou des ouvrages n'existent pas
Je ne sais plus, mais dans le cadre de mon mémoire je lui ai demandé de rédiger une partie pour la comparer à la mienne sans lui flécher mes sources et il a rajouté une donnée incohérente.
Quand on lui dit de créer une carte l’IA a l’habitude de nous donner des choses qu’on n’a pas demandé et le pire c’est qu’elle ne dit jamais je ne sais pas
Invention de référence, boucle réthorique
Création de sources bibliographiques sorties de nul part. Création de terme sorti de nul part. Déformation des propos que je lui ai demandé d'intégrer à un texte.
Tentatives de jailbreak, analyse de données pour confirmation erronées (anciens modèles)
En Licence j’avais un cours d’anglais c1 spécialité littérature. Je devais faire un essai sur un sujet qui me tenait à cœur sauf qu’avec mon travail étudiant je n’avais pas le temps de trop lire à côté pour enrichir mon devoir. J’ai donc rentrer un prompt lui demandant beaucoup d’abstraction et d’imagination. C’était la première fois que je voyais clairement les limites de l’ia. Je ne me souviens plus exactement ce que l’ia m’avait dit mais c’était très très excentrique et hors sujet.
Par moment l’ia invente des réponses.
Lors d'échange et/ou de questions sur un sujet propre à la télédétection et la physique, la réponse apportée par ChatGPT était incorrecte. À plusieurs reprises, sur des questions très spécifiques et pointues nécessitant une bonne maîtrise du sujet, les réponses fournies étaient souvent fausses ou décalées. ce constat est partagé avec plusieurs de mes camarades du master TGAE.
Beaucoup d'erreurs dans les citations, références bibliographiques sur le nom des auteurs, des articles, du thème ou date de publication
Concernant l'utilisation de l'IA pour Qgis, Chatgpt donne souvent des chaines de traitement fausses.
par exemple pour une recherche sur le retour du loup en France l'IA utilisé le terme "réintroduction" néanmoins ce n'est pas le termes adapté car celui)ci n'as pas était réintroduit mais est bien revenu naturellement en France. Je ne fais pas totalement confiance à l'IA car celle-ci n'est pas précise comme pourrais l'etre un article scientifique.
Surtout avec des IA moins spécialisées, comme Deepseek ou ChatGPT. Si dans le prompt, il n'y a pas de demandes précises de sources, cela m'est déjà arrivé que l'IA hallucine (par exemple citations d'auteurs qui n'existent pas, ou des sources inexistantes)
Dans la recherche bibliographique
Manques de référencement et de sources, invention de ses propres citations
Invention d'auteurs et d'ouvrages
Invention de références bibliographiques, d’articles de droit etc.
Lorsqu'il s'agit de sujet précis sur des langues parlées parfois lorsque je demande de l'aide pour générer un code également
L'IA n'est pas conçue pour nous contredire, donc j'ai parfois demandé à ce qu'elle me contredise si jamais ce que je disais était faux. Donc parfois ces réponses étaient justes, d'autres fois totalement fausses. Et si je poses une question générale, je sais qu'il y aura plusieurs fautes dans la réponse.

La plupart des étudiant·es ont déjà constaté ce qu’ils assimilent à des hallucinations. Il est surtout mentionné des inventions de références et notamment de références bibliographiques.

Qualité des outils de l’IA

L’idée de la question est de voir si les utilisateurs et utilisatrices de l’IA testent la robustesse des réponses apportées.

Au vue de ces résultats, il semblerait que les étudiants et étudiantes ne prennent pas les réponses de l’IA pour argent comptant mais s’efforcent d’en vérifier l’exactitude.