L’arrivée des Intelligences artificielles génératives (IAGs), comme Chat GPT et leur utilisation facilitée sont à l’origine de bouleversements dans le monde de l’enseignement et remettent en question les modalités d’évaluation des rendus académiques.
Les IAGs sont présentes partout, dans toutes les sphères et les étudiants seront amenés à les utiliser de plus en plus. Il est donc difficile d’en interdire l’usage,
Des craintes sont associées à l’arrivée de ces outils dans l’enseignement :
Certains travaux donnés aux étudiants peuvent être facilement générés par les IAGs,
Il s’avère difficile de distinguer ce qui est généré par les IAGs de ce qui est réellement produit par les étudiants,
Les risques de fraudes aux évaluations peuvent augmenter,
Un enjeu majeur aujourd’hui est d’intégrer ces outils dans les enseignements pour acculturer les étudiants à leur utilisation et les amener à en faire un usage critique, éthique et responsable.
Ces nouvelles données peuvent être l’opportunité de repenser, transformer les évaluations pour les faire évoluer davantage vers une évaluation des compétences et les concevoir comme une véritable étape du processus d’apprentissage.
Intégrer les IAGs dans ses pratiques pédagogiques et notamment dans ses modalités d’évaluations, nécessite d’en comprendre le fonctionnement et d’en connaître les capacités et les limites.
I. Comprendre et s’approprier les IAGs
Les IAGs comme ChatGPT sont des robots conversationnels avancés, capables de fournir des réponses construites à partir des bases de connaissances dont ils disposent. Ils sont capables de générer toute forme de contenus et d’apporter une assistance dans une grande variété de tâches, comme l’explication d’un concept ou le développement d’un code de programmation. Pour interagir avec une intelligence artificielle générative telle que ChatGPT, il faut élaborer une requête en langage naturel (un prompt) qui pose avec précisions le contexte et les attendus de la demande.
Répondre à des questions de tous types et dans tous les domaines
Produire du contenu – rédiger des écrits de toute nature (rapport, mémoire, lettre, QCM …)
Simplifier, adapter du contenu à un public donné
Traduire du contenu en de nombreuses langues
Synthétiser / résumer du contenu
Mettre en forme du contenu, illustrer
Classer et catégoriser du texte
Interagir, échanger
Suggérer des titres, slogans, plans…
Analyser et classer des données
Générer du code, résoudre des équations
Ne génèrent pas de savoir procédural (uniquement du savoir déclaratif)
Ne savent pas raisonner
Ne disent jamais qu’elles ne savent pas
Proposent des contenus parfois erronés (Risques de désinformation, risque de biais (sociaux, culturels…) et d’accentuation des stéréotypes et préjugés
Leurs données sont limitées pour des domaines ou sujets très spécifiques (les IAGS se basent pour répondre sur les idées et les thématiques les plus courantes, voire dominantes d’une discipline)
Fournissent des réponses souvent très génériques / générales
Ne savent pas contextualiser les réponses données
Ne savent pas prendre position, argumenter – ne peuvent avoir de pensées critiques et divergentes
Ne peuvent pas se corriger sans l’intervention de l’humain
Ne savent pas créer
Ne respectent pas le droit d’auteur
Leur utilisation a un impact environnemental non négligeable
Utiliser la Taxonomie de Bloom pour repérer les limites des IAGs
La taxonomie de Bloom est largement utilisée dans la conception d’un cours pour ajuster l’alignement pédagogique des activités et des évaluations en fonction de ses objectifs d’apprentissage. Cette taxonomie a été retravaillée en distinguant les capacités des IAGs de celles de l’humain. Elle peut être utilisée pour faire évoluer les évaluations en adéquation avec ses objectifs d’apprentissages, en s’appuyant notamment sur les limites des IAGs aujourd’hui.
II. Définir ou transformer ses évaluations à l’heure des IAGs
Définir le cadre d’utilisation des IAGs
Poser le cadre d’utilisation des IAGs et tout particulièrement en contexte d’évaluation, notamment dans lesyllabusdu cours,
Demander aux étudiants une totale transparence quant à l’utilisation des outils d’IAGs dans les rendus de travaux académiques (citations, démarche, requête) ,
Sensibiliser les étudiants aux notions d’éthique et d’intégrité vis-à-vis de leur parcours de formation,
Sensibiliser les étudiants aux biais et limites des IAGs (hallucinations, absences de sources, respect du droit d’auteur, enjeux éthiques).
Définir le cadre de ses évaluations
S’assurer de l’Alignement pédagogique de son cours en vérifiant que les méthodes, activités et évaluations sont cohérentes avec les objectifs d’apprentissage,
Fixer des attendus clairs et précis vis-à-vis des évaluations – s’assurer que les consignes et les critères d’évaluation sont bien compris,
Intégrer dans la démarche d’évaluation des rétroactions avant une évaluation sommative,
Concevoir les évaluations comme une véritable étape du processus d’apprentissage et pas uniquement comme un acte de notation,
Une connaissance des attendus des évaluations et une préparation aux modalités peuvent permettre de limiter les risques de fraude.
Cela implique une évaluation des connaissances et compétences dans un environnement contrôlé et sans accès aux IAGs en ayant précisé au préalable (syllabus) ce qui est autorisé dans un contexte d’évaluation. A noter que ces modalités peuvent être parfois difficilement applicables aux grands groupes, coûteuses en ressources à mobiliser et réduire les possibilités/expériences d’évaluation.
Évaluation par examen écrit sur table,
Évaluation par examen oral,
Évaluation au moyen d’un ordinateur avec restriction d’accès,
Observation d’étudiants en situation (en individuel ou en groupe).
Certaines activités ne sont pas directement réalisables par les IAGs. Les contenus et formats d’évaluation peuvent être pensés et conçus en s’appuyant sur ces limites.
Choisir ses sujets/thématiques d’évaluation en privilégiant :
des sujets d’évaluation moins connus, peu abordés dans la sphère du web,
des sujets portants sur des données récentes ou sur des sources auxquelles Chat Gpt n’a pas accès,
des sujets qui mobilisent des situations authentiques (faisant intervenir des expériences personnelles ou professionnelles à venir, impliquant des commanditaires réels …).
Repenser ses modalités d’évaluation en :
les construisant comme un process engageant pour l’étudiant et pouvant s’améliorer dans le temps,
privilégiant des études de cas, des mises en situation réelles, authentiques,
les orientant davantage sur un processus et une démarche que sur le résultat ou produit final (poser des questions qui nécessitent une analyse, une réflexion plutôt que juste le rappel de règles ou de notions),
demandant aux étudiants de contextualiser leurs réponses et notamment de faire le lien avec le cours ou d’autres cours de leur formation,
diversifiant ses formats et modalités d’évaluation (observation, production de livrables, questionnement ou échanges),
privilégiant le contrôle continu,
découpant son processus d’évaluation en une suite d’évaluations formatives avant l’évaluation sommative pour évaluer la progression et le développement d’une compétence avec :
Production de rendus d’étapes ou traces d’apprentissage sous la forme de journal de bord, rapport d’avancement, points d’étapes oraux (pour travaux de groupe notamment) et qui incluent une analyse réflexive,
Rétroactions régulières.
Intégrer dans ses modalités d’évaluation :
Des travaux collaboratifs impliquant organisation, planification d’une tâche et points d’étapes,
Des autoévaluations et évaluations par les pairs avec des grilles critériées interrogeant sur pertinence, qualité de l’argumentation, cohérence de l’écriture + style, authenticité, références citées…
Une démarche argumentaire et réflexive .
Diversifier ses objets ou livrables attendus en proposant par exemple :
La réalisation d’une vidéo pour une tâche à réaliser,
La conception d’un poster synthétique,
L’organisation d’un débat ou la conception d’un argumentaire,
L’enregistrement d’un podcast d’une enquête, d’une interview,
La réalisation de cartes conceptuelles, frises chronologiques, schémas annotés,
La description d’un processus détaillé incluant des références au concepts clés du cours et/ou une réflexion sur la pertinence du processus,
La conception de sujets et grilles d’évaluation par les étudiants pour valider les notions clés d’un cours à maîtriser,
La réalisation d’un dossier documentaire avec un corpus multiple et sources précisées,
Une présentation orale devant une audience réelle.
Intégrer ou s’appuyer sur les IAGs dans sa démarche d’évaluation peut être l’occasion de construire des contenus et/ou formats d’évaluation qui vont amener les étudiants : – à s’approprier et maîtriser les outils d’IAGs en repérant ce qu’ils peuvent déléguer à la machine de manière responsable – à développer un esprit critiquevis à vis des productions générées par les IAGs.
Il peut être ainsi proposé de :
Repérer des erreurs ou incohérences dans des productions générées par Chat GPT et retravailler les contenus générés avec références à l’appui,
Repérer les préjugés, biais, stéréotypes présents dans des productions générées par Chat GPT,
Interroger des contenus générés par les IAGs sur leur pertinence par rapport à une requête donnée à l’aide d’une grille d’évaluation,
Analyser et enrichir une argumentation à partir de productions générées par les IAGs,
Apprendre à repérer ce qui peut être délégué à la machine ou pas (recherche de capacités et limites en lien avec une requête, un problème posé),
Expliquer et illustrer la démarche évolutive de conception de prompts pour affiner, ajuster les réponses obtenues,
Construire un argumentaire/débat en dialoguant avec la machine.
L’université de Sherbrooke propose dans son guide « Évaluer à l’ère des IA – Combattre la bête ou l’apprivoiser ? » une liste d’activités permettant de diversifier les traces d’apprentissage et les livrables attendus. Plusieurs types d’activités peuvent être intégrés dans une même évaluation pour une diversification optimale.
Cliquer sur ce lien pour télécharger la fiche récapitulative « Évaluation et IAGs » au format pdf
<script type="text/javascript"> toolTips('.classtoolTips0','L’alignement pédagogique est une cohérence observée entre les objectifs d’apprentissage, les contenus de cours, les méthodes d’apprentissage et les stratégies d’évaluation.'); </script>