Innovation Pédagogique et transition

Évaluations et IA Génératives (IAGs) – Fiche « récap »

Valérie Bardot Zakarian — 2024-03-18T16:40:22Z

Voici quelques suggestions pour accompagner la transformation de vos évaluations, qu'elles intègrent ou contournent l'usage des IAs génératives. Ces transformations devront être adaptées au contexte, aux disciplines et aux niveaux d'enseignement. Pour aller plus loin, vous retrouverez cet article détaillé.

Evaluations et IAGs

Cliquer sur ce lien pour télécharger la fiche au format pdf

Élaborer son référentiel de compétences

Valérie Bardot Zakarian — 2024-03-14T09:02:07Z

Le référentiel de compétences est un document qui permet de formuler l'ensemble des compétences attendues d'un étudiant à l'issue de son cursus universitaire. Il se construit à partir du profil de sortie de l'étudiant à l'obtention de son diplôme (licence ou master). L'élaboration du référentiel de compétences est la 1ère étape de la mise en œuvre de l'approche par compétences dans les parcours de formation et implique activement l'ensemble de l'équipe pédagogique.

Ce référentiel est un véritable outil de pilotage de la formation sur lequel va s'appuyer l'équipe pédagogique pour définir les modalités pédagogiques et les stratégies d'évaluation.

Il permet également à l'étudiant de donner du sens à ses apprentissages et de s'impliquer davantage dans les objectifs et attendus de son cursus de formation.

Les étapes pour construire le référentiel de compétences

Définir les compétences du programme qui sont au cœur des métiers visés (profil de sortie des étudiants)

Définir les critères d'exigence et de qualité qui permettent de reconnaître/d'évaluer la bonne mise en œuvre de la compétence par l'étudiant (composantes essentielles).

Préciser les situations et les contextes dans lesquels les étudiants seront susceptibles d'évoluer et de mettre en œuvre ces compétences (situations professionnelles).

Définir des étapes dans le développement de chacune des compétences afin de jalonner la progression (niveaux de développement).

Définir les apprentissages que les étudiants doivent maîtriser pour passer d'un niveau à un autre (apprentissages essentiels ou critiques).

Le référentiel de compétences compile l'ensemble des éléments caractérisant chacune des compétences associées au cursus universitaire / diplôme et s'appuie sur la fiche RNCP de la mention.
Télécharger la fiche « récap » sur le Référentiel de compétences (à venir)

Jacques Tardif (2006) définit la compétence comme « un savoir-agir complexe consistant en une mobilisation et une combinaison efficace de ressources (savoirs, savoir-faire, savoir-être) internes ou externes dans une famille de situations ».

Une compétence se développe :

par une mise en action / situation,
dans un contexte donné (situations professionnelles),
en respectant des critères d'exigence (les composantes essentielles),
en suivant une progression sous forme d'étapes (les niveaux de développement)
en maîtrisant des apprentissages reconnus comme essentiels, qui vont mobiliser différentes ressources (savoirs empiriques et/ou académiques), savoir-faire (connaissances procédurales), savoir-être (comportements et qualités relationnelles))

S'appuyer sur la fiche RNCP : La construction du référentiel s'appuie sur les compétences définies dans la fiche RNCP du diplôme (au niveau de la mention) . Les intitulés des blocs de compétences peuvent être reformulés à condition d'établir une correspondance avec les blocs initiaux. Un bloc de compétences peut être ajouté afin de mettre en évidence les spécificités d'un parcours.

Formuler les compétences : Écrire une compétence revient à formuler ce que l'étudiant doit être capable de faire en mentionnant clairement l'action à réaliser et le contexte de sa mise en œuvre.

Une compétence commence par un verbe d'action (ou un substantif)
Elle est complétée par un complément qui explicite le contexte

Des exemples : Mener une démarche expérimentale / Conduire un projet informatique / Synthétiser et transformer la matière / Communiquer avec rigueur dans le langage scientifique / Piloter des projets et/ou des activités

L'étudiant qui agit avec compétences est capable de choisir et d'utiliser des ressources de différentes natures pour traiter une situation réelle et complexe, en respectant des critères précis, et ce afin de produire des résultats attendus.
Télécharger la fiche « récap » sur les Compétences (à venir)

Une fois les compétences formalisées, il est nécessaire de préciser les critères de qualité et d'exigence qui y sont associées. Ce sont les composantes essentielles qui vont permettre de reconnaître et de valider une mise en œuvre efficace de la compétence. Elles doivent être définies pour chaque compétence et être évaluables.

Formuler les composantes essentielles : Au nombre de 3 à 6 par compétence, elles sont rédigées sous forme de gérondif suivi d'un complément et renseignent sur :

la qualité du résultat attendu
la qualité de la démarche mise en œuvre pour atteindre ce résultat
éventuellement la qualité des interactions et collaboration
et/ou le respect de règles ou de normes

Des exemples : Administrer des systèmes et réseaux en assurant l'intégrité des données, des accès et des échanges / Développer un logiciel en utilisant le langage adapté au problème / Mener une démarche expérimentale en respectant les règles de sécurité

Les composantes essentielles sont des éléments qualitatifs qui rendent compte de la complexité d'une compétence. Elles facilitent la compréhension de ce qui est attendu et l'évaluation du développement de la compétence.
Télécharger la fiche « récap » sur les Composantes Essentielles (à venir)

Les situations professionnelles rendent compte de l'étendue de la compétence. Elles précisent les contextes et lieux dans lesquels les futurs diplômés seront susceptibles d'évoluer et de mobiliser leurs compétences.

Définir les situations professionnelles : Pour repérer et formaliser ces situations, il est possible de s'appuyer sur les fiches RNCP, les codes ROME, les offres d'emploi, les missions de stage, les dossiers de VAE, les professionnels ou encore les anciens élèves. Pour chaque compétence, 3 à 4 situations peuvent être définies.

Des exemples selon les domaines : En industrie, en laboratoire de recherche ou dans un contexte de création d'entreprise / dans un contexte de gestion de la relations clients ou en situation de négociation commerciale / En situation de recrutement ou en situation de gestion des relations de travail, en situation de formation.

En diversifiant les situations professionnelles, l'objectif est d'encourager les étudiants à s'adapter à des environnements et contextes différents en mobilisant des ressources adaptées.
Télécharger la fiche « récap » sur les Situations Professionnelles (à venir)

Pour accompagner les étudiants dans le développement de leurs compétences, il est nécessaire, pour chaque compétence, d'identifier les étapes à franchir durant le parcours de formation et le degré de maîtrise attendu à la fin de chaque année . Ces étapes correspondent aux niveaux de développement de la compétence. La progression décrite par ces niveaux doit refléter une complexité croissante pour l'étudiant (autonomie, responsabilité, maîtrise…).

Cinq niveaux de développement ont été identifiés dans l'échelle de développement professionnel (Faucher 2009), du niveau novice au niveau expert. On considèrera qu'on ne devient « Expert » qu'après une expérience
professionnelle conséquente.

Définir et formuler les niveaux de développement : Au nombre maximum de 3 par licence et de 2 par Master, un niveau par année, le niveau de développement peut soit correspondre aux années (Niveau 1, Niveau 2 ….), soit être rédigé sous forme d'une courte expression qui explicite les attendus par niveau, soit utiliser les intitulés proposés (novice, intermédiaire, compétent).

Des exemple de niveaux :

Niveaux de développement sans intitulé
Compétence : Informatique – Développer un logiciel
Novice L1/L2
Intermédiaire L3
Perfectionnement M2

Niveaux de développement avec intitulé
Compétence : Marketing – Concevoir une démarche marketing
L1 Participer à la démarche
L2 Concevoir une démarche
L3 Piloter une démarche

Les niveaux de développement permettent de définir la progression attendue d'un étudiant dans le développement de ses compétences.
Télécharger la fiche « récap » sur les Niveaux de développement (à venir)

Niveaux de développement sans intitulé
Compétence : Informatique – Développer un logiciel
Novice L1/L2
Intermédiaire L3
Perfectionnement M2

Niveaux de développement avec intitulé
Compétence : Marketing – Concevoir une démarche marketing
L1 Participer à la démarche
L2 Concevoir une démarche
L3 Piloter une démarche

Une compétence donnée, se décompose en plusieurs apprentissages essentiels pour permettre son évaluation et au final sa validation. Concrètement, ce sont les apprentissages les plus importants à maîtriser pour atteindre le niveau donné de développement. Il n'y a pas de hiérarchie entre ces apprentissages essentiels, mais ils doivent tous être maîtrisés.

Définir et formuler les apprentissages essentiels : Au nombre de 3 à 6 par niveau de développement, les apprentissages essentiels prennent la forme d'un verbe suivi d'un complément d'objet direct qui explicite le contexte.

Des exemples pour la compétence « Élaborer une vision stratégique en Gestion des Ressources Humaines » (Master – référentiel UBS)

Apprentissages essentiels (Niveau 1)
Faire de la veille sur les évolutions de son environnement ou de son éco-système
Anticiper les transformations des métiers dans le cadre des mutations des organisations

Apprentissages essentiels (Niveau 2)
Anticiper les transformations et innovations RH possibles
Piloter ou co-piloter la construction d'une vision stratégique RH

Un apprentissage essentiel correspond à ce qu'un étudiant est capable de réaliser à l'issue d'une période de formation.
Télécharger la fiche « récap » sur les Apprentissages Essentiels (à venir)

Repenser ses évaluations à l'heure des IA Génératives (IAGs)

Valérie Bardot Zakarian — 2024-03-14T07:58:16Z

L'arrivée des Intelligences artificielles génératives (IAGs), comme Chat GPT et leur utilisation facilitée sont à l'origine de bouleversements dans le monde de l'enseignement et remettent en question les modalités d'évaluation des rendus académiques.

Les IAGs sont présentes partout, dans toutes les sphères et les étudiants seront amenés à les utiliser de plus en plus. Il est donc difficile d'en interdire l'usage,
Des craintes sont associées à l'arrivée de ces outils dans l'enseignement :
- Certains travaux donnés aux étudiants peuvent être facilement générés par les IAGs,
- Il s'avère difficile de distinguer ce qui est généré par les IAGs de ce qui est réellement produit par les étudiants,
- Les risques de fraudes aux évaluations peuvent augmenter,
Un enjeu majeur aujourd'hui est d'intégrer ces outils dans les enseignements pour acculturer les étudiants à leur utilisation et les amener à en faire un usage critique, éthique et responsable.

Ces nouvelles données peuvent être l'opportunité de repenser, transformer les évaluations pour les faire évoluer davantage vers une évaluation des compétences et les concevoir comme une véritable étape du processus d'apprentissage.

Intégrer les IAGs dans ses pratiques pédagogiques et notamment dans ses modalités d'évaluations, nécessite d'en comprendre le fonctionnement et d'en connaître les capacités et les limites.

I. Comprendre et s'approprier les IAGs

Les IAGs comme ChatGPT sont des robots conversationnels avancés, capables de fournir des réponses construites à partir des bases de connaissances dont ils disposent. Ils sont capables de générer toute forme de contenus et d'apporter une assistance dans une grande variété de tâches, comme l'explication d'un concept ou le développement d'un code de programmation. Pour interagir avec une intelligence artificielle générative telle que ChatGPT, il faut élaborer une requête en langage naturel (un prompt) qui pose avec précisions le contexte et les attendus de la demande.

Répondre à des questions de tous types et dans tous les domaines
Produire du contenu – rédiger des écrits de toute nature (rapport, mémoire, lettre, QCM …)
Simplifier, adapter du contenu à un public donné
Traduire du contenu en de nombreuses langues
Synthétiser / résumer du contenu
Mettre en forme du contenu, illustrer
Classer et catégoriser du texte
Interagir, échanger
Suggérer des titres, slogans, plans…
Analyser et classer des données
Générer du code, résoudre des équations

Ne génèrent pas de savoir procédural (uniquement du savoir déclaratif)
Ne savent pas raisonner
Ne disent jamais qu'elles ne savent pas
Proposent des contenus parfois erronés (Risques de désinformation, risque de biais (sociaux, culturels…) et d'accentuation des stéréotypes et préjugés
Leurs données sont limitées pour des domaines ou sujets très spécifiques (les IAGS se basent pour répondre sur les idées et les thématiques les plus courantes, voire dominantes d'une discipline)
Fournissent des réponses souvent très génériques / générales
Ne savent pas contextualiser les réponses données
Ne savent pas prendre position, argumenter – ne peuvent avoir de pensées critiques et divergentes
Ne peuvent pas se corriger sans l'intervention de l'humain
Ne savent pas créer
Ne respectent pas le droit d'auteur
Leur utilisation a un impact environnemental non négligeable

Utiliser la Taxonomie de Bloom pour repérer les limites des IAGs

La taxonomie de Bloom est largement utilisée dans la conception d'un cours pour ajuster l'alignement pédagogique des activités et des évaluations en fonction de ses objectifs d'apprentissage. Cette taxonomie a été retravaillée en distinguant les capacités des IAGs de celles de l'humain. Elle peut être utilisée pour faire évoluer les évaluations en adéquation avec ses objectifs d'apprentissages, en s'appuyant notamment sur les limites des IAGs aujourd'hui.

II. Définir ou transformer ses évaluations à l'heure des IAGs

Définir le cadre d'utilisation des IAGs

Poser le cadre d'utilisation des IAGs et tout particulièrement en contexte d'évaluation, notamment dans le syllabus du cours,
Demander aux étudiants une totale transparence quant à l'utilisation des outils d'IAGs dans les rendus de travaux académiques (citations, démarche, requête) ,
Sensibiliser les étudiants aux notions d'éthique et d'intégrité vis-à-vis de leur parcours de formation,
Sensibiliser les étudiants aux biais et limites des IAGs (hallucinations, absences de sources, respect du droit d'auteur, enjeux éthiques).

Définir le cadre de ses évaluations

S'assurer de l'Alignement pédagogique de son cours en vérifiant que les méthodes, activités et évaluations sont cohérentes avec les objectifs d'apprentissage,
Fixer des attendus clairs et précis vis-à-vis des évaluations – s'assurer que les consignes et les critères d'évaluation sont bien compris,
Intégrer dans la démarche d'évaluation des rétroactions avant une évaluation sommative,
Concevoir les évaluations comme une véritable étape du processus d'apprentissage et pas uniquement comme un acte de notation,
Utiliser de manière systématique des grilles d'évaluations.

Une connaissance des attendus des évaluations et une préparation aux modalités peuvent permettre de limiter les risques de fraude.

Cela implique une évaluation des connaissances et compétences dans un environnement contrôlé et sans accès aux IAGs en ayant précisé au préalable (syllabus) ce qui est autorisé dans un contexte d'évaluation. A noter que ces modalités peuvent être parfois difficilement applicables aux grands groupes, coûteuses en ressources à mobiliser et réduire les possibilités/expériences d'évaluation.

Évaluation par examen écrit sur table,
Évaluation par examen oral,
Évaluation au moyen d'un ordinateur avec restriction d'accès,
Observation d'étudiants en situation (en individuel ou en groupe).

Certaines activités ne sont pas directement réalisables par les IAGs. Les contenus et formats d'évaluation peuvent être pensés et conçus en s'appuyant sur ces limites.

Choisir ses sujets/thématiques d'évaluation en privilégiant :

des sujets d'évaluation moins connus, peu abordés dans la sphère du web,
des sujets portants sur des données récentes ou sur des sources auxquelles Chat Gpt n'a pas accès,
des sujets qui mobilisent des situations authentiques (faisant intervenir des expériences personnelles ou professionnelles à venir, impliquant des commanditaires réels …).

Repenser ses modalités d'évaluation en :

les construisant comme un process engageant pour l'étudiant et pouvant s'améliorer dans le temps,
en adoptant plutôt une démarche d'évaluation des compétences que des connaissances,
privilégiant des études de cas, des mises en situation réelles, authentiques,
les orientant davantage sur un processus et une démarche que sur le résultat ou produit final (poser des questions qui nécessitent une analyse, une réflexion plutôt que juste le rappel de règles ou de notions),
demandant aux étudiants de contextualiser leurs réponses et notamment de faire le lien avec le cours ou d'autres cours de leur formation,
diversifiant ses formats et modalités d'évaluation (observation, production de livrables, questionnement ou échanges),
privilégiant le contrôle continu,
découpant son processus d'évaluation en une suite d'évaluations formatives avant l'évaluation sommative pour évaluer la progression et le développement d'une compétence avec :
- Production de rendus d'étapes ou traces d'apprentissage sous la forme de journal de bord, rapport d'avancement, points d'étapes oraux (pour travaux de groupe notamment) et qui incluent une analyse réflexive,
- Rétroactions régulières.

Intégrer dans ses modalités d'évaluation :

Des travaux collaboratifs impliquant organisation, planification d'une tâche et points d'étapes,
Des autoévaluations et évaluations par les pairs avec des grilles critériées interrogeant sur pertinence, qualité de l'argumentation, cohérence de l'écriture + style, authenticité, références citées…
Une démarche argumentaire et réflexive .

Diversifier ses objets ou livrables attendus en proposant par exemple :

La réalisation d'une vidéo pour une tâche à réaliser,
La conception d'un poster synthétique,
L'organisation d'un débat ou la conception d'un argumentaire,
L'enregistrement d'un podcast d'une enquête, d'une interview,
La réalisation de cartes conceptuelles, frises chronologiques, schémas annotés,
La description d'un processus détaillé incluant des références au concepts clés du cours et/ou une réflexion sur la pertinence du processus,
La conception de sujets et grilles d'évaluation par les étudiants pour valider les notions clés d'un cours à maîtriser,
La réalisation d'un dossier documentaire avec un corpus multiple et sources précisées,
Une présentation orale devant une audience réelle.

Intégrer ou s'appuyer sur les IAGs dans sa démarche d'évaluation peut être l'occasion de construire des contenus et/ou formats d'évaluation qui vont amener les étudiants :
– à s'approprier et maîtriser les outils d'IAGs en repérant ce qu'ils peuvent déléguer à la machine de manière responsable
– à développer un esprit critique vis à vis des productions générées par les IAGs.

Il peut être ainsi proposé de :

Repérer des erreurs ou incohérences dans des productions générées par Chat GPT et retravailler les contenus générés avec références à l'appui,
Repérer les préjugés, biais, stéréotypes présents dans des productions générées par Chat GPT,
Interroger des contenus générés par les IAGs sur leur pertinence par rapport à une requête donnée à l'aide d'une grille d'évaluation,
Analyser et enrichir une argumentation à partir de productions générées par les IAGs,
Apprendre à repérer ce qui peut être délégué à la machine ou pas (recherche de capacités et limites en lien avec une requête, un problème posé),
Expliquer et illustrer la démarche évolutive de conception de prompts pour affiner, ajuster les réponses obtenues,
Construire un argumentaire/débat en dialoguant avec la machine.

L'université de Sherbrooke propose dans son guide « Évaluer à l'ère des IA – Combattre la bête ou l'apprivoiser ? » une liste d'activités permettant de diversifier les traces d'apprentissage et les livrables attendus. Plusieurs types d'activités peuvent être intégrés dans une même évaluation pour une diversification optimale.

III. Pour aller plus loin

Lez, A., Dubé, E. et Beaulieu, M. (2023). Évaluer à l'ère des IA : Combattre la bête ou l'apprivoiser. un guide de réflexion. Service de soutien à la formation, Université de Sherbrooke. Sous licence CC BY 4.0.
Castell, P., Petiteau, L. (2023). 10 stratégies Pour éviter le plagiat lors de l'utilisation d'un agent conversationnel (ChatGPT) dans les évaluations. Le Carrefour (enseigner.uqam.ca). Sous licence CC BY 4.0.
Boucher, J.P. (2023). ChatGPT : la riposte doit être pédagogique. Pédagogie collégiale vol. 36, no 3, printemps-été 2023
(2023). La taxonomie de Bloom revisitée à l'ère de l'IA. Collimateur – Veille pédagonumérique UQAM.
Al Amoush S.,Farhat A. (2023).The Power of Authentic Assessment in the Age of AI. Faculty focus.
Millet A. (2023). Comment adapter les évaluations dans le supérieur pour déjouer ChatGPT ? L'étudiant EducPros.

(2024) ChatGPT : Comment éviter la tricherie et tirer profit de l'outil en enseignement supérieur ? Webinar du Groupe d'intervention et d'innovation pédagogique (GRIIP). Pédagogie Universitaire.

Cartographie : les IA génératives dans l'enseignement (Service Universitaire de la Pédagogie UBS)
Portail de veille sur l'IA pour l'enseignement (Service Universitaire de la Pédagogie UBS)

Cliquer sur ce lien pour télécharger la fiche récapitulative « Évaluation et IAGs » au format pdf