Évaluations et IA – élargir les possibles

Depuis l’arrivée des IA génératives, la question de l’évaluation reste le nœud gordien qui souligne toutes les fragilités des institutions d’enseignement. L’IA peut, et de mieux en mieux, donner des productions convaincantes, qui répondent aux exigences, et l’IA peut également corriger de mieux en mieux les copies. Alors, va-t-on vers un système où les IA des étudiants produiront des copies évaluées par les IA des enseignants, dans un déni total, qui peut avoir raison de l’intégrité académique ? Pas forcément, petit tour d’horizon.

Évaluer une copie, comme avant ?

Pour ceux qui voudraient ne rien changer, la mauvaise nouvelle est que les outils de plagiats peinent à reconnaître des devoirs générés par IA, et ne le pourront sans doute jamais. L’approche techno-solutionniste ne fonctionne pas ici. Et pour pleins de raisons, particulièrement si la demande est trop forte, nos étudiants utilisent et continueront à utiliser ces IA génératives. Du coup, il est tentant de baisser les bras sur tous les devoirs ou autres projets donnés à la maison, constatant que la majorité des étudiants « trichent ».

Cette attitude découvre toutefois deux écueils : le premier est que cela vaut la peine de définir ce qu’est tricher, et le deuxième est que l’on diminue ainsi les activités pour apprendre, et les retours faits aux étudiants pour se positionner.

Les devoirs à la maison devraient être faits pour s’entraîner, pour acquérir les attendus d’un cours, pour se positionner par rapport aux attentes, pas pour obtenir une note. C’est ce qu’on appelle une évaluation formative, et donc une occasion donnée à l’étudiant d’apprendre. En cours d’apprentissage, il est normal, voire souhaitable de se faire aider. Cela peut passer par l’aide d’un pair, d’un parent. Cela peut être un travail qui a été fait à plusieurs pour mieux échanger. Est ce que c’est de la triche ? Et si l’aide vient d’une recherche sur Internet, est ce de la triche ? Pourquoi voudrait-on que l’étudiant fasse son travail tout seul, sans aide ? Parce que c’est ce qui se passera à l’examen ? Alors, ce n’est plus un apprentissage, mais un entraînement à l’examen … Donc, de mon point de vue, utiliser les IAg pour réviser, s’entraîner n’est pas forcément tricher. Par contre, il faut être clair que le copié-collé n’est pas un apprentissage, et que c’est à eux de s’organiser pour apprendre, sans IAg, ou avec des pratiques de l’IAg pertinentes. Je reviens sur la question de l’examen plus loin.

Sur la question des retours, des feed-backs, c’est également un des éléments requestionnés par l’IAg. Deux pistes sont possibles.

D’un coté, pour limiter les réalisations à la maison, le modèle des classes inversées qui privilégie la réalisation des activités pendant le temps de la classe, plutôt qu’à la maison, est une excellente piste pour limiter le recours à des pratiques nuisibles aux apprentissages, et ce sans recours à l’IAg.

De l’autre coté, l’IAg est par contre un moyen potentiel pour multiplier les occasions de feedback en permettant soit d’apporter des réponses aux questions au travers de chatbots (qui peuvent être spécialisés pour accompagner les apprentissages), soit de faire des corrections rapides avec plus d’informations qu’une simple note (par exemple en analysant un travail, même manuscrit).

On le voit donc au travers de cette question : un usage non contrôlé de l’IAg remet en question des pratiques établies, mais qui méritent d’être requestionnées ; des réponses pédagogiques peuvent résoudre une partie des problèmes, et a contrario, un usage pertinent des IAg peut offrir des opportunités.

Reposer la question des formes d’évaluation d’un point de vue pédagogiques

Hervé Barras porte cette exigence de quête de cohérence dans un contexte où l’IA est présente, et au travers de recherche action vise à conserver le développement du travail intellectuel des étudiants. Mais surtout Jeff van der Poël propose une démarche structurée au travers d’un outil de positionnement réflexif, prax-IA, qui permet à chaque enseignant de se positionner face à l’IA et d’envisager une évaluation qui correspond à son besoin. Basé sur une revue de littérature complète, Prax-IA est pragmatique, en proposant des pistes concrètes et des outils pour aller plus loin, que ce soit pour l’évaluation formative, ou l’examen (évaluation certificative).

L’IAg, une aide pour évaluer

En parallèle, les praticiens de l’IA et les chercheurs, cherchent des pistes pour s’aider de l’IAg pour évaluer les étudiants.

La pratique de scanner les copies écrites à la main et de les corriger à la main, est d’ores et déjà possible. Coté praticiens, Yann Houry propose une manière pertinente pour le faire en local sur sa machine, et le présente comme une aide complémentaire proposée à ses élèves. Craig Zilles propose une analyse plus systématique pour des copies de math. D’autres le font sans le dire trop haut, mais j’ai eu plusieurs discussions qui reportaient de telles pratiques (y compris en philosophie). Les premières solutions commerciales existent également, comme Examino (que je n’ai pas testé) pour des tarifs très raisonnables.

Fait nouveau, qui démontre l’évolution rapide de nos sociétés face à l’IAg, il semble que collectivement les enseignants, voire les institutions sont prêtes à faire le pas. Il faudra s’assurer que l’équité et la transparence seront assurées.

Mais comme dit dans la première partie, si les étudiants ont accès à l’IA, le risque du copié-collé (fut-il à la main) existe toujours. Et même en salle, des tentatives de fraude en utilisant sa calculatrice (il suffit d’un tuto), son smartphone (photo du sujet vers l’IA, et retour oral, ou écrit) ou même des lunette connectées, ont été relevées.

Alors d’autres vont plus loin, pour proposer des solutions qui étaient réputées trop compliquées pour passer à l’échelle : proposer un oral évalué par l’IA, une simulation où l’étudiant se trouve face à un avatar qui joue un rôle (comme par exemple un malade face à un étudiant en médecine pour proposer un diagnostic). Des évaluations plus authentiques, et réputées trop complexes à mettre en œuvre face à des grandes cohortes.

Pour pouvoir proposer de tels examens à de grandes cohortes, il faudra prévoir des salles dédiées, cela me renvoie vers un billet d’il y a quelques années « Chaque université devrait avoir une salle d’examen numérique », où je présentais une expérimentation qui proposait des modalités intéressantes au sens où les étudiants pouvaient du coup choisir leur créneau de passage. Solution qu’il faudrait revisiter, mais que je remet ici pour proposer d’autres pistes.

Autre solution si l’IAg est acceptée dans le travail d’apprentissage, c’est de demander de documenter le processus qui a conduit au résultat. C’est déjà expérimenté dans nombre de formations, la question ici sera également de passer à l’échelle.

Sur cette réinvention pour l’instant discrète, je vous renvoie au billet de Philippa Hardmann, qui propose une quatrième piste de suivi continu des apprentissages en situation de travail (qui me semble délicat dans un contexte de travail tendu).

En guise de conclusion

La démocratisation de l’IAg a clairement déstabilisé une des activités clés de l’enseignement supérieur. Deux démarches complémentaires permettent d’apporter une réponse :

• D’une part de reposer sereinement les pratiques pédagogiques pour proposer des cadres qui soient résistants à cette déstabilisation ;
• D’autre part d’examiner les nouvelles opportunités qu’apportent l’IAg, pour autant que des garanties d’équité, de transparence, d’intégration pédagogiques puissent être apportées

Plusieurs points d’attention sont à considérer :

• Dans tous les cas, l’évaluation doit basculer vers plus d’authenticité, et déplacer le focus du produit réalisé vers le processus ou le comportement qui a permis cette réalisation ;
• D’autre part que les utilisations de ces outils soient rendues plus transparentes tant du coté étudiant que du coté enseignant, pour sortir d’un déni ;
• Finalement, de réfléchir ensemble sur les compétences que nos étudiants doivent développer pour trouver leur place. Le futur étant incertain, la seule certitude est que nous sommes dans un système de poly-crise. Il faudra donc apprendre à apprendre tout au long de sa vie sans, avec ou malgré l’IA, et donc prendre du recul.