Innovation Pédagogique et transition

Comment développer l'utilisation de grilles critériées (Rubrics) dans les apprentissages ?

André Guyomar, Camilla Karnfelt, Philippe Picouët — 2015-06-30T11:33:10Z

Contrairement aux évaluations sommatives qui mesurent la performance de l'apprenant, les évaluations critériées sont centrées sur le processus d'apprentissage et son amélioration. La conception de telles grilles critériées reste néanmoins complexe. Nous proposons dans cet article un début de taxonomie de grilles critériées visant à aider les enseignants dans l'appropriation de ces outils.

I. CONTEXTE ET PROBLEMATIQUE

La prochaine réforme de la formation à Télécom Bretagne vise à renforcer l'Approche par Compétences (APC) basée sur une pédagogie intégrant situations problèmes en relation avec la réalité professionnelle et évaluations formatives. Cette pédagogie intégrative vise à développer les capacités de transfert et de mobilisation des savoirs et des savoir-faire des apprenants dans des situations nouvelles et complexes (Strebelle, Depover, Noël, n.d).

Pour atteindre ces objectifs, les évaluations dites « diagnostiques ou
prédictives » et « certificatives » ne suffisent pas (Hadji, 1992). Elles permettent d'estimer le niveau global de l'apprenant sous forme de notes ou d'appréciations sommatives, ou d'apporter des critères d'évaluation pour la délivrance d'une certification. Pour autant, elles n'offrent pas de repères formatifs riches pour l'apprenant (Perrenoud, 2001 ; Jonnaert, 2011). Seules les évaluations formatives critériées, en décomposant les étapes importantes de l'apprentissage (en critères et niveaux), peuvent donner une image fiable de la progression de l'apprenant et des points qu'il doit améliorer (Perrenoud, 2001).

L'usage de grilles critériées (illustrée dans le tableau 1) permet une évaluation
objective dans le cas de corrections à grande échelle par différents enseignants. Au delà, elles permettent de clarifier les attendus des enseignants et peuvent servir de support à une évaluation qualitative et potentiellement rapide à déployer : en ce sens les grilles critériées constituent un outil intéressant pour développer la motivation des étudiants et développer chez eux une démarche réflexive.

Certes le processus d'évaluation des apprentissages a déjà fait l'objet d'études
(Pellegrino, Chudowsky et Glaser, 2001). Mais la démarche proposée nécessite une réflexion poussée de la part d'équipes pédagogiques qui ne sont pas toujours prêtes à un tel investissement. Si le sens, l'utilité et la valeur ajoutée des grilles critériées est facilement démontrable, il manque encore, pour en faire une innovation acceptable au sens de Mallein et Toussaint (1994), à améliorer son utilisabilité, c'est à dire la simplicité de mise en œuvre par les enseignants.

Depuis 3 ans, plusieurs équipes d'enseignants au sein de notre école,
sensibilisées à l'alignement pédagogique, ont mené des expérimentations
pédagogiques. Soucieuses de proposer des moyens d'évaluation utiles aux étudiants, ces équipes ont produit différentes grilles critériées, dont cet article tire aujourd'hui quelques enseignements.
La prochaine section propose une taxonomie simple et sans doute incomplète de grille critériées, mais elle sert de base à un nécessaire travail d'agrégation des critères (abordé en section III). Nous concluons cet article en donnant quelques perspectives à ce travail.

II. LES EXPERIMENTATIONS A TELECOM BRETAGNE

L'analyse des grilles créées depuis 3 ans nous a permis de faire émerger au moins quatre façons de graduer des grilles critériées.

Une graduation quantifiée (Tableau 2) est une manière simple de construire
une grille critériée : la production de l'étudiant est évaluée de manière quantitative sous la forme d'un pourcentage de problèmes correctement résolus. Simple à utiliser pour un enseignant lors d'une correction d'examen, elle peut pénaliser un étudiant qui, en situation de temps limité, aurait privilégié les problèmes complexes aux problèmes simples. Outre qu'elle n'est pas plus exploitable qu'une note, elle nécessite aussi, pour être utilisée en auto-évaluation, de fournir à l'étudiant le moyen d'évaluer sa réponse, ce qu'un simple corrigé ne permet pas toujours.

Une graduation par processus cognitif (connaître, comprendre, appliquer, analyser, etc.) présente l'avantage de s'appuyer sur une terminologie connue (Bloom, 1969) et fréquemment utilisée pour exprimer les objectifs d'apprentissage.

Une graduation sur la complexité d'une situation d'apprentissage vise à évaluer la capacité des étudiants à traiter une situation complexe plutôt qu'une situation simple.
L'idée sous-jacente à ce type de graduation est généralement qu'une situation complexe exigera de bien mieux maîtriser certains aspects formels qu'une situation simple qui pourrait quasiment se traiter intuitivement.

Une graduation incitant à la réflexivité (Tableau 3) vise à développer la capacité de l'apprenant à expliquer sa démarche ou justifier sa production. Pour ce faire, on introduit dans les graduations du critère, la possibilité que l'apprenant ne se préoccupe pas uniquement de fournir la bonne réponse à une question mais plutôt à l'argumentation venant en appui de sa réponse.

III. LA GRILLE CRITERIEE, ELEMENT CENTRAL MAIS PARTIEL D'UN DISPOSITIF D'APPRENTISSAGE

La mise en œuvre effective des grilles critériées exige de trouver le bon
équilibre en termes de volumétrie et de généricité. Il est souvent indispensable de limiter le nombre de critères (volumétrie) pour éviter la lassitude de l'évaluation (tant pour l'évaluateur que pour l'évalué). Il est également intéressant que la grille critériée garde un certain niveau de généricité pour ne pas être trop dépendante de la situation d'apprentissage.
Nous abordons successivement ces deux aspects à travers deux exemples.

III-1 La nécessaire agrégation des critères

L'agrégation de critères se fait généralement en jouant simultanément sur le critère et sur la graduation. Dans l'exemple du Tableau 4, nous avons agrégé des critères tous gradués de manière quantitative (plus ou moins de régularité dans l'utilisation d'une bonne pratique). Au final, le critère agrégé applique la quantification sur le nombre de bonnes pratiques utilisées, la régularité devenant une contrainte de l'évaluation.

Les façons d'agréger les critères sont multiples. Dans le Tableau 1, on a agrégé
un critère de type "complexité [...]" (entre D et C), de type "processus cognitif" (entre C et B), et de type "quantifié" (entre B et A). Cette diversité, qui l'on peut considérer à juste titre comme une richesse du modèle, est aussi une source de difficultés pour faire émerger des bonnes pratiques.

III.2 La grille critériée au cœur d'un dispositif de classe inversée

Dans cette section, nous détaillons un dispositif particulier (à l'occasion d'un enseignement dédié aux amplificateurs) afin d'illustrer le lien entre celui-ci et la grille critériée utilisée.
Outre la vérification des acquis d'apprentissage, ce dispositif a plusieurs objectifs : offrir une auto-évaluation accessible à tout instant avant l'examen final, confirmer le caractère évaluable des objectifs d'apprentissage, rendre la tâche de correction plus objective entre évaluateurs et, enfin, vérifier l'alignement et la cohérence entre les objectifs d'apprentissage, les activités d'apprentissage et les épreuves d'évaluations finales.
Le module est prévu sur neuf heures, selon une modalité de classe inversée, et
implique trois enseignants pour une cinquantaine d'apprenants. Des séances de découvertes sont suivies de cours centrés sur les questions posées par les élèves.
Un bureau d'études finalise l'apprentissage. Les groupes d'élèves doivent produire deux rapports qui sont évalués par les enseignants suivant le principe des évaluateurs multiples.
Dans cet enseignement technique, la grille a été construite pour permettre
aux étudiants d'assimiler les sept étapes successives d'un processus (adaptation d'un transistor à un amplificateur). Un seul des sept critères définis est présenté ici.
Cette grille, comme les précédentes, est également le résultat d'agrégations diverses.

Cette grille a servi de point d'entrée pour construire sur Moodle des « leçons à
ouverture conditionnelles » incluant des QCM de niveaux C, B, A sur les sept critères. Cette modalité d'accès à l'information, via Internet et à toute heure, permet également aux apprenants de s'autoévaluer. Le challenge est de valider d'abord le niveau C (80 % de réponses correctes) pour ensuite accéder à la leçon du niveau B, puis (si 80% de réponses correctes sur B) au niveau A.

III.3 Bilan du nouveau dispositif pédagogique

Utilisée en phase de conception d'activités, la grille a permis d'objectiver la correction des rapports par les différents évaluateurs (évaluation de deux rapports d'activités livrés par les dix groupes d'apprenants). La note rendue était formative et détaillée suivant les lettres des niveaux évitant ainsi les recours et les demandes de précisions de la part des apprenants. La mise en œuvre de cette stratégie d'évaluation a permis de faire progresser fortement les compétences attendues des apprenants.
D'une moyenne de 6/20 avant les modifications, les apprenants sont
passés en deux années de 7/20 à 13/20 (moyenne de la promotion).

La première année a permis d'identifier les causes des mauvais résultats et les lacunes non identifiées dans les prérequis des apprenants. Après corrections des critères, les résultats se sont subitement améliorés la deuxième année.
Alors que le dispositif (classe inversée + grilles + QCM) forme un ensemble
cohérent du point de vue des enseignants, les apprenants réagissent essentiellement sur le volet "classe inversée". La nouvelle approche d'évaluation est globalement plébiscitée. L'incitation à travailler pour les apprenants est plus productive.
Enfin, parmi les trois enseignants concernés par cette démarche, l'un d'entre eux, plutôt réservé au début de l'expérimentation, en est aujourd'hui un ardent supporter.
Les présentations de la démarche effectuées devant l'ensemble des enseignants-chercheurs des départements concernés ont permis de partager l'intérêt des grilles critériées. Cette démarche a également permis de remettre du « collectif » dans l'équipe pédagogique qui avait tendance à s'individualiser.

IV. CONCLUSION ET PERSPECTIVES

Le modèle des grilles critériées, particulièrement intéressant pour concevoir une évaluation utile aux étudiants et homogène entre correcteurs, présente en contrepartie, du fait de sa généricité, une complexité qui rend sa diffusion difficile.

Les expériences menées à Telecom Bretagne ont permis d'identifier quatre types de grilles critériées. A défaut d'être finalisée, nous pensons que cette amorce de taxonomie est susceptible d'aider les équipes pédagogiques à exprimer plus clairement ce qu'elles souhaitent évaluer.

Néanmoins, le passage à une grille utilisable au sein d'un dispositif
pédagogique complet nécessite d'autres étapes, telles que, la réduction du nombre de critères et l'adaptation entre grilles et dispositif pédagogique. En particulier, l'appropriation des grilles d'évaluation par les étudiants est loin d'être immédiate et nécessite de les accompagner.

L'expérimentation des grilles critériées au sein de notre établissement doit être
généralisée au cours des prochaines années. Notre attention est actuellement focalisée sur la capitalisation des bonnes pratiques et l'organisation des retours d'expérience afin d'éviter que la généricité de l'outil ne génère du découragement.
**********************************************************************

REFERENCES

Bloom, B. (1969), Taxonomie des objectifs pédagogiques, Traduit par M. Lavallée,
Education Nouvelle, Montréal
Hadji, C. (1992), L'évaluation des actions éducatives, Paris, PUF
Jonnaert, Ph. (2011), Sur quels objets évaluer les compétences ?, Education et Formation
Mallein, P et Toussaint. Y. (1994), L'intégration sociale des TICE : une sociologie
des usages, Technologies de l'information et société.
Pellegrino, J.W., Chudowsky, N., et Glaser, R. (2001). Knowing what students
know : The science and design of educational assessment. Washington, DC :
National Academy Press.
Perrenoud, P. (2001), Les trois fonctions de l'évaluation dans une scolarité organisée
par cycle, Université de Genève, Suisse.
Strebelle, A., Depover, C. et Noël, B. (n.d) Favoriser l'acquisition et le transfert de
compétences à l'école, Université de Mons, Belgique.
Viau, R. (2009), La motivation en contexte scolaire. Bruxelles : De Boeck.

L'alignement pédagogique : objectifs - activités d'apprentissage - évaluations

Alain Péden, André Guyomar, Camilla Karnfelt, Daniel Bourreau — 2014-01-07T08:51:32Z

Permettre aux élèves d'identifier leurs lacunes lors d'une situation-problème afin d'adapter le cours conçu suivant le principe de l'alignement objectifs-activités d'apprentissage-évaluations.

Traitant de notions situées au niveau de la couche physique des systèmes de communication sans fils, ce module présente les concepts et introduit les technologies nécessaires à l'ingénierie des antennes et de leurs principaux dispositifs radiofréquences associés, en privilégiant les bandes de fréquence UHF. Antérieurement, cette partie était enseignée en format traditionnel : deux cours magistraux suivis par des Travaux Pratiques et un Bureau d'Études.

Mais le schéma classique utilisé - apport de connaissances, mise en application, évaluation - entraîne une démarche déductive pouvant induire une certaine passivité de l'élève. A partir de ce constat, les enseignants se sont posé des questions afin de rendre les élèves plus actifs dans leurs apprentissages, cette question sous-tendant la motivation et l'adhésion des élèves dans ce cours.

La réponse apportée

Afin de motiver les élèves et de leur permettre d'identifier les besoins d'apports théoriques dans ce domaine, les enseignants ont conçu un scénario de cours débutant par une situation-problème afin que les élèves recherchent des informations et qu'ils puissent mieux identifier les connaissances théoriques qui leur manquent. Le cours magistral, adapté suivant ces attentes et les lacunes détectées, vient ensuite. Un Bureau d'Études termine la séquence et permet la mise en œuvre et la mobilisation des savoirs et des savoir-faire dans une situation proche de la réalité de l'entreprise.

Le scénario du cours a été retravaillé afin de répondre à une cohérence pédagogique, aussi appelée « alignement pédagogique ». Cette méthode permet d'atteindre et de mesurer les acquis d'apprentissage suivant un mode d'évaluation avec des critères, précis et clairs pour chaque sous-objectif, reflétant, sur quatre niveaux, l'atteinte des objectifs.

Présentation de Camilla Karnfelt le 13 juin 2013

Le scénario pédagogique

1) Deux séances consacrées à la résolution des situations-problèmes (2x1h30)

Les élèves sont répartis en groupes de cinq afin de réfléchir à la situation-problème qui leur est soumise. Ils disposent, sur la plateforme Moodle, de ressources (supports de cours) et d'activités (QCM, forums…) leur permettant de vérifier leurs pré-requis et de mener leur réflexion. Un tuteur accompagne trois groupes, soit 15 élèves, dans une même salle de classe.

Les livrables attendus à la fin de ces séances

A l'issue de ces séances, appelées aussi « PC découverte », chaque groupe établit une liste de questions sur la théorie et les connaissances nécessaires à la réalisation du projet. Ce sont ces questions, déposées sous forme de « devoir » sur la plateforme, qui détermineront les contenus théoriques à aborder ou à approfondir dans le cours magistral.

2) Deux cours classiques en présentiel (2x1h30)

Si aucune question n'est posée à l'issue des PC découverte, les cours théoriques ne sont pas donnés. Sinon, ils reprennent les questionnements identifiés par les élèves lors des séances de « PC découverte », et apportent les connaissances théoriques ou les approfondissements nécessaires.

Les livrables attendus 3 jours après le cours présentiel

Trois jours ouvrables après les cours théoriques, les groupes d'élèves doivent rédiger une réponse courte (2 pages) argumentée proposant une solution aux situations-problèmes posées. Ce document est déposé sur la plateforme via l'activité « devoir ».

3) Un bureau d'études (BE 3h00)

Finalement un BE est réalisé où le même problème est traité, en utilisant un outil CAO. Les élèves sont maintenant bien préparés pour comprendre le contenu du BE et l'aide apportée par l'outil CAO.

La valeur ajoutée apportée par ce scénario

Pour les élèves :

Par l'identification de leurs lacunes, les élèves sont responsabilisés dans leur apprentissage et, de ce fait, s'intéressent aux cours théoriques car ces derniers sont adaptés à leurs attentes et leurs besoins.

Ils comprennent mieux la nécessité de maîtriser certains prérequis, ces derniers se transformant d'aperçus flous en connaissances indispensables.
L'auto-évaluation tout au long du parcours, via des QCM sur la plateforme, agit en facteur de motivation en leur permettant de se situer vis-à-vis des connaissances à acquérir, ceci de manière libre, les notes obtenues dans ces auto-évaluations n'entrant pas dans la note finale.

Ils découvrent le besoin d'organiser le travail en groupe, de repartir le travail en tâches, de planifier ces tâches et de se tenir informés de leur avancement.
Ils se sentent concernés par la situation plutôt réaliste, ce qui augmente la motivation des élèves à « jouer le jeu ».

Pour les enseignants :

Par les questions de fin de séances de PC, les enseignants ont une meilleure vision des lacunes des élèves et peuvent adapter leurs enseignements.
L'élaboration d'une grille de critères sur les objectifs d'apprentissage facilite la correction des devoirs et permet une harmonisation quel que soit l'évaluateur car les critères sont solides et strictement objectifs.

Le scénario adopté, la résolution d'une situation-problème suivie d'un cours ciblé sur les attentes des élèves puis d'un bureau d'études, rend cette situation d'enseignement plus vivante et plus active.

Quelles sont les conditions de mise en œuvre ?

La préparation de ce scénario a nécessité de (re)travailler les objectifs pédagogiques du module et des séquences ainsi que les acquis d'apprentissage attendus et les grilles d'évaluation, avec tous les critères, afin de mesurer les acquis réels. Ces grilles sont communiquées aux élèves. Ils connaissent, avant le cours, les points précis sur lesquels ils seront évalués et les niveaux de performances attendus par les enseignants.

Une attention particulière a été apportée à la détermination des pré-requis et à la hiérarchisation et la rédaction des objectifs principaux et des sous-objectifs, en se basant la taxonomie de Bloom modifiée, dite aussi taxonomie de taxonomie Krathwohl-Anderson.

Les améliorations possibles

Une petit classe de liaison sera introduite l'année prochaine pour recadrer les pré-requis avant ces 9h d'apprentissage.

Les élèves de ce cursus « ingénieur par apprentissage » travaillent généralement en binômes lors de leurs sessions écoles : travailler en groupe ne leur est pas familier. Une meilleure préparation, ou entraînement, au travail de groupe serait nécessaire afin de mieux déterminer, et répartir, les rôles et synchroniser les actions de chaque membre.

Lire l'article en Pdf

Référence : A Model of Learning Objectives- Iowa State University