Génération de QCM personnalisés pour une évaluation équitable dans un cadre de communication non contrôlée entre les personnes évaluées

mbeig — 2020-08-13T09:57:00Z

Introduction

L'évaluation à distance d'un groupe d'étudiants peut-être faite selon différents modes. Un inventaire large des modes d'évaluation a été réalisé par l'IDIP [1] avec une grille d'analyse. Parmi eux, l'évaluation qui y est intitulée « Questions-Réponses » recouvre l'activité communément connue sous le nom de « questionnaire à choix multiples (QCM) » [2] Dans leur grille d'analyse, les risques de fraude pour cette évaluation sont soit une usurpation d'identité, soit un échange d'informations. Dans cet article, je présente l'approche et l'outil que j'ai développés et utilisés pour répondre au risque d'échange d'informations. L'idée générale consiste à personnaliser les propositions de réponses pour chaque question (et pas seulement l'ordre des réponses à une question), de plus l'ordre des questions est choisi aléatoirement, ainsi chaque étudiant voit un QCM unique. L'outil est très fortement lié à l'activité « Test » de Moodle, la plateforme d'apprentissage en ligne [3]. Dans la suite j'appelerai Multiple Questionnaire à Choix Multiple (MQCM), l'entité qui est susceptible de générer un très grand nombre de QCM.

Motivation

La fraude aux examens n'est pas nouvelle et a fait l'objet de différentes études. Broeckelman-Post [4]rapporte que 70% des étudiants reconnaissent une certaine forme de triche malgré les chartes de bonne conduite utilisées dans les universités et autres institutions. Les QCM sont particulièrement sensibles à une triche. En effet, avec une évaluation en présentiel, une écriture un peu grosse du numéro de la bonne réponse peut être lue par les voisins d'un étudiant. Si le mélange des réponses peut pallier à cette triche, la bonne réponse peut aussi être communiquée grâce à un mot-clé ou une valeur numérique identifiant la bonne réponse. Denny et al. [5] en montrent un exemple dans leur article. Le placement à des places aléatoirement choisies au dernier moment peut éviter que des connivences soient établies à l'avance. Lors d'une évalution à distance où les étudiants peuvent communiquer à loisir avec, entre autres, différents réseaux sociaux, cette triche est bien évidemment facilitée.
Le simple mélange des réponses, qui est la seule possibilité de personnalisation dans l'activité « Test » de Moodle, ne suffit pas à rendre suffisamment difficile la fraude. Une personnalisation un peu plus poussée est proposée dans la suite logicielles AMC (auto multiple choice) [6] en mélangeant aussi les questions. On imagine que dans le cadre d'une utilisation en présentiel, qui est celle prévue par AMC, ce mélange rende suffisamment difficile la lecture à distance des réponses des voisins. Par contre en évaluation à distance, cela reste insuffisant pour un petit nombre de questions. De plus le mélange sans contraintes de toutes les questions d'un test peut être génant pour la cohérence du test. En effet, il est préférable que toutes les questions d'un même thème restent groupées.

Modèle de données

Dans ma proposition, il y a bien sûr les questions. Une question étant composée d'un libellé et de propositions de réponses. Je ne traite ici que des questions où une et une seule réponse est exacte parmi les propositions. Dans Moodle, pour une telle question on positionne la valeur de l'élément à la valeur true pour indiquer ce type de question, et Moodle présentera la liste des propositions de réponse avec des « boutons radio ».

Au dessus du niveau des questions, j'introduis la notion de « bloc de questions » ; l'idée étant de regrouper dans un même bloc des questions apparentées, typiquement les questions qui concernent un chapitre de l'enseignement. Lors du mélange des questions, toutes les questions d'un même bloc resteront ensemble bien que dans un ordre aléatoire.
Nous avons donc trois niveaux d'éléments :
– les blocs (), composés de questions ;
– les questions (), composées de réponses et d'un nombre de réponses à présenter ;
– les réponses, vraies () ou fausses ().

J'utilise aussi la notion d'exclusion () qui peut intervenir à plusieurs niveaux. Au niveau entre questions, cela permet un choix entre des questions jugées équivalentes par le rédacteur du test. Dans la pratique, je n'ai utilisé cette fonctionnalité que pour faire un choix entre des exercices dont le texte du libellé était exactement le même avec pour seule variation les valeurs numériques. Un programme qui tirait aléatoirement un (ou plusieurs) paramètre(s) a généré ces variations en gardant la cohérence avec les propositions de réponses par le calcul des valeurs des réponses par rapport à la valeur du (des) paramètre(s). Au niveau entre réponses, cela permet de contrôler le choix de réponses (vraies ou fausses) à retenir lors de la génération d'un QCM. Cet élément pourrait aussi être utilisé à un niveau au-dessus des blocs pour choisir par un tirage un bloc ou un autre…

Dans le modèle de données, une question a un nombre de réponses à présenter. Pour une questions à choix unique où le rédacteur a rédigé réponses exactes et réponses fausses, la génération choisit une réponse exacte parmi les réponses exactes, et choisit réponses fausses parmi les réponses fausses. Le choix de la réponse exacte de à faire parmi les réponses exactes. Et les choix des réponses fausses (il faut en retenir ) est à faire parmi les réponses fausses. Ainsi, le nombre de lots de réponses est de fois le nombre d'arrangements de objets parmi : Le nombre de présentations de chaque lot qui est composé de réponses est le nombre de permutations d'un ensemble à éléments, soit .

Algorithme

Le principe de fonctionnement de l'algorithme procède en plusieurs étapes, d'abord le choix d'un bloc parmi une séquence de blocs, puis le mélange des blocs retenus, le choix d'une question dans chaque de niveau question, le mélange des questions retenues à l'intérieur de chaque bloc, pour chaque question choix d'une réponse dans chaque de niveau réponse, pour chaque question choix d'une réponse vraie parmi les réponses vraies restantes, choix de réponses fausses parmi les réponses fausses restantes. Enfin, Moodle mélangera les réponses retenues.

Traitement du niveau
1. Choix d'un bloc dans chaque de niveau bloc.
Exemple :

  B1 B2   B3 B4 B5  B6 B7 B8

Exemple de résultat du choix :

 B1 B5 B6 B7 B8

2. Mélange des blocs retenus.
Exemple de résultat du mélange :

 B8 B6 B1 B5 B7

Traitement du niveau question
3. Choix d'une question dans chaque de niveau question.

Exemple de bloc :

  Q10 Q11 Q12  Q2 Q3 Q4 Q5 Q6 Q7  Q80 Q81 Q82 Q83 Q84 Q85 Q86 Q87 Q88 Q89

Exemple de résultat du choix :

 Q10 Q2 Q3 Q4 Q5 Q6 Q7 Q83

4. Mélange des questions retenues à l'intérieur de chaque bloc.
Exemple de résultat du mélange :

 Q6 Q7 Q4 Q5 Q3 Q2 Q83 Q10

Traitement du niveau réponse
5. Pour chaque question choix d'une réponse dans chaque de niveau réponse.

6. Pour chaque question choix d'une réponse vraie parmi les réponses vraies restantes, choix de réponses fausses parmi les réponses fausses restantes.

7. Moodle mélangera les réponses retenues.

Implémentation
Le fichier source est en XML. La suite logicielle est écrite en différents outils disponibles dans toute système Unix : shell sh, perl, xlstproc (processeur XSLT) et produit autant de fichier au format Moodle XML que demandé. Ces fichiers sont ensuite importés un par un dans Moodle et chacun d'eux est associé à un « Test » au sens Moodle. Ces deux dernières étapes sont manuelles, fastidieuses et sujettes à erreur : elles nécessiteraient une automatisation… ce qui à son tour nécessiterait un nouveau module dans Moodle.

Équitabilité
Pour assurer l'équitabilité, il faut lors de la création du MQCM être attentif à ce que les choix qui seront exécutés par l'algorithme soit entre des options de difficulté équivalente. Parmi les moyens disponibles pour cela, au niveau d'une réponse (exacte ou fausse), on peut utiliser une reformulation en langue naturelle équivalente. Au niveau question, on peut changer les valeurs numériques.

Illustration

L'illustration qui suit représente un MQCM sous une forme visuelle. Chaque ligne verticale représente un libellé de question () ou une réponse ( ou ), des lignes verticales noires indiquent les frontières entre blocs de questions.

Suivent selon le même principe les visualisations de 30 QCM générés à partir de ce MQCM. On peut voir que le bloc 1, plutôt violet, se déplace dans les différents QCM. Le dernier bloc, qui utilise des couleurs du vert très clair au rouge en passant par le jaune et l'orange, regroupe entre autre de nombreuses variantes numériques d'un même exercice, ce qui explique sa taille. On peut voir que selon le QCM, soit du rouge, soit du jaune orange, soit du vert clair-jaune a été sélectionné. Par contre avec cette visualisation, il n'est pas possible de voir le choix et le mélange des réponses. Conclusion Cet outil a été développé et mis en place lors d'un épisode où toute l'évaluation devait être faite à distance. Le but de personnalisation a été atteint. La communication entre étudiants ne peut pas être facilement/rapidement utilisée pour transmettre un numéro de bonne réponse, puisque trouver la bonne réponse commune entre deux tests nécessiterait plusieurs étapes : trouver quelle est la question équivalente, puis trouver une bonne réponse qui n'est pas nécessairement la même, ce qui amène à comprendre le fond… Les QCM personnalisés générés automatiquement à partir du MQCM sont au format XML Moodle, ce qui rend leur importation facile. Cependant cette importation et la génération d'un « Test » dans Moodle pour chaque personne évaluée ne sont pas automatiques. Pour utiliser de façon pérenne cet outil, il faudrait développer un module dans Moodle pour la gestion des MQCM.

[1] <2020-IDIP> L'éval' à distance — Transposer ses modalités d'évaluation à distance. IDIP - Université de Strasbourg. Non daté. [2] Article Wikipedia : Questionnaire à choix multiples [3] Article Wikipedia : Moodle [4] <2008-Broeckelman-Post> Faculty and Student Classroom Influences on Academic Dishonesty. M.A. Broeckelman-Post. 2008. IEEE Transactions on Education 51, 2 (May 2008), 206–211. [5] <2019-Denny> On the Fairness of Multiple-Variant Multiple-Choice Examinations. Paul Denny, Sathiamoorthy Manoharan, Ulrich Speidel, Giovanni Russello, Angela Chang. ACM SIGCSE '19, 462-468. [6] AMC — Correction automatisée de formulaires QCM

Innovation Pédagogique et transition