Les traces d’activité de MOOC, ça ressemble à ça

Un articlerepris de Blog de Mathieu Cisel, publié le 14 juin 2016, un blog sous licence CC by sa

Bonjour cher lecteur, peut-être as-tu déjà entendu parler de learning analytics et de traces d’activité. Mais en as-tu déjà vraiment vu, en vrai. Je te propose dans ce billet de regarder à quoi ressemblaient les données de Coursera (avant qu’ils arrêtent de les partager avec leurs partenaires), rapidement et sans détour, et je conclue sur quelques problématiques qui se posent quand on fais de la recherche sur ces traces d’activité.

Sur demande des établissements partenaires, la plate-forme Coursera envoie, en sus des logs bruts, un fichier SQL comprenant trente-trois tables. Chacune de ces tables porte sur un type d’activité prescrite ou de ressources pédagogiques, je vous en décrit quelques-unes, vous pouvez cliquer sur l’image ci dessous pour zoomer. La table lecture_submission_metadata comprend les informations sur l’utilisation de vidéo, la variable action permet notamment de déterminer si la vidéo en question, identifiée par la variable item_id, a été visionnée depuis la plate-forme, ou téléchargée. La table quiz_submission_metadata comprend des informations sur les exercices automatisés, dont le score obtenu raw_score, et le nombre d’essais réalisés sur le quiz, submission_number. Enfin, les tables hg_assessment_submission_metadata et assignment_submission_metadata correspondent respectivement aux informations relatives aux devoirs évalués par les pairs pour la première, et de manière automatique pour la seconde. On trouve dans chacune de ces tables le timestamp, i.e. la date et l’heure exacte à laquelle l’action a été réalisée, submission_time, ainsi que l’identifiant unique du participant, id. La table course_grades comporte les informations relatives aux notes obtenues par le participant ainsi que l’obtention éventuelle du certificat. C’est la table de données qui correspond à ce que l’on nomme de manière générale le carnet de notes, qui comporte pour chaque participant la note finale obtenue, et le plus souvent les notes activité par activité. Les tables quiz_metadata, lecture_metadata, assignment_metadata, hg_assessment_metadata comportent respectivement les informations relatives aux exercices automatisés, aux vidéos, aux devoirs, dont notamment leur date de diffusion au sein du cours.

Ces tables permettent de regrouper les ressources du cours – vidéos, quiz, devoirs – selon leur semaine de diffusion et par là même de suivre l’évolution de l’activité observable au fil des modules. Les tables relatives à l’utilisation des forums sont fournies à part et ne comportent pas d’identifiant commun permettant de croiser les données avec celles des tables relatives à l’utilisation des vidéos, des quiz, ou des devoirs.

Je parle d’analyse en module ou analyse modulaire lorsque je m’intéresse à l’évolution de l’activité observable au fil des modules du MOOC. Je parle d’analyse diachronique ou temporelle lorsque je travail sur l’évolution temporelle de l’activité du MOOC. Dans la mesure où, en général, un nouveau module est diffusé chaque semaine, certains auteurs se réfèrent parfois aux modules en utilisant le terme semaine, ce qui tend à entretenir une confusion entre analyse modulaire et analyse diachronique. Lorsque vous utilisez le terme semaine, il vaut mieux faire référence à une période de sept jours pour éviter toute confusion.

On notera que les traces d’activité fournies par les plates-formes hébergeant les MOOC ne reflètent parfois qu’une partie des activités prescrites par les équipes pédagogiques. Il arrive que certains concepteurs utilisent pour des activités centrales à la formation des outils susceptibles de remplir des fonctions que ne sauraient remplir les fonctionnalités de la plate-forme ; c’est ce que j’appelle l’externalisation du dispositif. Pour reprendre l’exemple de Monter un MOOC de A à Z, la plate-forme Ideascale a notamment été utilisée à partir de la seconde itération de la formation pour favoriser la constitution d’équipes projet pour les participants d’un même MOOC. Au cours des trois itérations, 847 participants se sont inscrits sur cet outil, et 214 idées de projets ont été proposées, suscitant un total de 1007 commentaires. Ce volume d’échanges est presque équivalent à celui des forums de discussion du même MOOC.

Le cas du MOOC Enseigner et Former Avec le Numérique est également emblématique à cet égard ; c’est sur une plate-forme Moodle et non sur FUN que les devoirs exigés étaient déposés et évalués par les pairs (Khaneboubi & Baron, 2015). Seules quelques questions portant sur le cours étaient intégrées sous forme de quiz dans la plate-forme FUN ; ces questions représentent la seule condition nécessaire à l’obtention du certificat. La participation sur Moodle aux activités prescrites n’était pas prise en compte et l’on peut donc supposer qu’un grand nombre de personnes terminent le cours du point de vue des activités prescrites sur Moodle sans pour autant répondre aux questions nécessaires à l’obtention du certificat. De célèbres MOOC comme le cours d’informatique CS50x du MIT sont organisés en grande partie en dehors d’edX, mais ce problème n’a pas été pris en compte dans les analyses transversales sur de plusieurs dizaines de MOOC comme celles réalisées par Ho et al. (2014, 2015). Dans certains cas, la plate-forme ne sert que de façade, une partie conséquente du dispositif étant hébergée sur une autre plate-forme.

Voilà, vous mourrez un peu moins idiots ce soir… vous savez à quoi ressemblent des traces, et vous avez une petite idée des problèmes qui se posent à l’analyste …. J’espère que ça vous parler même si ça peut sembler un peu technique tout ça.