MOOCs, quels indicateurs de réussite ?

Damien AUBERT — 2015-01-04T09:25:00Z

Cet article traite des indicateurs de réussite d'un MOOC, à la lumière de l'expérience acquise dans ce domaine par l'Université de Nantes.

Dessin de Frédéric Duriez

Qu'est-ce qu'un MOOC ?

Commençons par définir ce qu'est un MOOC. Il s'agit de l'acronyme de Massive Open Online Course. Nous sommes donc en présence d'un cours

scénarisé, c'est-à-dire conçu et planifié en vue de l'apprentissage des participants,
librement accessible en ligne : gratuit et sans vérifications des prérequis,
et visant plusieurs milliers de participants.

Initialement théorisé par des chercheurs canadiens, ils ont été popularisés par ce que les universités américaines en ont fait par la suite.

Les MOOCs sont devenus rapidement des objets hybrides : des objets de communication visant à valoriser et faire connaître les enseignements et recherches d'un établissement, des objets de recrutement d'étudiants méritants et, bien sûr, des objets pédagogiques.

L'Université de Nantes a saisi l'opportunité que représentait FUN* pour se lancer à son tour dans la production et la diffusion de MOOCs. Adoptant une démarche exploratoire, les objectifs étaient de déterminer les coûts de production, en vue d'une éventuelle industrialisation, et d'étudier l'impact de MOOCs aux cibles et aux thèmes diversifiés.

Jusqu'à ce jour, 4 MOOCs ont été produits :

@ddict ? : un MOOC collaboratif visant, dans une perspective de recherche-action, à créer une communauté d'intérêt autour de l'addiction au numérique ;
ExplorUnivers : un MOOC sur le thème de l'astronomie/astrophysique ;
Ouvrez les portes du laboratoire : un MOOC de biologie cellulaire ;
Paroles de FLE : un MOOC de Français Langue Étrangère.

Tous ces MOOCs étaient ou sont ouverts au grand public, certains s'appuient sur des vidéos de courtes durées, d'autres proposent des activités pédagogiques nécessitant une participation active, un autre encore proposait des séminaires/webinaires hebdomadaires. Bref, ils ont tous adopté des formats et des modalités pédagogiques relativement variés.

Trois de ces MOOCs sont maintenant terminés et la question d'en faire un bilan s'est inévitablement posée.

L'objectif initial, qui était de déterminer les coûts de production et d'animation d'un MOOC, a été atteint.

Quels indicateurs choisir pour évaluer la réussite d'un MOOC ?

Sur le plan pédagogique, nous avions à notre disposition de nombreux indicateurs, parmi lesquels les audiences des vidéos, les statistiques d'activité des forums, le nombre d'attestation de suivi avec succès* délivrées par FUN, etc.

Si nous avions eu à juger de la réussite d'une formation à distance classique, c'est-à-dire payante et certifiante, il aurait été simple de répondre en se basant, entre autre, sur la proportion d'étudiants sortant de la formation avec un diplôme ou sur l'insertion professionnelle des étudiants. Mais un MOOC est très différent d'une formation à distance classique et certains de ces critères ne sont plus forcément très pertinent.

Pourquoi ? Parce que la gratuité et le caractère non certifiant de la plupart des MOOCs modèrent l'engagement des participants dans leur formation et sous-tendent des consommations des MOOCs qui diffèrent.

Matthieu Cisel (notre spécialiste national en MOOC) distingue ainsi quatre groupes distincts parmi les participants :

les “no show”, ceux qui s'inscrivent mais qui ne suivront pas le MOOC ;
les auditeurs libres, qui ne feront que visionner les vidéos ou lire les textes proposés ;
les participants passifs, qui en plus de consulter les contenus du MOOC feront les activités d'évaluation ;
les participants actifs, qui en plus des précédents participeront aux forums mis à leur disposition.

Les traces laissées par ces différents groupes sur un MOOC vont être très différentes : les “no show” ne laisseront de traces qu'au niveau des inscriptions, les auditeurs libres laisseront en plus des traces au niveau des audiences de vidéo, les participants passifs apparaîtront en sus dans les résultats des quiz et dans la délivrance des attestations et les participants actifs dans les forums.

Les indicateurs retenus à l'Université de Nantes

Faute d'avoir les outils et les compétences pour traiter et interpréter les traces laissées par les participants de nos MOOCs, nous avons donc retenu des indicateurs simples qui puissent être comparés avec d'autres MOOCs produits sur FUN :

le nombre de participants inscrits (6100 inscrits par MOOCs en moyenne sur FUN),
le taux d'engagement, c'est-à-dire le rapport entre le nombre de participants présents au commencement du MOOC et le nombre de participants finissant le MOOC (le taux moyen généralement constaté est de 10%).

Nous n'avons pas évalué les retombées des MOOCs en terme de notoriété (nous en avons cependant eu un aperçu avant et pendant les MOOCs en recensant les articles de presse) et de recrutement d'étudiants.

En conclusion

Si la nature hybride des MOOCs rend difficile l'analyse de leur impact, elle leur permet néanmoins de diffuser auprès du plus grand nombre la culture scientifique et technique à laquelle l'Université contribue. De nombreux participants nous remercient de leur proposer gracieusement des savoirs qui leur permettent de mieux comprendre le monde qui les entoure.

Pour aller plus loin

le point de vue d'un “MOOCeur” (participant à un MOOC) : Frédéric Duriez, « Les facteurs de réussite d'un Mooc – une contribution » [En ligne], mis en ligne le 12 janvier 2014, consulté le 03 décembre 2015
le point de vue d'un chercheur : Matthieu Cisel
- « MOOC : les conditions de la réussite », Distances et médiations des savoirs [En ligne], 8 | 2014, mis en ligne le 17 décembre 2014, consulté le 03 décembre 2015. URL : http://dms.revues.org/877
- « Retour sur les fameux “faible taux de complétion des MOOC” » [En ligne], mis en ligne le 02 novembre 2015, consulté le 03 décembre 2015
pour en savoir plus sur les MOOCs : Thierry Karsenti, MOOC Révolution ou simple effet de mode ?, Revue Internationale des Technologies en Pédagogie Universitaire [En ligne], 10-2 | 2013, consulté le 03 décembre 2015. URL : http://mooc.crifpe.ca/files/RITPU_VOL10_NO2_MOOCvf.pdf

* FUN : France Université Numérique, nom donné à l'équipe et à plate-forme de formation mises à disposition par le ministère pour promouvoir l'usage des MOOCs.