Analyse de traces d’interaction et reconceptualisation des indicateurs de performance de MOOC : une revue de littérature

Matthieu Cisel, « Analyse de traces d’interaction et reconceptualisation des indicateurs de performance de MOOC : une revue de littérature », Distances et médiations des savoirs [En ligne], 49 | 2025, mis en ligne le 21 mars 2025, consulté le 24 mars 2025. URL : http://journals.openedition.org/dms/10952

Introduction

De la place des indicateurs de succès dans l’univers de MOOC

1Les rapports publiés par l’OCDE sur les évaluations PISA ont familiarisé le grand public à la question de la performance des systèmes éducatifs (Rémond, 2006). Les évaluations des élèves sont réalisées à l’aune d’épreuves standardisées à différents niveaux du système scolaire, dès son entrée et jusqu’à l’âge de 15 ans. Elles couvrent les principales disciplines enseignées à l’école primaire (mathématiques, tâches de lecture, etc.). Les tenants et les aboutissants de la place que les indicateurs prennent désormais dans le pilotage des systèmes éducatifs sont traités dans des ouvrages dédiés, comme l’École à l’épreuve de la performance (Maroy, 2013). De Landsheere (1992, p. 478) propose une définition d’indicateur directement liée au pilotage des systèmes éducatifs, et se situe donc au plus près de nos objets d’étude :

Mesure destinée à servir le pilotage, un indicateur est une statistique directe et valide informant sur l’état et les changements d’ampleur et de nature, au cours du temps, d’un phénomène sociétal jugé important. En éducation, cette mesure informe notamment sur la santé et la qualité du fonctionnement du système.

Du point de vue de la mesure de la performance des systèmes éducatifs dans la salle de classe, des politiques ont étédéployées, des champs de recherche se sont structurés et les débats se sont étoffés au fil des ans. La performance de ces systèmes éducatifs sur Internet semble en revanche constituer une problématique bien moins investie tant par la recherche que dans les débats au sein de la sphère publique, où l’on se cantonne souvent à des statistiques simples comme le nombre de visites, de visiteurs, ou de cours diffusés. Cette considération s’est particulièrement vérifiée au moment de l’essor des MOOC, en France et au-delà, au début des années 2010. Ce sont des cours en ligne par définition gratuits pour l’essentiel, avec quelques services payants comme la délivrance de certificats authentifiés (Daniel, 2012). Ils ne fournissent pas de diplômes, et les certificats et open badges obtenus en fin de formation ont une valeur contestée sur le marché de l’emploi (Radford et al., 2014).

3Cet essor s’est accompagné d’une mobilisation importante mais discutable d’indicateurs, dans les discours qui les entourent comme dans les recherches académiques (Cisel, 2016). En effet, des sommes considérables ont été investies dans la conception des cours, tant ces formations sont coûteuses à produire (Hollands et Thirtalli, 2014). Dans les discours faisant la promotion de leurs projets, les acteurs publics ou parapublics en charge de leur développement, comme FUN MOOC (Vrillon, 2017), mobilisent dès lors souvent des indicateurs susceptibles de légitimer les investissements, et l’on retrouve ainsi dans les médias toutes formes de communication vantant les succès de l’action publique en matière d’apprentissage en ligne :

Deux ans après sa création, la plateforme française FUN peut se targuer de résultats plus que satisfaisants : elle compte désormais plus de 530.000 apprenants issus de 120 pays. Ils se sont inscrits à un ou plusieurs des 155 MOOC proposés par 62 structures d’enseignement supérieur. [1]

Aucune référence ici aux retours sur investissements d’ordre financier dans les discours institutionnels portant sur ce projet de plateforme, ce qu’une citation d’Alain Desrosières (2013, p.31) permet d’éclairer :

À la différence des activités marchandes, les politiques publiques ne disposent pas de critères comptables tels que la part de marché ou la rentabilité, pour juger leur capacité à satisfaire les besoins des usagers, ou simplement leur efficacité.

Les pouvoirs publics appliquent pour les MOOC des indicateurs généralement mobilisés dans le champ de l’éducation formelle. En effet, lorsqu’on ne parle pas de volume (d’inscrits, de certifiés, etc.), on évoque généralement les taux de complétion comme métriques visant à mesurer la qualité des actions (Cisel, 2016). Les acteurs institutionnels se tournent ainsi vers des indicateurs familiers et faciles d’obtention. Les problèmes que soulève cette approche résident dans le choix des indicateurs mis en avant, car ils sont susceptibles d’influer sur les processus de décision, à commencer par la poursuite ou l’interruption de projets selon la performance affichée, dont l’évaluation se base sur ces métriques. Les indicateurs mobilisés dans les débats sur ces cours en ligne ont oscillé, selon les moments et les auteurs, entre le statut de référence indiscutable et celle de métriques inutiles qui n’avaient pas leur place dans une argumentation.

À un extrême, une compréhension sans doute trop superficielle de l’indicateur n’a pas manqué d’introduire de la confusion dans la réflexion collective, par exemple lorsque le succès de différents dispositifs était comparé uniquement à l’aune de leurs taux de certification. À l’autre extrême, les critiques récurrentes contre cette métrique ont probablement poussé certains acteurs académiques et institutionnels à dénoncer purement et simplement son usage, alors qu’en parallèle se développait une littérature abondante sur la question. Il convient en effet de rappeler que l’inflation de chiffres débouche parfois sur divers discours prophétiques, car la massification fait réagir : on parle de cours dépassant parfois la centaine de milliers d’inscriptions (Daniel, 2012). Cet extrait d’un article d’un spécialiste des technologies éducatives, utilisant le terme étudiant, illustre la tendance :

Udacity, l’un des trois principaux acteurs des MOOC, a accueilli 300 000 étudiants dans son cours d’introduction à l’informatique, ce qui en ferait le record actuel pour un MOOC. En tout, ce sont près de 20 millions d’étudiants de plus de 200 pays qui se sont déjà inscrits à un MOOC, et la tendance demeure exponentielle. Les MOOC marquent-ils l’aube de la démocratisation de l’enseignement universitaire ? (Karsenti, 2013, p. 6).

L’emballement qui s’est mis en place au début des années 2010 à l’échelle mondiale autour de la création de MOOC tient sans doute en grande partie à la communication de métriques faisant réagir les décideurs institutionnels, en particulier dans les établissements publics d’enseignement supérieur (Daniel, 2012). Les choix terminologiques, comme l’emploi du terme étudiant dans le dernier extrait que nous avons rapporté, ne sont pas innocents puisqu’ils induisent, improprement, une comparaison avec la taille d’une université. En d’autres termes, la mesure du phénomène et les choix terminologiques effectués lors de la communication des métriques constituèrent sans doute l’un des principaux moteurs de l’essor que prirent ces dispositifs dans le débat public. Ils transformèrent la dynamique qui se créait autour des MOOC et engendrèrent tôt une multiplicité de discours tantôt alarmistes tantôt laudateurs (Baggaley, 2013), notamment du fait de la mobilisation, fallacieuse à bien des égards, d’indicateurs traditionnels. Nous utiliserons ce dernier terme pour désigner l’ensemble constitué par le nombre d’inscrits, de certifiés, et par le taux de certification. Les prédictions fondées sur ces métriques résistèrent mal à l’épreuve du temps, que l’on se place du point de vue de la démocratisation de l’enseignement supérieur ou de celui de la transformation radicale des systèmes éducatifs (Acquatella, Fernandez et Houy, 2022).

La mobilisation fréquente des indicateurs dans les discours des promoteurs ou des détracteurs des MOOC, ainsi que le poids qu’ils ont eu dans de multiples processus de décision, constituent une invitation à mener des analyses critiques des métriques mobilisées dans les discours sur le succès de ces dispositif. Par ailleurs, l’existence de traces d’interaction (Cherigny et al., 2020) collectées par les plateformes d’hébergement offre de multiples opportunités en termes de création d’indicateurs alternatifs (Daniel, 2012). Entre autres enjeux, l’agentivité dont disposent les apprenants (Moore et Blackmon, 2022) impose en effet de repenser les métriques mobilisées dans les tableaux de bord à destination des administrateurs, des formateurs responsables de l’animation d’un cours. Ces différentes considérations nous ont amené à formuler deux questions :

Dans quelle mesure les analyses de traces d’interaction peuvent-elles nous permettre d’éclairer les indicateurs traditionnellement mobilisés pour décrire le succès d’un MOOC, avec en priorité le nombre d’inscriptions, de certifiés, et les taux de complétion ? Quelles métriques alternatives peut-on proposer sur la base de ces analyses ?

Plus de dix ans après l’essor des MOOC, nous nous proposons de réaliser une revue de littérature focalisée sur les articles décrivant les comportements observables d’apprenants, sur la base d’approches méthodologiques relevant principalement de l’informatique. Si le présent travail se cantonne à ces cours en ligne, il peut être pertinent plus largement dans le cadre de travaux sur l’apprentissage sur Internet, voire pour tout dispositif de formation produisant des traces d’interaction. Les revues de littérature consacrées aux MOOC, relativement généralistes vers le milieu des années 2010 (Ebben et Murphy, 2014) se sont spécialisées au fil des ans pour traiter, notamment, des approches méthodologiques suivies dans les recherches (Raffaghelli et al., 2015 ; Zhu et al., 2018 ; Zhu et al., 2020) et plus récemment des indicateurs de performance (Huang et al., 2023 ; Li et al., 2022 ; Ogunyemi et al., 2022). Notre travail est davantage centré sur les analyses permettant soit d’apporter un regard critique sur les métriques existantes, soit de suggérer des métriques alternatives. Pour ce faire, nous avons défini trois axes de recherche correspondant à autant d’approches méthodologiques. Précisons dès à présent que ces axes n’englobent pas de manière exhaustive l’ensemble des travaux menés sur les indicateurs au sein des MOOC. Ils prennent leurs racines dans des recherches bien antérieures à l’avènement de ces cours en ligne. Les paragraphes qui suivent visent à les définir et à les illustrer avec des écrits produits avant l’essor des MOOC.

Trois types d’approches quantitatives suivies dans les recherches consacrées aux indicateurs de MOOC

Le premier axe de recherche porte sur la meilleure caractérisation, via l’analyse de traces, de l’indicateur mobilisé pour mesurer le phénomène d’intérêt, sans nécessairement de proposition d’alternatives : nombre d’inscriptions ou de certifiés, par exemple ; les réflexions terminologiques sont incontournables à cet égard, et constituent un préalable à la mise en œuvre de techniques relevant de l’informatique. Dans le contexte d’un MOOC, l’usage de termes comme apprenants, étudiants, ou inscriptions peut prêter à confusion, et l’on peut mobiliser des approches quantitatives pour tâcher d’identifier ce qu’il recouvre. En effet, la gratuité de l’accès aux ressources représente une caractéristique saillante de ces cours. Ce frein économique disparaissant, il n’est dès lors guère surprenant qu’apparaissent des situations où plus de cent mille personnes s’inscrivent à une seule formation. Pour autant, parler de centaines de milliers d’étudiants comme a pu le faire Thierry Karsenti dans l’extrait que nous avons rapporté constitue selon nous un abus de langage qui n’est pas sans conséquence sur la perception que les décideurs ont de la portée des dispositifs.

L’emploi du terme étudiant revient à utiliser des métriques mobilisées pour décrire la taille d’une université, ce qui engendre potentiellement des confusions quant à l’audience réelle de ces cours en ligne. Il fait par ailleurs référence à la formation initiale, alors que les statistiques ont montré que les étudiants au sens strict y étaient largement minoritaires (Cisel, 2016). L’emploi du terme apprenants semble moins biaisé à cet égard, mais il constitue un parti pris critiquable. En effet, s’inscrire à un MOOC ne signifie pas que l’on y apprendra quelque chose ; les individus qui ne se connectent jamais à un cours après s’y être inscrits sont nombreux, et n’en ont donc rien tiré en termes d’apprentissage. C’est un fait connu depuis longtemps (Chuang et Ho, 2016). Dans cette littérature qui s’est développée autour des MOOC, la difficulté vient ici de l’utilisation, sans précaution, de termes de sens commun, qui à certains égards nuisent à la compréhension du phénomène. Nous pourrions faire nôtres les propos de Bullich (2021, p. 47) sur le terme « plateforme » :

Plateforme et plateformisation font partie de ces termes qui se sont imposés sans qu’une définition stabilisée et consensuelle n’ait vu le jour. Ils semblent ainsi relever de « l’allant de soi » bien que des acceptions très variées, voire antinomiques, soient perceptibles dans les discours. Du point de vue de la recherche, cette ambiguïté sémantique est à l’évidence source de confusions et de difficultés analytiques : le fait de rapporter ces dénominations à des objets très différents conduit quelquefois à agréger dans une même étude des éléments épars ou des perspectives incompatibles ; en outre, cette polysémie rend difficile sinon impossible la mise en regard des résultats obtenus.

Le titre de l’article de Bullich consacré à la définition de ces termes se termine par une citation de Bourdieu : « Le péril des mots qui occultent ce qu’ils nomment ». L’auteur revient sur les différentes acceptions du terme plateforme, d’abord dans les cercles professionnels non universitaires, puis, au sein du milieu académique, par les sciences de gestion, puis par celles de l’information et de la communication (SIC), sa discipline d’origine. Ancrant sa réflexion dans les SIC, il définit alors le terme comme suit :

Dans une recherche de dépassement de la dichotomie dispositif/acteur, une plateforme se conçoit ainsi comme un nexus d’éléments sémiotechniques (manifestés par les interfaces, les formes et formats médiatisés, etc.), de stratégies socioéconomiques (relatives à l’organisation de la production et sa valorisation sur différents marchés) et de pratiques socioculturelles (rapportées à diverses situations de communication). (Bullich, 2021, p. 47)

Nous retiendrons ici cette définition. Il en va du mot plateforme comme des autres mots mobilisés dans les indicateurs. Le terme inscription est plus neutre qu’apprenant, ou étudiant, puisqu’il est facile à définir : il s’agit, de manière prosaïque, du nombre d’individus uniques ayant appuyé sur le bouton s’inscrire au cours, au sein de la plateforme de MOOC.

Néanmoins, sans recherche dédiée, l’on peine à identifier la signification que recouvre cet acte, et, partant de là, à appréhender la signification des indicateurs qui en découlent. Si l’action est réalisée au sein d’une rafale de dix autres inscriptions faites en l’espace de quelques instants (Wintermute et al., 2021), ce n’est pas la même chose que si elle s’ancre dans un projet d’apprentissage (Cisel, 2017b) centré sur un cours unique et concentrant toute l’attention de l’individu. Les débats terminologiques doivent, à un moment donné, être complétés par des études empiriques. Partant de ce constat, un premier axe de recherche consiste à identifier ce que recouvre dans un MOOC une métrique comme le nombre d’inscriptions ou de certificats délivrés, via l’analyse de jeu de données couvrant des traces d’interaction. C’est ce que nous nommerons la reconceptualisation ou la critique d’indicateurs traditionnels.

Les autres axes de recherche correspondent à des propositions d’indicateurs alternatifs, pour mieux appréhender la manière dont se traduit l’agentivité des apprenants. Il s’agit notamment de prendre en considération le fait que les pratiques d’appropriation des plateformes relèvent dans une large mesure de ce que Plantard (2014) nomme le butinage, navigation d’une ressource à l’autre sans suivi d’une séquence pédagogique imposée par un formateur. Mesurer l’investissement dans un cours en termes de taux de complétion par exemple, conduit souvent à perdre de vue de tels phénomènes, et laisse un certain nombre de points aveugles que la recherche peut être amenée à explorer. La problématique est ici assez proche de celle des métriques alternatives, altmetrics en anglais (Haustein, 2016), qui se développe dans le champ scientifique pour servir d’alternative à des indicateurs simples comme le nombre de citations d’un article. Sur le plan méthodologique, cette démarche de conception peut suivre deux voies qui constituent ici autant de sous-sections de notre revue de littérature : la première consiste à se fonder uniquement sur des comportements observables pour construire le nouvel indicateur, c’est l’axe 2 de notre revue, tandis que la seconde implique de mobiliser des données déclaratives, afin de segmenter la population étudiée sur la base de critères dont il convient alors de légitimer la pertinence. C’est là le dernier axe que nous présenterons.

Au sein de la littérature, l’on peut trouver dans une approche comme dans l’autre un certain nombre de travaux antérieurs à l’essor des MOOC. Les travaux sur les indicateurs de performance dans la formation à distance de Shale et Gomes (1998) constituent un exemple relativement ancien de réflexion relevant du premier type de recherche. Les auteurs discutaient notamment de la prise en compte du non-start, le non démarrage, apprenants qui ne débutaient jamais la formation, afin de produire des mesures d’attrition corrigées et plus pertinente. S’agissant de la seconde approche, nous pouvons citer des travaux réalisés sur la consommation de podcasts universitaires, un exemple mobilisant un indicateur comme le nombre de téléchargements de la ressource. Se sont en effet développés au cours de cette décennie un certain nombre de recherches relatives à la popularité des podcasts au sein de la population (McClung et Johnson, 2010), et dans l’enseignement supérieur.

19Une étude a par exemple été menée au début des années 2010 dans une université australienne (Van Zanten et al., 2012). Les auteurs ont travaillé sur les usages qui se sont développés autour d’enregistrements d’un cycle de conférences, et ont comparé une variable comme le nombre de téléchargements entre différents types de podcasts. Ils contrastaient l’appropriation des médias entre étudiants internes et externes à l’établissement, mais aussi et surtout en fonction de la longueur et de la visée du podcast. Cette recherche présente la particularité de pouvoir distinguer d’une part les étudiants de l’établissement et d’autre part les internautes n’ayant pas de lien avec l’institution ; elle mesure l’attrition au fil des enregistrements de conférence – un indicateur classique, mais avec une logique de segmentation. La recherche illustre une démarche suivie dans plusieurs travaux sur les MOOC, sur lesquels nous reviendrons.

Méthodologie

À partir de portails spécialisés (ERIC, Érudit) ou via Google Scholar, 892 textes ont été initialement repérés puis archivés via Zotero sur la base des critères suivants : utilisation du mot-clé MOOC, période 2012-2024, résumé indiquant qu’une méthode quantitative a été suivie. En effet, la littérature francophone ne contient qu’un nombre très limité de recherches s’inscrivant dans les axes que nous avons définis ici. Notre étude englobe aussi bien les actes de conférence que les articles de revues scientifiques. Le choix de faire débuter notre revue en 2012 tient au fait que les travaux consacrés aux MOOC et antérieurs à cette date ne mobilisent jamais d’analyses de traces d’interaction (Cisel, 2016).

L’ensemble des productions retenues comprennent le terme MOOC, qui constitue le seul mot-clé commun à notre corpus. En effet, même lorsque la recherche porte sur des indicateurs et mobilise des traces d’interaction (Cherigny et al., 2020), les mots-clés comme indicators ou learning analytics n’apparaissent que rarement dans le titre ou le résumé. Associés à MOOC, des termes comme auditor, dropout ou completion rates conduisent à trouver des articles abordant généralement la question de l’attrition, via le taux de certification, sous l’angle quantitatif. La mobilisation du critère que constitue une analyse quantitative de traces de comportements d’apprenants a permis de réduire considérablement le périmètre de notre revue de littérature.

Les résumés des articles ont été utilisés pour déterminer si la recherche analysait sous un angle quantitatif les comportements observables des apprenants, sur la base des traces d’interaction (Cherigny et al., 2020) laissées au sein des plateformes hébergeant les cours. Lorsque ce critère était rempli, nous procédions alors à une lecture complète de l’article pour déterminer s’il appartenait à l’un des trois axes de recherche définis en introduction. La plupart des articles sélectionnés via les résumés n’appartenaient pas à ces axes, même lorsqu’ils s’appuyaient des analyses de traces. En effet, beaucoup d’articles visent à établir des liens statistiques entre un indicateur traditionnellement utilisé en formation (nombre d’inscriptions, nombre de certificats délivrés, taux de complétion) et des caractéristiques des dispositifs, comme l’illustrer la revue de (Khalil et Ebner, 2014). Ils sortent néanmoins du cadre de notre travail, puisqu’ils n’apportent pas de regard critique sur les indicateurs, au même titre que les articles portant sur la prédiction de performances individuelles au sein du cours, fondée sur les traces d’interaction (Dalipi et al., 2018).

Les travaux relevant du process mining (Van der Aalst, 2018) permettant de découvrir et de qualifier des séquences d’actions comme le visionnage de multiples vidéos à la suite (Davis et al., 2016) n’entrent pas dans le périmètre de cet article, car ils ne caractérisent pas des individus ou des comportements à l’échelle d’un cours. En définitive, seuls 32 articles correspondant à nos critères ont été retenus. La littérature francophone, en particulier si on l’étend à la littérature grise, comprend de nombreux écrits rapportant des indicateurs ou des analyses de traces ; on pourrait prendre comme exemple les rapports de l’INRIA sur leurs MOOC (Mariais et al., 2016) entre autres. En revanche, s’agissant des travaux empiriques critiquant explicitement les indicateurs, sur la base d’analyse de traces, sont virtuellement absents. À notre connaissance, les deux seules publications s’inscrivant dans cet axe sont de notre fait (Cisel, 2017a, 2019). Dans le premier cas, nous nous sommes basé sur des données de Coursera pour montrer comment l’indicateur qu’est le nombre de certifiés tend à masquer l’activité importante des non-certifiés. Dans le second cas, nous avons mobilisé des données de FUN MOOC pour mettre en évidence des rafales d’inscriptions, qui relativise un indicateur comme le nombre d’inscrits. La réflexion menée dans ces deux contributions à STICEF a renforcé l’intérêt pour les travaux critiques sur les indicateurs, et débouché sur la présente revue de littérature. La Figure 1 synthétise l’ensemble du processus décrit dans les paragraphes précédents.

Figure 1. Critères d’inclusion et d’exclusion mis en œuvre dans la revue de littérature

Résultats

Dans cette section, nous avons décomposé les articles issus de notre revue de littérature en trois sous-parties correspondant aux différentes manières d’aborder la question de la reconceptualisation des indicateurs dans les travaux scientifiques mobilisant des traces d’interaction. Nous présentons plus en détail certaines des publications les plus emblématiques ou les plus citées au sein d’un axe donné, tout en retraçant les principales évolutions des travaux correspondants, rapportés de manière exhaustive dans le Tableau 1.

L’analyse de traces au service de la critique d’indicateurs traditionnels

La fondatrice de Coursera et ses collègues (Koller et al., 2013) représentent les premières figures du mouvement MOOC à avoir invité, dans la littérature grise, à repenser les indicateurs traditionnels comme les taux de complétion, sur la base des données de la plateforme :

Pour les enseignants qui traitent du décrochage au sein des universités traditionnelles, le taux de rétention dans un MOOC est particulièrement alarmant. Pour un professeur d’université habitué à une audience classique d’étudiants investis, payant des frais d’inscription et présents dans une salle de classe, l’image d’un amphithéâtre se vidant continuellement – où seul un étudiant sur vingt reste jusqu’au bout – constitue une perspective effrayante, et c’est compréhensible. Mais est-ce là le bon cadre pour appréhender la notion de succès dans un MOOC ?

S’agissant de la littérature scientifique, DeBoer et al. (2014) sont à l’origine de l’un des premiers articles influents centrés exclusivement sur la reconceptualisation des différentes métriques. Illustrant leur démarche avec l’analyse des traces d’un MOOC, les auteurs proposent de repenser quatre « variables éducatives » au prisme du contexte des MOOC : l’inscription, le curriculum, la participation et la réussite, traductions respectives de « enrollment », « curriculum », « participation » et « achievement ». Les auteurs définissent la réopérationnalisation d’une variable comme « une mise au jour de sa définition opérationnelle laissant intacts ses interprétations et ses usages conventionnels » et la reconceptualisation comme « une redéfinition des usages et des interprétations à même de convenir au nouveau contexte éducatif » (p. 75). La série d’articles suivants porte sur la triche. L’une des particularités des MOOC réside dans le caractère gratuit de l’inscription, et dans le fait qu’après la réalisation d’une évaluation, les corrigés correspondants sont souvent fournis à l’individu. Ainsi, créer plusieurs comptes en parallèle, l’un pour obtenir les résultats de l’évaluation, l’autre pour entrer du premier coup les bonnes réponses, constitue une stratégie dont l’existence a été démontrée par Northcutt et al. (2016) et Alexandron et al. (2019), et à certains égards par Ruipérez-Valiente et al. (2021). Une métrique comme le nombre de certifiés est dès lors à mettre en regard de cette possibilité pour les apprenants d’obtenir très facilement le certificat, sans maîtrise de connaissances.

Au-delà de la question de la valeur des certificats délivrés, nécessairement posée par la mise en évidence de techniques de fraude, ces articles montrent que la gratuité des cours peut avoir comme conséquence une inflation du nombre d’inscriptions, qui ne s’accompagne pas d’une hausse du nombre d’apprenants, puisque plusieurs comptes sont potentiellement créés pour chaque utilisateur. C’est d’ailleurs également l’un des messages du travail de Wintermute et al. (2021). Ces auteurs s’intéressent à la tendance des utilisateurs de FUN MOOC à réaliser des rafales d’inscriptions, plusieurs cours portant sur des thématiques variées étant sélectionnés en l’espace de quelques minutes. Les données montrent que le suivi de multiples cours, le plus souvent organisés de manière simultanée, est négativement corrélé avec la réalisation des évaluations. Le phénomène est de nature à relativiser la signification de l’inscription à un MOOC, qui s’apparente souvent, et des entretiens réalisés par nos soins ont confirmé cette interprétation, à une forme de marque-page permettant d’accéder plus facilement au contenu de la formation si besoin était, un jour.

Enfin, certains auteurs se sont focalisés sur les individus ayant terminé la formation, sans pour autant consulter l’intégralité des ressources pédagogiques nécessaires à la réalisation des activités évaluées. Des chercheurs comme Formanek et al. (2017) ont quantifié une démarche décrite de manière qualitative dans un article de Bruillard (2017), où l’auteur a montré la facilité d’obtention du certificat d’une série de MOOC, sans consultation de la moindre vidéo. Un tel travail interroge à nouveau la valeur des certificats délivrés, et donc un indicateur comme le nombre de certifiés. Dans les travaux anglophones sur les taxonomies d’apprenants, les individus qui adoptent cette démarche portent généralement le nom de solvers, considération qui va nous amener à revenir maintenant sur les typologise de formes d’engagement.

Proposer des indicateurs alternatifs sur la base des seuls comportements observables

Compris généralement entre 5 et 10 %, les taux de certification bas tendent à éclipser les actions réalisées par la grande majorité des inscrits, généralement plus de 90 %. C’est pour éclairer les points aveugles laissés par cette métrique qu’un certain nombre de travaux se sont penché sur la description de diverses formes d’engagement des non-certifiés, travaux qui constituent l’essentiel des articles recensés ici. Une poignée de chercheurs s’intéressant aux interactions dans les forums ont également produit des métriques alternatives dans ce champ.

Kizilcec et al. (2013) avaient été les premiers à proposer des catégories d’apprenants sur la base de traces (Tableau 1). Dans un article séminal qui fut cité à de multiples reprises, ils ont proposé la catégorie correspondant aux auditeurs libres (ne regardant que les vidéos), et celle relevant de « l’échantillonnage », notion proche de celle de butinage formulée par Plantard (2014). De nombreux écrits ont proposé des variations autour de ces termes : viewers, pour visionneurs (Liu et al., 2016), et bystanders, traduction de spectateurs. Concernant l’échantillonnage, souvent désigné par sampler (Meaney et Fikes, 2023), on trouve également le terme de targeting learner, ciblage (Anutariya et Thongsuntia, 2019). La distinction entre apprenants actifs et passifs (Coffrin et al., 2014 ; Tseng et al., 2016), fondée sur la réalisation des devoirs, est également fréquente, le terme all-rounder (Anderson et al., 2014) étant utilisé pour désigner ceux qui réalisent l’ensemble des activités prescrites.

Tableau 1. Nature des analyses réalisées dans les articles retenus dans la revue de littérature

Auteur(s)

Nature du travail sur les indicateurs

Axe 1 : Reconceptualisation et critique des indicateurs traditionnels

Koller	Critique de l’utilisation du taux de complétion
DeBoer et al. (2014)	Critique de métriques classiquement utilisées (nombre d’inscription, taux de complétion), et analyse de traces venant étayer ces critiques
Northcutt et al. (2016)	Mise en évidence d’un phénomène de création de plusieurs comptes par individu pour faciliter la réussite des examens en collectant les réponses, critique de la valeur du certificat et de l’indicateur nombre de certifiés, et d’inscriptions
Formanek et al. (2017)	Mise en évidence d’apprenants ne regardant pas toute les vidéos avant de réaliser les devoir et analyse du % de vidéos vues, notamment chez ceux qui terminent. Éclairage sur la valeur du certificat, et donc sur le nombre de certifiés
Alexandron et al. (2019)	Mise en évidence de faux comptes, pensés pour tricher. Critique de l’indicateur nombre d’inscriptions
Wintermute et al. (2021)	Mise en évidence du phénomène d’inscriptions multiples, en rafales, qui relativise l’investissement correspondant à un cours en particulier. Relativise l’importance de l’indicateur nombre d’inscriptions

Axe 2 : Indicateurs alternatifs sur la base de typologies de formes d’engagement

Kizilcec et al. (2013)	auditing, completing, disengaging, sampling
Anderson et al. (2014)	bystander, viewer, collector, all-rounder, solver
Coffrin et al. (2014)	auditors, active students, qualified students
Ferguson et Clow (2015a, b).	Enrichit la taxonomie de Kizilcec et al. (2013) avec des clusters labélisés (7 formes) obtenus par apprentissage non supervisé : samplers, strong starters, returners, keen completers, late completers, etc.
Ho et al. (2015) - Chuang et Ho (2016)	participant (équivalent d’inscrit), explorer, compléter. La notion de explorer est uniquement fondé sur le fait que l’inscrit a accédé à plus de la moitié des chapitres de cours
Liu et al. (2016)	Inspiré d’Anderson et al. (2014) : bystander, viewer, all-rounder, solver. Croise avec les dimensions culturelles (nationalité, etc.)
Tseng et al. (2016)	bystander, active learner, passive learner, centré sur le niveau d’engagement dans les taches prescrites
Sunar et al. (2016)	Taxonomie fondée sur un mélange d’indicateurs d’interaction sur les forums de Futurelearn (follower, followee, poster) et d’indicateurs de réalisation d’activités (week completer, non completer).
Kahan et al. (2017).	tasters, downloaders, disengagers, offline engagers, online engagers, moderately social engagers, social engagers. Prend en considération la participation dans les forums, et le fait qu’une partie des activité peut être fait hors ligne
Maldonado-Mahauad et al. (2018)	sampling learners, targeting learner, comprehensive learner. Analyse de séquences d’interaction avec le cours sur la base de techniques de process mining, suivi d’un clustering
Vitiello et al. (2018)	Distinction problem attempter / not problem attempter parmi les individus ne terminant pas le cours ce qui débouche sur la typologie dropouts, active dropouts, completers. Permet d’identifier ceux qui ne parviennent pas à obtenir le certificat bien qu’ayant réalisé des épreuves
Anutariya et Thongsuntia (2019)	Reprise de la taxonomie de Maldonado-Mahauad et al. (2018) : sampling learners, targeting learning, comprehensive learner. Création d’une taxonomie de MOOC thaïlandais sur la base de leurs objectifs pédagogiques
Boroujeni et Dillenbourg (2019)	Point de départ : inactive, auditn v_start, a_start. Les deux dernières catégories correspondent au fait d’avoir commencé au moins un devoir (a pour assessment), et une vidéo (v). Analyse de séquence d’action pour chaque sous-catégorie
de Barba et al. (2020)	Taxonomie d’apprenants réalisée sur la base de clustering de séquences d’actions
Ruipérez-Valiente et al. (2021)	Taxonomie proposant une dichotomie entre comptes collaborateurs et non collaborateurs. Proximité avec le travail de Northcutt et al. (2016), mais sans désigner explicitement la collaboration comme un comportement de triche d’un seul individu
Crane et Comley (2021)	Proposition d’un indicateur lié à la participation sur les forums : ratio proposé pour plusieurs MOOC entre nombre d’apprenants non sociaux et nombre d’apprenants sociaux, la socialité étant mesurée sur la base de la participation aux forums
Cristea et al. (2023)	Clustering d’apprenants sur la base du nombre d’activités réalisés, du ratio de bonnes réponses, et lien avec un cadre théorique lié aux formes d’engagement
Meaney et Fikes (2023)	Contraste une typologie d’apprenants (auditor, sampler, disengager, all-rounder, solver) basée sur des comportements observables, avec des variables socioprofessionnelles

Axe 3 : Représentation de l’indicateur par catégorie d’apprenant

Reich (2014) - Reich et Ruipérez-Valiente (2019)	Contraste le taux de certification sur la base de l’intention déclarée (terminer le cours, simplement explorer le contenu, incertain)
Kizilcec et Schneider (2015)	Contraste une batterie d’indicateurs d’engagement (vidéos vues, participation sur les forums, etc.) sur la base de la motivation déclarée pour suivre le cours (application professionnelle, etc.)
Ho et al. (2015) - Chuang et Ho (2016)	Analyse du taux de certification analogue à celle de Reich (2014) : contraste sur la base de l’intention déclarée (terminer le cours, simplement explorer le contenu, incertain)
Rieber (2017)	Dans la continuité de Kizilcec et Schneider (2015), différencie des indicateurs d’engagement selon la motivation sous-tendant l’inscription
Moore et Wang (2021)	Contraste la note moyenne obtenue dans la formation selon la motivation sous-tendant l’inscription
Rizvi et al. (2022)	Contraste des indicateurs d’engagement, dont la présence sur les forums, selon le contexte socio-culturel (asiatique, anglo-saxon, etc.)

Si les termes se ressemblent souvent dans les diverses taxonomies d’apprenants proposées, il existe néanmoins des variations significatives dans la manière de segmenter les cohortes d’inscrits. Dans les approches les plus simples, que l’on retrouve dans des rapports relevant de la littérature grise, un individu est qualifié d’explorateur (explorer) sur la base d’un seuil arbitraire : le fait d’avoir consulté plus de la moitié des chapitres du cours (Chuang et Ho, 2016 ; Ho et al., 2015). Ils suggèrent par exemple de ne pas calculer les taux de certification avec le nombre d’inscrits en dénominateurs, mais de considérer les individus ayant réalisé un nombre minimal d’actions, ce qui fait mécaniquement s’accroître les nouveaux taux de certification annoncés.

Dans des approches plus avancées, ce sont des méthodes de clustering relevant de l’apprentissage non supervisé qui sont utilisées, comme l’algorithme k-moyennes. En suivant ce principe, certains auteurs comme Kahan et al. (2017) proposent des typologies comprenant jusqu’à plus d’une demi-douzaine de catégories, en incluant l’activité dans les forums, catégories pour lesquelles les auteurs trouvent généralement des labels. Si la posture des chercheurs proposant ces métriques alternatives n’est pas nécessairement celle d’une critique explicite des indicateurs de performance traditionnels, l’ensemble de ces travaux permettent de fournir une vision plus nuancée des formes d’engagement qui se mettent en place dans les MOOC. Le risque est l’inflation ad nauseam de termes qui ne sont en définitive employés que par une poignée d’auteurs.

Contraster les indicateurs selon les profils des utilisateurs

Nous concluons cette section par les travaux qui se sont attachés à contraster les indicateurs de performance traditionnels selon des catégories d’apprenants définies sur la base de données autodéclaratives – comprendre les questionnaires, avec en particulier la motivation pour suivre le cours, et intention de complétion au moment de l’inscription. Les chercheurs collaborant avec Coursera, comme Kizilcec et Schneider (2015) disposaient d’un avantage pour ce type de travaux : la possibilité de rendre obligatoire la réponse aux questionnaires avant l’accès aux ressources pédagogiques. Les auteurs s’attachent alors généralement à légitimer, dans le corps de l’article, le choix du critère mobilisé pour segmenter l’audience du MOOC.

Comme l’ont souligné Yeomans et Reich (2017), le terme « abandon » suggère qu’il y a eu intention de terminer le cours, or la gratuité du cours augmente la probabilité que l’on s’inscrive sans intention d’aller au bout de la formation. Dès lors, plusieurs travaux se sont attachés à distinguer les taux de complétion ou la rapidité du désengagement selon l’intention déclarée (Chuang et Ho, 2016 ; Ho et al., 2015 ; Reich, 2014 ; Reich et Ruipérez-Valiente, 2019). Cette dernière se décline généralement en un nombre réduit de catégories (terminer le cours et obtenir le certificat, incertain des objectifs, simplement consulter le contenu). Sans surprise, le comportement observé dépend effectivement très fortement de cette variable, justifiant la mobilisation de ce critère.

Plus que des indicateurs alternatifs, les auteurs se sont attachés à mobiliser d’une manière plus pertinente des indicateurs classiques. C’est également dans cette optique que certains chercheurs se sont penchés sur la question de la participation dans les forums de discussion des cours. Considérant que le contexte socioculturel dans lequel évoluent les apprenants joue sur leur propension à s’exprimer dans les forums, des auteurs comme Rizvi et al. (2022), entre autres analyses, contrastent des indicateurs d’interaction selon que l’individu soit issu d’un pays asiatique ou anglo-saxon.

Les segmentations de l’audience basées sur les motivations sous-tendant l’inscription sont généralement plus complexes à appréhender que celles que nous avons présentées jusqu’ici, du fait d’un nombre important de catégories potentielles. Ainsi, dans son travail de mise au point d’une taxonomie, Philippe Carré (2001), dans la continuité de travaux comme ceux de Morstain et Smart (1977), dénombre dix motifs d’engagement. On y distingue par exemple le motif socio-affectif – où l’apprenant recherche avant tout l’interaction avec autrui – du motif vocationnel, où la reconversion professionnelle constitue la principale motivation. Plusieurs chercheurs ont tenté d’établir entre.

Kizilicec et Schneider (2015) établissent par exemple une correspondance entre motifs déclarés et une série d’indicateurs de performance : les individus disant s’inscrire principalement pour les échanges ont une activité dans les forums largement supérieure à celle des autres inscrits, là où ceux qui s’inscrivent dans une logique vocationnelle exhibent de meilleures performances pour les indicateurs associés à la réalisation des activités. Les travaux de Rieber (2017) et de Moore et Wang (2021) se placent dans la continuité de cet article, mais ne se cantonnent pas au seul taux de complétion, représentant par exemple la note moyenne obtenue en fonction du motif d’entrée. Si dans les discours des acteurs de la formation en ligne, on conçoit que les métriques de performance ne peuvent être communiquées avec ce niveau de détail, ces éléments peuvent en revanche être pris en compte lors de la construction de tableaux de bord interactifs destinés à suivre l’engagement des cohortes d’apprenants. L’un des rôles potentiels de la recherche consiste alors à informer le processus de la conception de ces tableaux de bord.

Discussion

Comme le montrent Zhu et al. (2018, 2020) dans leur revue de littérature, les analyses de traces d’interaction, ou learning analytics occupent une place centrale au sein de la littérature scientifique anglophone consacrée aux MOOC. Sans nécessairement se donner comme objectif explicite l’apport d’un regard critique des indicateurs traditionnels, les écrits que nous avons recensés permettent de renouveler la manière d’appréhender les indicateurs de performance de ces cours en ligne, en proposant parfois des alternatives plus à même de prendre en considération l’agentivité dont disposent les apprenants. La multiplication des taxonomies de forme d’engagement pose néanmoins le problème du caractère cumulatif de la recherche dans ce champ précis. Le caractère souvent athéorique de la plupart de ces travaux conduit à une multiplication des termes proposés sans ancrage dans la littérature : nous avons dénombré 37 catégories d’apprenants dans les seuls travaux que nous avons recensés.

Bien qu’utiles pour appréhender les dynamiques à l’œuvre dans les cours, et bien qu’il y ait une intersection entre les termes proposés par les uns et les autres, un processus de maturation du champ fondé sur une utilisation consensuelle de ces termes reste à réaliser. En effet, ces termes correspondent parfois plus à des labels apposés à des clusters ou groupes d’apprenants, propres à un groupe de chercheurs, voir à un seul individu, qu’à des notions reprises de manière consensuelle dans un champ scientifique. Il existe dès lors un risque d’inflation terminologique, d’autant que ce type de démarche a commencé il y a plusieurs décennies dans des travaux consacrés à la formation à distance. On pensera en effet à des notions comme celle d’attainer, proposée par Terenzini (1987), pour décrire l’équivalent de l’échantillonnage, l’apprenant arrêtant de manière précoce la formation une fois ses objectifs atteints. Tout se passe comme si, malgré une certaine cohérence entre travaux sur les MOOC, il n’existe pas de continuité avec des recherches pourtant assez proches menées auparavant dans la formation à distance ou dans la formation initiale, en particulier lorsque celles-ci appartenaient davantage au champ des sciences humaines et sociales (SHS) qu’à celui de l’informatique.

Il convient de noter que des travaux relevant davantage des SHS ont également apporté des éclairages importants sur les indicateurs de performance mobilisés dans les MOOC, ne serait-ce qu’en éclairant la signification des catégories d’apprenants, via des enquêtes de terrain fondées sur des entretiens semi-directifs (Cisel, 2016). Au-delà des travaux mobilisant l’informatique, des enquêtes quantitatives comme celle de Kolowich (2013) auprès de concepteurs de cours, portant notamment sur la valeur qu’ils attribuent aux certificats qu’ils délivrent permet d’appréhender de manière plus précise un indicateur comme le nombre de certifiés. Une série d’entretiens avec ces mêmes concepteurs, comme celle que nous avons réalisée dans le contexte français (Cisel, 2018a, 2018b), apporte un regard qualitatif sur la question. Nous avions montré que si ces dispositifs avaient le plus souvent comme origine un cours académique délivré à des étudiants en formation initiale, le niveau d’adaptation aux caractéristiques supposées du public des MOOC différait considérablement d’un cours à l’autre, tantôt celui d’un documentaire, tantôt celui d’une formation pour adultes ou d’un cours universitaire exigeant. Les deux formats cohabitent au sein des catalogues des plateformes, et la valeur des certificats délivrés est donc hétérogène, ce qui joue sur la signification d’un indicateur comme le nombre de certifiés. Il pourrait être intéressant à cet égard de dupliquer le travail que nous avons mené ici, mais en soulignant comment les recherches mobilisant enquêtes qualitatives et quantitatives, sur les motivations des apprenants ou des enseignants par exemple (Deng et Benckendorff, 2017), apportent un éclairage intéressant sur des métriques produites par les dispositifs.

S’agissant de la traduction de telles recherches dans les pratiques pédagogiques, notons que cette reconceptualisation, bien qu’ancrée empiriquement, se heurte selon nous à la diversité des usages qui se développent autour de plateformes comme Coursera ou FUN MOOC. Ces plateformes peuvent être mobilisées aussi bien dans un contexte d’autoformation que dans un contexte de formation hétérostructurée, par des internautes déconnectés de toute institution que par des formateurs ou enseignants au sein d’une université, qui introduisent des MOOC dans les cours de leurs étudiants et attendent dès lors des métriques relativement classiques.

Les concepteurs de tableaux de bord travaillant pour des plateformes permettant ces deux types d’usages, se heurtent dès lors à la difficulté consubstantielle à la nécessité de satisfaire des besoins contrastés. Ignorer les spécificités liées aux pratiques d’autoformation, comme le butinage (Plantard, 2014), ou le suivi en auditeur libre, revient à fournir aux concepteurs de cours une vision incomplète des formes d’engagement, alors même que les traces d’interaction offrent de nouvelles opportunités en matière de description des usages. Intégrer ces concepts en multipliant les indicateurs et les visualisations revient parfois à complexifier peut-être inutilement un instrument lorsque les utilisateurs, enseignants ou administrateurs, voient le dispositif comme hétérostructuré, et ne s’intéressent qu’à la complétion effective des activités prescrites.

Conclusion

L’utilisation des learning analytics dans l’enseignement supérieur progresse lentement, au moins aux États-Unis (Foster et Francis, 2020). Néanmoins, l’appropriation par les enseignants des indicateurs fondés sur les traces d’interaction reste un chantier complexe (Erdemci et Karal, 2020) tant la manipulation des métriques en jeu nécessite une bonne compréhension des phénomènes qu’ils sont censés refléter (Cisel et Baron, 2019). Face à la tentation de rejeter en bloc des indicateurs, les recherches que nous avons présentées et typologisées dans cet article peuvent éclairer les réflexions sur leur bon usage, d’autant que la portée de ces travaux dépasse largement le seul contexte des MOOC. Elles invitent en premier lieu à un changement de posture de la part du formateur, comme l’invite l’article de Cristea et al. (2023). Selon ces auteurs, il faut prendre en considération le fait que l’apprenant peut être autorégulé et autodéterminé, et qu’une cohorte d’inscrits est le plus souvent hétéroclite, tant du point de vue des motivations que de celui des manières de s’approprier un dispositif.

Ces considérations ont été largement discutées dans la littérature scientifique, par exemple lorsque Long (1989) mobilisait dès les années 1980 les notions de contrôle psychologique et pédagogique pour distinguer différentes situations, de l’apprentissage pleinement autorégulé à la formation hétérostructurée. Les travaux sur les traces d’interaction que nous avons recensés, avec le lot d’indicateurs qu’ils mettent en avant, permettent de réifier ces réflexions dans des tableaux de bord qui permettront peut-être à terme d’envisager de manière plus fine le suivi de l’engagement individuel. Dans l’univers de la formation à distance, où les barrières géographiques complexifient le tissage de liens étroits entre apprenants et formateurs (Rovai, 2003), comprendre toujours plus en détail les dynamiques de travail d’un groupe d’apprenants, et ce malgré l’éloignement, constitue un enjeu majeur.

L’on peut espérer que les réflexions bâties au fil des travaux que nous avons discutés sauront déborder le champ des MOOC pour atteindre plus généralement celui de l’enseignement en ligne, gratuit ou non. Par la visibilité qu’ils ont reçue, ces cours en ligne gratuits ont eu la chance, en quelque sorte, d’attirer l’attention de chercheurs venus d’horizons méthodologiques variés. Bien qu’une littérature déjà ancienne se soit développée sur les indicateurs de la formation à distance (Shale et Gomes, 1998), celle-ci gagnerait sans doute à s’étoffer de travaux inscrits dans les axes que nous avons définis. Reste à orienter vers ce champ les chercheurs disposant des compétences techniques et de l’attirail notionnel pour mener à bien la démarche. Un tel mouvement pourrait ainsi contribuer à renouveler les réflexions sur un objet d’étude, la formation à distance, qui pourrait, semble-t-il, davantage bénéficier de l’essor important de la littérature scientifique consacrée aux MOOC.

Bibliographie

Acquatella, F., Fernandez, V. et Houy, T. (2022). Les MOOC : une promesse de rupture non tenue. Distances et médiations des savoirs, 39. https://doi.org/10.4000/dms.8138.

Alexandron, G., Yoo, L. Y., Ruipérez-Valiente, J. A., Lee, S. et Pritchard, D. E. (2019). Are MOOC Learning Analytics Results Trustworthy ? With Fake Learners, They Might Not Be ! International Journal of Artificial Intelligence in Education, 29(4), 484-506. https://doi.org/10.1007/s40593-019-00183-1.

Anderson, A., Huttenlocher, D., Kleinberg, J. et Leskovec, J. (2014, Avril). Engaging with massive online courses. Dans Proceedings of the 23rd international conference on World wide web (p. 687-698). https://doi.org/10.1145/2566486.2568042.

Anutariya, C. et Thongsuntia, W. (2019, Septembre). MOOC design and learners engagement analysis : a learning analytics approach. Dans 2019 International Conference on Sustainable Information Engineering and Technology (SIET) (p. 5-10). IEEE. https://doi.org/10.1109/SIET48054.2019.8986057.

Cisel, M. (2016). Utilisations des MOOC, éléments de typologie [Thèse de doctorat inédite, Paris Saclay]. http://www.theses.fr/2016SACLN024 (consulté le 21/03/2025).

Cisel, M. (2017a). Une analyse de l’utilisation des vidéos pédagogiques des MOOC par les non-certifiés. STICEF, 24(2), 169-199.

Cisel, M. (2017b). Le MOOC vu comme un projet d’apprentissage. Éducation & formation, e-307-02. http://revueeducationformation.be/index.php?revue=27&page=3 (consulté le 21/03/2025).

Cisel, M. (2018a). Les MOOC français à l’épreuve de la viabilité économique. Revue française des sciences de l’information et de la communication, 12. https://doi.org/10.4000/rfsic.3355.

Cisel, M. (2018b). Certificats de MOOC : débats passés et présents sur un objet en évolution rapide. Médiations et médiatisations-Revue internationale sur le numérique en éducation et communication, 1(1), 97-101. https://doi.org/10.52358/mm.v1i1.60.

Cisel, M. (2019). Le choix d’un MOOC, un processus influencé par l’organisation des cours en catalogues ? STICEF, 25, 121-150.

Cisel, M. et Baron, G. L. (2019). Utilisation de tableaux de bord numériques pour l’évaluation des compétences scolaires : une étude de cas. Questions Vives. Recherches en éducation, 31. https://doi.org/10.4000/questionsvives.3883.

Baggaley, J. (2013). MOOC rampant. Distance education, 34(3), 368-378. https://doi.org/10.1080/01587919.2013.835768.

Barak, M., Watted, A. et Haick, H. (2016). Motivation to learn in massive open online courses : Examining aspects of language and social engagement. Computers & Education, 94, 49-60. https://doi.org/10.1016/j.compedu.2015.11.010.

Boroujeni, M. S. et Dillenbourg, P. (2019). Discovery and temporal analysis of MOOC study patterns. Journal of Learning Analytics, 6(1), 16-33. https://doi.org/10.18608/jla.2019.61.2.

Bruillard, É. (2017). Mooc une forme contemporaine de livres éducatifs. De nouveaux genres à explorer ? Distances et médiations des savoirs, 18. https://doi.org/10.4000/dms.1830

Bullich, V. (2021). Plateforme, plateformiser, plateformisation : le péril des mots qui occultent ce qu’ils nomment. Questions de communication, 40, 47-70. https://doi.org/10.4000/questionsdecommunication.27413.

Carré, P. (2001). De la motivation à la formation. L’Harmattan

Coffrin, C., Corrin, L., De Barba, P. et Kennedy, G. (2014, Mars). Visualizing patterns of student engagement and performance in MOOCs. Dans Proceedings of the fourth international conference on learning analytics and knowledge (p. 83-92). https://doi.org/10.1145/2567574.2567586.

Cherigny, F., El Kechai, H., Iksal, S., Lefevre, M., Labarthe, H. et Luengo, V. (2020). L’analytique des apprentissages avec le numérique - Groupes thématiques de la Direction du numérique pour l’Éducation (DNE -TN2) [Rapport de recherche]. Direction du numérique pour l’éducation. https://hal.archives-ouvertes.fr/hal-02912386 (consulté le 21/03/2025).

Chuang, I. et Ho, A. (2016). HarvardX and MITx : Four years of open online courses—fall 2012-summer 2016. http://dx.doi.org/10.2139/ssrn.2889436.

Crane, R. A. et Comley, S. (2021). Influence of social learning on the completion rate of massive online open courses. Education and Information Technologies, 26(2), 2285-2293. https://doi.org/10.1007/s10639-020-10362-6.

Cristea, A. I., Alamri, A., Alshehri, M., Pereira, F. D., Toda, A. M., de Oliveira, E. H. T., et Stewart, C. (2023). The engage taxonomy : SDT-based measurable engagement indicators for MOOCs and their evaluation. User Modeling and User-Adapted Interaction, 1-52. https://doi.org/10.1007/s11257-023-09374-x

Dalipi, F., Imran, A. S. et Kastrati, Z. (2018, Avril). MOOC dropout prediction using machine learning techniques : Review and research challenges. Dans 2018 IEEE global engineering education conference (EDUCON) (p. 1007-1014). IEEE. https://ieeexplore.ieee.org/document/8363340 (consulté le 21/03/2025).

Daniel, J. (2012). Making sense of MOOCs : Musings in a maze of myth, paradox and possibility. Journal of interactive Media in education, 2012(3). https://doi.org/10.5334/2012-18.

Davis, D., Chen, G., Hauff, C. et Houben, G. J. (2016, Avril). Gauging MOOC Learners’ Adherence to the Designed Learning Path. Dans Proceedings of the 9th International Conference on Educational Data Mining, 54-61. https://files.eric.ed.gov/fulltext/ED592664.pdf (consulté le 21/03/2025).

de Barba, P. G., Malekian, D., Oliveira, E. A., Bailey, J., Ryan, T. et Kennedy, G. (2020). The importance and meaning of session behaviour in a MOOC. Computers & Education, 146, 103772. https://doi.org/10.1016/j.compedu.2019.103772.

DeBoer, J., Ho, A. D., Stump, G. S., et Breslow, L. (2014). Changing “Course” : Reconceptualizing Educational Variables for Massive Open Online Courses. Educational Researcher, 43(2), 74-84 https://doi.org/10.3102/0013189X14523038.

Deng, R. et Benckendorff, P. (2017). A contemporary review of research methods adopted to understand students’ and instructors’ use of massive open online courses (MOOCs). International Journal of Information and Education Technology, 7(8), 601-607. https://doi.org/10.18178/ijiet.2017.7.8.939.

Desrosières, A. (2013). Gouverner par les nombres : L’argument statistique II. Presses des Mines.

Ebben, M. et Murphy, J. S. (2014). Unpacking MOOC scholarly discourse : A review of nascent MOOC scholarship. Learning, media and technology, 39(3), 328-345. https://doi.org/10.1080/17439884.2013.878352.

Erdemci, H. et Karal, H. (2020). Examination of instructors’ experiences for the use of learning analytics. The International Journal of Information and Learning Technology, 38(1), 21-31. https://doi.org/10.1108/IJILT-05-2020-0076.

Ferguson, R. et Clow, D. (2015a, Mars). Examining engagement : analysing learner subpopulations in massive open online courses (MOOCs). Dans Proceedings of the fifth international conference on learning analytics and knowledge (p. 51-58). https://doi.org/10.1145/2723576.2723606.

Ferguson, R. et Clow, D. (2015b). Consistent Commitment : Patterns of Engagement across Time in Massive Open Online Courses (MOOCs). Journal of Learning Analytics, 2(3), 55-80. https://doi.org/10.18608/jla.2015.23.5.

Formanek, M., Wenger, M. C., Buxner, S. R., Impey, C. D. et Sonam, T. (2017). Insights about large-scale online peer assessment from an analysis of an astronomy MOOC. Computers & Education, 113, 243-262. https://doi.org/10.1016/j.compedu.2017.05.019.

Foster, C. et Francis, P. (2020). A systematic review on the deployment and effectiveness of data analytics in higher education to improve student outcomes. Assessment et Evaluation in Higher Education, 45(6), 822-841. https://doi.org/10.1080/02602938.2019.1696945.

Haustein, S. (2016). Grand challenges in altmetrics : heterogeneity, data quality and dependencies. Scientometrics, 108, 413-423. https://doi.org/10.1007/s11192-016-1910-9.

Hollands, F. M. et Tirthali, D. (2014). Resource requirements and costs of developing and delivering MOOCs. IRRODL, 15(5), 113-133. https://doi.org/10.19173/irrodl.v15i5.1901.

Kahan, T., Soffer, T. et Nachmias, R. (2017). Types of participant behavior in a massive open online course. IRRODL, 18(6), 1-18. https://doi.org/10.19173/irrodl.v18i6.3087.

Long, H. (1989). Self-directed learning – emerging theory and practice. Norman.

Huang, H., Jew, L. et Qi, D. (2023). Take a MOOC and then drop : A systematic review of MOOC engagement pattern and dropout factor. Heliyon, 9(4), e15220 https://doi.org/10.1016/j.heliyon.2023.e15220.

Kahan, T., Soffer, T. et Nachmias, R. (2017). International review of research in open and distributed learning. IRRODL, 18, 1-18. https://doi.org/10.19173/irrodl.v18i6.3087.

Karsenti, T. (2013). MOOC : Révolution ou simple effet de mode ? RITPU, 10(2), 6-37. https://doi.org/10.7202/1035519ar.

Khalil, H. et Ebner, M. (2014). MOOCs completion rates and possible methods to improve retention-A literature review. EdMedia+ innovate learning, 1305-1313. https://www.learntechlib.org/primary/p/147656/ (consulté le 21/03/2025).

Khalil, M. et Ebner, M. (2017). Clustering patterns of engagement in Massive Open Online Courses (MOOCs) : The use of learning analytics to reveal student categories. Journal of Computing in Higher Education, 29(1), 114-132. https://doi.org/10.1007/s12528-016-9126-9.

Kizilcec, R. F., Piech, C. et Schneider, E. (2013, Avril). Deconstructing disengagement : analyzing learner subpopulations in massive open online courses. Dans Proceedings of the third international conference on learning analytics and knowledge (p. 170-179). https://doi.org/10.1145/2460296.2460330.

Kizilcec, R. F. et Schneider, E. (2015). Motivation as a lens to understand online learners : Toward data-driven design with the OLEI scale. ACM Transactions on Computer-Human Interaction (TOCHI), 22(2), 1-24. https://doi.org/10.1145/2699735.

Koller, D., Ng, A., Do, C. et Chen, Z. (2013). Retention and intention in massive open online courses. EDUCAUSE Review. https://er.educause.edu/articles/2013/6/retention-and-intention-in-massive-open-online-courses (consulté le 21/03/2025).

Kolowich, S. (2013). The Professors behind the MOOC Hype. Chronicle of Higher Education. https://eric.ed.gov/?id=EJ999087 (consulté le 21/03/2025).

Landsheere, V. D. et Landsheere, G. D. (1992). L’éducation et la formation : science et pratique. PUF.

Li, Q. et Baker, R. (2018). The different relationships between engagement and outcomes across participant subgroups in massive open online courses. Computers & Education, 127, 41-65. https://doi.org/10.1016/j.compedu.2018.08.005.

Li, S., Du, J. et Sun, J. (2022). Unfolding the learning behaviour patterns of MOOC learners with different levels of achievement. International Journal of Educational Technology in Higher Education, 19(1), 22. https://doi.org/10.1186/s41239-022-00328-8.

Liu, Z., Brown, R., Lynch, C. F., Barnes, T., Baker, R., Bergner, Y. et McNamara, D. (2016). MOOC Learner Behaviors by Country and Culture ; an Exploratory Analysis. Dans Proceedings of the 9th International Conference on Educational Data Mining (p. 127-134). https://learninganalytics.upenn.edu/ryanbaker/paper121.pdf (consulté le 21/03/2025).

Mariais, C., Comte, M. H., Rey, I., Bayle, A. et Hasenfratz, J. M. (2016). Retours d’expérience sur deux années de Mooc Inria. https://inria.hal.science/hal-01251144/document (consulté le 21/03/2025).

Maldonado-Mahauad, J., Pérez-Sanagustín, M., Kizilcec, R. F., Morales, N. et Munoz-Gama, J. (2018). Mining theory-based patterns from Big data : Identifying self-regulated learning strategies in Massive Open Online Courses. Computers in Human Behavior, 80, 179-196. https://doi.org/10.1016/j.chb.2017.11.011.

Maroy, C. (2013). L’école à l’épreuve de la performance. De Boeck Supérieur.

McClung, S. et Johnson, K. (2010). Examining the motives of podcast users. Journal of radio et audio media, 17(1), 82-95. https://doi.org/10.1080/19376521003719391.

Meaney, M. et Fikes, T. (2023). The promise of MOOCs revisited ? Demographics of learners preparing for university. Journal of Learning Analytics, 10(1), 113-132. https://files.eric.ed.gov/fulltext/EJ1387205.pdf (consulté le 21/03/2025).

Moore, R. L. et Blackmon, S. J. (2022). From the learner’s perspective : A systematic review of MOOC learner experiences (2008–2021). Computers & Education, 190, 104596. https://doi.org/10.1016/j.compedu.2022.104596.

Moore, R. L. et Wang, C. (2021). Influence of learner motivational dispositions on MOOC completion. Journal of Computing in Higher Education, 33(1), 121-134. https://doi.org/10.1007/s12528-020-09258-8.

Morstain, B. R. et Smart, J. C. (1977). A Motivational Typology of Adult Learners. The Journal of Higher Education, 48(6), 665-679. http://doi.org/10.2307/1979011.

Northcutt, C. G., Ho, A. D. et Chuang, I. L. (2016). Detecting and preventing “multiple-account” cheating in massive open online courses. Computers & Education, 100, 71-80. https://arxiv.org/abs/1508.05699 (consulté le 21/03/2025).

Ogunyemi, A. A., Quaicoe, J. S. et Bauters, M. (2022). Indicators for enhancing learners’ engagement in massive open online courses : A systematic review. Computers and Education Open, 3, 100088. https://doi.org/10.1016/j.caeo.2022.100088.

Plantard, P. (2014). Anthropologie des usages du numérique [HDR, Université de Nantes]. https://shs.hal.science/tel-01164360 (consulté le 21/03/2025).

Radford, A. W., Robles, J., Cataylo, S., Horn, L., Thornton, J. et Whitfield, K. (2014). The employer potential of MOOCs : A mixed-methods study of human resource professionals’ thinking on MOOCs. IRRODL, 15(5), 1-25. https://doi.org/10.19173/irrodl.v15i5.1842.

Raffaghelli, J. E., Cucchiara, S. et Persico, D. (2015). Methodological approaches in MOOC research : Retracing the myth of Proteus. British Journal of Educational Technology, 46(3), 488-509. https://doi.org/10.1111/bjet.12279.

Rémond, M. (2006). Éclairages des évaluations internationales PIRLS et PISA sur les élèves français. Recherches en éducation, 157, 71-84. https://doi.org/10.4000/rfp.433.

Reich, J. (2014). MOOC completion and retention in the context of student intent. EDUCAUSE review online, 8. https://er.educause.edu/articles/2014/12/mooc-completion-and-retention-in-the-context-of-student-intent (consulté le 21/03/2025).

Reich, J. et Ruipérez-Valiente, J. A. (2019). The MOOC pivot. Science, 363(6423), 130-131. https://doi.org/10.1126/science.aav7958.

Rieber, L. P. (2017). Participation patterns in a massive open online course (MOOC) about statistics. British Journal of Educational Technology, 48(6), 1295-1304. https://doi.org/10.1111/bjet.12504.

Rovai, A. P. (2003). In search of higher persistence rates in distance education online programs. The Internet and Higher Education, 6(1), 1-16. https://doi.org/10.1016/S1096-7516(02)00158-6.

Ruipérez-Valiente, J. A., Jaramillo-Morillo, D., Joksimović, S., Kovanović, V., Muñoz-Merino, P. J. et Gašević, D. (2021). Data-driven detection and characterization of communities of accounts collaborating in MOOCs. Future Generation Computer Systems, 125, 590-603. https://doi.org/10.1016/j.future.2021.07.003.

Rizvi, S., Rienties, B., Rogaten, J. et Kizilcec, R. F. (2022). Beyond one-size-fits-all in MOOCs : Variation in learning design and persistence of learners in different cultural and socioeconomic contexts. Computers in Human Behavior, 126, 106973. https://doi.org/10.1016/j.chb.2021.106973.

Shale, D. et Gomes, J. (1998). Performance Indicators and University Distance Education Providers. Journal of Distance Education, 13(1), 1-20. https://www.ijede.ca/index.php/jde/article/view/139 (consulté le 21/03/2025).

Sunar, A. S., White, S., Abdullah, N. A. et Davis, H. C. (2016). How learners’ interactions sustain engagement : A MOOC case study. IEEE Transactions on Learning Technologies, 10(4), 475-487. https://doi.org/10.1109/TLT.2016.2633268.

Terenzini, P. (1987). Studying student attrition and retention. Dans G. W. McLaughlin et J. A. Muffo (Dir.), A primer of institutional research (p. 20-35). Association of Institutional Research.

Tseng, S.-F., Tsao, Y.-W., Yu, L.-C., Chan, C.-L. et Lai, K. R. (2016). Who will pass ? Analyzing learner behaviors in MOOCs. Research and Practice in Technology Enhanced Learning, 11(1), 8. https://doi.org/10.1186/s41039-016-0033-5.

Van der Aalst, W. M. P. (2018). Process discovery from event data : Relating models and logs through abstractions. WIREs Data Mining and Knowledge Discovery, 8(3), e1244. https://doi.org/10.1002/widm.1244.

Van Zanten, R., Somogyi, S. et Curro, G. (2012). Purpose and preference in educational podcasting. British Journal of Educational Technology, 43(1), 130-138. https://doi.org/10.1111/j.1467-8535.2010.01153.x.

Vitiello, M., Walk, S., Helic, D., Chang, V. et Guetl, C. (2018). User Behavioral Patterns and Early Dropouts Detection : Improved Users Profiling through Analysis of Successive Offering of MOOC. The Journal of Universal Computer Science, 24(8), 1131-1150. https://doi.org/10.3217/jucs-024-08-1131.

Vrillon, É. (2017). Une typologie de MOOC de France Université Numérique (FUN). STICEF, 24(2), 1-27. https://www.persee.fr/doc/stice_1764-7223_2017_num_24_2_1741 (consulté le 21/03/2025).

Yeomans, M. et Reich, J. (2017, Mars). Planning prompts increase and forecast course completion in massive open online courses. Dans Proceedings of the seventh international learning analytics & knowledge conference (p. 464-473). https://doi.org/10.1145/3027385.3027416.

Wintermute, E. H., Cisel, M. et Lindner, A. B. (2021). A survival model for course-course interactions in a Massive Open Online Course platform. PloS one, 16(1), e0245718. https://doi.org/10.1371/journal.pone.0245718.

Zhu, M., Sari, A. et Lee, M. M. (2018). A systematic review of research methods and topics of the empirical MOOC literature (2014–2016). The Internet and Higher Education, 37, 31-39. https://doi.org/10.1016/j.iheduc.2018.01.002.

Zhu, M., Sari, A. R. et Lee, M. M. (2020). A comprehensive systematic review of MOOC research : Research techniques, topics, and trends from 2009 to 2019. Educational Technology Research and Development, 68, 1685-1710. https://doi.org/10.1007/s11423-020-09798-x.