Innovation Pédagogique et transition

La visibilité des mémoires déposés sur DUMAS : une question de discipline

Matthieu Cisel, Nicolas Laudier — 2025-10-18T08:11:16Z

S'ils ne sont généralement pas considérés comme des écrits scientifiques de premier plan, les mémoires de Master de bonne qualité peuvent néanmoins se révéler utiles à la recherche, notamment car ils traitent souvent de sujets d'actualité et peuvent ce faisant accélérer le travail de chercheurs plus confirmés. Encore faut-il qu'il existe des leviers de motivations susceptibles d'inciter les étudiants à mettre à disposition leur travail. Nous nous proposons ici d'explorer au prisme de la théorie de l'échange social l'un des mécanismes qui poussent les étudiant.es à mettre en ligne leur mémoire dans des archives dédiées : la visibilité du travail partagé, mesurée sur la base du nombre de téléchargements du document. DUMAS, site français qui avait pris son essor à la fin des années 2000, centralisait en 2023 les manuscrits de plus de 50 000 étudiant.es. Via une technique de web scraping, nous avons collecté les métadonnées de l'ensemble ces manuscrits, pour mieux identifier les éléments qui déterminent la visibilité en ligne de ces travaux, tout en portant la focale sur les disciplines. Nous montrons que les travaux relevant des sciences de gestion, bien que minoritaires dans la base, sont ceux qui attirent le plus l'attention des internautes au fil des ans, qui, au sein du répertoire, semblent rechercher avant tout des écrits à visée praxéologique. Nous analysons au prisme de la théorie de l'activité d'Engeström les contradictions qui peuvent émerger de la possibilité pour les étudiants d'acquérir via DUMAS de la visibilité au sein du milieu académique comme en dehors de celui-ci.

Matthieu Cisel et Nicolas Laudier, « La visibilité des mémoires déposés sur DUMAS : une question de discipline », Revue française des sciences de l'information et de la communication [En ligne], 29 | 2025, mis en ligne le 02 mai 2025, consulté le 17 octobre 2025. URL : http://journals.openedition.org/rfsic/16772 ; DOI : https://doi.org/10.4000/13lft

Introduction

L'archivage en ligne de mémoires d'étudiants

Chaque année en France, des milliers de mémoires d'étudiants de Master réifient plusieurs mois de réflexions (Chauvin et al., 2010 ; Gendre et al., 2023) dans des textes qui ne contribuent globalement que modérément à l'avancée des connaissances scientifiques, faute d'être publiés dans des revues, ou même d'être recensés dans des archives scientifiques (Schöpfel et Stock, 2009). Or, dans le cas où le travail effectué est de qualité, ces écrits sont susceptibles d'apporter des éclairages intéressants sur leur sujet d'étude (Hawkins et al., 2013), et la mise en ligne de leur travail permet aux étudiant.es de contribuer à leur échelle à un décloisonnement des travaux de recherche ; pour citer Gendre et al. (2023, p. 49) : « Valoriser ces travaux en archives ouvertes, c'est à la fois donner une forme de reconnaissance au travail de recherche effectué pendant au moins un an, et permettre à un large public d'en prendre connaissance, peut-être pour mieux en explorer certaines pistes ou établir des collaborations. C'est aussi et surtout une manière de participer au mouvement national de la science ouverte ».

2es mémoires ont en tout cas suscité un intérêt suffisamment important pour que des entreprises anglo-saxonnes comme Proquest cherchent à en monétiser l'accès (Clement et Rascoe, 2013), rendant payant le téléchargement d'une grande partie d'entre eux. Dans les pays qui ont opté pour une approche moins mercantile de l'accès à ces documents, l'on trouve des répertoires offrant un accès gratuit et centralisé aux documents électroniques de mémoires d'étudiants et de thèses à différentes échelles, une dynamique que certains auteurs voudraient obligatoire (Hawkins et al., 2013). Dans certains cas, cet archivage en ligne se fait essentiellement à l'échelle d'une institution ou d'un groupement d'institutions, comme l'étudie Ferrera-Fernandes (2013) pour l'Université de Salamanque en Espagne. Néanmoins, d'autres pays font le choix d'encourager la mutualisation des travaux d'étudiants à l'échelle nationale, comme c'est le cas en France avec le site theses.fr pour les thèses de doctorat (Martin, 2015 ; Schöpfel, Zendulkova, et Fatemi, 2014), et DUMAS pour les mémoires de niveau Bac+4 et au-delà (Gendre et al., 2023).

DUMAS correspond aux initiales de Dépôt Universitaire de Mémoires Après Soutenance. [1] Il ne s'agit pas d'une simple solution d'autoarchivage, dans la mesure où la mise en ligne passe par les documentalistes ou bibliothécaires de l'établissement. Par ailleurs, une note minimale est nécessaire, de façon à ce qu'un premier tri sur la qualité des manuscrits archivés soit effectué (Gendre et al., 2023). Plus de 50 000 écrits avaient été déposés en 2023 : thèses d'exercice de médecine, mémoires de master, etc. – à travers une démarche centralisatrice ouverte à l'ensemble des établissements de l'enseignement supérieur français. On retrouve quelques écrits datant de 1960, mais ils relèvent de l'anecdote. L'essor de l'archive date de la fin des années 2000, lorsque le rythme annuel de dépôts passe de quelques centaines à plusieurs milliers de manuscrits. Des sites spécialisés ont par ailleurs été créés à côté de DUMAS pour certaines disciplines ; l'on peut par exemple mentionner la base TRHAA, pour Travaux de Recherche en Histoire de l'Art et en Archéologie [2] maintenue par l'Institut National de l'Histoire de l'Art. Il s'agit là d'une différence notable avec les thèses de doctorat, qui sont toutes centralisées en France via le site theses.fr (Martin, 2015).

Parmi les nombreuses questions de recherche que peut soulever l'émergence de telles archives, l'on peut se poser en premier lieu celle des différentes cultures disciplinaires eu égard au partage de telles travaux. Certains travaux ont par exemple documenté l'appétence plus prononcée chez les sciences naturelles que chez les sciences humaines et sociales eu égard à la publication en open access (Eger et al., 2015 ; Look et Pinter, 2010). Néanmoins, pour pouvoir aborder cette problématique sur la base d'analyses de répertoires, encore faudrait-il disposer d'une vue d'ensemble de l'exhaustivité des archives utilisées, ce qui, au regard de la multiplicité des sites, constitue un défi de taille.

Le problème de la réappropriation des mémoires constitue également une question importante, qui fait écho à un ensemble de recherches sur l'impact sociétal de ce que les anglo-saxons nomment l'open access. Coexistent plusieurs interprétations concurrentes de la signification de ce syntagme, l'une reposant sur la « notion de réutilisation empruntée à la culture des logiciels libres et à la culture libre, et l'autre plutôt sur la notion d'accessibilité associée à la culture éditoriale et militant pour des répertoires ouverts » (Chartron et Schöpfel, 2017) ; c'est cette dernière acception que nous retenons ici. ElSabry (2017) a fait dans le milieu des années 2010 un point d'étape sur la cinquantaine de publications qui avaient alors été réalisées sur la réappropriation de recherches académiques en open access par différents profils, des politiciens aux chercheurs en passant par les étudiants. La thèse d'Albarin (2015) sur les répertoires latino-américains y est citée en exemple, de par son travail quantitatif d'identification du public, fondé sur un questionnaire.

Une lecture attentive de cette littérature montre que la question de la réappropriation n'est pas déclinée par discipline, alors que cette dimension peut être considérée comme primordiale pour appréhender les dynamiques à l'œuvre. En effet, l'on peut supposer qu'un travail de master sur un sujet très précis de biologie moléculaire n'intéressera a priori que les spécialistes du domaine, là où un mémoire de médecine pourra éventuellement intéresser aussi bien le corps médical que des patients, ce qui n'est a priori pas sans conséquences sur la visibilité du travail réalisé. A défaut de pouvoir mener comme Albarin (2015) une enquête auprès des visiteurs de DUMAS, nous nous proposons de mobiliser les données de suivi des usages, récoltées en temps réel, pour visualiser les contrastes entre disciplines. Appréhender de telles différences de visibilité potentielle et effective représente selon nous un point essentiel si l'on veut saisir les enjeux associés au maintien et à l'expansion de l'archive. La première question qui structure ce travail est de nature descriptive, et sert d'ancrage empirique à notre propos : Quelles sont les disciplines de DUMAS pour lesquelles le nombre de téléchargements en ligne de manuscrits est le plus élevé ?

La seule analyse des données de téléchargements, même lorsqu'on les croise avec des métadonnées associées au mémoire, ne donne qu'un aperçu limité des mécanismes susceptibles d'expliquer les différences observées entre disciplines. Nous nous proposons dès lors d'aborder dans un second temps la question des conséquences possibles de la visibilité des mémoires. Elle est de nature plus théorique, au sens où elle s'appuie essentiellement sur une revue de la littérature et sur le cadre conceptuel que représente la théorie de l'activité d'Engeström (1987), plus que sur une collecte de données. Plusieurs auteurs ont travaillé sur le devenir des manuscrits de thèse juste après la soutenance et la perception que les étudiants en avaient (Ferreras-Fernández et al., 2016 ; Stanton et Liew, 2011). Ils ont montré que le choix de l'open access sur un répertoire comme theses.fr augmentait considérablement la visibilité de la recherche, notamment sur le plan bibliométrique, et constituait une incitation importante à partager leur travail.

Comme ces auteurs, nous partons du principe que la possibilité de voir son travail consulté et repris constitue a priori pour les étudiants de master une raison de mettre en libre accès leur travail sur DUMAS. Notre hypothèse est que l'on peut s'attendre à ce que certains individus sensibles à la question de la diffusion de leur mémoire, à plus forte raison s'ils ne se projettent pas dans une carrière académique, soient pris entre la volonté d'être reconnus au sein du milieu académique d'une part, ce qui signifie se plier aux normes afférentes, et la recherche de visibilité auprès du plus grand nombre d'autre part, au-delà du seul milieu académique. Cette considération nous amène à la question suivante : Quelles contradictions potentielles, au sens de Engeström (1987), peuvent-elles émerger de l'opportunité, pour les étudiants, de voir leur mémoire diffusé aussi bien au sein du milieu académique qu'en dehors de celui-ci ? Le terme potentielles utilisé ici vise à préciser le fait que l'on se concentre sur les conséquences possibles de certaines tendances que nous allons mettre au jour empiriquement, conséquences suggérées par la littérature scientifique et qu'il faudra démontrer lors de recherches ultérieures.

Revue de littérature et cadre théorique

Travaux sur les répertoires de mémoires et question des altmetrics

La littérature francophone comporte des travaux sur les archives ouvertes et leurs usages (Schöpfel et Prost, 2010, Schöpfel et al., 2024). S'agissant de la réappropriation des mémoires, les données bibliométriques comme le nombre de citations représentent selon toute logique un indicateur peu pertinent. En effet, ces écrits ne sont que rarement cités, que cela soit dans les articles de revues ou dans d'autres formes de productions scientifiques, et l'on ne peut dès lors reprendre directement pour les mémoires de DUMAS les méthodes adoptées dans étudier quantitativement le devenir d'autres types d'écrits. En effet, les manuscrits ne sont pas passés à travers le processus d'évaluation anonymisé qui caractérise revues et conférences scientifiques, de sorte qu'ils correspondent à une forme de littérature grise (Schöpfel, 2012), dès lors moins citée.

Néanmoins, un niveau faible de citations peut être contrebalancé par un niveau élevé de consultations. Les chiffres parlent d'eux-mêmes : depuis sa création, 10 456 821 visionnages et 64 092 295 téléchargements de mémoires avaient été recensés, au 23 décembre 2023, par les outils de suivi d'usages de DUMAS. Cela revient à plus de mille téléchargements en moyenne par mémoire – certains manuscrits totalisent à eux seuls plusieurs centaines de milliers de téléchargements, un volume considérable qui invite à se pencher sur les métriques alternatives, ou altmetrics dans la littérature anglo-saxonne (Haustein, 2016 ; Lin et Fenner, 2013).

Ces métriques visent à mesurer l'impact d'un travail scientifique au-delà d'indicateurs bibliométriques traditionnels. Shema et al. (2014, p. 1018) définissent ce terme par rapport à la diffusion de l'article sur Internet : « Altmetrics […] est un terme désignant les mesures basées sur le Web pour l'impact du matériel scientifique, en mettant l'accent sur les médias sociaux comme sources de données » (traduction libre). Bornmann (2014, p. 895), quant à lui, fournit un certain nombre d'indicateurs afférents, sans en désigner un de manière préférentielle, ce qui permet d'appréhender l'hétérogénéité des métriques qu'il est possible de retenir : « Les vues, les téléchargements, les clics, les notes, enregistrements, tweets, partages, likes, recommandations, balises, publications, hyperliens, discussions, signets et les commentaires sont comptés, plutôt que de simples citations d'un article dans une base de données telle que Scopus ».

La théorie de l'activité au service de l'analyse des contradictions

Nous nous proposons de combiner dans la présente recherche d'une part le cadre conceptuel proposé par Engeström (1987), et d'autre part des résultats issus de travaux s'inscrivant dans la continuité de la théorie de l'échange social (Homans, 1958 ; Wang et Noe, 2010). Du fait de son caractère généraliste, la théorie de l'activité gagne en effet à s'enrichir de notions issues d'autres champs scientifiques. Dans la continuité de Homans (1958), un certain nombre de chercheurs ont visé à identifier les leviers et les freins consubstantiels au partage de ressources, notamment au sein de répertoires électroniques (Bordia et al., 2006).

Les travaux sur les leviers du partage s'intéressent en particulier à la distinction entre motivations intrinsèques et motivations extrinsèques, les études empiriques consacrées à la question débouchant sur des résultats contrastés (Wang et al., 2005). D'un côté, certaines recherches soulignent l'impact positif des récompenses extrinsèques sur la volonté de partager ses connaissances, tandis que d'autres en pointent les limites (Kwok et Gao, 2005). Des auteurs comme Coleman (1990) et Wellman et Gulia (1999) montrent que ceux qui se considèrent comme des contributeurs au bien commun, sont animés par une motivation intrinsèque que représente la participation à une dynamique collective. Celle-ci peut se suffire à elle-même, ou vient s'ajouter éventuellement à des facteurs extrinsèques comme les gains réputationnels.

Cette dichotomie entre motivations extrinsèques et intrinsèques a été également analysée dans le contexte de Wikipédia (Anthony et al., 2005, 2009). Les auteurs montrent que si, au sein de l'encyclopédie, un compte associé à un pseudonyme peut gagner en réputation et en autorité de par son engagement, un certain nombre d'individus décident de participer de manière anonyme. Certains des principaux contributeurs ne sont dès lors identifiables que par leur adresse IP, ce qui souligne pour ces derniers l'importance de la motivation intrinsèque dans la dynamique de partage des connaissances. En substance, nous nous inscrivons dans la lignée de ces auteurs pour suggérer que ces deux types de motivation peuvent coexister dans le contexte de DUMAS, avec, à terme, des conséquences contrastées selon les disciplines en matière d'impact sur le comportement des étudiants, phénomène que nous allons aborder au prisme de la théorie de l'activité d'Engeström (1987).

Cette théorie représente un cadre interdisciplinaire utilisé dans des contextes contrastés, allant du champ de l'activité professionnelle au sein du milieu hospitalier aux dynamiques de partage de ressources pédagogiques au sein de l'enseignement supérieur (Engeström, 2001). En substance, l'activité est représentée par un modèle constitué de six pôles en interaction, qui constituent alors le système d'activité (SA) : le sujet de l'activité (S), son objet (O), qui englobe les visées de l'activité, les règles qui la régissent (R), la communauté (C), la division du travail (DT), et les instruments (I). Tout travail mobilisant ce cadre nécessite de délimiter le système d'activité d'intérêt sur la base de ces différents pôles, ce que nous ferons dans la section consacrée aux résultats.

Un système d'activité évolue notamment sous la pression de contradictions, porteuses de transformations. Avoir intégré ce concept de contradiction proposé par Ilyenkov (1974) constitue d'ailleurs l'une des caractéristiques saillantes de la version de la théorie de l'activité d'Engeström (Karanasios, 2018). La recherche de dépassement des tensions associées notamment à ces évolutions constitue l'un des mécanismes à l'origine de l'évolution de l'activité. Engeström (1987) distingue plusieurs niveaux au sein de ces contradictions. Les primaires correspondent aux tensions au sein d'un pôle donné. Par exemple, s'agissant du pôle Objet, plusieurs visées que le sujet attribue à l'activité peuvent entrer en tension. Les contradictions secondaires découlent des tensions entre deux pôles, tandis que les tertiaires correspondent aux tensions entre anciennes et nouvelles versions d'un système d'activité. Enfin, les contradictions quaternaires correspondent aux tensions entre systèmes d'activité distincts. Dans le cadre de la présente recherche, nous nous cantonnerons aux contradictions primaires et secondaires.

Méthodologie

Nature des métadonnées disponibles et méthode de collecte

Pour la grande majorité des manuscrits qu'elle recense, l'archive DUMAS fournit les métadonnées suivantes : auteur(s), titre du mémoire, type de document, date de soutenance ou de validation, type de mémoire (Master 2, de fin d'études médicales, etc.), mention (ex. : métiers de l'enseignement, de l'éducation et de la formation), spécialité (ex. : premier degré pour les mémoires consacrés au système scolaire, par rapport au second degré), domaine(s), mots-clés, langue du document, licence et droits d'utilisation (par exemple, licence en Creative Commons), identifiant unique, nombre de pages, identité du directeur / de la directrice de mémoire ou du maître de stage, entre autres. Par ailleurs, deux éléments sont fournis de manière dynamique sur la page de présentation d'un manuscrit : le nombre de consultations de la notice, et le nombre de téléchargements du document. Les métadonnées disponibles ont été récoltées le 23 décembre 2023, pour la totalité des 52 787 manuscrits, via un algorithme de type web scraping codé en Python et fondé sur la librairie Selenium. En effet, l'outil d'export des données de l'archive, qui permet théoriquement de collecter sous la forme d'une table l'intégralité des données de la base, était dysfonctionnel. Python a été utilisé pour le scraping ; le traitement des données et l'analyse statistique ont été réalisés avec l'environnement logiciel R (version 4.2).

Croissance de l'archive Dumas dans le courant des années 2010 et choix des métriques

Pour identifier la thématique d'un manuscrit, la personne en charge de poster le document doit choisir parmi une liste de labels préexistants, sachant qu'elle peut en sélectionner plusieurs – notamment dans le cas d'un travail interdisciplinaire – et que l'on peut décider du niveau de précision de la caractérisation via une arborescence. Ainsi, l'on peut rester à la base de l'arborescence, en choisissant sciences humaines et sociales (SHS) – de niveau 0, ou choisir un label plus détaillé, comme SHS/Sciences de l'éducation – de niveau 1. La Table 1 présente l'importance relative des principaux champs de niveau 0, après recodage, et que nous regrouperons par la suite de manière sensiblement différente.

Table 1. Répartition des documents en fonction des principaux champs disciplinaires de DUMAS au 23 décembre 2023. N = 52 783

Au regard de la composition de l'archive, il est apparu pertinent de distinguer trois grands domaines et de regrouper les mémoires en conséquence : ceux relevant des sciences de la santé (pharmacie, médecine humaine et pathologie), ceux relevant des sciences dures – au sens de Biglan (1973) (biologie, chimie, informatique, mathématiques appliquées, etc.), et ceux relevant des SHS au sens large. Les disciplines relevant des SHS au sein de DUMAS sont précisées en figure 2.

L'analyse de l'évolution de la représentation des différentes disciplines au sein de l'archive constitue un préalable à celle des utilisations qui se développent autour des manuscrits. En effet, des métriques comme le nombre de visionnages et de téléchargements correspondent à l'activité cumulée des internautes depuis la mise à disposition du document. Nous n'avons pas, pour un mémoire donné, d'informations sur l'évolution des visionnages et des téléchargements au fil du temps, mais seulement sur le cumul de ces actions jusqu'au 23 décembre 2023, date de l'extraction des données. Ainsi, toutes choses égales par ailleurs, un manuscrit posté en 2015 cumulera plus de vues ou de téléchargements qu'un manuscrit posté en 2022. Dès lors, si une discipline a fait son apparition sur l'archive peu avant l'extraction, ce qui est le cas par exemple de l'essentiel des travaux de la catégorie « Médecine vétérinaire et de la santé animale » (figure 1), des problèmes d'interprétation apparaissent potentiellement.

Un nombre faible d'utilisations pourrait à tort être attribué à un faible intérêt pour la discipline au sein de l'archive, alors que cela peut découler d'une fenêtre de disponibilité trop courte sur le site pour que les manuscrits de cette discipline aient accumulé de nombreux téléchargements. Les données confirment cette tendance. Les documents publiés en 2012 cumulent individuellement un nombre moyen de 746 ±1 187 vues, contre 85±140 vues pour ceux publiés en 2022, avec une chute à peu près linéaire du nombre moyen de vues entre ces deux dates. Une tendance similaire est observée pour les téléchargements. De manière générale, la comparaison des métriques d'utilisation entre disciplines doit se faire à durée de disponibilité équivalentes.

Pour corriger les biais liés au fait que les disciplines ne sont pas apparues de manière simultanée en quantités analogues sur la plateforme, nous avons employé une stratégie qui consiste à comparer le nombre de téléchargements à durée d'exposition équivalente, par exemple, après dix ans sur l'archive. Plus précisément, nous avons procédé à un calcul de rang, année par année, qui permet de déterminer, pour une année de production du mémoire donnée, quelle est la discipline pour laquelle le nombre de téléchargements par mémoire a été le plus important. Il convient de noter que nous avons retenu le nombre de téléchargements, et le non le nombre de consultations de la notice depuis le site, ce dernier étant toujours inférieur au premier : le ratio entre les deux étant de 5.6 (±10.0), en faveur du téléchargements. Ceci tient a priori au fait que les mémoires sont découverts et téléchargés après une recherche sur un moteur comme Google, sans passer par le site DUMAS.

Figure 1. Evolution du nombre de manuscrits disponibles sur Dumas dans les sous-disciplines des champs Sciences du Vivant / Médecine Humaine et Pathologie (SDV-MHEP)

Dans les deux figures présentées dans cette section, nous avons regroupé d'une part les disciplines relevant des sciences de la vie et de la santé (figure 1) et d'autre part celles relevant des sciences humaines et sociales (figure 2), qui constituent l'essentiel de la base de données. Dans le premier cas, l'on constate une très large prédominance des mémoires relevant des sciences de la santé, avec en premier lieu les thèses professionnelles de médecine humaine et pathologie, et dans une moindre mesure celles des étudiant.es de pharmacie. Les travaux de biologie (notamment de biologie végétale) ou de sciences agricoles existent, mais ils restent dans une large mesure anecdotiques sur le plan quantitatif.

Figure 2. Évolution du nombre de manuscrits disponibles sur Dumas dans les sous-disciplines catégorisées comme relevant, dans la base, des sciences humaines et sociales (SHS)

Dans le champ des sciences humaines et sociales (figure 2), les sciences de l'éducation dominent largement, tandis que les mémoires en sciences de l'information et de la communication ont pris leur essor à partir de 2014 pour se stabiliser à un peu moins de 200 manuscrits postés annuellement. Les trajectoires ne sont pas systématiquement ascendantes : plusieurs disciplines apparaissent sur l'archive avant de se raréfier par la suite. C'est le cas par exemple des sciences de gestion, qui connaissent un pic en 2020 avant de virtuellement disparaître les années suivantes. On notera qu'il existe des différences significatives entre disciplines en termes de nombre de page du manuscrit ou de la propension à écrire en anglais (figures 5et 6, Annexes). En sciences de l'univers, le mémoire dépasse en moyenne rarement plus de la cinquantaine de pages, tandis qu'il est d'environ 170 pages pour un écrit en histoire ou histoire de l'art. Avec 56 % de manuscrits en anglais, les travaux en économie sont les seuls à être rédigés majoritairement dans cette langue.

Résultats

Analyse quantitative des téléchargements

En nous focalisant sur le nombre de téléchargements moyen des mémoires, nous avons constaté que pour certaines disciplines comme les sciences de gestion concentraient, le nombre de téléchargement par mémoire était bien au-dessus de la moyenne des autres disciplines, et ce de manière constante au fil des années (figure 3). Les mémoires de cette thématique, pourtant très peu représentée au sein de la base, était ainsi les plus téléchargés sur huit des treize années rapportées sur la figure, le rang moyen étant de 1,7. Alors qu'ils ne représentent que 1,3 % de l'archive, ils sont responsables de 5,1 % des téléchargements. Les résultats sont comparables lorsque l'on se base sur le nombre de téléchargement médian, pour éviter les biais liés aux valeurs extrêmes.

Figure 3. Évolution du rang de vingt-cinq disciplines en matière de nombre de téléchargements des mémoires de DUMAS, ce rang étant calculé pour une année de production de mémoire donnée

Les écrits de la catégorie Médecine et pathologie humaine sont certes responsables de 36,1 % des téléchargements à l'échelle de l'archive, mais il en constituent 44,0 % des documents. Il n'est dès lors pas surprenant de constater qu'ils oscillent entre le septième et le quatorzième rang lorsque l'on se focalise sur le nombre moyen de téléchargements par mémoire. Autre cas intéressant, celui de la pharmacie, qui, alors qu'elle ne constitue que 9,5 % des mémoires, correspond à 14,6 % des téléchargements, primauté que l'on peut observer en figure 3. Nous y avons distingué les trois grands domaines que sont les matières correspondant aux sciences dures, aux sciences de la santé (humaine ou animale), et aux sciences humaines et sociales et considérées comme telles dans la taxonomie de DUMAS.

Un test non-paramétrique de Friedman réalisé sur les rangs présentés dans ce graphe confirme le caractère statistiquement significatif des différences entre disciplines en matière de téléchargements (X2 = 186.1, ddl = 25, p-value < 0.001). Ce test statistique est adapté au caractère répété des mesures. La relative stabilité des rangs, dont notamment la place prééminente des sciences de gestion, est moins affirmée lorsque l'on se focalise non plus sur le nombre moyen de téléchargements, mais sur le nombre médian ; le test de Friedman donne néanmoins des résultats relativement similaires (X2 = 169.1, ddl = 25, p-value < 0.001). La différence entre rang moyen et rang médian tient à l'existence de valeurs extrêmes très nombreuses, en particulier pour les mémoires relevant des sciences de gestion. Cette considération nous a amené à rechercher les écrits ayant cumulé au fil des années un nombre important de téléchargements, afin d'approcher la question sous un angle plus qualitatif. En choisissant arbitrairement le seuil de 100 000, neuf manuscrits issus de disciplines aussi distinctes que les sciences agricoles ou les sciences de gestion répondent aux critères (table 2).

Table 2. Titre et discipline des mémoires ayant cumulé plus de 100 000 téléchargements sur l'archive DUMAS à date du 23 décembre 2023.

Sur ces neuf mémoires à succès, trois relèvent des sciences de gestion et portent, si l'on se cantonne au titre, sur des questions plutôt générales susceptibles d'intéresser des individus en charge du bon fonctionnement d'une entreprise : intégration, fidélisation et motivation des salariés ou collaborateurs, selon la terminologie utilisée. De manière intéressante, plusieurs autres mémoires classés dans d'autres disciplines (sciences agricoles ou pharmaceutiques) semblent également relever de questions de gestion, avec par exemple un mémoire de sciences pharmaceutiques centré sur la production de médicaments. Le mémoire d'histoire, focalisé sur les femmes au foyer, fait office d'exception à cet égard. La possibilité grâce au dépôt de mémoires d'atteindre aussi bien un public académique que non-académique est source de tensions potentielles que nous nous proposons de modéliser maintenant au prisme de la théorie d'Engeström (1987), la première étape consistant à délimiter le système d'activité en précisant la nature de ses pôles (figure 4).

Une modélisation des contradictions

Dans la modélisation que nous proposons, le Sujet de l'activité est l'étudiant. Le pôle Communauté correspond tant aux enseignants avec qui il est en interaction au sein du milieu académique (encadrants, évaluateurs, etc.), qu'à l'audience de l'archive et des mémoires qu'elle héberge. Le pôle Instruments inclut l'ensemble des outils permettant d'assurer la visibilité et l'accès aux mémoires des étudiants, avec d'une part l'archive DUMAS et ses outils de suivi de trafic, et d'autre part les moteurs de recherche comme Google, qui permettent d'accéder directement au PDF d'un mémoire sans avoir à naviguer via l'archive. Le pôle Règles inclut tant les normes qui régissent la rédaction d'un mémoire académique – du choix de la thématique à la formulation du titre, en passant par les considérations stylistiques. S'agissant de la Division du Travail, l'étudiant est responsable de la qualité de l'écrit, les documentalistes et bibliothécaires se chargent de la mise en ligne, tandis que les encadrants se chargent du respect des normes de l'écriture académique et de son évaluation. Enfin, le pôle Objet correspond aux visées recherchées. Dans la mesure où nous n'avons pas de données empiriques sur les motivations individuelles, nous nous cantonnerons à décrire l'objectif comme étant le fait de « mettre à disposition le manuscrit ».

Figure 4. Modélisation du système d'activité et des contradictions qui le traversent sur la base du modèle d'Engeström (1987)

S'agissant des tensions qui traversent le système d'activité figure 4), nous proposons de les représenter sous la forme d'une contradiction primaire au sein du pôle Communauté (flèche rouge), qui peut évoluer dans certains cas en une contradiction secondaire entre le pôle Communauté et le pôle Règles. La contradiction primaire découle, dans notre modélisation, de l'existence de deux audiences potentielles : les individus qui évoluent dans le milieu académique (chercheurs, encadrants, étudiants), et ceux qui évoluent en dehors de celui-ci (professionnels exerçant dans des entreprises, médecins, patients, etc.). Nous considérons qu'il y a ici une contradiction, car ces différents profils ne vont pas chercher dans les mémoires, a priori, les mêmes types d'information, entre autres.

Ainsi, par exemple, là où un étudiant ou un chercheur pourra être intéressé par les références bibliographiques ou par le développement d'un cadre théorique, en plus des résultats, un salarié d'une organisation ou un praticien de santé se concentrera sans doute davantage sur des résultats saillants en lien avec une situation concrète rencontrée dans le cadre de son activité professionnelle, ou un patient une information en lien avec sa maladie. Concrètement, cela peut se traduire par le fait que le public venant d'un milieu non académique estime que des parties importantes du mémoire ne sont pas en adéquation avec ses besoins. Cette tension reste une contradiction primaire tant que l'existence de ce public potentiel n'a pas d'influence sur la réalisation du travail par l'étudiant.

Nous proposons de modéliser comme contradiction secondaire (flèche jaune) la tension qui apparaît du fait de l'exposition d'un public non-académique à un écrit qui, lui, doit respecter les normes académiques, et de la prise en compte de cette tension par l'étudiant. Le caractère plus ou moins marqué de cette contradiction dépend selon nous de la motivation qui anime ce dernier au moment de la mise en ligne de son travail, et, dans une certaine mesure, de la thématique dans il traite dans son travail. La possibilité d'acquérir de la visibilité à grande échelle, semble-t-il plus marquée pour des disciplines comme les sciences de gestion, pourrait alors devenir pour certains étudiants motivés par des gains réputationnels une incitation à concevoir leur mémoire de sorte à être connu en dehors du seul milieu académique. Se pose alors la question de la tension que fait naître une telle situation : une thématique peut n'intéresser que le seul milieu universitaire. Le nécessaire respect des normes de l'écriture académique, qui permet une reconnaissance au sein du monde universitaire, est susceptible de nuire à la visibilité en dehors de celui-ci, considérations que nous nous proposons d'approfondir en discussion.

Discussion

L'analyse de la base de données nous a permis de mettre en évidence une grande visibilité relative de certaines disciplines pourtant sous-représentées dans l'archive. Tant les titres des manuscrits les plus plébiscités que le fait que les téléchargements dominent sur les consultations suggèrent qu'une audience non-académique passant par un moteur comme Google est à l'origine du succès des sciences de gestion, par exemple. Ces résultats embryonnaires suggèrent que les travaux les plus plébiscités sont vraisemblablement consultés par de nombreux professionnels s'inscrivant dans une logique d'apprentissage auto-dirigé, selon une logique que des auteurs comme Philippe Carré (2001, p. 22) qualifieraient d'opératoire professionnelle : « il s'agit d'acquérir des compétences (connaissances, habiletés, comportements) perçues comme nécessaires à la réalisation d'activités spécifiques sur le champ du travail, afin d'anticiper ou de s'adapter à des changements techniques, de découvrir ou de perfectionner des pratiques, toujours avec un objectif de performance précis ».

Une analyse rigoureuse des causes de cette logique opératoire professionnelle imposerait une enquête dédiée. Aussi préférons-nous nous pencher sur les conséquences possibles de ce phénomène. Elles sont multiples, et nous nous proposons d'explorer certaines d'entre elles au prisme de la théorie de l'activité, en distinguant plusieurs configurations correspondant à des motivations distinctes. L'existence de ces divers cas de figure est suggérée par les travaux antérieurs relevant de la théorie de l'échange social (Homans, 1958) ainsi que par ceux réalisés sur la publication en open access des thèses de doctorat (Ferrera-Fernandes et al., 2016 ; Stanton et Liew, 2011). C'est dès lors sous l'angle de la théorie que nous abordons nos résultats, en nous intéressant aux aboutissants de la situation, plus qu'à ses tenants.

La focale principale de cette discussion est la contradiction secondaire que nous avons modélisée entre le pôle Règles et le pôle Communauté. Premier cas de figure, la possibilité de voir son mémoire diffusé auprès d'une audience plus large que celle du milieu académique n'affecte en aucune manière la conception du manuscrit, que l'on parle du choix de la thématique, de la formulation du titre, du style adopté, ou de la structuration du contenu. La contradiction entre ces deux pôles du système d'activité est alors peu marquée. L'étudiant qui met son travail en ligne peut être animé par une volonté désintéressée de partage (Coleman, 1990 ; Wellman et Gulia, 1999), analogue à celle identifiée par Anthony et al. (2009) chez les contributeurs anonymes de Wikipedia. Sa démarche correspond alors en premier lieu à la participation, à son échelle, au mouvement de science ouverte (Gendre et al., 2023).

Satisfaire aux exigences du milieu académique constitue ici la principale focale, puisqu'elle conditionne la note obtenue, et les éventuels gains réputationnels recherchés par une diffusion de l'écrit au sein du milieu académique, s'ils sont envisagés, ne constituent qu'un bénéfice secondaire. C'est ainsi que nous pourrions interpréter le cas du mémoire sur le féminisme aux États-Unis dans les années 1950 et 1960. L'étudiant n'a d'ailleurs pas nécessairement conscience de la visibilité potentielle éventuellement acquise par son travail au fil des ans. Dans ce cas de figure, la tension entre les pôles du système d'activité reste limitée, et ce sont avant tout des intérêts personnels, ou des interactions avec les encadrants, des contraintes fixées par ces derniers, qui déterminent le choix du sujet de mémoire et imposent la formulation du titre et le style rédactionnel. Pour un travail en biologie moléculaire par exemple, l'étudiant aura sans doute moins de liberté dans l'orientation qu'il impulse à son travail, car il s'inscrira plus vraisemblablement dans un travail de recherche initié par son laboratoire, à plus forte raison si les activités développées coûteuses.

Deuxième cas de figure, l'étudiant est sensible au gain réputationnel potentiel dans le milieu professionnel, par exemple parce qu'il n'envisage pas de rester au sein du monde universitaire à l'issue de son master. On s'éloigne alors de la logique de partage désintéressé que Gendre et al. (2023) décrit. L'on peut alors distinguer plusieurs situations, qui correspondent alors à une contradiction secondaire plus ou moins marquée entre les deux pôles du système d'activité. Soit l'individu donne malgré tout, la priorité aux contraintes imposées par le milieu académique, le temps du mémoire, et la réception du mémoire hors du milieu universitaire n'influence pas le choix du sujet traité, ou la formulation du titre par exemple. Soit l'étudiant dispose d'une certaine agentivité, et le mémoire peut alors être conçu de sorte à choisir une thématique valorisée en dehors du milieu universitaire, et dont l'approfondissement peut lui conférer un avantage sur le plan professionnel après ses études. Le nombre de téléchargements peut être un bénéfice explicitement recherché au moment de la mise en ligne, au même titre qu'une compétence et une légitimité sur une thématique jugée porteuse par l'étudiant, sans qu'il soit possible à ce stade de distinguer l'effet sur son comportement des deux formes de gains réputationnels potentiels.

Cette dernière configuration explique aisément le choix qui a été fait, parmi les auteurs des mémoires les plus lus, de s'orienter vers des thématiques généralistes peu originales sur le plan de la recherche. En sciences de gestion, nous avons relevé des titres qui peuvent correspondre à des recherches fréquentes dans un moteur comme Google : la motivation, la performance ou la fidélisation des salariés. Ces thématiques sont susceptibles de concerner tous les secteurs d'activité, et donc de déboucher sur un nombre élevé de téléchargements en dehors du seul milieu académique. L'intensité de la contradiction avec le pôle Règles dépend alors des exigences des encadrants et membres du jury de master. La situation est différente si ces derniers attendent un travail original sur le plan de la recherche – ce qui exclut par exemple d'aborder de manière superficielle un sujet comme les leviers de motivation dans l'activité professionnelle, pour reprendre l'exemple d'un mémoire à succès – et si l'étudiant est en droit de produire un travail peu novateur sur le plan académique.

Le premier cas, où les contraintes de l'activité de recherche prédominent, serait par exemple celui d'un travail de biologie moléculaire. L'étudiant ne dispose pas, a priori, alors de l'agentivité permettant de formuler un titre susceptible d'intéresser en dehors du milieu universitaire. Le second cas pourrait être d'un mémoire professionnel hors master de recherche, où une réflexion praxéologique sur un sujet comme « L'enseignant face aux élèves en difficulté », pour reprendre notre exemple, pourrait être considéré comme bénéfique pour l'étudiant à défaut de contribuer à l'avancée des connaissances scientifiques, tant le sujet a déjà été traité. Libéré de la contrainte que constitue l'originalité du mémoire sur le plan scientifique, l'individu peut alors s'orienter vers le sujet de son choix, et donc sélectionner une thématique d'actualité à même de correspondre à ses intérêts et de lui apporter et de la visibilité par la suite, sur Internet ou pour sa carrière, si du moins le gain réputationnel constitue pour lui un levier de motivation. La contradiction s'accentue en revanche, si l'individu évolue dans un milieu universitaire dont les attentes sont incompatibles avec une telle orientation du mémoire, ce qui le place dans une situation de double contrainte caractéristique des contradictions que décrit Engeström (1987).

A travers notre argumentaire, l'on voit se dessiner peu à peu le faisceau de contraintes associées aux différents pôles du système d'activité, et susceptibles de peser sur les décisions individuelles, que cela soit la mise en ligne du mémoire, mais aussi le choix de la thématique, ou la formulation du titre, sujets qui mériteraient des recherches complétementaires : exigences des jurys du master, contraintes liées au fonctionnement du laboratoire d'accueil, dans le cas des stages de recherche, stratégies à adopter pour faciliter l'insertion professionnelle à la suite du master, visibilité potentielle du manuscrit. Selon les disciplines et selon la nature des formations suivies, ces différentes contraintes peuvent tantôt fonctionner en synergie, tantôt s'opposer et mettre en porte-à-faux l'étudiant. Celui-ci peut avoir à choisir entre des stratégies qui le valorisent au sein du milieu universitaire, et celles qui le valorisent en dehors de celui-ci : c'est la contradiction que nous avons pointée entre les pôles Communauté et Règles.

La manière dont les individus prennent en considération ces différentes contraintes pour arrêter leurs choix, en particulier sur la question de la mise en ligne, est vraisemblablement dictée par la façon de se positionner quant aux pratiques de partage : la recherche de bénéfices individuels, sous la forme notamment de la récompense symbolique que constitue un nombre élevé de téléchargements, source de tensions potentielles, ou la volonté de s'approprier les valeurs d'un partage désintéressé (Anthony et al., 2009 ; Coleman, 1990 ; Wellman et Gulia, 1999). Il a été démontré que le rapport à la publication d'articles en open access, et à la science ouverte en général, différait d'une discipline à l'autre (Eger et al., 2015 ; Look et Pinter, 2010). Si l'on admet que l'existence de cultures disciplinaires dépasse le seul cas des chercheurs confirmés, il est vraisemblable que de tels contrastes existent alors au niveau d'étudiants de master, jouant sur la nature de la motivation qui peut les pousser à mettre en ligne leur mémoire, et donc sur les contradictions afférentes. Les résultats de Eger et al. (2015) ne font néanmoins que pointer l'importance qu'il y a à étudier de telles différences, mais ne permettent pas de prédire aisément la manière dont elles pourraient se traduire pour des étudiants de master en France.

Pour reprendre une idée centrale au travail d'Ilyenkov (1974), reprise par Engeström (1987), les contradictions sont porteuses de transformations du système d'activité. Reste à donc à identifier les éventuelles évolutions que pourrait engendrer la contradiction secondaire que nous avons modélisée. Celles que nous envisageons reposent sur la prise de conscience, par les différents acteurs en présence, des possibilités de diffusion considérables apportées par DUMAS, prise de conscience qui n'est pas encore prouvée empiriquement. L'on peut imaginer que les institutions académiques, chiffres à l'appui, mettent en avant l'intérêt que présente pour l'étudiant la mise en ligne de son travail sur l'archive, comme valorisation d'un travail académique, visibilité dont peut même bénéficier indirectement l'établissement où est réalisé le mémoire.

À l'inverse, des encadrants pourraient redouter que cette opportunité ne pousse des étudiants à sacrifier certaines des normes de l'écriture académique, ou à choisir des thématiques d'actualité mais présentant peu d'intérêt du point de vue de la recherche, pour accroître la portée de leur travail auprès d'un public non universitaire. Une telle crainte pourrait alors déboucher sur l'introduction de nouvelles règles et formes d'interventions réalisées durant la formation, dont la fonction serait de découpler l'exercice d'écriture du manuscrit des éventuelles retombées associées à sa mise en ligne. Un approfondissement de la recherche est nécessaire pour prédire les évolutions que pourrait impulser la visibilité importante de l'archive, notamment sur un moteur de recherche comme Google.

Conclusion

Ce travail souffre des limites consubstantielles de toute recherche visant à appréhender un phénomène sur la base des seules approches quantitatives. Si la mise au jour de régularités empiriques constitue une étape essentielle pour appréhender les dynamiques de partage de productions scientifiques, il manque à cette enquête un volet qualitatif qui viendrait compléter le travail que nous avons présenté ici. Des entretiens semi-directifs seraient nécessaires pour capturer la perspective des étudiants quant à l'effet incitatif de la visibilité apportée par l'archive sur les pratiques de partage. En effet, nous ignorons dans quelle mesure les individus sont conscients de l'apport potentiel de DUMAS en termes de visibilité, de l'intérêt que les internautes portent aux mémoires de certaines disciplines, et dans quelle mesure une éventuelle connaissance de ces dynamiques est susceptible d'influer leur décision de déposer leur travail au sein de l'archive. En définitive, un certain nombre de décisions reposent sur un bénéfice perçu, or nos données apportent uniquement des informations sur les bénéfices effectifs en termes de visibilité. La prolongation de cette enquête par la mise en place de méthodes mixtes semble s'imposer.

En guise de perspective, nous proposons de poursuivre la réflexion sur la diffusion des mémoires, en nous centrant cette fois sur l'audience du site. Il pourrait être intéressant de dupliquer la méthodologie mise en place par Alperin (2015) pour collecter des données sur la profession des visiteurs et la fonction de leur visite, mais en s'attachant, comme dans la présente recherche, à contraster la situation selon les disciplines. Une telle démarche permettrait d'apporter des éclairages intéressants pour les étudiants qui envisagent de mettre à disposition librement le fruit de leur travail, en leur fournissant davantage d'informations quant à la portée de la démarche.

Bibliographie

Des DOI (Digital Object Identifier) sont automatiquement ajoutés aux références par Bilbo, l'outil d'annotation bibliographique d'OpenEdition.
Les utilisateurs des institutions abonnées à l'un des programmes freemium d'OpenEdition peuvent télécharger les références bibliographiques pour lesquelles Bilbo a trouvé un DOI.

ALPERIN, J.-P. (2015). The public impact of Latin America's approach to open access. Stanford University. https://purl.stanford.edu/jr256tk1194

ANTHONY, D., SMITH, S. W., et WILLIAMSON, T. (2005). Explaining quality in internet collective goods : Zealots and good samaritans in the case of wikipedia. Dartmouth College.

ANTHONY, D., SMITH, S. W., et WILLIAMSON, T. (2009). Reputation and reliability in collective goods : The case of the online encyclopedia Wikipedia. Rationality and society, 21(3), 283-306. https://doi.org/10.1177/1043463109336804
DOI : 10.1177/1043463109336804

BIGLAN, A. (1973). Relationships between subject matter characteristics and the structure and output of university departments. Journal of Applied Psychology, 57(3), 204-213. https://doi.org/10.1037/h0034699
DOI : 10.1037/h0034699

BORDIA, P., IRMER, B. E., et ABUSAH, D. (2006). Differences in sharing knowledge interpersonally and via databases : The role of evaluation apprehension and perceived benefits. European journal of work and organizational psychology, 15(3), 262-280. https://doi.org/10.1080/13594320500417784
DOI : 10.1080/13594320500417784

BORNMANN, L. (2014). Do altmetrics point to the broader impact of research ? An overview of benefits and disadvantages of altmetrics. Journal of informetrics, 8(4), 895-903. https://doi.org/10.1016/j.joi.2014.09.005
DOI : 10.1016/j.joi.2014.09.005

CARRE, P. (2002). De la motivation à la formation. L'Harmattan

CHARTRON, G., et SCHÖPFEL, J. (2017). Open access et Open science en débat. Revue française des sciences de l'information et de la communication, 11, Article 11. http://journals.openedition.org/rfsic/3331
DOI : 10.4000/rfsic.3331

CHAUVIN, S., GALLEZOT, G., et SCHÖPFEL, J. (2010). Les mémoires de master dans les archives ouvertes, Rapport de recherche, Université Lille 3, 49 pages https://hal.science/sic_00497390 Consulté le 26 février 2024

CLEMENT, G. P., et RASCOE, F. (2013). ETD management et publishing in the ProQuest system and the university repository : A comparative analysis. Journal of Librarianship and Scholarly Communication, 1(4). http://hdl.handle.net/1853/48713

DAWSON, D., et LANGRELL, K. (2023). More Obstacles for the Graduate Student Author : Open Access ETDs Trigger Plagiarism Detectors. Journal of Graduate Librarianship, 1(1). https://doi.org/10.59942/2995-9063.1002
DOI : 10.59942/2995-9063.1002

EGER, T., SCHEUFEN, M., et MEIERRIEKS, D. (2015). The determinants of open access publishing : Survey evidence from Germany. European journal of law and economics, 39, 475-503.

ENGESTRÖM, Y. (1987) Learning by Expanding. An Activity-Theoretical Approach to Developmental Research. Orienta-Konsultit.
DOI : 10.1017/CBO9781139814744

ENGESTRÖM, Y. (2001). Expansive learning at work : Toward an activity theoretical reconceptualization. Journal of education and work, 14(1), 133-156.

ELSABRY, E. (2017). Who needs access to research ? Exploring the societal impact of open access. Revue Française Des Sciences de l'information et de La Communication, 11, Article 11. https://doi.org/10.4000/rfsic.3271
DOI : 10.4000/rfsic.3271

FERRERAS-FERNANDEZ, T., GARCIA-PEÑALVO, F., MERLO-VEGA, J. A., et MARTIN-RODERO, H. (2016). Providing open access to PhD theses : visibility and citation benefits. Program, 50(4), 399-416. https://doi.org/10.1108/PROG-04-2016-0039
DOI : 10.1108/PROG-04-2016-0039

GENDRE, F., HUGOT, C., SCHÖPFEL, J., et SOUCHON, A. (2023). La diffusion des travaux d'étudiants : le portail d'archives ouvertes DUMAS. Culture et Recherche, 144, 49–51 https://shorturl.at/RYZ16

HAUSTEIN, S. (2016). Grand challenges in altmetrics : heterogeneity, data quality and dependencies. Scientometrics, 108, 413-423. https://doi.org/10.1007/s11192-016-1910-9
DOI : 10.1007/s11192-016-1910-9

HAWKINS, A. R., KIMBALL, M. A., et IVES, M. (2013). Mandatory Open Access Publishing for Electronic Theses and Dissertations : Ethics and Enthusiasm. The Journal of Academic Librarianship, 39(1), 32–60. https://doi.org/10.1016/j.acalib.2012.12.003
DOI : 10.1016/j.acalib.2012.12.003

HOMANS, G. C. (1958). Social behavior as exchange. American Journal of Sociology, 63(6), 597-606. https://doi.org/10.1086/222355
DOI : 10.1086/222355

ILYENKOV, E. (1974), Dialectical Logic : Essays on its History and Theory, Progress Publishers.

KARANASIOS, S. (2018). Toward a unified view of technology and activity : The contribution of activity theory to information systems research. Information Technology et People, 31(1), 134-155. https://doi.org/10.1108/ITP-04-2016-0074
DOI : 10.1108/ITP-04-2016-0074

KWOK, S. H., et Gao, S. (2005). Attitude towards knowledge sharing behavior. The Journal of Computer Information Systems, 46(2), 45−51. https://doi.org/10.1080/08874417.2006.11645882

LIN, J., et FENNER, M. (2013). Altmetrics in evolution : Defining and redefining the ontology of article-level metrics. Information standards quarterly, 25(2), 20.

LOOK, H., et PINTER, F. (2010). Open access and humanities and social science monograph publishing. New Review of Academic Librarianship, 16, 90-97. https://doi.org/10.1080/13614533.2010.512244
DOI : 10.1080/13614533.2010.512244

MAHE, A., et PRIME-CLAVERIE, C. (2017). "Qui dépose quoi sur Hal-SHS ? Pratiques de dépôts en libre accès en sciences humaines et sociales". Revue française des sciences de l'information et de la communication, (11). https://journals.openedition.org/rfsic/3315

MARTIN, I. (2015). "Le signalement des thèses de doctorat". I2D - Information, données documents, 52(1), 46-47.

O'KEEFFE, J., WILLINSKY, J., et MAGGIO, L. (2011). Public access and use of health research : an exploratory study of the National Institutes of Health (NIH) Public Access Policy using interviews and surveys of health personnel. Journal of medical Internet research, 13(4), e1827. https://doi.org/10.2196/jmir.1827
DOI : 10.2196/jmir.1827

PARK, E. G., et RICHARD, M. (2011). Metadata assessment in e‐theses and dissertations of Canadian institutional repositories. The Electronic Library, 29(3), 394-407. https://doi.org/10.1108/02640471111141124
DOI : 10.1108/02640471111141124

PERRIN, J. M., WINKLER, H. M., et YANG, L. (2015). Digital Preservation Challenges with an ETD Collection—A Case Study at Texas Tech University. The Journal of Academic Librarianship, 41(1), 98–104. https://doi.org/10.1016/j.acalib.2014.11.002
DOI : 10.1016/j.acalib.2014.11.002

RAMIREZ, M L., MCMILLAN, G., DALTON, J. T., HANLON, A., SMITH, H. S., et KERN, C. (2013). "Do open access electronic theses and dissertations diminish publishing opportunities in the sciences ?" College and Research Libraries, 74, 368-380. http://hdl.handle.net/10919/23911
DOI : 10.5860/crl.75.6.808

SCHÖPFEL, J., et PROST, H. (2010). Les statistiques d'utilisation d'archives ouvertes-État de l'art. https://archivesic.ccsd.cnrs.fr/file/index/docid/480538/filename/EPEF_Schopfel_Prost_5.0.pdf

SCHÖPFEL, J., PROST, H., JACQUEMIN, B., KERGOSIEN, É., et THIAULT, F. (2024). La valorisation de HAL. Finalités, outils et process. https://hal.science/hal-04450898/

Schöpfel, J., et Stock, C. (2009). "Les archives ouvertes en France : Un potentiel documentaire pour la formation à distance". Distances et savoirs, 7(3), 443-456. https://www-cairn-info.bibdocs.u-cergy.fr/revue-distances-et-savoirs-2009-3-page-443.htm
DOI : 10.3166/ds.7.443-456

SCHÖPFEL, J., ZENDULKOVA, D., et FATEMI, O. (2014). Electronic Theses and Dissertations in CRIS. Procedia Computer Science, 33, 110–117. https://doi.org/10.1016/j.procs.2014.06.018
DOI : 10.1016/j.procs.2014.06.018

SHEMA, H., BAR-ILAN, J., et THELWALL, M. (2014). "Do blog citations correlate with a higher number of future citations ? Research blogs as a potential source for alternative metrics". Journal of the Association for Information Science and Technology, 65(5), 1018-1027. https://doi.org/10.1002/asi.23037
DOI : 10.1002/asi.23037

STANTON, K. V., et LIEW, C. L. (2011). "Open Access Theses in Institutional Repositories : An Exploratory Study of the Perceptions of Doctoral Students". Information Research : An International Electronic Journal, 16(4). https://eric.ed.gov/?id=EJ971947

WANG, S. et NOE, R. A. (2010). "Knowledge sharing : A review and directions for future research". Human Resource Management Review, 20(2), 115-131. https://doi.org/10.1016/j.hrmr.2009.10.001
DOI : 10.1016/j.hrmr.2009.10.001

WANG, S., NOE, R. A., et WANG, Z.-M. (2005). An exploratory examination of the determinants of knowledge sharing. Society for Industrial/Organizational Psychology.

[1] https://dumas.ccsd.cnrs.fr/

[2] https://agorha.inha.fr/ark:/54721/58

Analyse de traces d'interaction et reconceptualisation des indicateurs de performance de MOOC : une revue de littérature

Matthieu Cisel — 2025-03-24T14:21:57Z

L'utilisation débridée d'indicateurs pour mesurer la performance de cours en ligne nuit potentiellement à la compréhension des phénomènes qu'ils prétendent mesurer. En nous focalisant sur les MOOC, nous illustrons trois types de travaux qui permettent de renouveler le regard sur ces métriques à partir d'analyses de traces d'interaction. Le premier consiste à questionner la terminologie mobilisée. Il convient d'identifier le phénomène que l'on évoque lorsque l'on parle de nombre d'étudiants, d'inscrits, ou de certificats délivrés. Par exemple, les inscriptions sont souvent faites par « rafales » et correspondent à des cours qui se superposent, et la comparaison avec une inscription à un cours universitaire montre ses limites. La recherche peut également viser à proposer de nouvelles catégories d'apprenants, qui constituent alors autant d'indicateurs alternatifs. L'usage du taux de certification minore en effet le poids des non-certifiés, qui peuvent développer une activité non négligeable, invisibilisée par le choix de certains indicateurs. Enfin, le chercheur peut enfin reprendre des indicateurs traditionnels, mais en segmentant le public d'un MOOC de sorte à appliquer les métriques de manière pertinente. Il convient alors de légitimer les critères mobilisés pour réaliser ce travail de segmentation.

Matthieu Cisel, « Analyse de traces d'interaction et reconceptualisation des indicateurs de performance de MOOC : une revue de littérature », Distances et médiations des savoirs [En ligne], 49 | 2025, mis en ligne le 21 mars 2025, consulté le 24 mars 2025. URL : http://journals.openedition.org/dms/10952

Introduction

De la place des indicateurs de succès dans l'univers de MOOC

1Les rapports publiés par l'OCDE sur les évaluations PISA ont familiarisé le grand public à la question de la performance des systèmes éducatifs (Rémond, 2006). Les évaluations des élèves sont réalisées à l'aune d'épreuves standardisées à différents niveaux du système scolaire, dès son entrée et jusqu'à l'âge de 15 ans. Elles couvrent les principales disciplines enseignées à l'école primaire (mathématiques, tâches de lecture, etc.). Les tenants et les aboutissants de la place que les indicateurs prennent désormais dans le pilotage des systèmes éducatifs sont traités dans des ouvrages dédiés, comme l'École à l'épreuve de la performance (Maroy, 2013). De Landsheere (1992, p. 478) propose une définition d'indicateur directement liée au pilotage des systèmes éducatifs, et se situe donc au plus près de nos objets d'étude :

Mesure destinée à servir le pilotage, un indicateur est une statistique directe et valide informant sur l'état et les changements d'ampleur et de nature, au cours du temps, d'un phénomène sociétal jugé important. En éducation, cette mesure informe notamment sur la santé et la qualité du fonctionnement du système.

Du point de vue de la mesure de la performance des systèmes éducatifs dans la salle de classe, des politiques ont étédéployées, des champs de recherche se sont structurés et les débats se sont étoffés au fil des ans. La performance de ces systèmes éducatifs sur Internet semble en revanche constituer une problématique bien moins investie tant par la recherche que dans les débats au sein de la sphère publique, où l'on se cantonne souvent à des statistiques simples comme le nombre de visites, de visiteurs, ou de cours diffusés. Cette considération s'est particulièrement vérifiée au moment de l'essor des MOOC, en France et au-delà, au début des années 2010. Ce sont des cours en ligne par définition gratuits pour l'essentiel, avec quelques services payants comme la délivrance de certificats authentifiés (Daniel, 2012). Ils ne fournissent pas de diplômes, et les certificats et open badges obtenus en fin de formation ont une valeur contestée sur le marché de l'emploi (Radford et al., 2014).

3Cet essor s'est accompagné d'une mobilisation importante mais discutable d'indicateurs, dans les discours qui les entourent comme dans les recherches académiques (Cisel, 2016). En effet, des sommes considérables ont été investies dans la conception des cours, tant ces formations sont coûteuses à produire (Hollands et Thirtalli, 2014). Dans les discours faisant la promotion de leurs projets, les acteurs publics ou parapublics en charge de leur développement, comme FUN MOOC (Vrillon, 2017), mobilisent dès lors souvent des indicateurs susceptibles de légitimer les investissements, et l'on retrouve ainsi dans les médias toutes formes de communication vantant les succès de l'action publique en matière d'apprentissage en ligne :

Deux ans après sa création, la plateforme française FUN peut se targuer de résultats plus que satisfaisants : elle compte désormais plus de 530.000 apprenants issus de 120 pays. Ils se sont inscrits à un ou plusieurs des 155 MOOC proposés par 62 structures d'enseignement supérieur. [1]

Aucune référence ici aux retours sur investissements d'ordre financier dans les discours institutionnels portant sur ce projet de plateforme, ce qu'une citation d'Alain Desrosières (2013, p.31) permet d'éclairer :

À la différence des activités marchandes, les politiques publiques ne disposent pas de critères comptables tels que la part de marché ou la rentabilité, pour juger leur capacité à satisfaire les besoins des usagers, ou simplement leur efficacité.

Les pouvoirs publics appliquent pour les MOOC des indicateurs généralement mobilisés dans le champ de l'éducation formelle. En effet, lorsqu'on ne parle pas de volume (d'inscrits, de certifiés, etc.), on évoque généralement les taux de complétion comme métriques visant à mesurer la qualité des actions (Cisel, 2016). Les acteurs institutionnels se tournent ainsi vers des indicateurs familiers et faciles d'obtention. Les problèmes que soulève cette approche résident dans le choix des indicateurs mis en avant, car ils sont susceptibles d'influer sur les processus de décision, à commencer par la poursuite ou l'interruption de projets selon la performance affichée, dont l'évaluation se base sur ces métriques. Les indicateurs mobilisés dans les débats sur ces cours en ligne ont oscillé, selon les moments et les auteurs, entre le statut de référence indiscutable et celle de métriques inutiles qui n'avaient pas leur place dans une argumentation.

À un extrême, une compréhension sans doute trop superficielle de l'indicateur n'a pas manqué d'introduire de la confusion dans la réflexion collective, par exemple lorsque le succès de différents dispositifs était comparé uniquement à l'aune de leurs taux de certification. À l'autre extrême, les critiques récurrentes contre cette métrique ont probablement poussé certains acteurs académiques et institutionnels à dénoncer purement et simplement son usage, alors qu'en parallèle se développait une littérature abondante sur la question. Il convient en effet de rappeler que l'inflation de chiffres débouche parfois sur divers discours prophétiques, car la massification fait réagir : on parle de cours dépassant parfois la centaine de milliers d'inscriptions (Daniel, 2012). Cet extrait d'un article d'un spécialiste des technologies éducatives, utilisant le terme étudiant, illustre la tendance :

Udacity, l'un des trois principaux acteurs des MOOC, a accueilli 300 000 étudiants dans son cours d'introduction à l'informatique, ce qui en ferait le record actuel pour un MOOC. En tout, ce sont près de 20 millions d'étudiants de plus de 200 pays qui se sont déjà inscrits à un MOOC, et la tendance demeure exponentielle. Les MOOC marquent-ils l'aube de la démocratisation de l'enseignement universitaire ? (Karsenti, 2013, p. 6).

L'emballement qui s'est mis en place au début des années 2010 à l'échelle mondiale autour de la création de MOOC tient sans doute en grande partie à la communication de métriques faisant réagir les décideurs institutionnels, en particulier dans les établissements publics d'enseignement supérieur (Daniel, 2012). Les choix terminologiques, comme l'emploi du terme étudiant dans le dernier extrait que nous avons rapporté, ne sont pas innocents puisqu'ils induisent, improprement, une comparaison avec la taille d'une université. En d'autres termes, la mesure du phénomène et les choix terminologiques effectués lors de la communication des métriques constituèrent sans doute l'un des principaux moteurs de l'essor que prirent ces dispositifs dans le débat public. Ils transformèrent la dynamique qui se créait autour des MOOC et engendrèrent tôt une multiplicité de discours tantôt alarmistes tantôt laudateurs (Baggaley, 2013), notamment du fait de la mobilisation, fallacieuse à bien des égards, d'indicateurs traditionnels. Nous utiliserons ce dernier terme pour désigner l'ensemble constitué par le nombre d'inscrits, de certifiés, et par le taux de certification. Les prédictions fondées sur ces métriques résistèrent mal à l'épreuve du temps, que l'on se place du point de vue de la démocratisation de l'enseignement supérieur ou de celui de la transformation radicale des systèmes éducatifs (Acquatella, Fernandez et Houy, 2022).

La mobilisation fréquente des indicateurs dans les discours des promoteurs ou des détracteurs des MOOC, ainsi que le poids qu'ils ont eu dans de multiples processus de décision, constituent une invitation à mener des analyses critiques des métriques mobilisées dans les discours sur le succès de ces dispositif. Par ailleurs, l'existence de traces d'interaction (Cherigny et al., 2020) collectées par les plateformes d'hébergement offre de multiples opportunités en termes de création d'indicateurs alternatifs (Daniel, 2012). Entre autres enjeux, l'agentivité dont disposent les apprenants (Moore et Blackmon, 2022) impose en effet de repenser les métriques mobilisées dans les tableaux de bord à destination des administrateurs, des formateurs responsables de l'animation d'un cours. Ces différentes considérations nous ont amené à formuler deux questions :

Dans quelle mesure les analyses de traces d'interaction peuvent-elles nous permettre d'éclairer les indicateurs traditionnellement mobilisés pour décrire le succès d'un MOOC, avec en priorité le nombre d'inscriptions, de certifiés, et les taux de complétion ? Quelles métriques alternatives peut-on proposer sur la base de ces analyses ?

Plus de dix ans après l'essor des MOOC, nous nous proposons de réaliser une revue de littérature focalisée sur les articles décrivant les comportements observables d'apprenants, sur la base d'approches méthodologiques relevant principalement de l'informatique. Si le présent travail se cantonne à ces cours en ligne, il peut être pertinent plus largement dans le cadre de travaux sur l'apprentissage sur Internet, voire pour tout dispositif de formation produisant des traces d'interaction. Les revues de littérature consacrées aux MOOC, relativement généralistes vers le milieu des années 2010 (Ebben et Murphy, 2014) se sont spécialisées au fil des ans pour traiter, notamment, des approches méthodologiques suivies dans les recherches (Raffaghelli et al., 2015 ; Zhu et al., 2018 ; Zhu et al., 2020) et plus récemment des indicateurs de performance (Huang et al., 2023 ; Li et al., 2022 ; Ogunyemi et al., 2022). Notre travail est davantage centré sur les analyses permettant soit d'apporter un regard critique sur les métriques existantes, soit de suggérer des métriques alternatives. Pour ce faire, nous avons défini trois axes de recherche correspondant à autant d'approches méthodologiques. Précisons dès à présent que ces axes n'englobent pas de manière exhaustive l'ensemble des travaux menés sur les indicateurs au sein des MOOC. Ils prennent leurs racines dans des recherches bien antérieures à l'avènement de ces cours en ligne. Les paragraphes qui suivent visent à les définir et à les illustrer avec des écrits produits avant l'essor des MOOC.

Trois types d'approches quantitatives suivies dans les recherches consacrées aux indicateurs de MOOC

Le premier axe de recherche porte sur la meilleure caractérisation, via l'analyse de traces, de l'indicateur mobilisé pour mesurer le phénomène d'intérêt, sans nécessairement de proposition d'alternatives : nombre d'inscriptions ou de certifiés, par exemple ; les réflexions terminologiques sont incontournables à cet égard, et constituent un préalable à la mise en œuvre de techniques relevant de l'informatique. Dans le contexte d'un MOOC, l'usage de termes comme apprenants, étudiants, ou inscriptions peut prêter à confusion, et l'on peut mobiliser des approches quantitatives pour tâcher d'identifier ce qu'il recouvre. En effet, la gratuité de l'accès aux ressources représente une caractéristique saillante de ces cours. Ce frein économique disparaissant, il n'est dès lors guère surprenant qu'apparaissent des situations où plus de cent mille personnes s'inscrivent à une seule formation. Pour autant, parler de centaines de milliers d'étudiants comme a pu le faire Thierry Karsenti dans l'extrait que nous avons rapporté constitue selon nous un abus de langage qui n'est pas sans conséquence sur la perception que les décideurs ont de la portée des dispositifs.

L'emploi du terme étudiant revient à utiliser des métriques mobilisées pour décrire la taille d'une université, ce qui engendre potentiellement des confusions quant à l'audience réelle de ces cours en ligne. Il fait par ailleurs référence à la formation initiale, alors que les statistiques ont montré que les étudiants au sens strict y étaient largement minoritaires (Cisel, 2016). L'emploi du terme apprenants semble moins biaisé à cet égard, mais il constitue un parti pris critiquable. En effet, s'inscrire à un MOOC ne signifie pas que l'on y apprendra quelque chose ; les individus qui ne se connectent jamais à un cours après s'y être inscrits sont nombreux, et n'en ont donc rien tiré en termes d'apprentissage. C'est un fait connu depuis longtemps (Chuang et Ho, 2016). Dans cette littérature qui s'est développée autour des MOOC, la difficulté vient ici de l'utilisation, sans précaution, de termes de sens commun, qui à certains égards nuisent à la compréhension du phénomène. Nous pourrions faire nôtres les propos de Bullich (2021, p. 47) sur le terme « plateforme » :

Plateforme et plateformisation font partie de ces termes qui se sont imposés sans qu'une définition stabilisée et consensuelle n'ait vu le jour. Ils semblent ainsi relever de « l'allant de soi » bien que des acceptions très variées, voire antinomiques, soient perceptibles dans les discours. Du point de vue de la recherche, cette ambiguïté sémantique est à l'évidence source de confusions et de difficultés analytiques : le fait de rapporter ces dénominations à des objets très différents conduit quelquefois à agréger dans une même étude des éléments épars ou des perspectives incompatibles ; en outre, cette polysémie rend difficile sinon impossible la mise en regard des résultats obtenus.

Le titre de l'article de Bullich consacré à la définition de ces termes se termine par une citation de Bourdieu : « Le péril des mots qui occultent ce qu'ils nomment ». L'auteur revient sur les différentes acceptions du terme plateforme, d'abord dans les cercles professionnels non universitaires, puis, au sein du milieu académique, par les sciences de gestion, puis par celles de l'information et de la communication (SIC), sa discipline d'origine. Ancrant sa réflexion dans les SIC, il définit alors le terme comme suit :

Dans une recherche de dépassement de la dichotomie dispositif/acteur, une plateforme se conçoit ainsi comme un nexus d'éléments sémiotechniques (manifestés par les interfaces, les formes et formats médiatisés, etc.), de stratégies socioéconomiques (relatives à l'organisation de la production et sa valorisation sur différents marchés) et de pratiques socioculturelles (rapportées à diverses situations de communication). (Bullich, 2021, p. 47)

Nous retiendrons ici cette définition. Il en va du mot plateforme comme des autres mots mobilisés dans les indicateurs. Le terme inscription est plus neutre qu'apprenant, ou étudiant, puisqu'il est facile à définir : il s'agit, de manière prosaïque, du nombre d'individus uniques ayant appuyé sur le bouton s'inscrire au cours, au sein de la plateforme de MOOC.

Néanmoins, sans recherche dédiée, l'on peine à identifier la signification que recouvre cet acte, et, partant de là, à appréhender la signification des indicateurs qui en découlent. Si l'action est réalisée au sein d'une rafale de dix autres inscriptions faites en l'espace de quelques instants (Wintermute et al., 2021), ce n'est pas la même chose que si elle s'ancre dans un projet d'apprentissage (Cisel, 2017b) centré sur un cours unique et concentrant toute l'attention de l'individu. Les débats terminologiques doivent, à un moment donné, être complétés par des études empiriques. Partant de ce constat, un premier axe de recherche consiste à identifier ce que recouvre dans un MOOC une métrique comme le nombre d'inscriptions ou de certificats délivrés, via l'analyse de jeu de données couvrant des traces d'interaction. C'est ce que nous nommerons la reconceptualisation ou la critique d'indicateurs traditionnels.

Les autres axes de recherche correspondent à des propositions d'indicateurs alternatifs, pour mieux appréhender la manière dont se traduit l'agentivité des apprenants. Il s'agit notamment de prendre en considération le fait que les pratiques d'appropriation des plateformes relèvent dans une large mesure de ce que Plantard (2014) nomme le butinage, navigation d'une ressource à l'autre sans suivi d'une séquence pédagogique imposée par un formateur. Mesurer l'investissement dans un cours en termes de taux de complétion par exemple, conduit souvent à perdre de vue de tels phénomènes, et laisse un certain nombre de points aveugles que la recherche peut être amenée à explorer. La problématique est ici assez proche de celle des métriques alternatives, altmetrics en anglais (Haustein, 2016), qui se développe dans le champ scientifique pour servir d'alternative à des indicateurs simples comme le nombre de citations d'un article. Sur le plan méthodologique, cette démarche de conception peut suivre deux voies qui constituent ici autant de sous-sections de notre revue de littérature : la première consiste à se fonder uniquement sur des comportements observables pour construire le nouvel indicateur, c'est l'axe 2 de notre revue, tandis que la seconde implique de mobiliser des données déclaratives, afin de segmenter la population étudiée sur la base de critères dont il convient alors de légitimer la pertinence. C'est là le dernier axe que nous présenterons.

Au sein de la littérature, l'on peut trouver dans une approche comme dans l'autre un certain nombre de travaux antérieurs à l'essor des MOOC. Les travaux sur les indicateurs de performance dans la formation à distance de Shale et Gomes (1998) constituent un exemple relativement ancien de réflexion relevant du premier type de recherche. Les auteurs discutaient notamment de la prise en compte du non-start, le non démarrage, apprenants qui ne débutaient jamais la formation, afin de produire des mesures d'attrition corrigées et plus pertinente. S'agissant de la seconde approche, nous pouvons citer des travaux réalisés sur la consommation de podcasts universitaires, un exemple mobilisant un indicateur comme le nombre de téléchargements de la ressource. Se sont en effet développés au cours de cette décennie un certain nombre de recherches relatives à la popularité des podcasts au sein de la population (McClung et Johnson, 2010), et dans l'enseignement supérieur.

19Une étude a par exemple été menée au début des années 2010 dans une université australienne (Van Zanten et al., 2012). Les auteurs ont travaillé sur les usages qui se sont développés autour d'enregistrements d'un cycle de conférences, et ont comparé une variable comme le nombre de téléchargements entre différents types de podcasts. Ils contrastaient l'appropriation des médias entre étudiants internes et externes à l'établissement, mais aussi et surtout en fonction de la longueur et de la visée du podcast. Cette recherche présente la particularité de pouvoir distinguer d'une part les étudiants de l'établissement et d'autre part les internautes n'ayant pas de lien avec l'institution ; elle mesure l'attrition au fil des enregistrements de conférence – un indicateur classique, mais avec une logique de segmentation. La recherche illustre une démarche suivie dans plusieurs travaux sur les MOOC, sur lesquels nous reviendrons.

Méthodologie

À partir de portails spécialisés (ERIC, Érudit) ou via Google Scholar, 892 textes ont été initialement repérés puis archivés via Zotero sur la base des critères suivants : utilisation du mot-clé MOOC, période 2012-2024, résumé indiquant qu'une méthode quantitative a été suivie. En effet, la littérature francophone ne contient qu'un nombre très limité de recherches s'inscrivant dans les axes que nous avons définis ici. Notre étude englobe aussi bien les actes de conférence que les articles de revues scientifiques. Le choix de faire débuter notre revue en 2012 tient au fait que les travaux consacrés aux MOOC et antérieurs à cette date ne mobilisent jamais d'analyses de traces d'interaction (Cisel, 2016).

L'ensemble des productions retenues comprennent le terme MOOC, qui constitue le seul mot-clé commun à notre corpus. En effet, même lorsque la recherche porte sur des indicateurs et mobilise des traces d'interaction (Cherigny et al., 2020), les mots-clés comme indicators ou learning analytics n'apparaissent que rarement dans le titre ou le résumé. Associés à MOOC, des termes comme auditor, dropout ou completion rates conduisent à trouver des articles abordant généralement la question de l'attrition, via le taux de certification, sous l'angle quantitatif. La mobilisation du critère que constitue une analyse quantitative de traces de comportements d'apprenants a permis de réduire considérablement le périmètre de notre revue de littérature.

Les résumés des articles ont été utilisés pour déterminer si la recherche analysait sous un angle quantitatif les comportements observables des apprenants, sur la base des traces d'interaction (Cherigny et al., 2020) laissées au sein des plateformes hébergeant les cours. Lorsque ce critère était rempli, nous procédions alors à une lecture complète de l'article pour déterminer s'il appartenait à l'un des trois axes de recherche définis en introduction. La plupart des articles sélectionnés via les résumés n'appartenaient pas à ces axes, même lorsqu'ils s'appuyaient des analyses de traces. En effet, beaucoup d'articles visent à établir des liens statistiques entre un indicateur traditionnellement utilisé en formation (nombre d'inscriptions, nombre de certificats délivrés, taux de complétion) et des caractéristiques des dispositifs, comme l'illustrer la revue de (Khalil et Ebner, 2014). Ils sortent néanmoins du cadre de notre travail, puisqu'ils n'apportent pas de regard critique sur les indicateurs, au même titre que les articles portant sur la prédiction de performances individuelles au sein du cours, fondée sur les traces d'interaction (Dalipi et al., 2018).

Les travaux relevant du process mining (Van der Aalst, 2018) permettant de découvrir et de qualifier des séquences d'actions comme le visionnage de multiples vidéos à la suite (Davis et al., 2016) n'entrent pas dans le périmètre de cet article, car ils ne caractérisent pas des individus ou des comportements à l'échelle d'un cours. En définitive, seuls 32 articles correspondant à nos critères ont été retenus. La littérature francophone, en particulier si on l'étend à la littérature grise, comprend de nombreux écrits rapportant des indicateurs ou des analyses de traces ; on pourrait prendre comme exemple les rapports de l'INRIA sur leurs MOOC (Mariais et al., 2016) entre autres. En revanche, s'agissant des travaux empiriques critiquant explicitement les indicateurs, sur la base d'analyse de traces, sont virtuellement absents. À notre connaissance, les deux seules publications s'inscrivant dans cet axe sont de notre fait (Cisel, 2017a, 2019). Dans le premier cas, nous nous sommes basé sur des données de Coursera pour montrer comment l'indicateur qu'est le nombre de certifiés tend à masquer l'activité importante des non-certifiés. Dans le second cas, nous avons mobilisé des données de FUN MOOC pour mettre en évidence des rafales d'inscriptions, qui relativise un indicateur comme le nombre d'inscrits. La réflexion menée dans ces deux contributions à STICEF a renforcé l'intérêt pour les travaux critiques sur les indicateurs, et débouché sur la présente revue de littérature. La Figure 1 synthétise l'ensemble du processus décrit dans les paragraphes précédents.

Figure 1. Critères d'inclusion et d'exclusion mis en œuvre dans la revue de littérature

Résultats

Dans cette section, nous avons décomposé les articles issus de notre revue de littérature en trois sous-parties correspondant aux différentes manières d'aborder la question de la reconceptualisation des indicateurs dans les travaux scientifiques mobilisant des traces d'interaction. Nous présentons plus en détail certaines des publications les plus emblématiques ou les plus citées au sein d'un axe donné, tout en retraçant les principales évolutions des travaux correspondants, rapportés de manière exhaustive dans le Tableau 1.

L'analyse de traces au service de la critique d'indicateurs traditionnels

La fondatrice de Coursera et ses collègues (Koller et al., 2013) représentent les premières figures du mouvement MOOC à avoir invité, dans la littérature grise, à repenser les indicateurs traditionnels comme les taux de complétion, sur la base des données de la plateforme :

Pour les enseignants qui traitent du décrochage au sein des universités traditionnelles, le taux de rétention dans un MOOC est particulièrement alarmant. Pour un professeur d'université habitué à une audience classique d'étudiants investis, payant des frais d'inscription et présents dans une salle de classe, l'image d'un amphithéâtre se vidant continuellement – où seul un étudiant sur vingt reste jusqu'au bout – constitue une perspective effrayante, et c'est compréhensible. Mais est-ce là le bon cadre pour appréhender la notion de succès dans un MOOC ?

S'agissant de la littérature scientifique, DeBoer et al. (2014) sont à l'origine de l'un des premiers articles influents centrés exclusivement sur la reconceptualisation des différentes métriques. Illustrant leur démarche avec l'analyse des traces d'un MOOC, les auteurs proposent de repenser quatre « variables éducatives » au prisme du contexte des MOOC : l'inscription, le curriculum, la participation et la réussite, traductions respectives de « enrollment », « curriculum », « participation » et « achievement ». Les auteurs définissent la réopérationnalisation d'une variable comme « une mise au jour de sa définition opérationnelle laissant intacts ses interprétations et ses usages conventionnels » et la reconceptualisation comme « une redéfinition des usages et des interprétations à même de convenir au nouveau contexte éducatif » (p. 75). La série d'articles suivants porte sur la triche. L'une des particularités des MOOC réside dans le caractère gratuit de l'inscription, et dans le fait qu'après la réalisation d'une évaluation, les corrigés correspondants sont souvent fournis à l'individu. Ainsi, créer plusieurs comptes en parallèle, l'un pour obtenir les résultats de l'évaluation, l'autre pour entrer du premier coup les bonnes réponses, constitue une stratégie dont l'existence a été démontrée par Northcutt et al. (2016) et Alexandron et al. (2019), et à certains égards par Ruipérez-Valiente et al. (2021). Une métrique comme le nombre de certifiés est dès lors à mettre en regard de cette possibilité pour les apprenants d'obtenir très facilement le certificat, sans maîtrise de connaissances.

Au-delà de la question de la valeur des certificats délivrés, nécessairement posée par la mise en évidence de techniques de fraude, ces articles montrent que la gratuité des cours peut avoir comme conséquence une inflation du nombre d'inscriptions, qui ne s'accompagne pas d'une hausse du nombre d'apprenants, puisque plusieurs comptes sont potentiellement créés pour chaque utilisateur. C'est d'ailleurs également l'un des messages du travail de Wintermute et al. (2021). Ces auteurs s'intéressent à la tendance des utilisateurs de FUN MOOC à réaliser des rafales d'inscriptions, plusieurs cours portant sur des thématiques variées étant sélectionnés en l'espace de quelques minutes. Les données montrent que le suivi de multiples cours, le plus souvent organisés de manière simultanée, est négativement corrélé avec la réalisation des évaluations. Le phénomène est de nature à relativiser la signification de l'inscription à un MOOC, qui s'apparente souvent, et des entretiens réalisés par nos soins ont confirmé cette interprétation, à une forme de marque-page permettant d'accéder plus facilement au contenu de la formation si besoin était, un jour.

Enfin, certains auteurs se sont focalisés sur les individus ayant terminé la formation, sans pour autant consulter l'intégralité des ressources pédagogiques nécessaires à la réalisation des activités évaluées. Des chercheurs comme Formanek et al. (2017) ont quantifié une démarche décrite de manière qualitative dans un article de Bruillard (2017), où l'auteur a montré la facilité d'obtention du certificat d'une série de MOOC, sans consultation de la moindre vidéo. Un tel travail interroge à nouveau la valeur des certificats délivrés, et donc un indicateur comme le nombre de certifiés. Dans les travaux anglophones sur les taxonomies d'apprenants, les individus qui adoptent cette démarche portent généralement le nom de solvers, considération qui va nous amener à revenir maintenant sur les typologise de formes d'engagement.

Proposer des indicateurs alternatifs sur la base des seuls comportements observables

Compris généralement entre 5 et 10 %, les taux de certification bas tendent à éclipser les actions réalisées par la grande majorité des inscrits, généralement plus de 90 %. C'est pour éclairer les points aveugles laissés par cette métrique qu'un certain nombre de travaux se sont penché sur la description de diverses formes d'engagement des non-certifiés, travaux qui constituent l'essentiel des articles recensés ici. Une poignée de chercheurs s'intéressant aux interactions dans les forums ont également produit des métriques alternatives dans ce champ.

Kizilcec et al. (2013) avaient été les premiers à proposer des catégories d'apprenants sur la base de traces (Tableau 1). Dans un article séminal qui fut cité à de multiples reprises, ils ont proposé la catégorie correspondant aux auditeurs libres (ne regardant que les vidéos), et celle relevant de « l'échantillonnage », notion proche de celle de butinage formulée par Plantard (2014). De nombreux écrits ont proposé des variations autour de ces termes : viewers, pour visionneurs (Liu et al., 2016), et bystanders, traduction de spectateurs. Concernant l'échantillonnage, souvent désigné par sampler (Meaney et Fikes, 2023), on trouve également le terme de targeting learner, ciblage (Anutariya et Thongsuntia, 2019). La distinction entre apprenants actifs et passifs (Coffrin et al., 2014 ; Tseng et al., 2016), fondée sur la réalisation des devoirs, est également fréquente, le terme all-rounder (Anderson et al., 2014) étant utilisé pour désigner ceux qui réalisent l'ensemble des activités prescrites.

Tableau 1. Nature des analyses réalisées dans les articles retenus dans la revue de littérature

Auteur(s)

Nature du travail sur les indicateurs

Axe 1 : Reconceptualisation et critique des indicateurs traditionnels

Koller	Critique de l'utilisation du taux de complétion
DeBoer et al. (2014)	Critique de métriques classiquement utilisées (nombre d'inscription, taux de complétion), et analyse de traces venant étayer ces critiques
Northcutt et al. (2016)	Mise en évidence d'un phénomène de création de plusieurs comptes par individu pour faciliter la réussite des examens en collectant les réponses, critique de la valeur du certificat et de l'indicateur nombre de certifiés, et d'inscriptions
Formanek et al. (2017)	Mise en évidence d'apprenants ne regardant pas toute les vidéos avant de réaliser les devoir et analyse du % de vidéos vues, notamment chez ceux qui terminent. Éclairage sur la valeur du certificat, et donc sur le nombre de certifiés
Alexandron et al. (2019)	Mise en évidence de faux comptes, pensés pour tricher. Critique de l'indicateur nombre d'inscriptions
Wintermute et al. (2021)	Mise en évidence du phénomène d'inscriptions multiples, en rafales, qui relativise l'investissement correspondant à un cours en particulier. Relativise l'importance de l'indicateur nombre d'inscriptions

Axe 2 : Indicateurs alternatifs sur la base de typologies de formes d'engagement

Kizilcec et al. (2013)	auditing, completing, disengaging, sampling
Anderson et al. (2014)	bystander, viewer, collector, all-rounder, solver
Coffrin et al. (2014)	auditors, active students, qualified students
Ferguson et Clow (2015a, b).	Enrichit la taxonomie de Kizilcec et al. (2013) avec des clusters labélisés (7 formes) obtenus par apprentissage non supervisé : samplers, strong starters, returners, keen completers, late completers, etc.
Ho et al. (2015) - Chuang et Ho (2016)	participant (équivalent d'inscrit), explorer, compléter. La notion de explorer est uniquement fondé sur le fait que l'inscrit a accédé à plus de la moitié des chapitres de cours
Liu et al. (2016)	Inspiré d'Anderson et al. (2014) : bystander, viewer, all-rounder, solver. Croise avec les dimensions culturelles (nationalité, etc.)
Tseng et al. (2016)	bystander, active learner, passive learner, centré sur le niveau d'engagement dans les taches prescrites
Sunar et al. (2016)	Taxonomie fondée sur un mélange d'indicateurs d'interaction sur les forums de Futurelearn (follower, followee, poster) et d'indicateurs de réalisation d'activités (week completer, non completer).
Kahan et al. (2017).	tasters, downloaders, disengagers, offline engagers, online engagers, moderately social engagers, social engagers. Prend en considération la participation dans les forums, et le fait qu'une partie des activité peut être fait hors ligne
Maldonado-Mahauad et al. (2018)	sampling learners, targeting learner, comprehensive learner. Analyse de séquences d'interaction avec le cours sur la base de techniques de process mining, suivi d'un clustering
Vitiello et al. (2018)	Distinction problem attempter / not problem attempter parmi les individus ne terminant pas le cours ce qui débouche sur la typologie dropouts, active dropouts, completers. Permet d'identifier ceux qui ne parviennent pas à obtenir le certificat bien qu'ayant réalisé des épreuves
Anutariya et Thongsuntia (2019)	Reprise de la taxonomie de Maldonado-Mahauad et al. (2018) : sampling learners, targeting learning, comprehensive learner. Création d'une taxonomie de MOOC thaïlandais sur la base de leurs objectifs pédagogiques
Boroujeni et Dillenbourg (2019)	Point de départ : inactive, auditn v_start, a_start. Les deux dernières catégories correspondent au fait d'avoir commencé au moins un devoir (a pour assessment), et une vidéo (v). Analyse de séquence d'action pour chaque sous-catégorie
de Barba et al. (2020)	Taxonomie d'apprenants réalisée sur la base de clustering de séquences d'actions
Ruipérez-Valiente et al. (2021)	Taxonomie proposant une dichotomie entre comptes collaborateurs et non collaborateurs. Proximité avec le travail de Northcutt et al. (2016), mais sans désigner explicitement la collaboration comme un comportement de triche d'un seul individu
Crane et Comley (2021)	Proposition d'un indicateur lié à la participation sur les forums : ratio proposé pour plusieurs MOOC entre nombre d'apprenants non sociaux et nombre d'apprenants sociaux, la socialité étant mesurée sur la base de la participation aux forums
Cristea et al. (2023)	Clustering d'apprenants sur la base du nombre d'activités réalisés, du ratio de bonnes réponses, et lien avec un cadre théorique lié aux formes d'engagement
Meaney et Fikes (2023)	Contraste une typologie d'apprenants (auditor, sampler, disengager, all-rounder, solver) basée sur des comportements observables, avec des variables socioprofessionnelles

Axe 3 : Représentation de l'indicateur par catégorie d'apprenant

Reich (2014) - Reich et Ruipérez-Valiente (2019)	Contraste le taux de certification sur la base de l'intention déclarée (terminer le cours, simplement explorer le contenu, incertain)
Kizilcec et Schneider (2015)	Contraste une batterie d'indicateurs d'engagement (vidéos vues, participation sur les forums, etc.) sur la base de la motivation déclarée pour suivre le cours (application professionnelle, etc.)
Ho et al. (2015) - Chuang et Ho (2016)	Analyse du taux de certification analogue à celle de Reich (2014) : contraste sur la base de l'intention déclarée (terminer le cours, simplement explorer le contenu, incertain)
Rieber (2017)	Dans la continuité de Kizilcec et Schneider (2015), différencie des indicateurs d'engagement selon la motivation sous-tendant l'inscription
Moore et Wang (2021)	Contraste la note moyenne obtenue dans la formation selon la motivation sous-tendant l'inscription
Rizvi et al. (2022)	Contraste des indicateurs d'engagement, dont la présence sur les forums, selon le contexte socio-culturel (asiatique, anglo-saxon, etc.)

Si les termes se ressemblent souvent dans les diverses taxonomies d'apprenants proposées, il existe néanmoins des variations significatives dans la manière de segmenter les cohortes d'inscrits. Dans les approches les plus simples, que l'on retrouve dans des rapports relevant de la littérature grise, un individu est qualifié d'explorateur (explorer) sur la base d'un seuil arbitraire : le fait d'avoir consulté plus de la moitié des chapitres du cours (Chuang et Ho, 2016 ; Ho et al., 2015). Ils suggèrent par exemple de ne pas calculer les taux de certification avec le nombre d'inscrits en dénominateurs, mais de considérer les individus ayant réalisé un nombre minimal d'actions, ce qui fait mécaniquement s'accroître les nouveaux taux de certification annoncés.

Dans des approches plus avancées, ce sont des méthodes de clustering relevant de l'apprentissage non supervisé qui sont utilisées, comme l'algorithme k-moyennes. En suivant ce principe, certains auteurs comme Kahan et al. (2017) proposent des typologies comprenant jusqu'à plus d'une demi-douzaine de catégories, en incluant l'activité dans les forums, catégories pour lesquelles les auteurs trouvent généralement des labels. Si la posture des chercheurs proposant ces métriques alternatives n'est pas nécessairement celle d'une critique explicite des indicateurs de performance traditionnels, l'ensemble de ces travaux permettent de fournir une vision plus nuancée des formes d'engagement qui se mettent en place dans les MOOC. Le risque est l'inflation ad nauseam de termes qui ne sont en définitive employés que par une poignée d'auteurs.

Contraster les indicateurs selon les profils des utilisateurs

Nous concluons cette section par les travaux qui se sont attachés à contraster les indicateurs de performance traditionnels selon des catégories d'apprenants définies sur la base de données autodéclaratives – comprendre les questionnaires, avec en particulier la motivation pour suivre le cours, et intention de complétion au moment de l'inscription. Les chercheurs collaborant avec Coursera, comme Kizilcec et Schneider (2015) disposaient d'un avantage pour ce type de travaux : la possibilité de rendre obligatoire la réponse aux questionnaires avant l'accès aux ressources pédagogiques. Les auteurs s'attachent alors généralement à légitimer, dans le corps de l'article, le choix du critère mobilisé pour segmenter l'audience du MOOC.

Comme l'ont souligné Yeomans et Reich (2017), le terme « abandon » suggère qu'il y a eu intention de terminer le cours, or la gratuité du cours augmente la probabilité que l'on s'inscrive sans intention d'aller au bout de la formation. Dès lors, plusieurs travaux se sont attachés à distinguer les taux de complétion ou la rapidité du désengagement selon l'intention déclarée (Chuang et Ho, 2016 ; Ho et al., 2015 ; Reich, 2014 ; Reich et Ruipérez-Valiente, 2019). Cette dernière se décline généralement en un nombre réduit de catégories (terminer le cours et obtenir le certificat, incertain des objectifs, simplement consulter le contenu). Sans surprise, le comportement observé dépend effectivement très fortement de cette variable, justifiant la mobilisation de ce critère.

Plus que des indicateurs alternatifs, les auteurs se sont attachés à mobiliser d'une manière plus pertinente des indicateurs classiques. C'est également dans cette optique que certains chercheurs se sont penchés sur la question de la participation dans les forums de discussion des cours. Considérant que le contexte socioculturel dans lequel évoluent les apprenants joue sur leur propension à s'exprimer dans les forums, des auteurs comme Rizvi et al. (2022), entre autres analyses, contrastent des indicateurs d'interaction selon que l'individu soit issu d'un pays asiatique ou anglo-saxon.

Les segmentations de l'audience basées sur les motivations sous-tendant l'inscription sont généralement plus complexes à appréhender que celles que nous avons présentées jusqu'ici, du fait d'un nombre important de catégories potentielles. Ainsi, dans son travail de mise au point d'une taxonomie, Philippe Carré (2001), dans la continuité de travaux comme ceux de Morstain et Smart (1977), dénombre dix motifs d'engagement. On y distingue par exemple le motif socio-affectif – où l'apprenant recherche avant tout l'interaction avec autrui – du motif vocationnel, où la reconversion professionnelle constitue la principale motivation. Plusieurs chercheurs ont tenté d'établir entre.

Kizilicec et Schneider (2015) établissent par exemple une correspondance entre motifs déclarés et une série d'indicateurs de performance : les individus disant s'inscrire principalement pour les échanges ont une activité dans les forums largement supérieure à celle des autres inscrits, là où ceux qui s'inscrivent dans une logique vocationnelle exhibent de meilleures performances pour les indicateurs associés à la réalisation des activités. Les travaux de Rieber (2017) et de Moore et Wang (2021) se placent dans la continuité de cet article, mais ne se cantonnent pas au seul taux de complétion, représentant par exemple la note moyenne obtenue en fonction du motif d'entrée. Si dans les discours des acteurs de la formation en ligne, on conçoit que les métriques de performance ne peuvent être communiquées avec ce niveau de détail, ces éléments peuvent en revanche être pris en compte lors de la construction de tableaux de bord interactifs destinés à suivre l'engagement des cohortes d'apprenants. L'un des rôles potentiels de la recherche consiste alors à informer le processus de la conception de ces tableaux de bord.

Discussion

Comme le montrent Zhu et al. (2018, 2020) dans leur revue de littérature, les analyses de traces d'interaction, ou learning analytics occupent une place centrale au sein de la littérature scientifique anglophone consacrée aux MOOC. Sans nécessairement se donner comme objectif explicite l'apport d'un regard critique des indicateurs traditionnels, les écrits que nous avons recensés permettent de renouveler la manière d'appréhender les indicateurs de performance de ces cours en ligne, en proposant parfois des alternatives plus à même de prendre en considération l'agentivité dont disposent les apprenants. La multiplication des taxonomies de forme d'engagement pose néanmoins le problème du caractère cumulatif de la recherche dans ce champ précis. Le caractère souvent athéorique de la plupart de ces travaux conduit à une multiplication des termes proposés sans ancrage dans la littérature : nous avons dénombré 37 catégories d'apprenants dans les seuls travaux que nous avons recensés.

Bien qu'utiles pour appréhender les dynamiques à l'œuvre dans les cours, et bien qu'il y ait une intersection entre les termes proposés par les uns et les autres, un processus de maturation du champ fondé sur une utilisation consensuelle de ces termes reste à réaliser. En effet, ces termes correspondent parfois plus à des labels apposés à des clusters ou groupes d'apprenants, propres à un groupe de chercheurs, voir à un seul individu, qu'à des notions reprises de manière consensuelle dans un champ scientifique. Il existe dès lors un risque d'inflation terminologique, d'autant que ce type de démarche a commencé il y a plusieurs décennies dans des travaux consacrés à la formation à distance. On pensera en effet à des notions comme celle d'attainer, proposée par Terenzini (1987), pour décrire l'équivalent de l'échantillonnage, l'apprenant arrêtant de manière précoce la formation une fois ses objectifs atteints. Tout se passe comme si, malgré une certaine cohérence entre travaux sur les MOOC, il n'existe pas de continuité avec des recherches pourtant assez proches menées auparavant dans la formation à distance ou dans la formation initiale, en particulier lorsque celles-ci appartenaient davantage au champ des sciences humaines et sociales (SHS) qu'à celui de l'informatique.

Il convient de noter que des travaux relevant davantage des SHS ont également apporté des éclairages importants sur les indicateurs de performance mobilisés dans les MOOC, ne serait-ce qu'en éclairant la signification des catégories d'apprenants, via des enquêtes de terrain fondées sur des entretiens semi-directifs (Cisel, 2016). Au-delà des travaux mobilisant l'informatique, des enquêtes quantitatives comme celle de Kolowich (2013) auprès de concepteurs de cours, portant notamment sur la valeur qu'ils attribuent aux certificats qu'ils délivrent permet d'appréhender de manière plus précise un indicateur comme le nombre de certifiés. Une série d'entretiens avec ces mêmes concepteurs, comme celle que nous avons réalisée dans le contexte français (Cisel, 2018a, 2018b), apporte un regard qualitatif sur la question. Nous avions montré que si ces dispositifs avaient le plus souvent comme origine un cours académique délivré à des étudiants en formation initiale, le niveau d'adaptation aux caractéristiques supposées du public des MOOC différait considérablement d'un cours à l'autre, tantôt celui d'un documentaire, tantôt celui d'une formation pour adultes ou d'un cours universitaire exigeant. Les deux formats cohabitent au sein des catalogues des plateformes, et la valeur des certificats délivrés est donc hétérogène, ce qui joue sur la signification d'un indicateur comme le nombre de certifiés. Il pourrait être intéressant à cet égard de dupliquer le travail que nous avons mené ici, mais en soulignant comment les recherches mobilisant enquêtes qualitatives et quantitatives, sur les motivations des apprenants ou des enseignants par exemple (Deng et Benckendorff, 2017), apportent un éclairage intéressant sur des métriques produites par les dispositifs.

S'agissant de la traduction de telles recherches dans les pratiques pédagogiques, notons que cette reconceptualisation, bien qu'ancrée empiriquement, se heurte selon nous à la diversité des usages qui se développent autour de plateformes comme Coursera ou FUN MOOC. Ces plateformes peuvent être mobilisées aussi bien dans un contexte d'autoformation que dans un contexte de formation hétérostructurée, par des internautes déconnectés de toute institution que par des formateurs ou enseignants au sein d'une université, qui introduisent des MOOC dans les cours de leurs étudiants et attendent dès lors des métriques relativement classiques.

Les concepteurs de tableaux de bord travaillant pour des plateformes permettant ces deux types d'usages, se heurtent dès lors à la difficulté consubstantielle à la nécessité de satisfaire des besoins contrastés. Ignorer les spécificités liées aux pratiques d'autoformation, comme le butinage (Plantard, 2014), ou le suivi en auditeur libre, revient à fournir aux concepteurs de cours une vision incomplète des formes d'engagement, alors même que les traces d'interaction offrent de nouvelles opportunités en matière de description des usages. Intégrer ces concepts en multipliant les indicateurs et les visualisations revient parfois à complexifier peut-être inutilement un instrument lorsque les utilisateurs, enseignants ou administrateurs, voient le dispositif comme hétérostructuré, et ne s'intéressent qu'à la complétion effective des activités prescrites.

Conclusion

L'utilisation des learning analytics dans l'enseignement supérieur progresse lentement, au moins aux États-Unis (Foster et Francis, 2020). Néanmoins, l'appropriation par les enseignants des indicateurs fondés sur les traces d'interaction reste un chantier complexe (Erdemci et Karal, 2020) tant la manipulation des métriques en jeu nécessite une bonne compréhension des phénomènes qu'ils sont censés refléter (Cisel et Baron, 2019). Face à la tentation de rejeter en bloc des indicateurs, les recherches que nous avons présentées et typologisées dans cet article peuvent éclairer les réflexions sur leur bon usage, d'autant que la portée de ces travaux dépasse largement le seul contexte des MOOC. Elles invitent en premier lieu à un changement de posture de la part du formateur, comme l'invite l'article de Cristea et al. (2023). Selon ces auteurs, il faut prendre en considération le fait que l'apprenant peut être autorégulé et autodéterminé, et qu'une cohorte d'inscrits est le plus souvent hétéroclite, tant du point de vue des motivations que de celui des manières de s'approprier un dispositif.

Ces considérations ont été largement discutées dans la littérature scientifique, par exemple lorsque Long (1989) mobilisait dès les années 1980 les notions de contrôle psychologique et pédagogique pour distinguer différentes situations, de l'apprentissage pleinement autorégulé à la formation hétérostructurée. Les travaux sur les traces d'interaction que nous avons recensés, avec le lot d'indicateurs qu'ils mettent en avant, permettent de réifier ces réflexions dans des tableaux de bord qui permettront peut-être à terme d'envisager de manière plus fine le suivi de l'engagement individuel. Dans l'univers de la formation à distance, où les barrières géographiques complexifient le tissage de liens étroits entre apprenants et formateurs (Rovai, 2003), comprendre toujours plus en détail les dynamiques de travail d'un groupe d'apprenants, et ce malgré l'éloignement, constitue un enjeu majeur.

L'on peut espérer que les réflexions bâties au fil des travaux que nous avons discutés sauront déborder le champ des MOOC pour atteindre plus généralement celui de l'enseignement en ligne, gratuit ou non. Par la visibilité qu'ils ont reçue, ces cours en ligne gratuits ont eu la chance, en quelque sorte, d'attirer l'attention de chercheurs venus d'horizons méthodologiques variés. Bien qu'une littérature déjà ancienne se soit développée sur les indicateurs de la formation à distance (Shale et Gomes, 1998), celle-ci gagnerait sans doute à s'étoffer de travaux inscrits dans les axes que nous avons définis. Reste à orienter vers ce champ les chercheurs disposant des compétences techniques et de l'attirail notionnel pour mener à bien la démarche. Un tel mouvement pourrait ainsi contribuer à renouveler les réflexions sur un objet d'étude, la formation à distance, qui pourrait, semble-t-il, davantage bénéficier de l'essor important de la littérature scientifique consacrée aux MOOC.

Bibliographie

Acquatella, F., Fernandez, V. et Houy, T. (2022). Les MOOC : une promesse de rupture non tenue. Distances et médiations des savoirs, 39. https://doi.org/10.4000/dms.8138.

Alexandron, G., Yoo, L. Y., Ruipérez-Valiente, J. A., Lee, S. et Pritchard, D. E. (2019). Are MOOC Learning Analytics Results Trustworthy ? With Fake Learners, They Might Not Be ! International Journal of Artificial Intelligence in Education, 29(4), 484-506. https://doi.org/10.1007/s40593-019-00183-1.

Anderson, A., Huttenlocher, D., Kleinberg, J. et Leskovec, J. (2014, Avril). Engaging with massive online courses. Dans Proceedings of the 23rd international conference on World wide web (p. 687-698). https://doi.org/10.1145/2566486.2568042.

Anutariya, C. et Thongsuntia, W. (2019, Septembre). MOOC design and learners engagement analysis : a learning analytics approach. Dans 2019 International Conference on Sustainable Information Engineering and Technology (SIET) (p. 5-10). IEEE. https://doi.org/10.1109/SIET48054.2019.8986057.

Cisel, M. (2016). Utilisations des MOOC, éléments de typologie [Thèse de doctorat inédite, Paris Saclay]. http://www.theses.fr/2016SACLN024 (consulté le 21/03/2025).

Cisel, M. (2017a). Une analyse de l'utilisation des vidéos pédagogiques des MOOC par les non-certifiés. STICEF, 24(2), 169-199.

Cisel, M. (2017b). Le MOOC vu comme un projet d'apprentissage. Éducation & formation, e-307-02. http://revueeducationformation.be/index.php?revue=27&page=3 (consulté le 21/03/2025).

Cisel, M. (2018a). Les MOOC français à l'épreuve de la viabilité économique. Revue française des sciences de l'information et de la communication, 12. https://doi.org/10.4000/rfsic.3355.

Cisel, M. (2018b). Certificats de MOOC : débats passés et présents sur un objet en évolution rapide. Médiations et médiatisations-Revue internationale sur le numérique en éducation et communication, 1(1), 97-101. https://doi.org/10.52358/mm.v1i1.60.

Cisel, M. (2019). Le choix d'un MOOC, un processus influencé par l'organisation des cours en catalogues ? STICEF, 25, 121-150.

Cisel, M. et Baron, G. L. (2019). Utilisation de tableaux de bord numériques pour l'évaluation des compétences scolaires : une étude de cas. Questions Vives. Recherches en éducation, 31. https://doi.org/10.4000/questionsvives.3883.

Baggaley, J. (2013). MOOC rampant. Distance education, 34(3), 368-378. https://doi.org/10.1080/01587919.2013.835768.

Barak, M., Watted, A. et Haick, H. (2016). Motivation to learn in massive open online courses : Examining aspects of language and social engagement. Computers & Education, 94, 49-60. https://doi.org/10.1016/j.compedu.2015.11.010.

Boroujeni, M. S. et Dillenbourg, P. (2019). Discovery and temporal analysis of MOOC study patterns. Journal of Learning Analytics, 6(1), 16-33. https://doi.org/10.18608/jla.2019.61.2.

Bruillard, É. (2017). Mooc une forme contemporaine de livres éducatifs. De nouveaux genres à explorer ? Distances et médiations des savoirs, 18. https://doi.org/10.4000/dms.1830

Bullich, V. (2021). Plateforme, plateformiser, plateformisation : le péril des mots qui occultent ce qu'ils nomment. Questions de communication, 40, 47-70. https://doi.org/10.4000/questionsdecommunication.27413.

Carré, P. (2001). De la motivation à la formation. L'Harmattan

Coffrin, C., Corrin, L., De Barba, P. et Kennedy, G. (2014, Mars). Visualizing patterns of student engagement and performance in MOOCs. Dans Proceedings of the fourth international conference on learning analytics and knowledge (p. 83-92). https://doi.org/10.1145/2567574.2567586.

Cherigny, F., El Kechai, H., Iksal, S., Lefevre, M., Labarthe, H. et Luengo, V. (2020). L'analytique des apprentissages avec le numérique - Groupes thématiques de la Direction du numérique pour l'Éducation (DNE -TN2) [Rapport de recherche]. Direction du numérique pour l'éducation. https://hal.archives-ouvertes.fr/hal-02912386 (consulté le 21/03/2025).

Chuang, I. et Ho, A. (2016). HarvardX and MITx : Four years of open online courses—fall 2012-summer 2016. http://dx.doi.org/10.2139/ssrn.2889436.

Crane, R. A. et Comley, S. (2021). Influence of social learning on the completion rate of massive online open courses. Education and Information Technologies, 26(2), 2285-2293. https://doi.org/10.1007/s10639-020-10362-6.

Cristea, A. I., Alamri, A., Alshehri, M., Pereira, F. D., Toda, A. M., de Oliveira, E. H. T., et Stewart, C. (2023). The engage taxonomy : SDT-based measurable engagement indicators for MOOCs and their evaluation. User Modeling and User-Adapted Interaction, 1-52. https://doi.org/10.1007/s11257-023-09374-x

Dalipi, F., Imran, A. S. et Kastrati, Z. (2018, Avril). MOOC dropout prediction using machine learning techniques : Review and research challenges. Dans 2018 IEEE global engineering education conference (EDUCON) (p. 1007-1014). IEEE. https://ieeexplore.ieee.org/document/8363340 (consulté le 21/03/2025).

Daniel, J. (2012). Making sense of MOOCs : Musings in a maze of myth, paradox and possibility. Journal of interactive Media in education, 2012(3). https://doi.org/10.5334/2012-18.

Davis, D., Chen, G., Hauff, C. et Houben, G. J. (2016, Avril). Gauging MOOC Learners' Adherence to the Designed Learning Path. Dans Proceedings of the 9th International Conference on Educational Data Mining, 54-61. https://files.eric.ed.gov/fulltext/ED592664.pdf (consulté le 21/03/2025).

de Barba, P. G., Malekian, D., Oliveira, E. A., Bailey, J., Ryan, T. et Kennedy, G. (2020). The importance and meaning of session behaviour in a MOOC. Computers & Education, 146, 103772. https://doi.org/10.1016/j.compedu.2019.103772.

DeBoer, J., Ho, A. D., Stump, G. S., et Breslow, L. (2014). Changing “Course” : Reconceptualizing Educational Variables for Massive Open Online Courses. Educational Researcher, 43(2), 74-84 https://doi.org/10.3102/0013189X14523038.

Deng, R. et Benckendorff, P. (2017). A contemporary review of research methods adopted to understand students' and instructors' use of massive open online courses (MOOCs). International Journal of Information and Education Technology, 7(8), 601-607. https://doi.org/10.18178/ijiet.2017.7.8.939.

Desrosières, A. (2013). Gouverner par les nombres : L'argument statistique II. Presses des Mines.

Ebben, M. et Murphy, J. S. (2014). Unpacking MOOC scholarly discourse : A review of nascent MOOC scholarship. Learning, media and technology, 39(3), 328-345. https://doi.org/10.1080/17439884.2013.878352.

Erdemci, H. et Karal, H. (2020). Examination of instructors' experiences for the use of learning analytics. The International Journal of Information and Learning Technology, 38(1), 21-31. https://doi.org/10.1108/IJILT-05-2020-0076.

Ferguson, R. et Clow, D. (2015a, Mars). Examining engagement : analysing learner subpopulations in massive open online courses (MOOCs). Dans Proceedings of the fifth international conference on learning analytics and knowledge (p. 51-58). https://doi.org/10.1145/2723576.2723606.

Ferguson, R. et Clow, D. (2015b). Consistent Commitment : Patterns of Engagement across Time in Massive Open Online Courses (MOOCs). Journal of Learning Analytics, 2(3), 55-80. https://doi.org/10.18608/jla.2015.23.5.

Formanek, M., Wenger, M. C., Buxner, S. R., Impey, C. D. et Sonam, T. (2017). Insights about large-scale online peer assessment from an analysis of an astronomy MOOC. Computers & Education, 113, 243-262. https://doi.org/10.1016/j.compedu.2017.05.019.

Foster, C. et Francis, P. (2020). A systematic review on the deployment and effectiveness of data analytics in higher education to improve student outcomes. Assessment et Evaluation in Higher Education, 45(6), 822-841. https://doi.org/10.1080/02602938.2019.1696945.

Haustein, S. (2016). Grand challenges in altmetrics : heterogeneity, data quality and dependencies. Scientometrics, 108, 413-423. https://doi.org/10.1007/s11192-016-1910-9.

Hollands, F. M. et Tirthali, D. (2014). Resource requirements and costs of developing and delivering MOOCs. IRRODL, 15(5), 113-133. https://doi.org/10.19173/irrodl.v15i5.1901.

Kahan, T., Soffer, T. et Nachmias, R. (2017). Types of participant behavior in a massive open online course. IRRODL, 18(6), 1-18. https://doi.org/10.19173/irrodl.v18i6.3087.

Long, H. (1989). Self-directed learning – emerging theory and practice. Norman.

Huang, H., Jew, L. et Qi, D. (2023). Take a MOOC and then drop : A systematic review of MOOC engagement pattern and dropout factor. Heliyon, 9(4), e15220 https://doi.org/10.1016/j.heliyon.2023.e15220.

Kahan, T., Soffer, T. et Nachmias, R. (2017). International review of research in open and distributed learning. IRRODL, 18, 1-18. https://doi.org/10.19173/irrodl.v18i6.3087.

Karsenti, T. (2013). MOOC : Révolution ou simple effet de mode ? RITPU, 10(2), 6-37. https://doi.org/10.7202/1035519ar.

Khalil, H. et Ebner, M. (2014). MOOCs completion rates and possible methods to improve retention-A literature review. EdMedia+ innovate learning, 1305-1313. https://www.learntechlib.org/primary/p/147656/ (consulté le 21/03/2025).

Khalil, M. et Ebner, M. (2017). Clustering patterns of engagement in Massive Open Online Courses (MOOCs) : The use of learning analytics to reveal student categories. Journal of Computing in Higher Education, 29(1), 114-132. https://doi.org/10.1007/s12528-016-9126-9.

Kizilcec, R. F., Piech, C. et Schneider, E. (2013, Avril). Deconstructing disengagement : analyzing learner subpopulations in massive open online courses. Dans Proceedings of the third international conference on learning analytics and knowledge (p. 170-179). https://doi.org/10.1145/2460296.2460330.

Kizilcec, R. F. et Schneider, E. (2015). Motivation as a lens to understand online learners : Toward data-driven design with the OLEI scale. ACM Transactions on Computer-Human Interaction (TOCHI), 22(2), 1-24. https://doi.org/10.1145/2699735.

Koller, D., Ng, A., Do, C. et Chen, Z. (2013). Retention and intention in massive open online courses. EDUCAUSE Review. https://er.educause.edu/articles/2013/6/retention-and-intention-in-massive-open-online-courses (consulté le 21/03/2025).

Kolowich, S. (2013). The Professors behind the MOOC Hype. Chronicle of Higher Education. https://eric.ed.gov/?id=EJ999087 (consulté le 21/03/2025).

Landsheere, V. D. et Landsheere, G. D. (1992). L'éducation et la formation : science et pratique. PUF.

Li, Q. et Baker, R. (2018). The different relationships between engagement and outcomes across participant subgroups in massive open online courses. Computers & Education, 127, 41-65. https://doi.org/10.1016/j.compedu.2018.08.005.

Li, S., Du, J. et Sun, J. (2022). Unfolding the learning behaviour patterns of MOOC learners with different levels of achievement. International Journal of Educational Technology in Higher Education, 19(1), 22. https://doi.org/10.1186/s41239-022-00328-8.

Liu, Z., Brown, R., Lynch, C. F., Barnes, T., Baker, R., Bergner, Y. et McNamara, D. (2016). MOOC Learner Behaviors by Country and Culture ; an Exploratory Analysis. Dans Proceedings of the 9th International Conference on Educational Data Mining (p. 127-134). https://learninganalytics.upenn.edu/ryanbaker/paper121.pdf (consulté le 21/03/2025).

Mariais, C., Comte, M. H., Rey, I., Bayle, A. et Hasenfratz, J. M. (2016). Retours d'expérience sur deux années de Mooc Inria. https://inria.hal.science/hal-01251144/document (consulté le 21/03/2025).

Maldonado-Mahauad, J., Pérez-Sanagustín, M., Kizilcec, R. F., Morales, N. et Munoz-Gama, J. (2018). Mining theory-based patterns from Big data : Identifying self-regulated learning strategies in Massive Open Online Courses. Computers in Human Behavior, 80, 179-196. https://doi.org/10.1016/j.chb.2017.11.011.

Maroy, C. (2013). L'école à l'épreuve de la performance. De Boeck Supérieur.

McClung, S. et Johnson, K. (2010). Examining the motives of podcast users. Journal of radio et audio media, 17(1), 82-95. https://doi.org/10.1080/19376521003719391.

Meaney, M. et Fikes, T. (2023). The promise of MOOCs revisited ? Demographics of learners preparing for university. Journal of Learning Analytics, 10(1), 113-132. https://files.eric.ed.gov/fulltext/EJ1387205.pdf (consulté le 21/03/2025).

Moore, R. L. et Blackmon, S. J. (2022). From the learner's perspective : A systematic review of MOOC learner experiences (2008–2021). Computers & Education, 190, 104596. https://doi.org/10.1016/j.compedu.2022.104596.

Moore, R. L. et Wang, C. (2021). Influence of learner motivational dispositions on MOOC completion. Journal of Computing in Higher Education, 33(1), 121-134. https://doi.org/10.1007/s12528-020-09258-8.

Morstain, B. R. et Smart, J. C. (1977). A Motivational Typology of Adult Learners. The Journal of Higher Education, 48(6), 665-679. http://doi.org/10.2307/1979011.

Northcutt, C. G., Ho, A. D. et Chuang, I. L. (2016). Detecting and preventing “multiple-account” cheating in massive open online courses. Computers & Education, 100, 71-80. https://arxiv.org/abs/1508.05699 (consulté le 21/03/2025).

Ogunyemi, A. A., Quaicoe, J. S. et Bauters, M. (2022). Indicators for enhancing learners' engagement in massive open online courses : A systematic review. Computers and Education Open, 3, 100088. https://doi.org/10.1016/j.caeo.2022.100088.

Plantard, P. (2014). Anthropologie des usages du numérique [HDR, Université de Nantes]. https://shs.hal.science/tel-01164360 (consulté le 21/03/2025).

Radford, A. W., Robles, J., Cataylo, S., Horn, L., Thornton, J. et Whitfield, K. (2014). The employer potential of MOOCs : A mixed-methods study of human resource professionals' thinking on MOOCs. IRRODL, 15(5), 1-25. https://doi.org/10.19173/irrodl.v15i5.1842.

Raffaghelli, J. E., Cucchiara, S. et Persico, D. (2015). Methodological approaches in MOOC research : Retracing the myth of Proteus. British Journal of Educational Technology, 46(3), 488-509. https://doi.org/10.1111/bjet.12279.

Rémond, M. (2006). Éclairages des évaluations internationales PIRLS et PISA sur les élèves français. Recherches en éducation, 157, 71-84. https://doi.org/10.4000/rfp.433.

Reich, J. (2014). MOOC completion and retention in the context of student intent. EDUCAUSE review online, 8. https://er.educause.edu/articles/2014/12/mooc-completion-and-retention-in-the-context-of-student-intent (consulté le 21/03/2025).

Reich, J. et Ruipérez-Valiente, J. A. (2019). The MOOC pivot. Science, 363(6423), 130-131. https://doi.org/10.1126/science.aav7958.

Rieber, L. P. (2017). Participation patterns in a massive open online course (MOOC) about statistics. British Journal of Educational Technology, 48(6), 1295-1304. https://doi.org/10.1111/bjet.12504.

Rovai, A. P. (2003). In search of higher persistence rates in distance education online programs. The Internet and Higher Education, 6(1), 1-16. https://doi.org/10.1016/S1096-7516(02)00158-6.

Ruipérez-Valiente, J. A., Jaramillo-Morillo, D., Joksimović, S., Kovanović, V., Muñoz-Merino, P. J. et Gašević, D. (2021). Data-driven detection and characterization of communities of accounts collaborating in MOOCs. Future Generation Computer Systems, 125, 590-603. https://doi.org/10.1016/j.future.2021.07.003.

Rizvi, S., Rienties, B., Rogaten, J. et Kizilcec, R. F. (2022). Beyond one-size-fits-all in MOOCs : Variation in learning design and persistence of learners in different cultural and socioeconomic contexts. Computers in Human Behavior, 126, 106973. https://doi.org/10.1016/j.chb.2021.106973.

Shale, D. et Gomes, J. (1998). Performance Indicators and University Distance Education Providers. Journal of Distance Education, 13(1), 1-20. https://www.ijede.ca/index.php/jde/article/view/139 (consulté le 21/03/2025).

Sunar, A. S., White, S., Abdullah, N. A. et Davis, H. C. (2016). How learners' interactions sustain engagement : A MOOC case study. IEEE Transactions on Learning Technologies, 10(4), 475-487. https://doi.org/10.1109/TLT.2016.2633268.

Terenzini, P. (1987). Studying student attrition and retention. Dans G. W. McLaughlin et J. A. Muffo (Dir.), A primer of institutional research (p. 20-35). Association of Institutional Research.

Tseng, S.-F., Tsao, Y.-W., Yu, L.-C., Chan, C.-L. et Lai, K. R. (2016). Who will pass ? Analyzing learner behaviors in MOOCs. Research and Practice in Technology Enhanced Learning, 11(1), 8. https://doi.org/10.1186/s41039-016-0033-5.

Van der Aalst, W. M. P. (2018). Process discovery from event data : Relating models and logs through abstractions. WIREs Data Mining and Knowledge Discovery, 8(3), e1244. https://doi.org/10.1002/widm.1244.

Van Zanten, R., Somogyi, S. et Curro, G. (2012). Purpose and preference in educational podcasting. British Journal of Educational Technology, 43(1), 130-138. https://doi.org/10.1111/j.1467-8535.2010.01153.x.

Vitiello, M., Walk, S., Helic, D., Chang, V. et Guetl, C. (2018). User Behavioral Patterns and Early Dropouts Detection : Improved Users Profiling through Analysis of Successive Offering of MOOC. The Journal of Universal Computer Science, 24(8), 1131-1150. https://doi.org/10.3217/jucs-024-08-1131.

Vrillon, É. (2017). Une typologie de MOOC de France Université Numérique (FUN). STICEF, 24(2), 1-27. https://www.persee.fr/doc/stice_1764-7223_2017_num_24_2_1741 (consulté le 21/03/2025).

Yeomans, M. et Reich, J. (2017, Mars). Planning prompts increase and forecast course completion in massive open online courses. Dans Proceedings of the seventh international learning analytics & knowledge conference (p. 464-473). https://doi.org/10.1145/3027385.3027416.

Wintermute, E. H., Cisel, M. et Lindner, A. B. (2021). A survival model for course-course interactions in a Massive Open Online Course platform. PloS one, 16(1), e0245718. https://doi.org/10.1371/journal.pone.0245718.

Zhu, M., Sari, A. et Lee, M. M. (2018). A systematic review of research methods and topics of the empirical MOOC literature (2014–2016). The Internet and Higher Education, 37, 31-39. https://doi.org/10.1016/j.iheduc.2018.01.002.

Zhu, M., Sari, A. R. et Lee, M. M. (2020). A comprehensive systematic review of MOOC research : Research techniques, topics, and trends from 2009 to 2019. Educational Technology Research and Development, 68, 1685-1710. https://doi.org/10.1007/s11423-020-09798-x.

[1] https://etudiant.lefigaro.fr/les-news/actu/detail/article/mooc-la-plateforme-francaise-fun-depasse-le-demi-million-d-inscrits-18093/

Apprendre une langue sur le web : la révolution de l'IA se fait attendre

2020-01-25T17:38:00Z

Des établissements du supérieur aux pure players de l'IA, l'apprentissage des langues en ligne attire de nombreux acteurs. Shutterstock

Matthieu Cisel, chercheur spécialisé dans les apprentissages en ligne, et Aurélie Djavadi, cheffe de rubrique Éducation, étaient les invités de 7 milliards de voisins sur RFI ce vendredi 17 janvier 2020. Pour réécouter l'émission, cliquez ici.

De Duolingo à Babbel, en passant par Busuu ou Qioz, on ne compte plus les applications permettant d'apprendre des langues sur Internet, chez soi, sur son ordinateur, ou sur son portable, entre deux stations de métro. Avec l'enseignement de la programmation, c'est sans doute l'un des domaines les plus porteurs dans le champ de l'éducation en ligne.

Les acteurs qui dominent le marché ont chacun leur marque de fabrique. Duolingo, qui fait la course en tête en termes d'audience avec plusieurs centaines de millions de comptes créés, s'est spécialisé dans les exercices simples, comme les textes à trous ou les QCM, visant à assimiler le vocabulaire de base.

D'autres applications ont une dimension sociale plus affirmée. C'est le cas de Busuu, qui met en lien les utilisateurs du site et les incite à engager la conversation sur des thèmes précis. En quelque sorte, ils doivent s'improviser tuteurs les uns pour les autres. Quant à Qioz, un acteur français, il joue davantage la carte de l'apprentissage avec les séries.

Même les grandes écoles et les universités sont désormais de la partie, à travers les MOOC, ces cours en ligne gratuits dispensés sur des plates-formes comme Fun ou Coursera. Dans leur offre, les MOOC de langues sont ceux dont les audiences sont les plus importantes.

Elles ont atteint parfois le demi-million d'inscrits, et dépassé les 100 000 utilisateurs pour certains cours de français langue étrangère, un record. À titre de comparaison, le nombre moyen d'inscrits pour les MOOC français oscillait généralement entre 5 000 et 10 000 lors de leur âge d'or.

De cette popularité et de cette diversité d'approches, peut-on conclure que l'apprentissage des langues s'est démocratisé ? La situation n'est naturellement pas aussi simple, comme le montrent les travaux de chercheurs qui se sont penchés sur le fonctionnement de ces sites. Les potentialités offertes par le numérique sont certes explorées, mais restent sous-exploitées.

Les limites des applications classiques

Les évaluations d'applications spécialisées dans les questionnaires à réponses multiples, du type de Duolingo, pointent régulièrement le caractère superficiel des apprentissages effectués par ce biais. En d'autres termes, l'application permet une première initiation, mais dès lors que l'on s'intéresse à la maîtrise effective des règles de grammaire, à la conjugaison, ou à la connaissance approfondie d'expressions idiomatiques, on ne peut s'en contenter.

En ce qui concerne les applications centrées sur la communication, comme Busuu, l'efficacité reste là aussi limitée. Il est difficile de rendre fructueuses des conversations écrites entre utilisateurs, et ce de manière parfaitement automatisée pour des millions de personnes.

Reste un enjeu de taille, qui constitue l'une des vieilles promesses de l'intelligence artificielle et aussi sans doute un eldorado pour l'apprentissage des langues : pouvoir recommander aux utilisateurs des exercices adaptés à leur niveau, afin de leur créer des parcours sur mesure.

Pour l'heure, la personnalisation s'arrête souvent encore à la mise en place d'une répétition espacée. Pour optimiser la révision du vocabulaire et favoriser la mémorisation à long terme, un même mot reviendra à intervalles réguliers dans les questions proposées, en fonction des bonnes et mauvaises réponses de l'apprenant. Nombre d'applications, de Babbel au projet Voltaire, ont recours à ce processus, utilisant le terme ancrage mémoriel pour le décrire.

Mais répétition espacée ne signifie pas adaptation au niveau de l'apprenant, et les applications font généralement ou l'un ou l'autre. Même si certains chercheurs ont envisagé de combiner les deux, l'industrialisation de ces approches se fait attendre, les applications grand public se cantonnant au mieux à de petits algorithmes de recommandation.

Lingvist ou Duolingo ont par exemple commencé à personnaliser les séquences d'exercices à partir d'un diagnostic du niveau de l'apprenant, proposant des exercices correspondant à ce niveau. Néanmoins, les progrès restent à bien des égards embryonnaires. Ceci tient vraisemblablement au fait que ces entreprises sont spécialisées dans l'apprentissage en ligne sur Internet, plus que dans l'IA.

Les tentatives de « pure players » de l'IA

Qu'en est-il du côté des entreprises spécialisées dans l'IA ? Vu le marché colossal qu'il représente, elles se sont penchées sur l'apprentissage des langues. Leurs projets n'ont pas néanmoins pas encore eu le succès escompté, comme l'illustre l'échec de Knewton. Dopée aux dizaines de millions de dollars de venture-capitalists, cette start-up new-yorkaise s'était positionnée sur le créneau en produisant du contenu en langues, au lieu de contractualiser avec des éditeurs scolaires ou parascolaires.

Cependant, l'entreprise a enchaîné les déconvenues et a fini par être rachetée pour la malheureuse somme de 17 millions de dollars par l'éditeur Wiley – somme à comparer aux centaines de millions investis. Là où l'Occident a échoué, l'Asie réussira peut-être.

L'Empire du Milieu s'est en effet également lancée dans la course à l'IA éducative, et des entreprises comme SquirrelAI débauchent les sommités américaines du domaine pour développer des applications, à destination du marché chinois pour le moment. Pour peu qu'ils continuent leur croissance, s'ouvrent sur le monde, et poussent un jour jusqu'au bout la démarche suivie brièvement par Knewton, ils pourraient bouleverser le paysage de l'apprentissage des langues en ligne. Un acteur à surveiller donc…

Intelligence et éducation (Interview de Jean‑Marc Labat, Ludovia Magazine).

Pari académique

Les solutions bon marché qui portent des promesses en termes de personnalisation, tout en satisfaisant les attentes d'un public exigeant, se font donc toujours attendre. Nous en sommes au point où certains académiques passionnés de langues et de technologie éducative, et j'en fais partie, se disent qu'on n'est jamais mieux servi que par soi-même.

Il y a dix ans, avec quelques amis, nous avons tenté de combler les lacunes de l'écosystème en produisant des applications « à la Duolingo », mais avec un contenu plus riche et un algorithme de recommandation performant. Nous nous sommes heurtés au défi qui consiste à mener de front développements technologiques et production de contenu linguistique.

L'échec d'alors nous avait alors amenés à nous demander s'il était pertinent de repartir de zéro, compte tenu du fait que de nombreux sites produisent du contenu en licence libre qui peut être adapté à peu de frais pour de telles applications.

Sur le plan technologique, les outils open source se multiplient dans le domaine des IA éducatives, suscitant l'espoir qu'un jour, l'on puisse mobiliser ce type d'approche sans avoir à injecter des millions dans le code. De billets de blogs en webinaires, nous portons la question suivante : Est-il désormais possible de bricoler à peu de frais des applications plus performantes et plus ambitieuses que les applications actuelles en combinant les technologies les plus récentes à des contenus libres de droit ?

Les IA à portée de main ont fait d'énormes progrès ces derniers temps. Il serait dommage de ne pas explorer davantage l'horizon des possibles. Il ne s'agit pas de concurrencer les géants de l'apprentissage des langues – le service public n'en a pas les moyens, et ce n'est pas le métier des laboratoires. Néanmoins, si l'on pouvait atteindre une taille critique suffisante pour susciter le débat, inspirer des start-up, et peut-être rompre le statu quo, ce sera déjà une petite victoire en soi. Affaire à suivre.

Matthieu Cisel ne travaille pas, ne conseille pas, ne possède pas de parts, ne reçoit pas de fonds d'une organisation qui pourrait tirer profit de cet article, et n'a déclaré aucune autre affiliation que son poste universitaire.

Apprendre une langue sur le web : la révolution de l'IA se fait attendre

2020-01-17T09:52:39Z

Des établissements du supérieur aux pure players de l'IA, l'apprentissage des langues en ligne attire de nombreux acteurs. Shutterstock

Matthieu Cisel, chercheur spécialisé dans les apprentissages en ligne, et Aurélie Djavadi, cheffe de rubrique Éducation, sont les invités de l'émission 7 milliards de voisins diffusée sur RFI ce vendredi 17 janvier, de 11h à 12h.

Les limites des applications classiques

Les tentatives de « pure players » de l'IA

Intelligence et éducation (Interview de Jean‑Marc Labat, Ludovia Magazine).

Pari académique

Intérêt pour le certificat des MOOC : quelques réflexions sur une enquête

Matthieu Cisel — 2018-10-15T06:47:00Z

Dans mon blog Educpros, j'ai fait tout une série de billets consacrés aux certificats de MOOC, et à l'intérêt que les participants lui portent. J'aimerais conclure aujourd'hui par un petit article sur la question. Dans la mesure où cet article fait beaucoup référence à des travaux de recherche, sa tonalité est tout indiquée pour un articles dans Hypothèses. Nous parlons aujourd'hui autoformation compensatoire, certificat, et légitimation d'apprentissages.

Le gros du public des MOOC portant un intérêt professionnel au certificat est constitué de salariés en poste, dont la plupart disposent d'un niveau de diplomation supérieur ou égal à Bac+5, et s'inscrivant avant tout dans une logique de buts de maîtrise. L'intérêt pour le certificat correspond avant tout à une logique de prévoyance, et c'est la compétence ou la connaissance qui est recherché, une démarche qui fait écho au besoin de compétence de la théorie de l'autodétermination (Deci & Ryan, 1985). On peut également interpréter ces résultats au prisme de la sociologie des loisirs, ou à celui des recherches sur l'éducation non-formelle. Dès les années 1960, Johnstone & Rivera (1965, p.130) montraient sur l'exemple des Etats-Unis que les individus qui avaient un niveau supérieur ou égal au baccalauréat étaient trois fois plus nombreux à s'engager dans une démarche d'éducation non-formelle « vocationnelle » que les individus qui n'avaient pas atteint ce niveau.

Dans une enquête diffusée en France auprès d'un demi-millier de personnes, le sociologue des loisirs Dumazedier (1962, p. 210) montre dès le début des années 1960 qu'entre 20 et 30% des personnes intérogées se forment par eux-mêmes sur des disciplines comme la géographie, l'histoire, l'éducation, les questions économiques et politiques, en dehors de tout contexte professionnel. Il met en évidence une relative « atonie culturelle » chez les classes sociales les moins favorisées, en démontrant que les cadres étaient davantage enclins que les ouvriers à s'engager dans une telle démarche d'autoformation. La sociologie des loisirs est sans doute le cadre le plus approprié pour appréhender la surreprésentation des classes sociales les plus favorisées au sein de cours n'attirant que peu de personnes animées par des motivations professionnelles.

Plus récemment, un certain nombre de recherches menées dans le courant des années 2000 (Eastmond, 1998 ; Selwynn et al., 2001 ; Gorard et al., 2003 ; Selwyn & Gorard, 2004 ; Gorard & Selwyn, 2005 ; Selwyn et al., 2006 ; Branchet & Julien, 2010 ; Eynon & Helsper, 2010) se penchèrent sur les usages d'Internet par les apprenants adultes. Nombre de ces auteurs s'attachèrent à montrer que la démocratisation d'Internet ne conduisait pas nécessairement à une réduction des inégalités relatives à l'apprentissage tout au long de la vie. Il est d'autant plus intéressant d'ancrer les résultats relatifs à la composition socioprofessionnelle des audiences de MOOC dans la lignée des recherches antérieures menées dans différents champs d'investigation que la question de la démocratisation de l'éducation constitue l'un des axes des débats sur les MOOC.

La persistance du débat sur la surreprésentation des classes sociales favorisées dans les audiences de MOOC, aussi bien au sein de la communauté scientifique (Emmanuel, 2014 ; Hansen & Reich, 2015) que dans les médias (Cisel, 2015b) reflète probablement la prégnance d'une certaine représentation de l'autoformation comme autodidaxie compensatoire (Carré et al., 2010). Cette forme d'autodidaxie, dont la fonction est de compenser un faible niveau d'éducation, constitue pour Bézille (2003) une représentation tenace de l'autoformation, héritière des représentations colportées en France notamment par la littérature, de Flaubert à Sartre. Ce débat reflète probablement également une certaine ignorance des travaux issus des recherches sur l'éducation non formelle ou de la sociologie des loisirs, qui mettent en évidence depuis près d'un demi-siècle cette surreprésentation aussi bien à travers les enquêtes sur l'occupation du temps libre (Dumazedier, 1962, p.207), que Johnstone & Rivera sur l'éducation non-formelle (1965).

Le fait que le niveau de maîtrise du sujet ne joue pas sur l'intérêt porté au certificat soulève un certain nombre de questions relatives à la nature de cet intérêt, qui varie vraisemblablement selon ce niveau de maîtrise. Pour la plupart des participants, qui débutent ou n'ont que quelques notions sur la thématique du MOOC, ce certificat vient valider des connaissances ou des compétences nouvellement acquises. Pour les participants possédant une certaine maîtrise du sujet, il vient possiblement légitimer des connaissances acquises de manière informelle, notamment dans le cadre de l'activité professionnelle. Il est en effet frappant de constater que nombre des participants qui portent un intérêt au certificat sont confrontés à la thématique du MOOC dans le cadre de leur activité professionnelle, sans jamais y avoir été formés. On peut émettre l'hypothèse selon laquelle ils viendraient apporter du crédit à une expérience passée, selon une démarche somme toute relativement similaire à celle qui sous-tend la Validation des Acquis par l'Expérience, ou VAE (Boutinet et al., 2009).

On peut également proposer une interprétation sensiblement différente pour expliquer la démarche des participants ayant déjà une certaine maîtrise du sujet : l'objectif du participant n'est pas tant de légitimer des apprentissages informels que de montrer à autrui qu'il n'a pas « perdu la main » quant à la thématique abordée dans le cours, dans une logique de buts d'évitement de la performance (Elliot & Harackiewicz, 1994). Ce cas de figure pourrait expliquer le fait qu'une partie significative des participants qui s'inscrivent ont reçu une brève formation à la thématique du MOOC au cours de leur formation initiale. Les disciplines des MOOC que nous avons étudiés– développement durable, changement climatique, etc. – ont potentiellement considérablement évolué depuis que le participant a obtenu son diplôme. Il est plausible qu'un certain nombre des participants, quand bien même ils auraient été formés de manière approfondie, se sentent dans l'obligation de démontrer qu'ils sont toujours à jour sur ces thématiques. Ceci conclut notre tour d'horizon de l'intérêt professionnel pour le certificat.

MOOC : la révolution n'a pas eu lieu

2018-09-24T07:32:04Z

le point de vue de Mathieu Cisel dans un article pour The conversation

Le modèle initial des MOOC alliant vidéos, activités et attestations gratuites est en perte de vitesse. Shutterstock

Permettre à toute personne qui le souhaite d'assister au cours des plus prestigieuses universités, sans condition préalable de diplôme et depuis les quatre coins du monde, telle est la perspective alléchante qu'ouvrait l'essor des massive open online courses (MOOC) à partir de 2012. Pour soutenir les établissements dans la conception de ces programmes en ligne, le ministère de l'Enseignement supérieur lançait dès 2013 sa propre plate-forme en ligne, France Université Numérique (FUN). Les éloges fusaient sur cette démocratisation inédite du savoir et les écoles et universités se penchaient sur ces possibilités de rayonnement inédites.

Quelques années plus tard, force est de constater que l'enthousiasme est retombé. « Les MOOC font pschitt ? » titrait Le Monde en octobre 2017, tandis que France Culture orchestrait pour la rentrée un débat autour de la question : « Qui a mis K.O. les MOOC ? ». Qu'en est-il réellement ? Les MOOC ont-ils réellement échoué à tenir leurs promesses ? Probablement, et voici en quelques éléments d'explication fondés sur plusieurs années de recherche.

Un gain de qualité en vidéo

En premier lieu, dressons un rapide état de la situation. Certes, le brouhaha médiatique s'est estompé, le contraire eut été étonnant. Mais en France, des MOOC continuent à être diffusés et à engranger des inscriptions. Cependant, si l'on est un peu regardant, l'offre s'est réduite comme peau de chagrin. Les plates-formes américaines qui dominaient la scène mondiale ont largement renoncé à la gratuité, tout au plus peut-on trouver les vidéos des cours sans payer, en cherchant un peu. Le modèle original du MOOC, alliant vidéos, activités et attestations gratuites, est moribond. Il vivote encore un peu en France, mais va finir par disparaître.

En caricaturant un peu, si l'on raisonne à l'échelle internationale, nous en sommes à peu de choses près revenus à l'époque des « Open Coursewares », ces vidéos de cours gratuites, alors même que les MOOC promettaient justement, au-delà de simples ressources en libre accès, d'offrir des scénarios pédagogiques construits. En cause : la difficulté à mettre en œuvre un modèle économique viable. Ceci dit, les vidéos diffusées dans les MOOC sont généralement pensées pour le Web, au lieu d'être de simples cours magistraux filmés. Voilà qui a permis de diversifier l'offre proposée et de gagner en qualité, mais l'on ne peut pas parler de révolution.

Et quid de la situation de l'enseignement supérieur ? Il n'est pas rare de voir des MOOC reconnus dans tel ou tel cursus académique, dans telle ou telle école doctorale. Des progrès ont été faits, néanmoins, faute de recherches quantitatives sur la question, personne n'a la moindre idée de l'ampleur du phénomène. Il est vraisemblable que les choses n'aient guère progressé autant que l'on aurait pu l'espérer, et l'on peut identifier au moins deux raisons à cela.

Un manque de stratégie

Tout d'abord, il y a eu un défaut de réflexion stratégique sur les questions d'hybridation des MOOC avec les cursus académiques. L'heure était à la communication. Il s'agissait de ne pas rater le coche et de participer au raout mondial, l'heure était à « l'innovation », il fallait se faire la main sur l'enseignement avec le numérique. Repenser les cursus, mutualiser une offre pour rationaliser l'investissement ? Cette préoccupation qui aurait dû être essentielle est passée au second plan.

C'est bien dommage, car nous étions en pleine phase de regroupement d'établissements d'enseignement supérieur, au sein de ce que l'on nommait les COMUE, ou Communautés d'établissements. Cela signifiait que l'on pouvait plus facilement atteindre une masse critique permettant de légitimer d'investir dans la numérisation des cours communs aux différents cursus, à condition que ceux-ci ne soient pas trop obsolètes – faire un MOOC de programmation sur les environnements de développement d'Apple, c'est risqué si ces derniers bougent tous les six mois.

On aurait pu penser à l'échelle du consortium au moins, à défaut de penser à l'échelle nationale ou internationale. Eh bien non. On a privilégié des projets de communication, pour interpeller le grand public. Ce n'est pas une mauvaise chose en soi il ne faut pas s'étonner que l'enseignement supérieur n'en ait pas été transformé en profondeur.

Des blocages logistiques

Deuxième point, on est restés dans une logique de formation synchrone, avec une date de début et une date de fin, et une faible visibilité sur la pérennité des projets. Difficile dans ces conditions, pour l'équipe pédagogique d'une formation académique, de planifier quoi que ce soit. La seule solution pour prévenir une éventuelle annulation, et avoir le contrôle sur ces détails logistiques, c'est d'être l'auteur du cours. Quelques institutions ont hybridé leurs propres MOOC et mutualisé les ressources entre les cursus. Néanmoins, rares sont celles qui ont intégré les MOOC d'autres établissements, sans doute aussi pour les raisons susmentionnées.

C'est dommage, d'autant que la plupart des MOOC ne sont que des vidéos avec des quiz, et qu'il n'aurait pas coûté grand-chose de les laisser accessibles en permanence. L'argument qui consiste à dire qu'il faut être présent sur les forums pour répondre aux questions – et qu'on ne peut pas faire ça tout au long de l'année – est faible. Alors quoi, on aurait saboté le mouvement MOOC pour les quelques internautes qui se battent en duel sur les forums de discussion ?

Il eut été facile de faire des attestations de suivi délivrées automatiquement quand tous les exercices étaient faits. Les activités proposées n'auraient pas été très palpitantes, mais vu que c'était déjà le cas de toute façon, au moins aurait-on pu mieux valoriser les investissements réalisés. Comme il était compliqué d'organiser une session où toute l'équipe est présente, la plupart des gens ont fini par se démobiliser. Il ne reste plus que quelques militants de la première heure pour continuer à organiser deux sessions par an. Mais jusqu'à quand ?

En somme, la situation n'est pas glorieuse, et je pense que l'absence de vision à long terme et la volonté de préserver le statu quo y sont pour beaucoup. Trop d'esbroufe – c'était à qui aurait le plus gros MOOC – et pas assez de réflexion sur ce que l'on pouvait changer dans notre enseignement supérieur. On a pensé à tort que l'on avait affaire à une révolution technologique, alors que c'était là une révolution organisationnelle potentielle, qui aurait permis de rationaliser la production de ressources pédagogiques et l'aménagement des cursus.

Matthieu Cisel a reçu des financements de l'ENS Paris-Saclay pour réaliser sa thèse sur le sujet des MOOC

Le MOOC, un projet d'apprentissage ?

Matthieu Cisel — 2018-05-27T08:37:00Z

Je fais régulièrement le lien entre le suivi d'un MOOC et ce que l'on nomme les projets d'apprentissage, un vieux concept, puisqu'il est proposé dès 1971 par Allen Tough. Néanmoins, il me faut souligner que les éventuels projets d'apprentissage correspondant aux MOOC se distinguent à bien des égards de ceux que décrit Tough dans ses travaux séminaux. Quelques mots sur la question …

Pour l'auteur, un projet d'apprentissage dure en moyenne une centaine d'heures et mobilise en moyenne une dizaine de personnes-ressources. Or les MOOC de FUN ne nécessitent qu'une vingtaine d'heures en moyenne si l'on se base les estimations fournies par les équipes pédagogiques. Seule une minorité des projets d'apprentissage basés sur les MOOC de FUN correspondent à un investissement d'une centaine d'heures, tant que nous considérons que les estimations réalisées par les équipes pédagogiques constituent une bonne approximation de la durée du projet d'apprentissage.

La deuxième spécificité du projet d'apprentissage basé sur un MOOC réside dans le faible nombre de personnes-ressources mobilisées. Ils sont rares à avoir interagi avec d'autres participants du MOOC, ou à avoir suivi le cours avec des personnes connues en amont. On ne peut exclure néanmoins qu'une partie des participants repose sur des personnes-ressources totalement extérieures à la formation, que ce soit pendant ou après le MOOC. Ainsi, DeBoer et al. (2013) montrent sur la base d'enquêtes diffusées au sein du MOOC d'électronique du MIT 6.002x que quelques pour cent des répondants mobilisent des personnes totalement extérieures au cours, notamment pour profiter de leurs connaissances en électronique.

Milligan et Littlejohn (2014), qui ont étudié un MOOC sur la recherche clinique, suggèrent que près d'un quart de la quarantaine de professionnels qu'ils interrogent mobilise leur réseau pour chercher de l'aide. Seule l'extension d'une telle question à une enquête diffusée en fin de MOOC permettrait d'appréhender de manière plus quantitative l'importance de la mobilisation de personnes-ressources extérieures au dispositif.

Je pense que le suivi du MOOC correspond à un projet d'apprentissage relativement solitaire, seule une faible minorité des inscrits mobilisant des personnes extérieures. Cette situation, si elle était avérée, contrasterait avec les chiffres avancés par Tough et par les recherches qui suivirent.

Mon interprétation est que la guidance fournie par le dispositif n'impose pas d'avoir recours à de nombreuses personnes-ressources, et la délimitation de la formation dans le temps d'autre part, peuvent expliquer le caractère plus « compact » des projets d'apprentissage basés sur les MOOC. En cela, l'apprentissage dans un MOOC se distingue d'un apprentissage sur un tutoriel en ligne qui ne demanderait que quelques minutes. Si cette dernière modalité peut correspondre à un épisode d'apprentissage, le temps investi est insuffisant pour que l'on puisse parler de projet d'apprentissage.

Je souhaite conclure sur le fait qu'une plate-forme de MOOC, par l'offre qu'elle propose, constitue dans une certaine mesure une forme de cadre organisateur (Mocker & Spear, 1982), à même de générer des projets d'apprentissage, et non pas seulement permettre de servir de support à des projets d'apprentissage préexistants. En d'autres termes, d'un certain point de vue, les plates-formes de MOOC génèrent un besoin nouveau autant qu'elles répondent à un besoin existant. A méditer …

Un post-doctorat avec les Savanturiers, consacré à la conception d'EIAH

Matthieu Cisel — 2018-05-04T12:55:02Z

Chers lecteurs, je parle souvent de MOOC dans ce blog, réminiscences d'un doctorat sur la question. Mais comme vous le savez peut-être, je fais mon post-doctorat sur la conception d'un EIAH (Environnement Informatique pour l'Apprentissage Humain). Quelques mots sur ce projet …

Dans le cadre d'un projet eFRAN lancé en 2016, Savanturiers du Numérique, les Savanturiers pilotent un consortium rassemblant deux laboratoires de recherche, deux académies et un industriel, Tralalère. Un des objectifs de ce consortium est de développer une application visant à instrumenter les projets Savanturiers. La première année du projet permet un travail empirique et théorique visant à l'étayage des grandes orientations technologiques qui seront adoptées à partir de l'année 2017-2018. Nous nous proposons dans ce billet de présenter les réflexions relatives à une dimension particulière de l'application : l'évaluation des élèves. La réflexion développée dans le cadre de nos recherche se fonde sur les travaux relatifs à l'instrumentation de l'évaluation développés dans le champ des Environnements Informatiques pour l'Apprentissage Humain (EIAH), et se base sur des observations de terrain qui viennent offrir un ancrage empirique aux solutions envisagées.

Les projets Savanturiers, généralement composés de plus d'une douzaine de séances, visent à mettre les élèves de divers niveaux, de la maternelle au lycée, dans la position du chercheur, les amenant à réaliser, à leur niveau, les tâches que réalisent les chercheurs : formuler questions de recherche et hypothèses, proposer des protocoles, collecter des données, etc. L'une des particularités de ces projets vis-à-vis des différentes formes de démarche d'investigation pratiquées en milieu scolaire (Grangeat, 2011) réside dans l'assignation, pour chaque classe, d'un mentor généralement issu du milieu académique, qui intervient à différents stades du projet.

L'artefact en cours de développement, provisoirement nommé Carnet Numérique de l'Elève-Chercheur, remplit plusieurs fonctions, dont notamment le rôle de carnet de laboratoire électronique, équivalent numérique des carnets de laboratoire dans lesquels les chercheurs consignent l'avancement de leur travail. Plus qu'un simple outil d'archivage, la fonction de l'outil serait d'assister les élèves dans les différentes tâches qu'ils sont amenés à mener durant le projet. Il accorderait une part importante à la formulation et à l'amélioration d'idées, notamment de manière collaborative, et à l'utilisation des traces écrites aux différentes étapes du projet. A cet égard, il s'inscrit dans la famille des technologies éducatives visant à instrumenter la démarche d'investigation. Parmi les diverses fonctions qu'elle comportera à terme, l'évaluation des élèves, tant par les enseignants que par leurs pairs, jouera sans doute un rôle central.

La plupart des outils traditionnellement utilisés par les enseignants pour réaliser des évaluations par compétences, comme Pronotes, reposent sur un modèle d'expertise partielle traditionnel (Burton, 1982) : la mesure de la compétence, indépendamment de la manière dont l'on définit celle-ci, s'effectue via une échelle de valuation (Jean-Daubias, 2011) simple, qui s'étend généralement de non-acquis à acquis. L'objectif de ma recherche est d'identifier les tâches qui ont vocation à être évaluées, ainsi qu'à proposer des modalités d'évaluation qui permettent d'une part de donner davantage d'importance à la qualification des erreurs réalisées, et d'autre part à favoriser leur interprétation, notamment par les élèves.

Pour étayer nos propositions, nous avons réalisé un travail d'analyse des projets Savanturiers au sein de classes du premier et du second degré. Le travail descriptif fondé sur des observations en classe a pour objectif de caractériser les différentes tâches réalisées par les élèves au sein d'un projet Savanturiers, ainsi que les modalités d'interaction entre les différents utilisateurs de l'application : élèves, enseignants et mentors. Nous avons pu constater que les projets se distinguent par l'agentivité et du degré d'autodirection dont disposent les élèves, ainsi que par la nature des tâches qui leur sont proposées, notamment eu égard à la nature des inférences réalisées.

En sus des observations de classe, nous analysons les instruments d'évaluation adoptés par les enseignants, et réalisons dans une visée herméneutique des entretiens individuels et collectifs visant à expliciter, une fois le projet terminés, les déterminants des choix effectués en termes de scénarisation pédagogique. Je tire de ce travail un certain nombre de recommandations susceptibles de peser sur les orientations technologiques suivies en matière d'instrumentation de l'évaluation

Une revue de littérature portant sur les différentes modalités d'évaluation des compétences dans la littérature EIAH a été conduite afin de réaliser des propositions qui constituent autant d'hypothèses de travail. Un travail exploratoire d'observations expérientielles a été réalisé afin de valider la pertinence des hypothèses avancées.

Ces observations sont menées au sein de sept établissements, quatre écoles primaires et trois collèges réparties sur les Académies de Paris et de Créteil, auprès de quatorze enseignants conduisant des projets Savanturiers. La majorité des enseignants impliqués conduisent leur premier projet Savanturiers ; ils ont pour la plupart plus de cinq ans d'ancienneté. Ces observations sont réalisées de manière régulière aux différentes étapes d'un projet conduit sur plus de six mois. Les premiers projets ont commencé entre septembre 2016 ; ils s'étendent jusqu'en mai 2017. Les observations sont complétées par des entretiens semi-directifs individuels et collectifs qui visent notamment à mieux appréhender les pratiques des enseignants en matière d'évaluation. Ces entretiens sont réalisés en début de projet, afin de formaliser les besoins exprimés en matière d'instrumentation, puis en fin de projet, afin de susciter les réactions des enseignants face à des solutions proposées de manière négociées par les différents membres du consortium.

Voilà, c'est tout pour aujourd'hui, c'est déjà un peu longuet … je reviendrai plus tard plus en détail sur mes résultats préliminaires.

Développer l'éducation par la recherche avec un carnet numérique

2018-04-27T06:35:55Z

Élèves Savanturiers en pleine expérience, mai 2017. Savanturiers, CC BY-NC-SA

Dans la plupart des pays développés, l'enseignement des sciences poursuit sa lente mutation. Les considérations méthodologiques occupent dans les discours une place croissante. Au moins sur le papier, les nouvelles générations d'enseignants sont encouragées à mettre davantage l'accent sur l'appropriation de la démarche scientifique, du raisonnement, et moins sur la mémorisation de faits ou de lois.

On rappelle à loisir que les enjeux dépassent la formation des futures générations de scientifiques, car il s'agit aussi, au travers de la maîtrise de la démarche scientifique, de développer l'esprit critique de chaque citoyen.

Initier à la méthode scientifique

Pour ce faire, il est utile de s'attacher à ce que les enseignements portent davantage sur la manière dont les savoirs ont été créés. On a longtemps véhiculé dans l'enseignement une vision dogmatique de la science – qui s'apparente pour beaucoup d'élèves à une collection de vérités gravées dans le marbre. Pour contrecarrer cette tendance, quoi de mieux que d'engager ces élèves dans une démarche de création de savoirs, par la conception d'un projet de recherche miniature.

C'est dans ce contexte de mutation de l'enseignement qu'a émergé l'idée du Cahier Numérique de l'Élève Chercheur (CNEC), application qui vise à aider élèves et enseignants à structurer de petits projets scientifiques.

L'outil n'est encore qu'au stade du prototype. Il faudra encore une ou deux années supplémentaires avant qu'il ne soit pleinement opérationnel, mais dévoilons néanmoins quelques-unes de ses caractéristiques.

« Les Savanturiers du numérique »

L'application est développée au sein du consortium eFRAN « Les Savanturiers du Numérique », assemblage d'acteurs aux compétences diverses :

Les Savanturiers, programme fondée par une ancienne professeure des écoles qui revendique l'enseignement de la démarche scientifique au travers de projets d'une dizaine de séances, mentorés par des experts du domaine
Tralalère, entreprise spécialisée dans les ressources numériques pour l'éducation, qui assure la co-conception, le développement et le maintien de la technologie
Les Académies de Paris et de Créteil, qui apportent expertise et opportunités de mise à l'épreuve des prototypes
EDA, laboratoire de sciences de l'éducation, pour apporter l'éclairage de la recherche.

Le CNEC vise à outiller les projets Savanturiers de bout en bout au travers d'une assez vaste palette d'outils. La Fiche Recherche structure la démarche, « étaye » les élèves dans le passage des différentes étapes du projet, de leur question de recherche aux conclusions finales en passant par la rédaction des hypothèses et du protocole.

Jeunes Savanturières présentant leur projet sur la glace (juin 2017). Savanturiers, CC BY-NC-SA

Structurer une démarche de découverte

À chaque étape, les points d'attention sont rappelés. Vous avez rédigé une question ? C'est parfait, mais est-ce une question dont la réponse appelle la mise en œuvre d'une démarche scientifique ? On évitera par exemple les questions qui appellent des réponses binaires : oui/non. Vous avez produit un protocole – très bien – mais que vouliez-vous tester ce faisant ? Vous aviez une hypothèse en tête n'est-ce pas ? De quel matériel allez-vous avoir besoin, quelles sont les différentes étapes ?

En somme, il s'agit de structurer la démarche sans pour autant donner aux élèves les réponses clefs en main – de toute façon, ces réponses n'existent pas toujours. L'élève n'a pas à se cantonner à suivre pas à pas une recette toute prête, sans comprendre les tenants et les aboutissants des choix expérimentaux effectués.

Les programmes encouragent l'élève à être plus investi dans la formulation des hypothèses, dans la conception expérimentale. Mais on ne peut pas le laisser seul face à une feuille blanche et quelques menus conseils, d'où l'importance de l'étayage. Que pensez-vous qu'il advienne sinon ? Ils se mettront éventuellement à manipuler le matériel qu'on leur aura fourni. Mais l'utiliser pour tester des hypothèses, pour s'insérer dans une démarche scientifique, il y a là un fossé qui ne peut être franchi seul.

Étayer la démarche d'un élève, voilà qui n'a rien de révolutionnaire me direz-vous ; c'est le pain quotidien de centaines de milliers d'enseignants en France. Certes, mais ceux qui utilisent le numérique pour le faire ne sont a priori pas monnaie courante. Par ailleurs, d'autres éléments sont intégrés dans l'application, comme des outils de brainstorming, qui facilitent la génération et la catégorisation d'idées.

Du Carnet numérique aux travaux personnels encadrés ?

Enfin, le CNEC est pensé pour être utilisé en groupe. Le travail en équipe reste encore peu développé dans nos enseignements, et il est temps que gagnent en importance les technologies éducatives qui facilitent les dynamiques de groupe. D'où l'importance donnée à la question dans l'outil, qui vise à aider la mise en place d'une alternance entre les différentes modalités de travail – seul, en groupe, en classe entière – après tout, la recherche est une œuvre collective, et il peut être bon que cela se reflète dans les projets qui ont vocation à initier à la démarche scientifique.

Qu'on se le dise, personne ne prétend qu'une technologie éducative permettra de produire à la chaîne de futurs scientifiques. Évidemment, l'outil ne se substitue pas au travail du professeur ; tout au plus accompagne-t-il la démarche, dont la qualité est fonction du niveau de formation des enseignants. Il est néanmoins indubitable que la technologie constitue une composante essentielle de toute stratégie visant à faire évoluer à grande échelle les pratiques sur le terrain.

Notons à ce propos que l'enjeu dépasse le seul cadre des projets Savanturiers. Les Travaux Personnels Encadrés – les fameux TPE – sont une autre application possible de l'outil, mais on peut en imaginer bien d'autres. De manière générale, toute pédagogie fondée sur les projets en équipe, en particulier dans le domaine des sciences, pourrait bénéficier du CNEC.

À bien des égards, sa vocation est de contribuer au développement d'approches pédagogiques, qui, si elles constituent sans aucun doute un défi pour l'enseignant tant l'orchestration de la pédagogie par projet comporte de difficultés, n'en ont pas moins de beaux jours devant eux. Du moins l'espère-t-on.

Matthieu Cisel est l'un des porteurs du projet « Le Savanturiers du numérique ».

MOOC et interaction entre apprenants : une petite revue de littérature

Matthieu Cisel — 2018-02-07T17:06:56Z

Comme vous l'avez constaté, je suis ces jours-ci dans une logique de valorisation d'articles publiés récemment. C'est que j'ai envie qu'ils soient lus, bon sang. Je me suis décarcassé pour les écrire, ce n'est pas pour qu'ils profitent à deux pelés et trois tondus. Ces derniers jours, je vous ai fait part de mes articles dans Education et Formation ; j'aimerais aujourd'hui revenir sur un article publié dans Distances et Médiations des Savoirs, centré quant à lui sur les interactions entre utilisateurs de MOOC. Le billet d'aujourd'hui présente une petite littérature sur le sujet, qui est bien loin d'être exhaustive, car je ne l'ai pas mise à jour récemment.

La littérature spécialisée sur les MOOC comporte une branche significative qui porte sur les interactions entre participants. Ceci tient dans une large mesure au fait que ces travaux sont issus, à l'origine, d'une théorie qui donne à ces interactions un rôle central, le connectivisme (Kop et Hill, 2008 ; Kop, 2011 ; Bell, 2011). À cet égard, les premières recherches visent à quantifier les interactions entre participants (Kop, 2011 ; Levy, 2011), notamment par des enquêtes (Fini, 2009). Ces enquêtes comportent un nombre de répondants relativement réduits, généralement quelques dizaines.

Après 2012, les recherches se concentreront sur des MOOC suivant une pédagogie tout autre, que nous appellerons comme d'autres auteurs les xMOOC (Daniel, 2012), par opposition aux MOOC connectivistes. Elles accordent alors une importance toute particulière aux traces d'interaction, et la nature des recherches change (Ebben et Murphy, 2014). Les utilisateurs de MOOC sont susceptibles d'utiliser les réseaux sociaux (Kop, 2011 ; Van Treek Timo, 2013). C'est au cours de cette période qu'apparaissent, dans la littérature consacrée aux MOOC, les travaux sur l'activité des forums de discussion (Gillani et Eynon, 2014), ainsi que sur d'autres formes d'interaction, travaux que nous illustrerons dans les paragraphes qui suivent, sans souci d'exhaustivité.

Les interactions qui se développent au-delà des forums ont fait l'objet d'enquêtes qualitatives (Veletsianos, Collier et Schneider, 2015), mais les enquêtes quantitatives (DeBoer, Stump, Breslow et Seaton, 2013) restent rares. Veletsianos et al. s'intéressent notamment à l'expérience des apprenants sur les réseaux sociaux, comme en dehors. Ils montrent que certains participants regardent de manière conjointe des vidéos avec des membres de leur cercle d'amis. Milligan et Littlejohn (2014), qui ont étudié un MOOC sur la recherche clinique, suggèrent que près du quart de la quarantaine de professionnels qu'ils interrogent mobilise leur réseau pour chercher de l'aide. Bulger, Bright et Cobo (2015) s'intéressent à près de quatre mille événements répartis sur 140 pays et organisés en face à face via l'application Meetup. Ils cherchent à comprendre les motivations qui poussent un certain nombre d'apprenants à vouloir rencontrer leurs pairs, que ce soit ou non pour des raisons professionnelles. Enfin, un certain nombre de travaux plus nombreux seront réalisés sur les interactions entre étudiants suivant le cours dans le cadre de leur cursus (Chen et Chen, 2015). Malgré la multiplication des articles consacrés à la question, peu de travaux offrent à ce jour une vision globale de la nature, de l'objet, et des modalités que prennent ces interactions.

C'est à cette tâche que nous nous proposons de nous atteler dans l'article dont je fais ici la promotion. Bonne lecture aux courageux qui s'y colleront !