Innovation Pédagogique et transition
Institut Mines-Telecom

Une initiative de l'Institut Mines-Télécom avec un réseau de partenaires

Les Learning Analytics, entre fantasmes et réalité

Un article repris de http://journals.openedition.org/dms/4599

Un article de Daniel Peraya repris de la revue Distances et Médiations des Savoirs, une publication sous lcence CC by sa

Le débat relatif aux Learning Analytics se clôt par les contributions de deux collègues : Hélène Pulker (Open University), coutumière de la revue, et Paola Tubaro, sociologue (Université Paris-Sud). H. Pulker se présente comme une enseignante utilisant les LA dans la formation en langue à distance et interroge, à partir de cette posture, certains usages des LA mis en œuvre au sein de l’Open University. Pour l’OU, en effet, les LA constituent un enjeu stratégique majeur en vue d’augmenter la réussite des apprenants en intégrant à tous les niveaux de son fonctionnement la prise de décisions fondées sur des preuves (« Evidence-Based-Decisions »), comme l’expose H. Pulker : « At the macro level, Learning Analytics are used to inform strategic priorities to continually enhance the student experience, retention and progression. At the micro level, Learning Analytics are used to drive short, medium and long-term interventions at the student, module and qualification levels ». Sans doute le lecteur verra-t-il là une résurgence de l’Evidence-Based Education anglaise des années 90 évoquées dans le texte-cadre de cette rubrique (Peraya, 2019). L’institution, selon H. Pulker, tente donc de développer en son sein une culture des Learning Analytics, une « analytics mind-set ».

L’auteure analyse, à partir de deux exemples concrets (les tableaux de bord et un dispositif de type Predictive Learning Analytics), la validité de ces pratiques. L’OU encourage tous les enseignants à utiliser ce tableau de bord afin d’assurer un meilleur suivi des étudiant(e)s et de leurs activités, de leur participation et de leur engagement au sein de l’environnement de travail. Le principal indicateur retenu est la régularité de la participation aux tests d’évaluation, les Tutor-Marked Assignments (TMA). Les informations sont destinées aux équipes de suivi aux tuteurs et aux académiques qui, sur cette base, décident des interventions concrètes qu’ils mèneront. L’auteure signale que, si ces indicateurs sont utiles globalement pour mieux appréhender la cohorte, ils se révèlent cependant de peu d’utilité pour le suivi individuel des apprenants dans la mesure où les données ne fournissent aucun élément de compréhension des comportements individuels.

Quant au module de prédiction (OUA), développé par l’OU, il a été conçu comme un indicateur général de la performance des apprenant(e)s. Les conclusions d’études récentes menées au sein de l’OU (Herodotou et al., 2019) que cite l’auteure paraissent assez partagées. Elles montrent que « plus les enseignants utilisent les données d’OUA et plus les élèves réussissent dans les cours précédents, plus ils sont susceptibles de terminer et de réussir un cours ». Pourtant les chercheurs pensent aussi que leurs résultats font apparaître les limites que présente l’utilisation des LA en tant que facteur d’explication causale des performances des apprenant(e)s, notamment car il existe d’autres variables dont les algorithmes ne tiennent pas compte. Le lecteur ne sera pas surpris de retrouver dans cette contribution des arguments développés tout au long de ce débat sur la validité des données et sur leur analyse.

H. Pulker avance d’autres arguments encore. Dans le contexte actuel de l’OU qui semble de plus en plus être gérée comme une entreprise, les LA seraient utilisées comme un outil de gestion, notamment financier, de l’institution bien plus que comme un outil au service des apprenants. L’attitude des acteurs, notamment des décideurs et des enseignant(e)s, par rapport aux LA devrait elle aussi faire l’objet de recherches pour tenter de comprendre les raisons de leur faible pénétration au sein des établissements d’enseignement supérieur. Dans sa contribution, Pulker se livre à une réflexion critique fondée tant sur la littérature que sur une expérience professionnelle des pratiques existantes. Elle le fait avec réalisme, lucidité, mais aussi sérénité : « Research and practice in LA in higher education have left more questions than have given answers on their impact on online and distance education ».

La contribution de P. Tubaro vient à propos dans la mesure où, avec son collègue G. Bastin, elle a animé une réflexion semblable à la nôtre au sein d’une « discipline voisine », la sociologie, à l’occasion de la publication du numéro spécial de la Revue française de sociologie. Le moment big data des sciences sociales (2018). Elle se propose « de dresser un bilan, en mettant en relation l’état de l’art qu’[elle] avait réalisé en sociologie, avec les éléments principaux qui ressortent du débat dans DMS ». Après avoir fait une brève, mais très claire synthèse de ce dernier, l’auteure analyse les prédictions et les promesses de révolution annoncée il y a plus de 10 ans au moment de l’essor des Big Data et elle explique aussi pourquoi cette révolution ne s’est pas réalisée. Nous ajouterons volontiers : pas plus que toutes les révolutions sociales et/ou éducatives fondées uniquement sur une innovation technologique que nous avons vu traverser notre domaine depuis plus de 50 ans. Ensuite, elle constate que ni en sociologie ni en sciences de l’éducation les LA n’ont évincé les autres modes de production de connaissance ou remplacé les données classiques, ce que les différentes contributions au débat ont largement montré et documenté à partir d’exemples de recherches.

L’auteure avance plusieurs arguments en faveur des Learning Analytics, fondés sur « la possibilité, par l’accès à de grandes masses de données, de mieux saisir les processus d’apprentissage et potentiellement, de les améliorer », mais elle souligne aussi leurs limites. De son point de vue de sociologue, elle rappelle les inégalités d’accès et d’usages au numérique. Aussi, les LA ne tracent-ils pas l’ensemble de la population : « En se servant de données produites par les usagers de ces espaces numériques, alors, on risque d’aboutir à des conclusions biaisées. Si des projets formatifs sont ensuite construits sur cette base, sans tenir compte des besoins et des comportements des personnes les plus désavantagées, ils finiront paradoxalement par creuser davantage les inégalités ». À chaque phase du processus de mise en œuvre des Learning Analytics, surgissent des questions d’ordre éthique.

Elle indique aussi qu’il faut souvent faire des arbitrages entre la taille et les richesses des données récoltées. Si celles-ci permettent de déceler des tendances générales, l’auteure cite A. Boyer (2019) pour qui, malgré leur volume important, les données restent « parcimonieuses » pour chaque apprenant. En outre, plus les données sont massives, plus elles sont factuelles et moins elles permettent de comprendre les comportements identifiés. H. Pulker exprime le même point de vue critique dans sa contribution. Quant à V. Luengo, dans le précédent numéro (Peraya et Luengo, 2019), elle proposait de privilégier l’épaisseur et l’hétérogénéité de la donnée. Une donnée épaisse, rappelons-le, est « une donnée qui décrit l’activité de l’apprenant de façon plus fine, comme on peut le faire dans un EIAH [qui me permet de] savoir que l’apprenant a construit un point, un segment, qu’il a déplacé la figure. Je peux donc reconstituer la sémantique de l’action qui est liée au processus d’apprentissage ». Cette piste nous paraît d’un point de vue méthodologiquement extrêmement prometteuse.

P. Tubaro analyse encore d’autres aspects critiques, notamment le coût élevé des outils de collecte et de traitement pour les universités et pour les organismes de recherche publics qui ne peuvent concurrencer les grandes multinationales du numérique. Pour cette raison, les méthodes de recueil et de traitement des données plus classiques se perpétuent.

Après avoir déconstruit une certaine rhétorique prosélyte, P. Tubaro propose, en conclusion de son texte, « une vision des big data en général, et des LA en particulier, qui sans se laisser emporter par les enthousiasmes du début, reste optimiste quant aux opportunités ouvertes par ces nouvelles données et techniques ».

Considérons, cette conclusion au même titre que celle de H. Pulker comme le point final, mais provisoire, de la rubrique Débat-discussion de cette année.

Référence électronique

Daniel Peraya, « Les Learning Analytics, entre fantasmes et réalité », Distances et médiations des savoirs [En ligne], 28 | 2019, mis en ligne le 16 décembre 2019, consulté le 02 janvier 2020. URL : http://journals.openedition.org/dms/4599

Licence : Pas de licence spécifique (droits par défaut)

Répondre à cet article

Qui êtes-vous ?
[Se connecter]
Ajoutez votre commentaire ici

Ce champ accepte les raccourcis SPIP {{gras}} {italique} -*liste [texte->url] <quote> <code> et le code HTML <q> <del> <ins>. Pour créer des paragraphes, laissez simplement des lignes vides.

Suivre les commentaires : RSS 2.0 | Atom