Ressources et outils face à la covid-19 : critique d'un texte du CSEN sur la recherche qui a « sa place » en éducation

Cédric Fluckiger — 2020-09-25T07:11:34Z

Le Conseil Scientifique de l'Éducation Nationale (CSEN) a produit, en mai 2020, un document nommé « Recommandations pédagogiques pour accompagner le confinement et sa sortie » [1]. Il formule un certain nombre de recommandations aux enseignants, allant de « privilégier les pratiques pédagogiques qui favorisent l'apprentissage en autonomie » à « assurer les fondamentaux : nutrition, activité physique, sommeil, bienveillance » en passant par « rechercher l'appui des ressources numériques ».

Fluckiger, Cédric (2020). Ressources et outils face à la covid-19 : critique d'un texte du CSEN sur la recherche qui a « sa place » en éducation. Revue Adjectif, 2020 T3. Mis en ligne lundi 21 septembre 2020 [En ligne] http://www.adjectif.net/spip/spip.php?article541

un article de la revue adjectif publié sous licence CC by sa nc

Ce document de 17 pages est étonnant, sur le fond comme sur la forme. Un passage surtout a suscité l'inquiétude de chercheurs et collectifs scientifiques [1] :

« Seule l'expérimentation contrôlée permet de vérifier qu'un outil pédagogique fonctionne. Or, un nombre encore insuffisant de ressources ont démontré leur efficacité dans des essais randomisés contrôlés. Dans les années à venir, un gros effort de recherche devrait être mené dans ce sens. Le CSEN publiera prochainement des recommandations sur les types de recherche translationnelle qui ont leur place en éducation, les différents niveaux de preuve qu'ils apportent, et leurs enjeux éthiques et pratiques. »

Si, à première vue, la proposition peut sembler frappée au coin du bon sens et parée des atours de la scientificité la plus rigoureuse, ce qui étonne rapidement est la prétention d'une instance étatique à décréter ce qu'est la bonne et la mauvaise science, qui n'est pas sans rappeler les tentatives du gouvernement fédéral américain de légiférer sur la « scientificité » de la recherche en éducation (Saussez et Lessard, 2009). Ainsi, il y aurait des types de recherche « qui ont leur place » en éducation » et d'autres, donc, qui « n'ont pas leur place »… et il serait possible de décider lesquelles a priori ont « leur place » ou non [2]. Une telle conception des rapports entre recherche scientifique et pouvoir politique, qui distribue les bons et les mauvais points aux recherches (et les subsides aux projets) est pour le moins inquiétante [3].

Or, malgré l'invocation de la recherche et de la démarche scientifique, le texte s'écarte de ce qui fait la méthode scientifique, par son mode d'écriture, par le choix de son étayage théorique et les choix bibliographiques, par l'absence de construction des objets d'étude, des concepts et unités d'analyse préconisés, par l'absence de discussion des limites et domaines de validité des méthodologies (ici l'essai randomisé), par l'absence d'explicitation du paradigme dans lequel se situe le questionnement. C'est pourquoi, en seconde analyse, l'affirmation qu'a « sa place » la recherche en éducation reposant sur des « essais randomisés contrôlés » pour « démontrer » l'« efficacité » de « ressources » est une occasion [4] pour les chercheurs de préciser les objets possibles de leurs recherches, les objectifs qu'ils se donnent ainsi que les méthodes susceptibles d'apporter des connaissances fondamentales et pratiques.
Un mode d'écriture hors des canons scientifiques

Le rapport est constitué pour sa majeure partie de recommandations extrêmement générales : « Favoriser la compréhension de l'actualité, éduquer à trier l'information et à adopter des gestes responsables dans une attitude solidaire sont des enjeux éducatifs majeurs » et de constats difficiles à contester : « certaines [familles] sont capables d'accompagner les élèves dans leur travail à la maison alors que d'autres, pour des raisons diverses, ne peuvent pas offrir cette possibilité », etc. On voit mal en quoi la formulation de telles évidences dans un document censé guider l'action des enseignants constitue une plus-value.

Ce texte entretient le flou entre savoirs de sens commun et connaissances scientifiquement établies. Ainsi : « Dans les enquêtes internationales, dans le domaine éducatif, la France présente les inégalités sociales parmi les plus marquées des pays développés » : quelles enquêtes, construites sur quelles méthodologies, comment sont définies les inégalités sociales, etc. ? Le lecteur n'en saura rien.

Cet exemple d'assertion non étayée n'est pas isolé. On est un peu gêné de devoir rappeler que ce qui caractérise l'écriture scientifique, c'est de justifier les assertions, pour donner au lecteur la possibilité de confronter les affirmations aux sources – et éventuellement d'être en désaccord avec l'interprétation qu'en fait l'auteur. Ici, on trouve par exemple pour le logiciel éducatif Mathador, que « le jeu valorise et remotive les élèves », avec comme « preuve scientifique » une « étude randomisée + contrôlée en cours ». Quelle étude ? menée par qui ? de quelle forme de « motivation » est-il question ici (voir à ce propos le chapitre de l'ouvrage salutaire d'Amadieu et Tricot, 2014) ? Mystère.

On appelle donc à plus de scientificité… dans un texte qui ne respecte pas les canons minimums des publications scientifiques. Ce qu'il y a de problématique avec ce mode d'écriture est qu'il peut conduire à des glissements interprétatifs fallacieux. Prenons un exemple. Le texte affirme :

« Les exemples fourmillent de situations où tel pays, telle école, s'est équipé en matériel et en logiciel, et a découvert que les résultats scolaires ne changeaient pas ou, pire, plongeaient. Car les outils numériques peuvent également être dommageables : ils peuvent reposer sur des pédagogies inefficaces, favoriser la distraction, encourager la vitesse au détriment de la réflexion, diminuer la socialisation, propager des informations fausses ».

La première phrase est parfaitement juste, mais le lecteur semble ne pas avoir le droit d'en savoir plus sur ces exemples et comment ce résultat a été obtenu. Mais quelles sont les « pédagogies » dont il est question, qu'est ce qui permet d'assurer qu'elles sont « inefficaces », pour quels élèves, selon quels critères, etc. C'est surtout l'interprétation qui est problématique. La raison pour laquelle les résultats « ne changeaient pas » est que « les outils numériques peuvent être dommageables ». Ce sont donc « les outils » qui seraient soit bénéfiques, soit dommageables. Pourtant, cette affirmation ne découle pas logiquement de ce qui précède, d'autres interprétations seraient possibles. D'ailleurs est-ce ce que disent les études « qui fourmillent », est-ce leur interprétation de ces résultats ou celle du CSEN ? On ne le saura pas puisqu'elles ne sont pas citées et l'argumentation repose donc non sur l'administration de la preuve mais sur la connivence avec les idées préconçues du lecteur.

Or, comme nous le verrons, s'il y a une chose que la recherche a apprise depuis des années, c'est que ce ne sont pas tant dans les outils qu'il faut rechercher les raisons des succès et des échecs mais dans les usages qui y sont associés. N'importe quel outil s'insère dans un écosystème, certaines de ses fonctionnalités se substituent à d'autres et isoler ce qui revient spécifiquement à tel outil non seulement n'est pas possible en situation, mais n'a aucun sens.

Une occultation des travaux en éducation

En lien avec la question du déficit de référence du texte, se pose la question de l'origine des références choisies. Ce qui frappe dans ce texte est la décorrélation avec les résultats et la pratique de la recherche académique actuelle sur l'éducation au profit de travaux et chercheurs qui ne travaillent pas sur les apprentissages scolaires, notamment ceux instrumentés par les outils numériques. Un exemple : « Esther Duflo a régulièrement dénoncé la possible tyrannie du programme, qu'il faut terminer sans tenir compte du niveau et des besoins des élèves » (p. 3). Certes, mais Esther Duflo est économiste. Qu'en disent ceux qui ont travaillé sur ces questions, construit les notions de curriculum prescrit (Perrenoud, 1993), travaillé la gestion du temps et de la chronogénèse par les enseignants (Sensevy, 2001), etc. ?

On trouve certes des références, en note de bas de page, 56 au total. La grande majorité des études citées s'inscrivent dans les sciences cognitives. Par ailleurs, sur ces 56, 2 sont francophones. L'une est une étude inscrite en psychologie, de Tricot et Bastien sur les hypermédias, bien connue et à juste titre souvent citée… mais datant de 1996 ; l'autre est l'ouvrage grand public, publié aux éditions Odile Jacob, du président du CSEN, Stanislas Dehaene. Les travaux sur l'éducation ancrés dans d'autres disciplines sont tout simplement ignorés.

Cela pose problème sur plusieurs plans :

– Sur le plan épistémologique, il est problématique de ne pas afficher son ancrage disciplinaire. Les articles scientifiques l'explicitent généralement : cela donne au lecteur le point de vue théorique et méthodologique adopté. C'est aussi la reconnaissance, par les chercheurs, de la pluralité des points de vue, de la pluralité des questions posées. Un paradigme est délibérément et consciemment choisi et construit. Les positions épistémologiques et la démarche prônée par le CSEN ont fait et font encore l'objets de discussions au sein même des recherches en éducation. Les vifs débats depuis au moins 50 ans sur les tentatives de fonder scientifiquement l'éducation, de la pédagogie expérimentale à la psychopédagogie (voir Bru, 2019) ne sont-elles d'aucune utilité pour situer les prétentions actuelles à identifier les méthodes et outils efficaces ? Ou faut-il penser que les auteurs du rapport ne lisent pas et ne connaissent pas ces travaux ?

– Sur un plan historique, les technologies en éducation ont une longue histoire (Baron, 2019), visiblement ignorée par les auteurs, et dont les cycles bien connus d'illusion et de désillusion (Cuban, 1986) pourraient permettre de ne pas verser dans les mêmes anciennes illusions et erreurs sur des technologies nouvelles. On pourrait également s'attendre à ce que les recommandations pédagogiques face à la covid-19 s'inscrivent dans les discussions et débats qui animent depuis la communauté scientifique, sur les effets de la technologie éducative (voir entre autres Baron et Depover, 2019), mais plus largement sur l'amélioration de l'enseignement, comme en témoigne le dossier et les débats qui y ont trait, publiés dans la revue Education & Didactique depuis 2017 [5] (Bryk, 2017 pour l'article initial du débat ; Meuret, 2017…), ou la vaste question de l'évaluation en éducation.

– Sur un plan empirique, en occultant toute recherche en éducation hors des approches cognitives, on se prive de tous les résultats empiriques qui ne portent pas sur des processus cognitifs. Aucune des nombreuses recherches en éducation sur la technologie éducative (pour un panorama récent, voir Fluckiger, 2020), sur la motivation des élèves, sur les inégalités sociales et scolaires, sur la structuration des connaissances, sur le travail à la maison, etc. n'apporte la moindre connaissance aux problèmes éducatifs liés au confinement ?

– Sur le plan disciplinaire, la question de l'usage d'un outil éducatif ne se réduit pas à sa seule dimension cognitive, qui en éclaire un des aspects mais non la totalité du phénomène. Un enseignant peut choisir d'utiliser en classe un outil logiciel d'apprentissage de la lecture non pas parce qu'il a été démontré que cet outil est efficace cognitivement, mais parce que l'outil lui permet de faciliter le travail en autonomie d'une partie de sa classe pendant qu'il travaille une difficulté avec le reste de la classe. Il peut aussi choisir un outil qu'il juge pourtant moins « efficace » sur un plan cognitif mais parce qu'il a remarqué que certains élèves surmontent mieux une certaine timidité face à la machine. Au contraire, un outil peut être efficace en laboratoire mais se trouver mal adapté au contexte social de la classe et à la posture d'élève que l'on cherche encourager. Plus largement, éducation et apprentissage sont des phénomènes sociaux, ce qui signifie que des facteurs autres que cognitifs interviennent. C'est pourquoi, pour comprendre les phénomènes éducatifs, les chercheurs en éducation font appel à des acquis issus des autres sciences humaines et sociales, sociologie, sciences du langage, histoire, économie, etc.

– Sur le plan conceptuel, l'usage d'outils éducatifs a fait l'objet de modélisations variées en science de l'éducation (de la genèse instrumentale issue des théorisations de Rabardel, 1995, au savoir techno-pédagogique issu de celles de Mishra et Koehler, 2006, en passant par la modélisation Instruments-acteurs-systèmes de Baron et Bruillard, 1996, repris récemment dans UNESCO, 2019, et le modèle PADI de Wallet, 2010). Dans une sorte de réductionnisme biologisant, l'apprentissage semble réduit au seul fonctionnement cognitif, les travaux investiguant l'influence d'autres facteurs, sociaux, culturels, institutionnels, didactiques (liés à la nature des contenus en jeu), etc. étant tout simplement évacués. Or il est nécessaire d'analyser en même temps les représentations des enseignants et des élèves quant au numérique, l'image de modernité, la force des discours institutionnels les présentant comme la clé pour « refonder l'école » (Fluckiger, 2019), mais aussi les intérêts marchands liés au matériel et au logiciel éducatif, etc.

Ainsi, la seule recherche scientifique qui « a sa place » sur la technologie éducative devrait tester des outils ou des méthodes individuellement, valider leur fonctionnement par l'administration de preuves statistiques portant uniquement sur la cognition, avant que des outils soient déployés dans les classes sans que ne soient pensées et investiguées les conditions de cette diffusion, puisque les travaux qui traitent de cette question sont ignorés, comme le sont ceux qui discutent de la validité épistémologique même de la démarche. C'est un peu comme si des chimistes, mis en charge d'un conseil scientifique médical, ne citaient que des travaux de chimie car, au fond, tout dans le corps humain n'est-il pas affaire d'équilibres chimiques ?

La suite de ce texte vise à confronter cette vision particulière de l'activité scientifique avec ce qu'en disent les recherches en éducation.

Le paradigme applicationniste et la notion de preuve en éducation

En invoquant la recherche « translationnelle » ou l'idée qu'il est possible de tester l'efficacité d'outils qui seraient alors déployés dans les classes, le rapport s'inscrit dans un paradigme applicationniste en éducation : la recherche produit des outils ou méthodes, qui sont validés expérimentalement avant d'être diffusés dans l'école. L'idée que la science peut éclairer les politiques éducatives en apportant non pas des preuves sur des outils mais des éléments d'intelligibilité sur des processus n'est même pas discutée.

En ce qui concerne les outils et ressources éducatives, une telle conception paraît très datée, comme s'il était encore concevable de développer un outil logiciel éducatif hors sol puis de le tester en situation contrôlée. Non seulement tout au plus pourrait-on imaginer, si l'on isole les effets motivationnels liés à la situation expérimentale, de dire que dans telles conditions, avec tels élèves, utilisé de telle manière, l'outil montre un gain par rapport à un autre outil, numérique ou non, mais surtout cela suppose que des développeurs soient capables de proposer un produit fini adéquat pour les enseignants et testable tel quel, hors de tout processus de conception collaborative.

En réalité ce paradigme applicationniste a depuis longtemps été dépassé par les chercheurs, comme le rappelle Bru (2019) :

« il ne peut être dorénavant question de concevoir les relations entre recherche et pratiques enseignantes comme transfert direct et application des résultats de la recherche vers les pratiques, à plus forte raison si les recherches de référence relèvent d'un domaine autre que l'éducation. Les pratiques ne sont pas une sorte de tabula rasa, simple réceptacle de recommandations et de consignes. »

Plus largement, c'est toute la question des relations entre recherche et pratique qui a fait l'objet d'une attention considérable, et depuis fort longtemps (on peut se reporter à Bru, 1998), de la part des chercheurs en éducation, précisément parce que la rhétorique mobilisée par le CSEN n'a rien de nouveau. Déjà en 2009, Saussez et Lessard discutaient des prétentions de l'evidence based education et en montraient les limites dans des termes qui semblent s'appliquer mot pour mot au rapport de 2020 du CSEN.

Ces débats, comme ceux sur les conditions scientifiques de la recherche-action en éducation (voir Monceau, 2017), sur le statut de la preuve en éducation et son lien avec la transformation des pratiques, restent vifs, comme en témoigne le dossier et les débats qui y ont trait, publiés dans la revue Education & Didactique depuis 2017 (Bryk, 2017 pour l'article initial du débat).

Notons cependant que même par rapport aux exigences scientifiques de l'evidence based education, dont il semble se réclamer, ce rapport échoue à respecter les standards minimums, puisque dans cette perspective, outre l'essai randomisé contrôlé, il est nécessaire de procéder à une revue systématique de la recherche :

« La revue systématique de recherche consiste en un ensemble de procédures formelles pour réunir différents types de preuve, de manière à établir clairement ce que l'on sait d'une méthode et comment elle a été établie. [...] la transparence des procédures et des critères confère à la revue systématique de recherche toutes les garanties en matière d'objectivité et de neutralité » Saussez et Lessard (2009).

C'est peu de dire, nous l'avons vu, que la revue des recherches n'est ici ni systématique ni formelle.

Les objectifs que se donne la recherche : la question de l'efficacité et ses limites

En parlant de ressources « qui ont, au moins en partie, fait leurs preuves », de logiciels « mis en valeur pour leur capacité démontrée de transmettre les fondements de la lecture et de l'arithmétique » ou de ressources « ayant démontré leur efficacité », le CSEN construit l'idée qu'il est en soi possible de montrer la valeur d'un logiciel, d'une ressource ou d'une méthode. Or cette idée est contestable pour deux raisons : d'une part parce que l'idée même d'efficacité en éducation a peu de sens sur le plan scientifique, d'autre part, comme nous le discuterons dans la partie suivante, parce que l'idée que l'outil est une variable opératoire pour juger de l'efficacité n'a rien d'évident.

L'idée qu'il serait possible d'identifier les bonnes méthodes d'enseignement est dénoncée comme une illusion depuis longtemps (voir Bru, 1998). Sur la technologie éducative, comme le rappellent Baron et Depover (2019) :

« La question des effets des usages éducatifs du numérique s'est posée avec régularité pour chacune des vagues de technologies de l'information et de la communication ayant déferlé depuis plus de 50 ans, depuis les médias audiovisuels jusqu'aux plus récentes déclinaisons du numérique, nouvelle manière de les désigner. Mais elle n'a pas vraiment produit de réponses consensuelles : comme l'a bien montré Chaptal (2003b), sous une forme aussi générale, cette question n'a pas grand sens » (p. 57)

La difficulté à évaluer spécifiquement un outil est illustrée par l'analyse récente de la littérature scientifique sur le programme éducatif préscolaire étasunien Sesame Street, proposé par Bruillard (2020). Ce n'est pas une seule étude randomisée qui lui a été consacrée… mais plus de 1000 recherches au total. La question de savoir si le programme est bénéfique ou négatif, s'il augmente ou diminue les inégalités sociales a été controversée, mais il a fini par apparaître que le programme seul, en l'absence d'autres mesures d'accompagnement a eu pour effet d'augmenter les inégalités scolaires.

L'évaluation de ce programme ne pouvait se faire qu'en prenant en compte les habitudes télévisuelles ou la médiation des parents, qui sont cruciales dans les modes de consommation des enfants. On peut affirmer que concernant Sesame Street, la seule méthode d'investigation légitime aux yeux des auteurs du rapport ne pouvait conduire qu'à une impasse.

Le fait que la question de l'efficacité des outils n'est pas une question scientifique fructueuse est discuté et partagé depuis longtemps (voir en particulier Pouts-Lajus, 2000 ; Chaptal, 2009). C'est en effet la conclusion à laquelle arrivent systématiquement les méta-études sur la question, comme le BECTA (2007) : « Overall, the evidence on the impact on attainment of learning through ICT remains inconsistent » ou en France la DEPP (2014) : « étant donné la variété croissante des technologies numériques et des contextes dans lesquels ces études sont menées, il est difficile de faire émerger des messages simples ». La recherche ne peut apporter de réponses aux questions que souhaite encourager le CSEN, non seulement en raison de difficultés méthodologiques, mais aussi d'un déficit d'explicitation des termes dans lesquels le problème est formulé : comme le fait remarquer Livingstone (2012), il n'est pas clair s'il est attendu des technologies qu'elles améliorent les formes pédagogiques ordinaires ou qu'elles les bouleversent. Or l'efficacité n'est jamais définie, dans le rapport du CSEN, ce qui obère toute sa démarche visant à fonder rationnellement la preuve de leur efficacité.

Les outils sont toujours utilisés en contexte

Parler de la « valeur ajoutée des outils numériques », qu'il faudrait tester, demande de préciser s'il s'agit d'outils génériques, comme ceux évoqués ci-dessus, ou d'outils spécifiques pour un type de tâche. Par ailleurs, parle-t-on d'outils conçus pour l'école ou scolarisés, utilisés par l'enseignant ou les élèves, visant l'individualisation de l'apprentissage ou la collaboration, etc. ?

En réalité, la variété des outils est telle qu'une partie du travail des chercheurs a consisté à proposer des taxonomies de ressources (Bibeau, 2005), des typologies des logiciels en fonction de leurs soubassements psychologiques (De Vries, 2001), jusqu'à une typologie des typologies (Basque et Lundgren-Cayrol, 2002) qui recensait à l'époque 29 typologies. En comparaison, le rapport du CSEN s'en remet à la notion de sens commun de l'outil, sans aucun étayage pour proposer une définition ou une délimitation des objets concernés par le propos. Par exemple, s'il s'agit de tester l'efficacité d'outils généraux (c'est-à-dire non dédiés à un apprentissage spécifique), la recherche a tranché depuis longtemps sur l'intérêt de cette question.

Pour ne prendre qu'un exemple scolaire, l'usage d'un Tableau Numérique Interactif (TNI) ne peut se comprendre qu'au regard de l'ensemble des moyens d'affichage, des modalités de travail (frontale ou participative, en classe entière ou en groupe) mises en œuvre par l'enseignant, du fait qu'il dispose ou non d'un manuel numérique, etc. En réalité, avec une grille d'analyse en termes « d'outils bénéfiques et dommageables », le CSEN reste dans un paradigme déterministe en technologie, dont il ne semble même pas prendre conscience. Or le TNI a justement fait l'objet d'une littérature scientifique considérable, Higgins et al. (2005) par exemple, dans une étude menée sur 67 écoles dotées de TNI et 55 non dotées montraient un effet positif la première année… qui tendait à disparaître dès la seconde année, en particulier dans les écoles qui avaient connu les meilleurs résultats initiaux.

Dans une méta étude de 2007, ils (Higgins et al., 2007) jugeaient qu'après l'optimisme initial, les études à large échelle demeurent « ambiguës ». Türel faisait remarquer dès 2010 qu'il existe peu d'études empiriques qui permettent de montrer un impact sur l'apprentissage ou la réussite scolaire. En 2011, Duroisin et al. analysaient l'activité en classe en fonction des modalités d'usage : ils montraient que la dynamique des interactions est bien modifiée mais ne parvenaient pas à montrer de progrès significativement différents suivant que le TNI est utilisé par l'enseignant exclusivement ou aussi par les élèves.

Dans quelle mesure est-il possible de parler de l'effet d'un outil ? Peut-on envisager l'éducation comme une collection d'outils, de méthodes et de ressources, dont la seule forme d'investigation possible serait de mesurer individuellement l'efficacité de chacun, en contrôlant les autres variables ? Disons-le nettement : non, les seuls objets scientifiques valables ne sont pas les outils, méthodes ou ressources.

Méthodologiquement, cette idée « se fonde sur l'illusion de la possibilité d'isoler une variable unique » (Chaptal, 2009, p. 9), en l'occurrence, elle suppose implicitement que l'outil serait une variable suffisamment stable pour que les variations entre outils soient supérieures aux variations au sein de l'utilisation du même outil (ce que mesure classiquement l'analyse de variance). Or tout indique au contraire qu'un même logiciel ou matériel peut donner lieu à des usages pédagogiques variés, tellement variés qu'ils pourraient même accroître la diversité. Par exemple, la littérature sur les situations d'usage du TNI montre une très grande variabilité. Certains enseignants ne convoquent jamais les élèves au TNI, considéré comme outil de l'enseignant, surtout lorsque des problèmes techniques rendent son utilisation hasardeuse, alors que d'autres font venir des élèves « au tableau », seul ou en groupe.

Certains TNI se substituent au tableau vert, d'autres le doublent. Qui plus est, les observations montrent que cette variabilité pour un même outil n'existe pas uniquement entre enseignants, mais que le même enseignant peut avoir des usages très variés suivant les disciplines, ou les situations d'enseignement, plus ou moins transmissives.

Plus fondamentalement encore, l'activité éducative s'organise avec des instrumentations multiples, parmi lesquelles l'outil dont on cherche à mesurer les effets. Dans la plupart des cadres théoriques mobilisés par les chercheurs, il est impossible de supposer que l'activité reste inchangée lorsque l'instrumentation change (voir entre autre Tricot, 2017, P. 114). En effet, si l'on compare (par des essais contrôlés) un enseignement avec et sans un outil, ce n'est pas une même activité que l'on compare, avec ou sans l'instrument, mais ce sont bien deux systèmes d'activités différents, chacun avec son système instrumental associé. Les conclusions, même s'il y en avait, porteraient sur l'activité générale et non sur l'outil.

La définition des unités d'analyse

Insistons car nous touchons ici au cœur même de ce qui constitue la démarche scientifique : la définition d'une unité d'analyse pertinente. La démarche scientifique repose sur un découpage du réel. Tout indique d'ailleurs que l'outil, comme la « méthode » éducative, constituent plutôt de mauvaises unités d'analyse, précisément parce qu'elles ne sont pas construites de manière à saisir des phénomènes à des niveaux micro et macro, individuel et collectif, objectif et subjectif, etc. Sur les méthodes d'apprentissage de la lecture, c'est ce que concluait le rapport « Lire et Ecrire » sous la direction de Roland Goigoux :

« Comme nous l'avons écrit plus haut (cf. A.1), si aucune étude comparative des « méthodes » de lecture n'a permis d'établir la supériorité de l'une par rapport aux autres, ce n'est pas parce que toutes les pratiques se valent, mais parce que la variable « méthode », trop grossière et difficile à définir, n'est pas une variable pertinente pour identifier les fondements de leurs effets différenciateurs (Fayol & Goigoux, 1 999). C'est aussi parce qu'il y a un monde entre le travail prescrit et le travail réel (Tardiff & Lessard, 2000 ; Lantheaume, 2007). » (Goigoux, 2016).

Faut-il s'intéresser à des outils, ou serait-il plus pertinent de prendre pour objet des processus, des activités ? Faut-il une approche techno ou anthropo-centrée, l'accent doit-il être mis sur l'apprenant, l'outil ou encore, dans certaines théorisations, sur le réseau qu'ils constituent ensemble, pas plus que n'est discutée quelle dimension doit en être privilégiée (pour l'outil ses affordances, son utilisabilité, etc.) ?… Il ne s'agit pas seulement de discuter les méthodes pour analyser des objets scientifiques, mais d'expliciter la manière dont les objets scientifiques eux-mêmes font l'objet d'une construction à partir des objets concrets existants (Davallon, 2004). En d'autres termes, au-delà du paradigme applicationniste de la démarche préconisée, le CSEN, en occultant tout le travail de conceptualisation, en ignorant la pluralité des théorisations et des modes de prises sur le réel qu'elles constituent, s'en tient au niveau pré-scientifique, aux catégories non construites et aux évidences de sens commun, alors même qu'il prétend vouloir faire œuvre scientifique.

La nécessité d'une pluralité de méthodes de recherche en éducation

Dans quelle mesure l'étude randomisée prouverait-elle mieux que d'autres approches ? Au réductionnisme consistant à ne s'intéresser qu'aux outils envisagés individuellement au détriment des approches systémiques (voir Baron, 2019), s'ajoute le réductionnisme méthodologique propre à toute quantification, reposant sur le découpage et la sélection de variables. Si et lorsqu'il est possible d'isoler une variable tout en contrôlant d'autres et qu'il est possible d'expérimenter, une telle méthodologie est en effet susceptible d'apporter des réponses solides. Mais des réponses à quelles questions ? En réalité, la gamme de questions auxquelles une telle méthodologie est susceptible de répondre est très étroite. Les phénomènes humains s'attrapent relativement mal par des questions binaires du type « X est-il plus efficace que Y ».

Par exemple, l'apport de la notion de capital culturel, apporté par Bourdieu et malgré ses limites, a contribué à faire prendre conscience à des générations d'enseignants qu'une partie des problèmes des élèves ne se situait pas seulement sur un plan économique ou cognitif, mais également culturel, et qu'on pouvait prêter attention à cette dimension. Ce n'est pas par un essai contrôlé randomisé que Pierre Bourdieu a obtenu ce résultat, il faut croire qu'il n'aurait pas sa place dans les recherches en éducation.

Plus largement, aucune science, pas même les plus fondamentales, ne repose non plus exclusivement sur la production d'essais randomisés contrôlés et leur analyse statistique. Pourquoi serait-ce le cas en éducation ? Est-ce ainsi qu'ont été testées les hypothèses relativistes ou quantiques en physique, les ethnologues et archéologues procèdent-ils avec des groupes témoins randomisés ?

Pour justifier le recours à l'expérimentation contrôlée, il est d'usage de recourir à la métaphore médicale (Slavin, 2002). Certes, la médecine et l'éducation sont toutes deux des champs de pratique et de recherche, empruntant toutes deux résultats et méthodes à des disciplines contributives. Mais la seule question possible en médecine est-elle de « déterminer lequel de deux traitements est le plus efficace » [6] ? Qui en conclurait alors que seule la comparaison statistique des effets sur deux groupes de patients est la seule méthode valable en médecine ? Les études observationnelles, l'analyse des indicateurs de santé au sein d'une population, les études de cohortes ou de cas témoins sont-elles à bannir ?

Surtout, quand bien même il serait possible de montrer qu'un logiciel permet un apprentissage efficace (selon des critères à discuter) d'un contenu ou d'une tâche, le problème du passage du laboratoire à la classe reste entier. Là encore, les connaissances sont considérables en éducation sur les difficultés du passage à l'échelle de la classe, sur le travail de ce que Gueudet et Trouche (2010) ont nommé la genèse documentaire, sur les difficultés techniques à surmonter (Villemonteix et Khaneboubi, 2013 ; Villemonteix et Nogry, 2016) ou celles liées à l'infrastructure (Warschauer, 2011 ; Kadi et al., 2019…), le coût d'apprentissage (Ravestein et Ladage, 2014), etc.

En omettant tous ces facteurs, dont la recherche montre pourtant qu'ils déterminent le devenir des outils en éducation, on va à l'encontre des approches systémiques qui ont « mis l'accent sur la nécessité de prendre en compte la globalité des variables qui peuvent agir sur le processus éducatif plutôt que de se contenter de manipuler un nombre limité de variables isolées de leur contexte. » (Depover, 2009).

Les tribulations de l'expérimentation contrôlée

La prétention à la supériorité scientifique des méthodes fondées sur les essais randomisés contrôlés résiste mal à l'épreuve des recherches effectives effectuées dans cette perspective. En effet, la rationalité de la pratique scientifique ne repose pas uniquement sur ses méthodes, entendues au sens le plus restreint, mais sur une méthodologie générale visant à expliciter et discuter toutes les étapes, y compris les raisons de la construction du paradigme du chercheur, de ses objets de recherche et de leur cadre interprétatif. A défaut d'une réflexion épistémologique sérieuse, la méthode en apparence la plus rigoureuse risque fort de conduire à un biais de confirmation des présupposés du chercheur.

Heureusement, nous avons maintenant un certain recul pour appréhender les effets de la recherche fondée sur l'expérimentation contrôlée. Par exemple celle prônée et menée par Stanislas Dehaene. Comme le rappelle Goigoux (2013), il proposait dès 2011 le recours à l'expérimentation pour une « éducation fondée sur la preuve », car « chaque réforme, avant son introduction, devrait faire l'objet de discussions et d'expérimentations aussi rigoureuses que s'il s'agissait d'un nouveau médicament » (Dehaene, 2011, p. 103). Il a prôné que soient évaluées les pratiques pédagogiques et leurs effets sur les performances de lectures d'élèves, par une méthodologie expérimentale randomisée, ce qu'a fait l'équipe de Gentaz (pour les résultats finaux, voir Gentaz et al., 2013). 40 classes expérimentales bénéficiant d'outils didactiques conçus par les chercheurs, 40 classes contrôle : on est bien dans la recherche qui a « sa place ». Le résultat n'a guère surpris qui connaît un peu la question de la lecture à l'école et la recherche afférente : « les élèves des classes expérimentales ne lisaient pas mieux que ceux des classes contrôle » (Dehaene, p. 110). Il conclut pourtant, six pages plus loin :

« la science de la lecture est solide : les principes pédagogiques qui en découlent [et qui ont échoué à prouver leur efficacité, donc] sont aujourd'hui bien connus ; seule leur mise en application dans les classes demande encore un effort important » (p. 116) et il faut en conséquence « réviser et simplifier les manuels afin de focaliser tous les efforts et l'attention de l'enfant sur le décodage et la compréhension des mots » (p. 117).

Puisqu'il s'agit d'une exigence de rigueur scientifique comparable à celles prévalant pour les médicaments, on aurait pu supposer que Dehaene remette en question ses hypothèses sur le fait qu'il existe des méthodes (syllabiques) plus efficaces que d'autres. A défaut, il aurait pu questionner le paradigme méthodologique qui a conduit à ne pas voir de différence : si la méthode expérimentale randomisée ne donne pas de résultats, c'est peut-être parce que la question était mauvaise ou parce que ce qui se joue en termes d'usages dans une classe s'attrape mal avec une telle méthodologie de recherche… Comme le résume Goigoux (2013),

« c'est pourquoi de sérieux doutes sont apparus sur les visées réelles de telles études expérimentales randomisées : celles-ci ont-elles pour but de produire des connaissances nouvelles sur l'apprentissage de la lecture et son enseignement ou bien seulement de tester les modalités de diffusion de « bonnes méthodes » définies au préalable par les chercheurs ? »

A défaut de mener des analyses pluralistes, faisant appel à différentes sciences humaines et sociales et à toute la palette de leurs méthodes, quantitatives comme qualitatives, le risque est donc de voir les mêmes chercheurs, bardés des mêmes certitudes, produire les mêmes conclusions. Car faute d'avoir réellement pensé le fait éducatif et d'en maîtriser la diversité des cadres interprétatifs possibles, l'expérimentateur le plus rigoureux en est réduit à interpréter le résultat de ses expériences à l'aide du sens commun… à rebours de la démarche scientifique qu'il voulait promouvoir.
Conclusion : l'efficacité des outils et des méthodes : une question politique

Les arguments pour imposer une certaine vision de ce que doit être la recherche en éducation ne sont pas scientifiques, ils sont politiques, ce que montraient Saussez et Lessard (2009) pour l'evidence based education anglo-saxonne ou, plus récemment, Chevarin et Chambat (2018) qui montraient l'appui sur les « neuromythes » d'orientations politiques qu'ils qualifient de néolibérale pour justifier l'ordre social par la programmation neuronale. Et si les chercheurs ne sont évidemment pas responsables de ce que certains mouvements politiques font de leurs résultats, il n'en reste pas moins vrai que

« les chercheurs qui refusent l'instrumentalisation de leurs recherches savent aussi faire la part du doute et des controverses qui les animent et ne prétendent pas tirer de leurs observations « la » méthode miracle d'apprentissage. » (Chevarin et Chambat, 2018).

La question de l'efficacité telle qu'elle est en général posée par les institutions éducatives est avant tout politique. Cela ne signifie pas seulement que les critères d'efficacité sont nécessairement ancrés dans des principes politiques et moraux, plus ou moins égalitaires ou élitistes, ou que ces discours « se marie[nt] particulièrement bien avec un discours sur l'amélioration de la qualité, l'accroissement de l'efficacité et du niveau de performance ou encore de l'imputabilité » (Saussez et Lessard, 2009)… Cela signifie aussi qu'invoquer des outils ou des méthodes « efficaces » pour améliorer l'école est sans doute un moyen pratique de ne pas poser la question des moyens accordés à l'école. A quoi bon donner plus de moyens s'il suffit de trouver le bon outil, la bonne méthode, pour résoudre les problèmes ?

Dans cette vision, l'activité enseignante se résume à une collection d'outils et de méthodes, que l'on peut isoler, comprendre et analyser individuellement et dont l'efficacité peut être prouvée. Faute de conceptualiser et étudier le passage à l'échelle, les enseignants sont renvoyés à un rôle de simples exécutants passifs (et mal payés) de méthodes et d'outils mis au point en laboratoire ou du haut de chaires du Collège de France.

Le rôle social des chercheurs ne devrait-il pas plutôt être de contribuer à dévoiler les mythes sur le numérique en éducation, les discours de ceux que Dieuzeide (1982) nommait les marchands et les prophètes ? Car il est possible d'armer les enseignants contre les mythes et fausses promesses qui ont accompagné toute technologie, depuis le cinéma éducatif vanté par Edison jusqu'à l'intelligence artificielle actuelle, toutes supposées résoudre l'échec scolaire et réformer l'école (Fluckiger, 2019). A défaut d'un tel regard critique, comme le montrait déjà Larry Cuban, on finit toujours lorsque les outils n'ont pas le bon goût de montrer leur efficacité, par affirmer que c'est parce que les enseignants ne savent pas s'en saisir.

Références bibliographiques

Amadieu, F. & Tricot, A. (2014). Apprendre avec le numérique. Mythes et Réalités. Paris : Retz.

BECTA (2007). The impact of ICT in schools – a landscape review. http://oei.org.ar/ibertic/evaluacion/sites/default/files/biblioteca/33_impact_ict_in_schools.pdf

Baron, G.-L. (2019). Les technologies dans l'enseignement scolaire : Regard retrospectif et perspectives. Les Sciences de l'éducation - Pour l'Ère nouvelle, 52(1), p. 103‑122.

Baron, G.-L., & Depover, C. (Éds.). (2019). Les effets du numérique sur l'éducation : Regards sur une saga contemporaine. Presses universitaires du Septentrion.

Baron, G.-L., & Bruillard, E. (1996). L'informatique et ses usagers dans l'éducation. PUF. http://www.stef.ens-cachan.fr/annur/bruillard/usag_somr.htm

Bart, D. et Daunay, B. (2016). Les blagues à PISA. Vulaines sur Seine : Les éditions du Croquant.

Basque, J. & Lundgren-Cayrol, K. (2002). Une typologie des typologies des applications des TIC en éducation. Sciences et Techniques Educatives, 9 (3-4), p. 263-289.

Bibeau, R. (2005). Les TIC à l'école : proposition de taxonomie et analyse des obstacles à leur intégration. Revue électronique de l'EPI, 80, http://www.epi.asso.fr/revue/articles/a0511a.htm

Bru, M. (1998). La validation scientifique des propos et discours sur les pratiques d'enseignement : après les illusions perdues. In C. Hadji & J. Baillé (Dirs.), Recherche et éducation. Vers une nouvelle alliance. Bruxelles : De Boeck, p. 45-65.

Bru, M. (2019). De quelques reconfigurations du rapport des recherches aux pratiques enseignantes. Les Sciences de l'Education. Pour l'ère nouvelle, n°1, Vol.52, p. 79-101.

Bruillard, E. (2020). Sesame Street et l'évaluation des technologies éducatives. Revue Adjectif, 2020 T2. http://www.adjectif.net/spip/spip.php?article533

Bryk, A. S. (2017). Accélérer la manière dont nous apprenons à améliorer, Éducation et didactique, 11-2, p. 11-29. http://journals.openedition.org/educationdidactique/2796

Chaptal, A. (2009). Mémoire sur la situation des TICE et quelques tendances internationales d'évolution. Sticef, 16. Repéré à https://www.persee.fr/doc/stice_1952-8302_2009_num_16_1_993

Chevarin, A. & Chambat, G. (2018). De Montessori aux neurosciences. Offensives contre l'école du commun. N'autre école, n° spécial Hiver 2018-2019.

Cuban, L. (1986). Teachers and Machines. The Classroom Use of Technology Since 1920. New York and London : Teachers College, Columbia University Press.

Davallon, J. (2004). Objet concret, objet scientifique, objet de recherche. Hermès, La revue, n° 38, p. 30-37. https://www.cairn.info/revue-hermes-la-revue-2004-1-page-30.htm

de Vries, E. (2001). Les logiciels d'apprentissage : : panoplie ou éventail ?. Revue Française de Pédagogie, 137, 105-116.

Dehaene, S. (2011). Apprendre à lire. Des sciences cognitives à la salle de classe. Paris : Odile Jacob.

Depp (2010). Les technologies de l'information et de la communication (TIC) en classe au collège et au lycée : éléments d'usages et enjeux. Les Dossiers. Direction de l'évaluation, de la prospective et de la performance, Ministère de l'Éducation nationale. Octobre 2010. http://media.education.gouv.fr/file/197/18/9/Dossier197_158189.pdf

Depover, C. (2009). La recherche en technologie éducative : fondements et approches, in Depover C., dir., La recherche en technologie éducative, un guide pour découvrir un domaine en émergence, édition des archives contemporaines, Paris : Agence Universitaire de la Francophonie, p5-13.

Dieuzeide, H.. (1982). Marchands et prophètes en technologie de l'éducation. Actes du colloque Les formes médiatisées de la communication éducative, Ecole Normale Supérieure de Saint-Cloud (pp. 78-82). http://edutice.archives-ouvertes.fr/docs/00/02/92/61/PDF/dieuzeide82.pdf

Duroisin, N., Temperman, G., & De Lièvre, B. (2011). Effets de deux modalités d'usage du tableau blanc interactif sur la dynamique d'apprentissage et la progression des apprenants. Communication présentée à la conférence EIAH'2011, Belgique. Editions de l'UMONS, Mons, pp.257-269.

Fluckiger, C. (2019). Numérique en formation : des mythes aux approches critiques, Education permanente, 219, 17-30.

Fluckiger, C. (2020). Les usages effectifs du numérique en classe et dans les établissements scolaires. Paris : Cnesco.

Gentaz, É., Sprenger-Charolles, L., Colé, P., Theurel, A., Gurgand, M., Huron, C., Rocher, T. et Le Cam, M. (2013). Évaluation quantitative d'un entrainement à la lecture à grande échelle pour des enfants de CP scolarisés en réseaux d'éducation prioritaire : apports et limites. A.N.A.E., 123, p. 172-181.

Goigoux, R. (2013). Enquêter sur les pratiques pédagogiques au cours préparatoire. Bulletin de la recherche, Ifé, n°19, p. 7-8.

Goigoux, R. (2016). Lire et Ecrire, Synthèse du rapport de recherche, Etude de l'influence des pratiques d'enseignement de la lecture et de l'écriture sur la qualité des premiers apprentissages, Ifé/Université de Lyon.

Gueudet, G. & Trouche, L. (2010), Ressources Vives. Le travail documentaire des professeurs en mathématiques. Presses Universitaires de Rennes.

Higgins, S., Falzon, C., Hall, I., Moseley, D., Smith, F., Smith H., & Wall, K. (2005). Embedding ICT in the literacy and numeracy strategies (Rapport de recherche final). University of Newcastle, Center for learning and teaching, School of education, communication and language sciences. Repéré à https://dera.ioe.ac.uk/1617/1/becta_2005_whiteboardprimarypilot_report.pdf

Higgins, S., Beauchamp, G., & Miller, D. (2007). Reviewing the literature on Interactive Whiteboard. Learning, Media and Technology, 32, 3, 213-225.

Kadi, M. N., Ben Abid-Zarrouk, S., & Coulibaly, B. (2019). Intégration des TIC et innovation pédagogique. Le cas particulier des écoles de Mulhouse. Spirale, 63, p. 139-155.

Livingstone, S. (2012). Critical reflections on the benefits of ICT in education. Oxford review of education, 38 (1), 9-24. http://eprints.lse.ac.uk/42947/

Meuret, D. (2017), Comment améliorer l'enseignement ?, Éducation et didactique, 11-2, p. 35-38. https://journals.openedition.org/educationdidactique/2720

Mishra, P., & Koehler, M. (2006). Technological Pedagogical Content Knowledge : A new framework for teacher knowledge. Teachers College Record, 108(6), p. 1017-1054

Monceau, G. (2017). Réexplorer la recherche-action au XXIe siècle, in F. Thibault et C. Garbay, (dir.), La recherche sur l'éducation, vol. 2, Contribution des chercheurs, rapport remis à M Thierry Mandon, p. 29-30.

Perrenoud, P. (1993). Curriculum : le réelle, le formel et le caché, in J. Houssaye (dir.), La pédagogie : une encyclopédie pour aujourd'hui, Paris : ESF, p. 61-76.

Pouts-Lajus, S. (2000). Une question impossible : l'efficacité pédagogique. Edutice. https://edutice.archives-ouvertes.fr/edutice-00000101

Rabardel, P. (1995). Les hommes et les technologies : approche cognitive des instruments contemporains. Paris : Armand Colin.

Ravestein, J., & Ladage, C. (2014). Ordinateurs et Internet à l'école élémentaire française. Éducation & didactique, 8(3). http://journals.openedition.org/educationdidactique/2008

Saussez, F. et Lessard, C. (2009). Entre orthodoxie et pluralisme, les enjeux de l'éducation basée sur la preuve, Revue française de pédagogie, n°168. http://journals.openedition.org/rfp/1804

Sensevy, G. (2011). Le sens du savoir. Eléments pour une théorie de l'action conjointe en didactique. Bruxelles : De Boek.

Slavin, R. (2002). Evidence-based educational policies : transforming educational practice and research, Educational researcher, vol. 31, n° 7, p. 15-21.

Tricot, A. (2017). L'innovation pédagogique, Paris : Retz.

Türel, Y. (2010). Developing teachers' utilization of interactive whiteboards. Dans D. Gibson et B. Dodge (dir.), Proceedings of Society for Information Technology & Teacher Education International Conference 2010. Chesapeake, VA : AACE, p. 3049-3054.

UNESCO (2019), Mochizuki Yoko and Bruillard Éric (eds.) Rethinking pedagogy : Exploring the potential of Technology in Achieving Quality Education. UNESCO MGIEP.

Villemonteix, F., & Khaneboubi, M. (2013) Étude exploratoire sur l'utilisation d'iPads en milieu scolaire : entre séduction ergonomique et nécessités pédagogiques. Sticef, 20. http://sticef.univ-lemans.fr/num/vol2013/13-villemonteixatame/Sticef_2013_NS_villemonteix_13.htm

Villemonteix, F., & Nogry, S. (2016). Usages de tablettes à l'école primaire : quelles contraintes sur l'activité pédagogique ? Recherche et formation, 81. http://rechercheformation.revues.org/2628

Wallet, J. (2010). Technologie et gouvernance des systèmes éducatifs, In B. Charlier et F. Henri (Dir.), Apprendre avec les technologies, Paris : PUF, p. 71-80.

Warschauer, M., Cotten, S., & Ames, M. (2011). One Laptop per Child Birmingham : Case Study of a Radical Experiment. International Journal of Learning and Media, 3(2), p. 61-76. http://morganya.org/research/warschauer-olpc-birmingham.pdf

[1] http://www.atief.fr/content/avis-du-conseil-d%E2%80%99administration-de-l%E2%80%99atief-en-r%C3%A9ponse-aux-propositions-du-conseil

[2] Il n'est pas clair dans cette phrase si c'est parmi les recherches translationnelles que le CSEN souhaite distinguer celles qui ont leur place ou si les seules recherches qui ont leur place sont certains types de recherche translationnelle à l'exclusion d'autres formes possibles, non translationnelles. Cela ne change rien au fait que le CSEN se sent légitime à décréter que certaines recherches n'ont pas leur place ou que certaines méthodes seules sont légitimes.

[3] Cela d'autant plus que la politique du gouvernement qui a nommé ce CSEN consiste précisément à privilégier les financements sur projet au détriment du financement pérenne des laboratoires, comme c'est le cas de l'actuelle loi LPPR. Ainsi, la boucle est bouclée : privés de moyens de faire une recherche de long cours sur des objets et dans des paradigmes qui relèvent de la liberté des chercheurs, les seules recherches qui pourront être financées devront répondre à des appels à projet répondant à ce que les structures étatiques jugent comme ayant « leur place en éducation ».

[4] Comme ont pu le faire Bart et Daunay (2016) sur le fonctionnement « insensé » des discours du PISA.

[5] Voir l'intégralité du débat publié dans les numéros 11 et 12 de la revue Education et didactique en 2017 et 2018 disponible à l'adresse suivante : https://journals.openedition.org/educationdidactique/2717

[6] Comme le formulaient en 2006 une vingtaine de chercheurs issus des neurosciences prétendant représenter « un point de vue scientifique sur l'enseignement de la lecture », http://media.education.gouv.fr/file/61/8/618.pdf

Innovation Pédagogique et transition

Ressources et outils face à la covid-19 : critique d'un texte du CSEN sur la recherche qui a « sa place » en éducation