Open Badges : Analyse des effets de leur mise à disposition selon deux modalités de tutorat (proactive ou réactive)

De Lièvre Bruno, Palm Catherine, Temperman Gaëtan — 2017-12-30T08:15:33Z

Un article de De Lièvre Bruno, Temperman Gaëtan et Palm Catherine publié dans la revue Distances et Médiations des Savoirs ; une revue sous licence CC by sa

Cette étude s'intéresse aux effets d'un tutorat proactif sur un dispositif d'apprentissage en ligne qui utilise les Open Badges. Elle est envisagée dans un contexte réel d'apprentissage et concerne 220 étudiants au premier cycle universitaire. L'étude se décline selon trois axes : la progression individuelle des étudiants, le processus d'apprentissage mis en œuvre et la perception qu'ils ont des badges. Les résultats de l'étude mettent en évidence que le tutorat proactif incite les étudiants à gagner plus de badges et à réaliser plus de tentatives aux tests formatifs de connaissance. Nos analyses corrélationnelles laissent apparaître que le tutorat proactif semble moduler le lien entre le degré de « fuyance » des apprenants et le nombre de badges obtenu. Si la perception des apprenants par rapport aux badges est positive, nous relevons aussi que plus l'étudiant a obtenu des badges, plus son sentiment de compétence est élevé.

1- Introduction

L'introduction des badges en situation d'enseignement-apprentissage n'est pas récente. Déjà, Freinet avec l'intégration de brevets dans les classes d'école primaire au début du xxe siècle avait imaginé son potentiel pour l'apprentissage. Leur mise en œuvre donne la possibilité de valider les compétences au sein d'une communauté de manière à informer celle-ci qu'une personne dont on a certifié les compétences est à présent en mesure de partager son savoir avec d'autres (Lévy et Authier, 1996). Dans un contexte de formation, l'évaluation prend alors une orientation positive. La logique est en effet de se focaliser sur les acquis et non sur les échecs des apprenants. Les badges, qui sont aujourd'hui numérisés, prennent une autre dimension dans la mesure où leur diffusion via les médias sociaux permet de dépasser le contexte dans lequel ils ont été attribués.

En termes de bénéfices, un examen théorique de la littérature tend à montrer que l'usage des badges a un effet positif sur la motivation des apprenants et sur leur perception de l'apprentissage (Reid et al., 2015 ; Fajiculay, Parikh, Wright et Sheehan, 2017). Peu de recherches à notre connaissance examinent toutefois le lien entre les bénéfices en termes de qualité de l'apprentissage et, d'une part, l'usage que les apprenants réalisent de ces badges, ainsi que, d'autre part, les modalités qui sont envisagées par les enseignants pour les intégrer à leur dispositif pédagogique.

3Par rapport à ces deux points aveugles dans la littérature, notre étude évalue l'impact de deux modalités de tutorat relatives aux badges sur l'apprentissage. Elle est envisagée ici dans un contexte d'activités à distance intégrées à un cours d'introduction universitaire aux concepts pédagogiques fondamentaux.

2- Les Open Badges

Les Open Badges sont un système de badges numériques développé par la fondation Mozilla [1]. Il s'agit d'une forme de certification de maîtrise de compétences et de participation dans des dispositifs de formation variés. Les badges se sont grandement inspirés des jeux vidéo et font partie d'une mouvance qui promeut la ludification comme modalité d'interactivité dans les dispositifs d'apprentissage. On les retrouve aujourd'hui dans la galaxie des MOOC, sur des plateformes d'e-learning, mais aussi dans certaines entreprises. Qu'ils soient formels ou informels – ils sont l'occasion de faire reconnaître diverses compétences non actées par un diplôme (Goligoski, 2012) –, les Open Badges répondent à un besoin de validation des apprentissages en ligne. Ils permettent la reconnaissance des acquis des individus en termes de connaissances (Davies et al., 2015), de compétences (Abramovich et al., 2013), de savoir-faire et de savoir-être (Ma, 2015).

Un badge prend la forme d'une illustration numérique, habituellement une icône spécifique qui symbolise la compétence, l'aptitude ou la connaissance acquise par un apprenant. Ce fichier image (.png) est accompagné de métadonnées protégées qui décrivent les acquis et authentifient leur provenance, les épreuves réussies, etc. Il est généralement délivré par les enseignants et les institutions qui souhaitent reconnaître les acquis (Dub, 2015), mais peut être fourni à l'apprenant qui en fait lui-même la demande, après avoir fait le point sur sa maîtrise des compétences dans une démarche réflexive (Jourde, 2014). Les badges sont utilisés par les apprenants pour communiquer leurs acquis en les affichant sur leur CV en ligne, leur page personnelle ou les réseaux sociaux (LinkedIn, Facebook, Mozilla Backpack [2], etc.). Les badges sont ouverts, capitalisables et susceptibles d'être proposés gratuitement sur de nombreuses plateformes (Moodle, Canvas, etc.)

Au niveau pédagogique, un premier intérêt de l'utilisation des badges est de favoriser l'alignement pédagogique (Ravet, 2015). En effet, il faut définir ce qui doit être certifié (compétences, connaissances précises), les tâches pour atteindre l'objectif (séquence pédagogique) et les modalités d'évaluation pour déterminer si et comment le badge peut être délivré (critères, résultat attendu, preuve de la réussite). Une deuxième fonction est celle de la motivation qu'ils suscitent. À l'instar des jeux vidéo ou de la Kahn Academy [3], il faut récolter, compléter et aller au bout d'une collection pour progresser dans les activités, mais aussi pour se repérer par rapport aux objectifs à atteindre en utilisant les badges comme indicateurs (Abramovich et al., 2013). Ils permettent également d'assurer une reconnaissance de compétences pratiques acquises au travers de l'expérience et donc de « certifier » ce qui ne l'est pas nécessairement par les diplômes actuels, comme les compétences collaboratives ou interdisciplinaires (Ma, 2015). Enfin, les formations pourraient être rendues plus flexibles et les travailleurs plus mobiles (Dubé, 2015) grâce à la reconnaissance de leurs compétences qui reposent sur les preuves dont attestent les badges et les métadonnées qui les accompagnent.

Cependant, la valeur relative qui leur est conférée reste une des limites des badges. En effet, reconnaître des compétences dans un contexte non certifiant nécessite un changement de paradigme auxquels tous ne sont pas prêts : la reconnaissance par les pairs, l'évaluation formative et les micro-certifications (Tsai, 2014) ont encore à faire leur preuve aux yeux de certains. Sans compter que de nombreux auteurs (Ravet, 2015 ; Davies et al., 2015) estiment qu'il est nécessaire de réaliser plus d'expériences en contexte pour vérifier l'efficacité des badges sur la qualité de l'apprentissage.

3- Modalités tutorales

Par rapport au manque de résultats empiriques concernant les effets des badges auprès des apprenants en termes d'augmentation de leur performance ou de l'amélioration de la qualité de leur processus d'apprentissage, le comportement de l'enseignant lors des activités mises en œuvre nous semble particulièrement intéressant à investiguer.

Au niveau de l'encadrement de l'apprentissage, un relatif consensus dans la littérature existe en effet autour de l'idée que le tutorat est un facteur positif qui contribue à faciliter la progression des apprenants (De Lièvre, Depover et Dillenbourg, 2006) dans les dispositifs hybrides. L'idée d'intervenir en cours d'apprentissage a pour but d'accompagner les apprenants, « guide on the side », dans leur démarche et non d'assurer un enseignement, « sage on the stage ». Ces différentes aides servent à opérer des recadrages et des prises de recul pour l'apprenant. Elles sont susceptibles d'avoir un impact important sur leurs performances en cours d'apprentissage et au terme de celui-ci.

En ce qui concerne ces modalités d'interventions, De Lièvre, Depover et Dillenbourg (2006) envisagent deux modes d'interventions tutorales : le mode réactif et le mode proactif. Le comportement réactif est conséquent à une demande de l'apprenant vers l'agent d'encadrement. L'intervention est liée à un besoin d'aide qui peut être associé à une situation critique, à une difficulté rencontrée par l'apprenant dans la réalisation de l'activité. Dans ce cas, l'agent d'encadrement fournit une réponse à cette sollicitation. Une posture proactive correspond plutôt à des interventions opportunistes opérées à l'initiative de l'agent d'encadrement. Elle s'appuie sur une logique d'anticipation et consiste à prévoir le plus précisément possible les événements susceptibles de survenir dans une situation de formation. La proactivité a donc pour objectif de prévoir l'action de l'apprenant ou du groupe d'apprenants en lui suggérant par exemple des démarches pour le guider dans le processus d'apprentissage avant qu'une difficulté ne survienne. Le tutorat proactif stimule l'apprenant à exploiter davantage les différentes aides mises à sa disposition. La proactivité donnerait à l'apprenant le sentiment d'être encadré en l'amenant à rester en état de veille cognitive. Par ailleurs, elle lui permettrait de prendre plus rapidement conscience de l'utilité des ressources disponibles dans l'environnement pour surmonter une difficulté en cours d'apprentissage. Au niveau de l'activation des aides dans un environnement d'apprentissage, De Lièvre, Depover et Dillenbourg (2006) mettent en évidence que la proactivité au travers de relances incite les apprenants à exploiter davantage les ressources mises à disposition à condition qu'ils considèrent celles-ci comme pertinentes.

À l'instar de Ravet (2015), nous pouvons considérer que les badges constituent une ressource pour les apprenants dans la mesure où ils structurent la séquence d'apprentissage à réaliser. Par conséquent, nous pouvons émettre l'hypothèse générale de l'effet positif d'un tutorat proactif relatif à ces badges sur leur apprentissage.

4- Cadre méthodologique

12Dans la suite du texte, nous décrivons la méthodologie permettant d'éprouver cette hypothèse. Nous précisons l'environnement d'apprentissage dans lequel un système de badges est mis en œuvre, l'échantillon considéré, le plan expérimental associé au scénario pédagogique et la typologie des badges créée pour l'occasion.

4.1. Dispositif pédagogique

4.1.1. Scénario d'apprentissage

Dans le cadre du cours de sciences de l'éducation et de la formation [4] qui est dispensé aux étudiants du Bloc 1 du bachelier en sciences psychologiques et de l'éducation à l'université de Mons (Belgique), deux activités sont organisées en parallèle (voir figure 1). L'une propose des cours théoriques magistraux relatifs à la présentation des concepts tandis que l'autre est collaborative, se déroule à distance (via Moodle) et vise une maîtrise fonctionnelle des notions du cours. Les étudiants réalisent la tâche commune par groupes de cinq au maximum.

Les cours théoriques sont organisés en huit modules qui sont soit présentés en auditoire soit peuvent être (re)découverts sous la forme de podcasts mis à disposition sur Moodle. Les étudiants bénéficient également d'un support écrit reprenant toutes les notions à apprendre. Une évaluation individuelle est proposée à la fin de chaque module. Les huit tests formatifs sont mis à disposition pendant une durée de sept jours. Les étudiants peuvent réaliser le test à deux reprises au maximum, s'ils souhaitent améliorer leur premier résultat. Les tests sont composés de dix questions : deux questions ouvertes et huit questions fermées. Les questions fermées sont corrigées automatiquement par une application intégrée dans Moodle, tandis que les questions ouvertes demandent l'intervention du tuteur. Par conséquent, l'étudiant doit attendre cette validation « humaine » pour obtenir sa note et se voir décerner ou non le badge en question.

Les activités collaboratives, quant à elles, visent trois objectifs : être capable d'expliquer les concepts ; associer ceux-ci à des situations pédagogiques ; et enfin, déterminer la présence ou l'absence des concepts vus pendant le cours dans des situations contextualisées. Les étudiants répartis se sont choisis mutuellement pour constituer les groupes de travail. En vue de structurer leur argumentation, les étudiants utilisent un Etherpad [5] qui permet une écriture collaborative ainsi qu'une identification par une couleur spécifique de la contribution de chacun à l'activité commune. Un forum et un chat sont également mis à disposition de chaque groupe pour supporter leurs interactions synchrones et asynchrones.

Figure 1. Planning des activités d'apprentissage et plan d'observations

Original(png, 81k)

4.1.2. Scénario d'encadrement et variable indépendante manipulée

Les tuteurs sont des étudiants plus avancés qui encadrent les groupes constitués selon deux modalités. D'une part, une modalité réactive lors de laquelle les tuteurs répondent aux questions formulées par les étudiants. D'autre part, une modalité proactive lors de laquelle les tuteurs interviennent selon un scénario rédigé a priori afin de garantir l'uniformité des relances. Le tutorat proactif se compose de rappels temporels, d'encouragements socioaffectifs et de précisions ou rappels structurels par rapport à l'obtention des badges. Le tableau 1 présente une vue synthétique du scénario d'encadrement envisagé.

Tableau 1 : Synthèse des relances proactives du scénario d'encadrement

Quels badges ?	Fréquence d'intervention	Messages
Productivité/Proactivité	Deux fois au module 1 et puis une fois lors des modules 2 à 8.	Rappel des conditions d'attribution et de la nécessité de les réclamer.
Régularité/Équilibre	Deux fois au module 1 et puis une fois lors des modules 2 à 8.	Rappel des conditions d'attribution
Badges de tests	Un rappel trois jours avant et l'autre, la veille de l'échéance.	Message d'encouragements et de rappel temporel.

Les deux modalités de tutorat (proactive et réactive) constituent les deux dimensions de la variable indépendante manipulée lors de cette recherche puisque la moitié des groupes d'étudiants bénéficieront d'un tutorat proactif alors que l'autre moitié bénéficiera d'un tutorat réactif. Les groupes d'étudiants ont été répartis aléatoirement dans ces deux conditions expérimentales.

En vue d'informer les étudiants à propos des finalités et des diverses conditions d'obtention des badges, deux canaux différents d'information ont été utilisés. D'une part, le dispositif « Badges » a été présenté en auditoire à partir d'un support PowerPoint lors du cours et d'autre part, une présentation en ligne sous la forme d'une capsule audio-vidéo est consultable par les étudiants.

Concernant les effets de cette modalité de présentation du dispositif, nous avons pu relever que 63,2 % des étudiants ont consulté la capsule informative (voir tableau 2). Une corrélation faible de 0,236, mais néanmoins significative à .001 nous fait penser que plus les étudiants ont visionné la vidéo plus ils ont obtenu un nombre élevé de badges. On peut avancer l'idée à ce niveau qu'en prenant connaissance de cette information, ils ont pu mieux appréhender la logique des badges proposée dans l'environnement d'apprentissage. Il semblerait donc que mieux les étudiants s'approprient les conditions d'obtention des badges, plus ils ont tendance à en obtenir.

Tableau 2 : Pourcentage d'étudiants qui ont visionné la vidéo

Nombre de vues	0	1	2	3	4	> 4
% d'étudiants	36,8	34,5	15,9	9,1	2,3	1,5

4.2. Échantillon

Notre échantillon occasionnel se compose initialement de 278 étudiants. Cinquante-huit d'entre eux n'ayant pas participé à l'ensemble des activités, ils n'ont dès lors pas été considérés dans nos différentes analyses. L'échantillon final s'élève donc à 220 étudiants dont 112 ont bénéficié d'un tutorat réactif et 108 d'un tutorat proactif. Chaque tuteur a encadré six groupes (composés de quatre ou de cinq étudiants) dont trois de manière proactive et trois de manière réactive.

4.3. Dispositif expérimental et variables (in)dépendantes

Comme l'illustre le tableau 3 ci-dessous, avant d'entamer les activités collaboratives les étudiants réalisent un prétest pour évaluer leur degré d'appropriation des concepts du cours. Ils répondent également à un questionnaire, dispensé a priori, permettant d'analyser leur profil d'apprentissage (qui permettra de définir leur degré de « fuyance », de participation, de compétition, de collaboration, de dépendance et d'indépendance au sens de Grasha [1996]). Ces deux prises d'informations correspondent aux données relatives à nos variables indépendantes invoquées.

S'ensuivent les séances en amphithéâtre et les activités collaboratives pendant huit semaines. Au terme de celles-ci, les étudiants réalisent le post-test (selon une version identique au prétest ce qui nous permettra d'apprécier l'évolution des acquis en calculant un gain relatif [6]) et complètent trois tests d'opinion réflexifs. Ces derniers demandent aux étudiants de compléter des échelles de Likert, pour évaluer via quatorze items les effets des badges sur leur motivation intrinsèque [7] (Reid et al., 2015) et via seize items leur appréciation du dispositif « Badges » (Abramovich et al., 2011) [8]. Trente-huit autres items ont été élaborés par nos soins en vue d'appréhender d'autres aspects de notre recherche comme la perception de l'effet des badges sur la métacognition ou sur l'autoévaluation. En outre, à la fin de la dernière semaine, douze étudiants ont participé à un entretien semi-structuré pour recueillir des informations plus qualitatives en vue de comprendre le sens des réponses aux questionnaires. Les notes obtenues au post-test, le gain relatif et les opinions recueillies via les questionnaires a posteriori seront les valeurs de nos variables dépendantes, celles sur lesquels notre traitement peut avoir un effet.

Le dispositif expérimental décrit dans le tableau 3 est celui d'un plan à observations pré- (O1 et O3) et postexpérimentales (O2 et O4) lors duquel un traitement (X) est appliqué à savoir la mise en place d'un tutorat proactif pour la moitié de l'échantillon alors que l'autre moitié bénéficie d'un tutorat réactif.

Tableau 3 : Plan expérimental

O1	Tutorat réactif par rapport aux badges	O2
Prétest Questionnaire de profils d'apprentissage		Post-test Questionnaires réflexifs Entretiens
O3	Tutorat proactif par rapport aux badges X	O4

4.4. Typologie des badges

Garon (2015) a proposé une typologie des badges numériques dont nous utilisons deux catégories : d'une part, les badges de connaissances (rouges dans notre dispositif) qui attestent de savoirs et, d'autre part, les badges de compétences (bleus) qui valorisent les comportements collaboratifs propices à l'apprentissage à savoir la régularité, la proactivité, la productivité, l'équilibre des contributions et l'engagement personnel. Tendre à l'acquisition de badges constitue une démarche volontaire. Les activités permettant de les obtenir ne sont pas coercitives.

4.5. Questions de recherche

En lien avec notre hypothèse générale, la question de recherche que nous posons est la suivante : un tutorat proactif visant à l'obtention des Open Badges favorise-t-il l'apprentissage des étudiants ? Cette question se décline suivant trois axes.

QR1 – Le tutorat proactif différencie-t-il la performance en termes de gain d'apprentissage ? Pour Loisier (2011), la performance dépasse la réussite. Il y a une notion de « succès » avec un niveau élevé de réalisation. Pour mesurer la performance, on peut procéder à la comparaison des résultats des apprenants, on peut aussi comparer le résultat des étudiants avant l'apprentissage (une évaluation diagnostique) à son niveau final et calculer alors un gain relatif.

QR2 – Le tutorat proactif différencie-t-il le processus d'apprentissage ? L'analyse devra se focaliser sur l'activité des apprenants, au travers de la régularité, de la proactivité, de l'équilibre des interactions et de leur productivité. Les aspects de la performance que nous pouvons analyser, tout en comparant le groupe à l'encadrement proactif et celui à l'encadrement réactif, sont notamment le nombre de tentatives réalisées aux tests de connaissances et l'obtention de badges spécifiques.

QR3 – Le tutorat proactif différencie-t-il la perception des apprenants ? La perception permet de donner la parole aux apprenants par rapport à leur ressenti à travers les différents axes du dispositif (types de badges, planification, collaboration, plaisir, anxiété, etc.). Un questionnaire réflexif (Reid et al., 2015) dispensé en fin de cours permet de répondre à de nombreuses questions concernant cette dimension. Les opinions ainsi collectées sont également mises en relation avec le profil initial de l'étudiant, le processus d'apprentissage et la progression des étudiants.

5. Résultats

5.1. Progression dans l'apprentissage (Q1)

Cette première partie de l'analyse des données considère la progression des étudiants. Nous y analysons si le type d'encadrement (réactif ou proactif) a eu un effet direct sur le produit d'apprentissage (GR) et sur l'acquisition de badges (de connaissances). L'effet de l'encadrement proactif sur le niveau des gains relatifs est non-significatif. Toutefois si on considère le nombre de badges acquis par étudiant, nous pouvons mettre en évidence que la modalité proactive (en rouge) permet significativement à plus d'étudiants (p = 0,032) d'obtenir un nombre de badges élevé (31,5 % en obtiennent entre cinq et huit) pour 22,3 % lorsque la modalité est réactive (en bleu dans la figure 2). L'intérêt de cette mise en évidence est que le nombre de badges est (positivement, mais faiblement) corrélé avec le niveau de gain relatif (r = 0,116 ; p = 0,085).

Figure 2 : Répartition du nombre de badges obtenu (%) en fonction des modalités d'encadrement

Original(png, 44k)

Nous pouvons également mettre en évidence une corrélation négative (r = -0,527) et significative (p = 0,001) entre la progression en termes de gain relatif et les étudiants qui ont les résultats initiaux les moins élevés (score au prétest sur la figure 3). Ce sont donc les moins performants au départ qui bénéficient le mieux du dispositif d'encadrement et plus particulièrement du tutorat proactif. Pour justifier l'analyse des liens entre la performance et le niveau initial des étudiants, rappelons l'étude de Cross, Whitelock et Galley (2014) qui formule une mise en garde : il faut éviter que les étudiants faibles soient découragés par la difficulté d'obtention des badges. Ici, il semblerait donc que l'intégration des badges induise un plus grand partage de compétences entre les apprenants.

Figure 3 : Corrélation entre la note au prétest et le gain relatif
Original(png, 48k)

À partir des données issues du questionnaire de profils administré a priori, nous observons également une relation (r = -0,169) négative et significative (p = 0,012) entre le profil fuyant [9] (Grasha, 1996) et le nombre de badges obtenus. Plus l'étudiant a un profil fuyant, moins il aura de badges et moins ses résultats aux tests seront bons. Par ailleurs, il est intéressant de constater que le tutorat proactif module ces relations (voir figure 4). Les étudiants fuyants qui bénéficient d'un tutorat proactif ont en effet tendance (r = -0,102 ; p = 0,295) à obtenir un nombre de badges plus élevé que les étudiants au même profil dans la condition réactive (r = 0,252 ; p = 0,007). Ce résultat est intéressant à prendre en considération, car il corrobore un certain nombre d'études (Decamps, 2014) qui mettent évidence le fait que les apprenants caractérisés par un style fuyant ont tendance à moins s'engager dans la tâche collaborative et obtiennent sur le plan individuel également des performances moins élevées au terme de la formation. Des actions pédagogiques comme le tutorat proactif sont dès lors pertinentes pour apporter un support motivationnel à ces étudiants en cours d'apprentissage.

Figure 4 : Corrélations entre le degré de « fuyance » et le nombre de badges obtenus en fonction des modalités d'encadrement
Original(png, 59k)

5.2 Processus d'apprentissage (Q2)

Cette deuxième partie de l'analyse se penche sur la manière dont les étudiants réalisent les activités. Si le tutorat proactif incite les apprenants à effectuer plus de tentatives que lorsque le tutorat est réactif, cette différence entre les modalités ne se traduit que partiellement sur le plan statistique. On observe ainsi que le nombre de tentatives est significativement plus élevé pour le badge relatif au test 4 (p = 0,036). Comme c'est le cas dans l'étude de Reid et al. (2015), nous observons à la lecture de la figure 5 que le nombre de tentatives diminue régulièrement quelle que soit la condition d'encadrement d'un test à l'autre avec toutefois un regain d'activité en fin de quadrimestre.

Figure 5 : Nombre moyen/étudiant de tentatives d'obtention des badges connaissances
Original(png, 38k)

Concernant les résultats liés obtenus à ces tests de connaissances, nous n'observons pas de différence de moyenne. Il est intéressant de noter d'un point de vue descriptif (figure 6) que les étudiants encadrés de manière proactive ont une performance plus élevée à ces tests.

Figure 6 : Moyenne aux différents tests liés à l'obtention des badges de connaissances
Original(png, 37k)

En utilisant le questionnaire de l'étude de Reid et al. (2015), qui considère le degré de motivation intrinsèque à obtenir des badges, nous avons analysé l'effort fourni pour les obtenir. Plus de 30 % des étudiants expriment se sentir spécifiquement motivés par les badges. Notre analyse croisée laisse apparaître qu'il existe une forte corrélation positive entre l'effort fourni et les performances des étudiants : nombre de badges (r = 0,540 ; p = 0,001) et moyenne des résultats (r = 0,323 ; p = 0,001). Au niveau de la persévérance, ils sont 51,4 % à exprimer le fait que les badges obtenus les ont encouragés à poursuivre leur travail. Concernant le degré d'approfondissement de la matière, 60 % des étudiants disent s'être plus investis afin d'obtenir les badges. Les résultats sont significatifs en faveur du groupe proactif. Un des arguments évoqués dans la littérature pédagogique est celui de la logique de « collection » (Abramovich et al., 2013) qui les a probablement poussés à acquérir les badges.

Dans notre étude, 43,6 % des étudiants estiment également que les badges sont une confirmation de ce qu'ils ont appris : plus les étudiants acquièrent de badges, plus ils estiment qu'ils ont de la valeur. Au travers des témoignages recueillis, les étudiants expriment que le badge constitue un réel outil d'évaluation formative représentatif de ce qu'ils se sont approprié, leur permettant de progresser de succès en succès tout en balisant leur parcours d'étape en étape.

Nous n'avons pas obtenu de résultats positifs concernant la dimension « aide à l'auto-évaluation » que nous avons voulu stimuler via les badges de compétences (bleus). Les étudiants les réclament lorsqu'ils estiment avoir fait preuve de proactivité, d'équilibre, de régularité et de productivité dans le processus collaboratif. Certains disent n'avoir pas osé ou avoir oublié de les obtenir. La majorité déclare n'avoir pas « compris » le dispositif de badges au niveau collaboratif. Des difficultés techniques de délivrance peuvent également expliquer ces faibles demandes. Nous pensons qu'il y a une question de sens à laquelle nous n'avons pas pu répondre et que le processus d'utilisation des badges nécessite une appropriation que leur introduction dans un laps de temps bref n'a pas permise. Peut-être, est-ce le processus formatif qui est en cause ? Les consignes ne contraignent en effet pas les étudiants à avoir « besoin » des badges au contraire de ce que Jourde (2014) a réalisé en incluant ce processus réflexif et les demandes de badges associées dans un processus certificatif. Reid et al. (2015) expliquent que l'incompréhension de la finalité des badges dans un nouvel environnement constitue un frein à leur bénéfice. En mettant en lien ces témoignages et notre étude, nous pensons pouvoir dire que la compréhension de la finalité des badges semble essentielle à leur succès dans un dispositif de formation.

5.3. Perceptions des apprenants (Q3)

En ce qui concerne la manière dont les étudiants perçoivent a posteriori ce dispositif de formation intégrant les badges, nous avons relevé qu'un taux élevé d'entre eux sont enthousiastes et intéressés (68,6 %) par l'utilisation des badges, que ce mode de validation leur paraît être un bon complément à d'autres types de feedback (61,8 %) et qu'ils manifestent l'envie d'en obtenir également dans d'autres cours (56,3 %).

Plus l'étudiant a obtenu des badges, plus il se sent compétent. S'ils sont 70,9 % au total à se sentir compétents après avoir obtenu le badge, il semblerait que la variable proactivité module le sentiment de compétence. Ce constat est corroboré par une corrélation positive et significative pour le groupe proactif (r = 0,292 ; p = 0,002), mais non pour le groupe réactif (r = 0,030 ; p = 0,750).

Soulignons qu'un étudiant sur cinq déclare avoir été « stressé » par l'obtention des badges. Comme le montre la figure 7, on peut avancer l'idée que plus l'étudiant se sent stressé pour obtenir les badges, plus il en obtient et plus sa moyenne aux tests est élevée. Ces résultats sont bien évidemment à interpréter avec prudence. Le degré de stress déclaré au travers des questionnaires n'en établit pas la cause réelle : est-ce l'obtention du badge qui met sous pression ou le fait de devoir réaliser les tests dans un temps imparti ?

Figure 7 : Moyenne aux différents tests liés à l'obtention des badges de connaissance
Original(png, 39k)

Nous pourrions également considérer que le stress engendré pour l'obtention des badges est « productif ». Il a en effet permis d'augmenter la performance des étudiants mis dans une situation de défi à relever. Notons que pour 65,5 % des étudiants, le badge « qui compte dans la note » les intéresse vivement. Encore faut-il que celui-ci contribue à la motivation intrinsèque plus qu'au « badge pour la note ».

6. Conclusions, limites et perspectives

L'effet des Open Badges dans un dispositif de formation hybride n'est pas encore concluant en ce qui concerne les gains d'apprentissage. Si un lien ténu (gain relatif et nombre de badges acquis) peut parfois être mis en évidence, ce résultat ne peut s'avérer totalement satisfaisant.

Cependant, il y a des observations qui permettent d'espérer que les badges puissent être bénéfiques. Le dispositif pédagogique intégrant les badges semble ainsi avoir un effet d'équité. Ce sont en effet les apprenants les plus faibles au départ qui progressent davantage dans la maîtrise des compétences. Il y a aussi le fait que la « course aux badges » favorise une forme de persévérance et d'approfondissement ainsi qu'un sentiment de compétence.

En ce qui concerne l'effet de la proactivité, nous pouvons mettre en évidence qu'elle peut moduler le comportement des étudiants ayant un profil fuyant au départ en termes d'apprentissages et qu'elle peut amener les étudiants à persévérer dans l'obtention d'un nombre important de badges de connaissances. Nous n'observons toutefois pas de différence tangible au niveau du processus d'apprentissage ni des progressions en tenant compte du type de tutorat envisagé.

Les réponses à ce type de dispositif ne sont pas nécessairement celles attendues parce que ce sont peut-être d'autres variables qu'il faut prendre en considération. Celles du changement de posture qu'induit un dispositif basé sur des principes de « gamification ». Dans de tels dispositifs, l'effet des badges est probablement à apprécier d'une autre manière que par des évaluations « classiques » qui ne prennent pas suffisamment en compte les compétences nouvelles qui pourraient être développées. Cette démarche d'évaluation demande un temps d'appropriation pour l'enseignant, mais aussi pour les étudiants… qui, comme ils nous le disent lors des entrevues, ne sont pas toujours clairvoyants concernant le sens qu'ils peuvent attribuer aux badges dans une optique d'évaluation formative, d'auto-évaluation ou d'évaluation par les pairs.

En termes de perspectives, il reste bien évidemment un travail important à réaliser en ce qui concerne les variables pédagogiques issues du scénario d'apprentissage. Nous pensons en particulier à la nature des tâches associées aux badges et aux types de compétences ciblées.

Bibliographie

Des DOI (Digital Object Identifier) sont automatiquement ajoutés aux références par Bilbo, l'outil d'annotation bibliographique d'OpenEdition.
Les utilisateurs des institutions abonnées à l'un des programmes freemium d'OpenEdition peuvent télécharger les références bibliographiques pour lesquelles Bilbo a trouvé un DOI.

Abramovich, S., Schunn, C. et Mitsuo Higashi, R. (2013). Are Badges Useful in Education ? It Depends upon the Type of Badge and Expertise of Learner. Association for Educational Communications and Technology 2013. doi : 10.1007/s11423-013-9289-2
DOI : 10.1007/s11423-013-9289-2

Authier, M. et Lévy, P. (1996). Les Arbres de connaissances. Éditions La Découverte : Paris.

Cross, S., Whitelock, D. et Galley, R. (2014). The Use, Role and Reception of Open Badges as a Method for Formative and Summative Reward in two Massive Open Online Courses. International Journal of e-Assessment, 4(1). Repéré à https://www.researchgate.net/publication/272350648_The_use_role_and_reception_of_open_badges_as_a_method_for_formative_and_summative_reward_in_two_Massive_Open_Online_Courses

Davies, R., Randall, D. et West, R. (2015). Using Open Badges to Certify Practicing Evaluators. American Journal of Evaluation, 36(2) 151-163. doi : 10.1177/1098214014565505
DOI : 10.1177/1098214014565505

De Lièvre, B., Depover, C. et Dillenbourg, P. (2006). The relationship between tutoring mode and learners'use of help tools in distance education. Instructional Science, 34, 97-129.

Dub, J. (2015). Réflexions sur les badges. Repéré à https://prodageo.wordpress.com/2015/02/14/reflexions-sur-les-badges/

Dubé, J.-S. (2015). Certifications alternatives : documenter plus finement les apprentissages des étudiants. Repéré à http://leveilleur.espaceweb.usherbrooke.ca/22393/mode-de-certifications-alternatifs-documenter-plus-finement-les-apprentissages-des-etudiants/

Fajiculay, J., Parikh, B., Wright, C. et Sheehan, A. (2017). Student Perceptions of Digital Badges in a Drug Information and Literature Evaluation Course. Currents in Pharmacy Teaching and Learning, 9(4), p. 1-8.
DOI : 10.1016/j.cptl.2017.05.013

Garon, G. (2015). Badges numériques et innovation pédagogique. Repéré à http://www.geoffroigaron.com/2015/03/evenements/badges-numeriques-et-innovation-pedagogique/

Goligoski, E. (2012). Motivating the Learner : Mozilla's Open Badges Program. Repéré à http://ojs.stanford.edu/ojs/index.php/a2k/article/view/381

Grasha, A. F. (1996). Teaching with Style : A Practical Guide to Enhancing Learning by Understanding Teaching and Learning Styles. New York : Alliance Publishers.

Jourde, F. (2014). Badges numériques dans le cours de philosophie EEB1. Repéré à https://sites.google.com/site/coursdephilosophie/activites_outils/projets/projets-varia/projet-badges

Loisier, J. (2011). Les nouveaux outils d'apprentissage encouragent-ils réellement la performance et la réussite des étudiants en FAD ? (Mémoire de Master inédit) Réseau d'enseignement francophone à distance du Canada (REFAD). Repéré à http://archives.refad.ca/recherche/TIC/TIC_et_reussite_des_etudiants.pdf

Ma, X. (2015). Evaluating the Implication of Open Badges in an Open Learning Environment to Higher Education. 2nd International Conference on Education Reform and Modern Management (ERMM 2015). doi : 10.2991/ermm-15.2015.27
DOI : 10.2991/ermm-15.2015.27

Ravet, S. (2015). Open Badges comptez sur eux ! Repéré à http://www.e-learning-letter.com/info_article/m/873/open-badges-compter-sur-eux-par-serge-ravet.html

Reid, A., Paster, D., Abramovich, S. (2015). Digital Badges in Undergraduate Composition Courses : Effects on Intrinsic Motivation. Journal of Computers in Education, 2(4), p. 377-398. doi : 10.1007/s40692-015-0042-1
DOI : 10.1007/s40692-015-0042-1

Tsai, C. (2014). The Case for Social Innovation Micro-Credentials (overview of the socioeconomic changes that have given rise to microcredentialing). Repéré à http://www.ssireview.org/blog/entry/the_case_for_social_innovation_micro_credentials

Pour citer cet article

Référence électronique

De Lièvre Bruno, Temperman Gaëtan et Palm Catherine, « Open Badges : Analyse des effets de leur mise à disposition selon deux modalités de tutorat (proactive ou réactive) », Distances et médiations des savoirs [En ligne], 20 | 2017, mis en ligne le 20 décembre 2017, consulté le 30 décembre 2017. URL : http://journals.openedition.org/dms/2024 ; DOI : 10.4000/dms.2024

Auteurs

De Lièvre Bruno

Université de Mons

Faculté de psychologie et des Sciences de l'éducation
Place du Parc, 18
7000 Mons
Belgique

bruno.delievre@umons.ac.be

Temperman Gaëtan

Université de Mons

Faculté de psychologie et des Sciences de l'éducation

Place du Parc, 18
7000 Mons
Belgique

Palm Catherine

Université de Mons

Faculté de psychologie et des Sciences de l'éducation

Place du Parc, 18
7000 Mons
Belgique

[1] Organisme à but non lucratif établi en juillet 2003, la fondation gère la communauté Mozilla qui développe et publie les produits Mozilla, tous libres d'accès (https://fr.wikipedia.org/wiki/Badges_ouverts_Mozilla)

[2] https://backpack.openbadges.org/backpack/welcome

[3] https://www.khanacademy.org/badges

[4] 1er quadrimestre de l'année académique 2015-2016

[5] Etherpad est un éditeur de texte libre en ligne fonctionnant en mode collaboratif et en temps réel https://fr.wikipedia.org/wiki/Etherpad

[6] Gain relatif = Post-test-Prétest/Maximum-Prétest ; Perte relative = Post-test-Prétest/Prétest (D'Hainaut, 1975 cité par Temperman, 2013)

[7] Intrinsic Motivation Inventory (Reid et al., 2015) pour évaluer la « joie et l'intérêt », l'« effort », le « stress » et la « compétence » en relation avec l'octroi de badges.

[8] Badge opinion survey (Abramovich et al., 2011)

[9] http://journals.openedition.org/dms/docannexe/image/2024/img-3.png

Innovation Pédagogique et transition

Open Badges : Analyse des effets de leur mise à disposition selon deux modalités de tutorat (proactive ou réactive)

1- Introduction

2- Les Open Badges

3- Modalités tutorales

4- Cadre méthodologique

5. Résultats

6. Conclusions, limites et perspectives

Bibliographie