La réalité virtuelle aide à mieux apprendre : à quelles conditions ?

Bruno Arnaldi, INSA Rennes, Professeur en Informatique — 2022-10-21T05:51:49Z

Un article repris du magazine The Conversation, une publication sous licence CC by nd

Bloc opératoire virtuel pour la formation - Projet S3PM et SUNSET, Labex CominLabs. Fourni par l'auteur

Inventés il y a déjà plusieurs décennies, les concepts de réalité virtuelle et de réalité augmentée ont reçu depuis quelques années des coups de projecteurs médiatiques très importants. Les raisons principales en sont la démocratisation importante des technologies et les très forts investissements réalisés par les GAFAMs sur ces sujets.

Parmi les domaines d'application susceptibles de bénéficier de ces développements se trouve la formation, domaine pour lequel la réalité virtuelle ou la réalité augmentée offrent de très nombreux avantages. Sans être exhaustif, on peut relever les atouts suivants :

la possibilité de mener des expériences sans aucun danger pour l'apprenant ou pour le matériel. C'est le cas typique d'un appareil très onéreux qu'un apprenant serait susceptible d'endommager lors de sa formation ;
une mise en situation aisée de l'apprenant y compris lors de situations critiques, comme le dysfonctionnement d'un équipement qui peut devenir dangereux ;
un contrôle total de la situation d'apprentissage et suivi de l'apprenant. Cela permet au formateur de disposer à tout instant des données de progression d'un apprenant et dans certains cas à toutes les actions réalisées par l'apprenant en « rejouant » virtuellement la séquence de formation.

La technologie est donc déjà ancienne et nous serions tentés de croire que tous les écueils sont répertoriés et qu'il est aisé de créer une application de réalité virtuelle par exemple dans le domaine de la formation. L'expérience montre que ce n'est pas si simple que ça et que de très nombreux risques, par ailleurs fort bien documentés dans la littérature scientifique, ne sont pas suffisamment pris en compte par les développeurs dans l'élaboration des applications.

Temps de latence

Pour illustrer le propos sur ces difficultés auxquelles se heurtent les concepteurs d'applications, nous allons prendre quelques exemples.

D'abord, pour être reproduits dans le virtuel, les phénomènes physiques, même les plus élémentaires du monde réel, doivent être simulés, qu'il s'agisse de l'effet de la gravité, de contacts ou collisions entre des objets, de la propagation de la lumière… Ces simulations résultent souvent de la résolution de système d'équations complexes qui nécessitent du temps de calcul de la part des ordinateurs, et donc des délais lors de l'interaction avec l'utilisateur.

[Près de 80 000 lecteurs font confiance à la newsletter de The Conversation pour mieux comprendre les grands enjeux du monde. Abonnez-vous aujourd'hui]

L'instantanéité des phénomènes physiques ne peut pas être reproduite dans le virtuel et ceci a des conséquences sur la perception qu'en aura l'utilisateur. En effet, le délai appelé aussi latence peut perturber le caractère naturel de l'interaction.

Prenons un exemple tout simple, le réflexe vestibulo-occulaire, qui lie la perception visuelle et le mouvement de la tête capté par l'oreille interne : fixez un objet et bougez la tête, le réflexe vestibulo-occulaire vous permet de stabiliser votre regard sur l'objet. En réalité virtuelle, la moindre latence dans le processus sera perçue par l'utilisateur. Il y aura perturbation de la perception : des objets supposés être fixes (bâtiments, portes, murs…) ne le seront plus en environnement virtuel. Dans certains cas, il éprouvera ce qu'on appelle le mal des simulateurs (Cybersickness).

Autre difficulté à laquelle se heurtent ceux qui veulent se servir de la réalité virtuelle à des fins de formation : la perception des distances. Des expériences scientifiques ont clairement démontré que celles-ci sont très fréquemment altérées dans le virtuel, parfois il y a sous-estimation, parfois surestimation. Il est donc logique que, dans une application pour laquelle la perception de la distance est primordiale, comme l'apprentissage du tir au basket, un utilisateur puisse avoir des difficultés à apprendre.

Des contraintes à connaître

Par ailleurs, le fait d'être plongé dans la réalité virtuelle perturbe le phénomène d'« accommodation vergence » : ce principe de la perception visuelle de l'homme consiste, lorsqu'on regarde un objet, d'une part à faire la mise au point (l'accommodation) sur l'objet en fonction de sa distance) et, d'autre part, à orienter les yeux pour converger sur ce même objet (vergence). Ce mécanisme est très synchronisé puisque l'accommodation et la vergence vont être réalisées en fonction de la distance à l'objet.

En réalité virtuelle il est très fréquent que l'accommodation soit effectuée sur une distance fixe alors que la vergence est effectuée sur une distance 3D qui va dépendre de la position de l'objet. Il y a donc une désynchronisation de l'accommodation vergence ce qui demande à l'utilisateur un effort particulier pouvant le cas échéant devenir très gênant.

Formation en format virtuel pour des acteurs de cinéma (projet Previz/FUI). Fourni par l'auteur

Enfin, nous apprenons depuis l'enfance à interagir avec notre environnement lors de l'inspection et la manipulation d'objets. Dans un environnement 3D, si les dispositifs d'interaction et les métaphores d'interaction ne sont pas parfaitement adaptés à la tâche à réaliser par l'utilisateur alors ce dernier éprouvera des difficultés à la réaliser. Un exemple typique est l'usage d'une souris classique, qui se déplace sur un plan, pour réaliser la rotation d'un objet dans l'espace, ce n'est pas à proprement parler le moyen idéal. De manière un peu imagée, l'utilisateur éprouverait un handicap dans le virtuel en regard de ce qu'il sait faire dans le monde réel.

Comme nous venons de le voir, il existe quelques écueils au développement d'applications de réalité virtuelle et trop nombreux sont les développeurs qui ne sont pas conscients de ces limitations. Néanmoins, il serait trop extrême de penser que la réalité virtuelle ne marche pas. En effet, sous réserve de procéder très méthodiquement à leur analyse et à leur élaboration, il est tout à fait possible de réaliser des applications qui fonctionnent en respectant certaines contraintes :

il est nécessaire de maîtriser la complexité des calculs afin de maîtriser la latence ;
il faut étudier la littérature scientifique sur les incohérences perceptives afin d'éviter de se mettre dans de telles situations ;
concernant la naturalité de l'interaction, il faut aussi étudier la littérature scientifique pour évaluer, compte tenu du cahier des charges de l'application, les meilleures métaphores d'interaction afin que l'utilisateur puisse être à l'aise et efficace lors de la réalisation de la tâche en environnement virtuel.

Vérifier les apprentissages

Une fois les précautions élémentaires prises, dans une application de formation, on a aussi besoin de savoir si l'apprenant a appris – c'est bien le moins que l'on puisse en attendre – et si un transfert d'apprentissage à eu lieu entre le dispositif virtuel et le dispositif réel. Cette question du transfert est fondamentale puisque c'est quand même le but premier de l'opération.

Dans ce cas, plutôt que d'espérer simplement que le transfert se fasse, il peut être judicieux de le vérifier expérimentalement, ça à dire prendre des utilisateurs réels et leur faire passer des tests de validation.

Un exemple de pratique est de prendre un sous-ensemble d'utilisateurs qui apprennent de manière classique (groupe témoin) et un autre sous-ensemble qui apprend par l'application de réalité virtuelle. Des analyses appropriées sur les deux cohortes doivent permettre d'évaluer les compréhensions, les acquisitions de savoir-faire et/ou de procédure, les mémorisations au bout d'un certain temps afin de valider la qualité d'apprentissage dans le virtuel par rapport au réel. Des analyses plus poussées sont nécessaires lorsque la comparaison au réel est impossible (cas des événements rares ou dangereux pour l'apprenant et/ou le matériel).

En conclusion, le tableau général n'est ni totalement blanc (en réalité virtuelle tout fonctionne à merveille) ni totalement noir, (rien ne marche). Nous sommes clairement dans un entre-deux. Sous réserve de bien maîtriser les contraintes de réalisation des applications liées aux limites intrinsèques de la perception d'un utilisateur, il est possible de réaliser des applications de formation qui fonctionnent parfaitement.

Récemment une nouvelle terminologie est apparue : les métavers, de plus en plus présents dans les médias et dans le marketing industriel. Cependant, le concept et les travaux scientifiques sur le sujet datent du début des années 90 et le cœur technique des métavers est bâti sur des éléments technologiques très anciens comme la réalité virtuelle, les humains virtuels, les réseaux… C'est donc un très joli coup marketing de la société qui a porté ce buzz.

Bien entendu, le fait de pointer les projecteurs sur ce sujet va amener plusieurs sociétés à investir et plusieurs laboratoires à prendre le sujet à bras le corps, il y a donc fort à parier que dans les mois et années à venir cette concentration de moyen va produire des effets, donc de nouveaux développements et des innovations dont la formation profitera. Il n'est pas inutile non plus de se poser la question des risques sur l'évolution de la société que les métavers nous font craindre : est-ce vraiment la société que nous voulons ? Est-ce que le jeu en vaut la chandelle ?

Bruno Arnaldi ne travaille pas, ne conseille pas, ne possède pas de parts, ne reçoit pas de fonds d'une organisation qui pourrait tirer profit de cet article, et n'a déclaré aucune autre affiliation que son organisme de recherche.

Innovation Pédagogique et transition

La réalité virtuelle aide à mieux apprendre : à quelles conditions ?

Temps de latence

Des contraintes à connaître

Vérifier les apprentissages