Innovation Pédagogique et transition

Evaluer ses élèves par des tests certificatifs en ligne

André Guyomar, Patrick Maillé — 2015-02-23T12:50:11Z

Les contrôles continus font partie de l'évaluation semestrielle des élèves. Généralement présentés sous forme de QCM « papier » à compléter en salle surveillée, ces formulaires imprimés présentent des difficultés dans leur production, leur gestion, leur diffusion et leur correction. Ceci se traduit souvent par un manque de variété dans les formats et les contenus des questions ou par une difficulté d'adaptation des questions au niveau des élèves qui peut varier d'une promotion à l'autre mais aussi par le caractère fastidieux de la correction par l'enseignant, tâche qui retarde la transmission et l'affichage des notes des élèves.
Auteurs : Patrick Maillé, Géraldine Texier - Télécom Bretagne

La réponse apportée

Les plateformes de formation intègrent toutes des fonctionnalités permettant de gérer efficacement des formulaires paramétrables afin d'éditer des tests normatifs, formatifs ou certificatifs. Ces formulaires peuvent être générés par sélection manuelle des questions ou par tirage aléatoire dans différentes bases, lorsque ces bases présentent un nombre suffisant de questions. Des retours (feedback) peuvent être affichés sur chaque proposition de réponse ou sur le score global obtenu au test.

C'est en utilisant ces fonctionnalités que les enseignants du domaine des réseaux ont su mettre en œuvre des contrôles continus modulables, adaptables à différents niveaux de publics et leur permettant de se détacher du travail de correction, cette fonction étant assurée par la plateforme.

Le scénario pédagogique

L'activité « Test » (quiz) de la plateforme Moodle utilisée à Télécom Bretagne permet de classer les questions dans différentes bases. Ainsi, dans ces modules réseaux, plusieurs bases ont été définies. Les questions y sont classées par niveaux de difficulté. C'est à partir de ce classement que les enseignants peuvent créer rapidement des formulaires adaptés aux niveaux de difficultés sur lesquels ils veulent évaluer leurs élèves. Le montage du formulaire peut se faire de plusieurs manières. La sélection des questions peut être manuelle ou par tirage aléatoire dans l'une ou l'autre de ces base mais aussi en panachant ces options. Un questionnaire peut comporter des questions sélectionnées par l'enseignant et des questions tirées aléatoirement dans les différentes bases.

Plusieurs formats de questions sont disponibles et peuvent comporter un retour (feedback) optionnel affiché à l'élève. Si cette option d'affichage est utile dans les tests formatifs, elle n'est pas utilisée dans ces contrôles continus, même si le texte du feedback a été saisi par l'enseignant lorsqu'il a édité les questions. Il en est de même pour le score final qui n'est pas affiché immédiatement à l'élève lorsqu'il a terminé son contrôle, ceci dans un soucis de vérification et d'harmonisation, si nécessaire, des notes. Ces dernières sont transmises au plus tard le lendemain de l'épreuve au service des études qui les insère dans les carnets de notes des élèves.

La mise en œuvre

Deux formats de questions sont ici principalement utilisés :

Le format QCM classique : un énoncé, plusieurs propositions de réponses dont une ou plusieurs correctes. Dans ce dernier cas, le score global attribué à la question est constitué des fractions de points accordées à chacune des bonnes propositions.
Le format vrai/faux en réponse à une affirmation donnée.

Les énoncés des questions sont présentés sous forme de texte et/ou de schémas (image jpg) et/ou d'équations écrites en Latex, code interprété par la plateforme.

Les questions (énoncés, propositions de réponses, poids des propositions et les retours – Feedback) peuvent être saisies en ligne via l'interface de la plateforme ou importées par lots dans les bases à partir d'un fichier texte répondant à un formatage précis. La plateforme interprète les principaux formats standards d'importation (Aiken, Gift, Hot Potatoes, WebCT, Blackboard…)

La valeur ajoutée

Différentes valeurs ajoutées sont apportées par cette action.

Tout d'abord pour l'enseignant qui, après l'effort consenti pour créer et alimenter ses bases de questions, peut générer de manière simple des formulaires variés de contrôles continus et se dispenser des corrections fastidieuses des formulaires « papier ». Les bases de questions sont modifiables et il peut donc, à tout moment, modifier, ajouter, compléter les questions et les reclasser par thèmes ou par niveaux de difficulté.
Les options de paramétrage des questionnaires permettent également de mettre en place très facilement des tests d'entraînement afin que les élèves puissent s'exercer avant l'examen et, ce, dans des conditions proches de l'épreuve réelle (limite de temps pour effectuer le test).
De plus en plus ces enseignants du domaine des réseaux proposent des tests en ligne, formatifs ou certificatifs, en français et en anglais, ce qui représente un plus envers les élèves étrangers.
Enfin, par la correction et la notation automatique, les notes peuvent être transmises, en format tableur (odt, xls), plus rapidement au service des études. Cependant, la correction automatique par la plateforme n'empêche par l'harmonisation des notes qui peut également être faite en ligne par l'enseignant.

Les conditions de mise en œuvre

Les principales difficultés de mise en œuvre, après la constitution de la ou des base(s) de questions réside dans l'organisation de la session d'examen.

Ces contrôles continus se déroulent en salle surveillée.

La logistique du service des études consiste à réserver autant de postes informatiques qu'il y a de candidats. Généralement les salles informatiques de l'école n'excèdent pas 20 ou 30 postes, plusieurs salles, et autant de surveillants, doivent donc être réservées sur un même créneau horaire. Compte-tenu du nombre d'élèves inscrits sur cet enseignement, il est souvent nécessaire de scinder en deux groupes sur deux créneaux horaires consécutifs. Par précaution, un poste est laissé libre dans chaque salle afin de palier un problème technique Autre précaution, en cas de problème réseau ou de mauvaise manipulation de l'élève (ex : fermeture involontaire du navigateur), deux tentatives d'ouverture du test sont autorisées.

Les améliorations possibles

Le recul sur plusieurs semestres fait apparaître quelques points sur lesquels il faudra apporter des réponses.

Tout d'abord il faudra limiter l'accès aux contrôles en ligne aux postes des salles informatiques réservées pour l'examen. Ceci pourra se faire par les adresses IP, ou les plages d'adresses, des postes concernés afin d'éviter que certains élèves, malgré les consignes données, n'effectuent le contrôle de l'extérieur. Une vérification systématique des postes connectés (via les IP) permet d'identifier ces élèves mais nécessite un travail de gestion complémentaire qui pourrait être évité par cette restriction des IP autorisées à lancer le test.

Une seconde amélioration porte sur les temps de réponse de la plateforme lorsqu'un nombre important d'élèves ouvrent simultanément les tests. Des modifications dans l'architecture système sont intervenues en 2012, afin de renforcer les serveurs web et les serveurs de base de données. Depuis, plusieurs contrôles continus se sont déroulés sans problème. Le passage en Moodle V2.x, effectué en mars 2014, améliore également ces performances car les scripts .php gérant les module test ont été entièrement repensés et réécrits.

******

L'Evaluation des Enseignements par les Élèves (EEE)

André Guyomar — 2015-02-23T10:19:46Z

"Utilisation des Technologies de l'Information et de la Communication (TIC) pour la conception et l'exploitation des Evaluations des Enseignements par les Elèves (EEE). La mise en place d'un dispositif d'EEE dans une école d'ingénieur."
Auteur : A.Guyomar - Université de Printemps Vivaldi - Lorient mars 2009

Je reprends, en ce mois de février 2015, cet article datant de 2009.
Le principe des Evaluations des Enseignements par les Elèves, supportées par le module Feedback de Moodle, est utilisé depuis 2006, à Télécom Bretagne. Elles ont évolué dans leurs contenus (questions) et ont été élargies à différents domaines, notamment aux UV d'intersemestre, aux cours de langues et aux Mastères Spécialisés.
Le module Feedback de Moodle 2, offre une nouvelle fonctionnalité qui permet d'afficher directement les absences aux évaluations, ce qui évite le pointage manuel décrit dans cet article.

Quels sont les apports des TIC dans la mise en place et l'exploitation des évaluations des enseignements par les élèves ? Si la plateforme d'enseignement permet la mise en ligne de formulaires d'évaluation, ne pourrait-elle pas également, par ses fonctionnalités (forums, éditeur partagé wiki…), être l'outil de travail collaboratif du groupe d'enseignants chargés de la mise en place des Evaluations des Enseignements par les Elèves (EEE) et l'outil de diffusion des résultats et des bilans ?
Après la mise en place, suivant le processus de Bologne (TROQUET, 2007) en 2002 pour les anciens cursus de 1ère et 2nde années, de la formation découpée en semestres d'enseignement et son organisation en Unités de Valeur, puis, en 2004, de la création des filières de 3ème année permettant l'accès à un double diplôme d'Ingénieur et de Master, TELECOM Bretagne (Ex : Ecole Nationale Supérieure des Télécommunications) soucieuse de la qualité de ses enseignements, a engagé, en 2006, une démarche qualité sur l'ingénierie et la pédagogie.

Cet article retrace les actions de conception, de mise en place, d'adaptation des EEE et détaillera les différents résultats obtenus sur les 5 derniers semestres dans différents types et domaines d'enseignements. En conclusion, nous examinerons les points forts et les points faibles de ce dispositif et nous tenterons d'apporter, avec le recul sur ces 5 semestres, des suggestions d'amélioration.

1 - INTRODUCTION

La démarche qualité, basée sur l'évaluation-régulation centrée sur l'action se traduit par l'insertion d'un processus d'Evaluation des Enseignements par les Elèves (EEE) dont l'objectif est, à partir d'indicateurs issus de questionnaires soumis aux élèves et de réunions de bilans entre les élèves et les enseignants, d'obtenir des éléments d'estimation, d'appréciation, et de compréhension (HADJI, 1992), afin que l'équipe enseignante, le service des études et la Direction de la Formation puissent mettre en oeuvre des actions contextualisées, collectives, formatives et dynamiques (YOUNES, 2008) d'évolution et d'amélioration de la qualité pédagogique et organisationnelle des enseignements. La récolte des données et des avis des élèves est effectuée, depuis 2006, sur la plateforme d'enseignement au travers de questionnaires d'évaluation en ligne.
Ces résultats quantitatifs sont ensuite transmis aux enseignants concernés et analysés afin de servir de base aux réunions de régulation avec les élèves. Des bilans qualitatifs sont alors dressés et permettent d'engager des actions d'amélioration et d'adaptation des enseignements.

2 - LES OBJECTIFS DE L'EEE

Lorsque l'on parle d'évaluation dans un apprentissage, on se réfère souvent aux fonctions sommatives, pronostiques (ou prédictives) et formatives ayant pour but soit :

de valider un parcours ou de vérifier de manière normative la progression,
d'orienter l'apprenant en entrée ou en poursuite de cursus en appréciant ses capacités ou ses intentions,
d'effectuer une médiation adaptée par la compréhension des difficultés et des différences individuelles des apprenants.

Les 3 intentions soulignées par Hadji se retrouvent ici : estimer, apprécier et comprendre.

L'EEE se réfère aussi à ces intentions car elle doit permettre :

d'estimer, par des questionnaires ou des sondages, et de manière normative, la qualité générale de l'enseignement ressentie par les élèves.
d'apprécier et de relever les points forts et les points posant problème.
de comprendre, lors de réunions de concertation élèves-enseignants-direction de la formation, la nature et la source des difficultés soulevées.

Mais elle doit aussi :

être suivie d'effets, d'actions concrètes permettant de remédier aux problèmes
être reconduite sur plusieurs semestres consécutifs afin de démontrer, par les améliorations apportées, son utilité dans la démarche de recherche de la qualité de la formation.

Rappelons ici les définitions d'André Quinton (QUINTON, 2007)

Du point de vue de l'institution : « Les évaluations sont des outils de pilotage des établissements, soit en tant qu'autoévaluation interne, soit lors d'évaluation externe dans le but d'obtenir une accréditation. »
Du point de vue des enseignants : « Leur but est de promouvoir leur enseignement, de bénéficier d'avis permettant de l'améliorer, d'obtenir des avantages qu'il s'agisse de promotion ou l'obtention de moyens en personnels, matériels, locaux, etc ».
Du point de vue des étudiants : « Les avantages que peuvent attendre les étudiants des évaluations vont de la satisfaction d'être officiellement entendus à celle d'avoir l'assurance de bénéficier des meilleures conditions d'enseignement ».

TELECOM Bretagne est habilitée à délivrer le diplôme d'ingénieur par la Commission des Titres d'Ingénieur (CTI). Les arrêtés2 du 9 avril 1997, article 23, et du 23 avril 2002 fixent l'obligation de l'évaluation des enseignements par les élèves.

La CTI examine donc, entre autres points, lors de ses visites, la politique d'amélioration continue et la démarche qualité de l'école. En réponse aux attentes de cette commission, Telecom Bretagne se doit de présenter ses actions attestant de la conformité de son organisation et de ses actions avec la charte de la CTI et, notamment, « ses actions détaillées d'appréciation des enseignements par élèves et les suites données ».

Les 3 étapes du processus d'une démarche qualité doivent donc s'appliquer ici, en notant bien que ces étapes se déroulent dans le temps :

Etape 1 - Réalisation d'une action suivant une procédure

Etape 2 - Evaluation

Etape 3 - Modification de la de l'action procédure

3 - LE CONTEXTE D'INSERTION DE L'EEE

3-1 L'école, ses campus, ses effectifs

TELECOM Bretagne, école d'ingénieur créée en 1977, offre, sur ses campus de Brest, Rennes et Toulouse, des formations, généralistes et de spécialités, appuyées par une recherche de haut niveau dans le domaine des technologies de l'information. 300 permanents dont plus de la moitié d'enseignants-chercheurs encadrent et participent aux formations d'ingénieur, de masters ou de doctorat des 1 000 élèves présents sur le campus.

3-2 L'organisation des cursus

L'organisation des cursus permet à chaque élève, au delà d'un socle commun, de construire un parcours personnel orienté vers la recherche ou vers l'ingénierie, avec un profil d'expert ou de généraliste. La compatibilité des cursus avec le système LMD permet une grande mobilité des élèves tant en Europe que dans le monde et confère un caractère international marqué à l'établissement avec 40% d'élèves étrangers.

D'une durée de 3 ans, le cursus est organisé en deux phases. Les deux premières années (Semestres 1 à 4), ponctuées par des projets, sont consacrées à la formation générale, scientifique, technique, économique et humaine et à une initiation aux méthodes de l'ingénieur. La troisième année (Semestres 5 et 6), qui précède l'entrée dans la vie professionnelle, met l'accent sur l'ingénierie des systèmes et des services. Les élèves qui le souhaitent peuvent simultanément tester leurs aptitudes à la recherche en préparant un diplôme national de master (ancien DEA).

La préparation des élèves-ingénieurs à exercer leur métier dans un cadre international induit la maîtrise de l'anglais et d'une seconde langue étrangère au niveau européen B2 ainsi que 3 mois de stage à l'étranger. Ce sont des conditions requises d'obtention du diplôme de l'école.

Par cette organisation des enseignements et des parcours, l'école répond aux attentes formulées par la CTI et rappelées par Blandin (BLANDIN, 2008) concernant le référentiel d'ingénieur généraliste complété de compétences spécifiques au secteur d'activité ou aux futures fonctions occupées en entreprise.

3-3 La personnalisation des parcours

Un des principes forts du projet pédagogique de TELECOM Bretagne est la personnalisation du cursus.Même si, in fine, tous les élèves maîtrisent une base de connaissances communes (S1), ils peuvent, au cours de la scolarité, personnaliser leurs parcours par, du S2 au S4, un choix d'Unités de Valeurs dites mineures correspondant au minimum de culture jugé nécessaire pour tous dans un domaine donné enseignement ou d'UV majeures incluant l'idée de capacité de conception plutôt que de compréhension. Enfin, la 3ème année, année de transition avec la vie professionnelle, offre un choix de filières et d'unités de valeurs adaptées aux projets personnels des élèves. Cette 3ème année se décompose en 2 phases, l'une de formation académique (S5) et l'autre de stage de fin d'études en entreprise (S6).

4 - LA PHASE PREPARATOIRE DES EEE

4-1 Les objectifs

Le processus d'EEE, tel qu'il a été conçu, implique différents acteurs, les élèves, les enseignants, le service des études, la direction de la formation, et se veut générateur de changements sur différents niveaux afin :

d'augmenter l'implication des élèves dans leurs cursus de formation en prenant en compte leurs remarques et suggestions d'amélioration et en leur démontrant, par les actions d'ajustements des enseignants, du service des études et de la direction de la formation, la réelle prise en compte de leurs avis.

d'alimenter la réflexion des enseignants sur leurs pratiques pédagogiques

de vérifier la qualité et la bonne répartition, par le service des études, des moyens et matériels pédagogiques

de valider, au niveau de la Direction de la Formation, la cohérence de l'agencement des modules d'enseignements dans les cursus proposés.

de produire, au niveau de l'établissement, des éléments d'appréciation aux organismes certificateurs (Commission des Titres d'Ingénieurs, ISO 9001…)

4-2 L'utilisation des Technologies de l'Information et de la Communication

TELECOM Bretagne a mis en place, depuis 2005, une plateforme d'enseignement permettant la diffusion des ressources de cours, les communications synchrones et asynchrones entre les acteurs et l'évaluation de la progression des élèves (par des contrôles continus en ligne basés sur des tests de sélection ou à réponses courtes, par des dépôts de productions longues ou par les évaluations des contributions sur les forums ou les éditeurs partagés…).
Après 3 années d'exploitation, que ce soit pour l'enseignement ou les travaux collaboratifs entre enseignants et personnels de la direction de la formation ou, encore, pour des sondages et enquêtes à caractère plus général, l'usage et la pratique de cette plateforme commencent à s'ancrer tant au niveau des enseignants que des élèves.

Cette plateforme possède également des outils de création de formulaires de sondages qui, par leur facilité de mise en oeuvre, répondent bien à la création, à la diffusion et au traitement simplifié des résultats par rapport aux formulaires « papiers ».
Plusieurs applications de ce type sont déjà gérées par la plateforme et donnent satisfaction. L'utilisation de ces outils TIC, tant du point de vue de la collaboration du groupe de réflexion et de suivi que dans la diffusion des formulaires et des résultats, a donc été adoptée pour les évaluations des enseignements.

4-3 Les premières décisions du groupe d'enseignants chargé de la réflexion sur la mise en place de l'EEE

Un groupe d'enseignants volontaires a été formé afin de préciser les objectifs et les modalités de l'EEE. Ce groupe utilisait, pour ses réflexions et ses comptes-rendus de réunions, un éditeur partagé (wiki) disponible sur la plateforme d'enseignement de l'école. Dans les décisions de ce groupe, nous trouvons l'utilisation de questionnaire en ligne, option disponible sur cette plateforme, mais aussi des décisions concernant le semi-anonymat, l'adaptation des grilles en fonction du type d'enseignement et une demande de prise en compte de l'origine des élèves afin de déceler les problèmes liés à la langue utilisée dans les enseignements.

Les principales décisions du groupe de réflexion sur les évaluations constituent un premier cahier des charges :

l'évaluation se fera au moyen d'un outil en ligne plutôt qu'une évaluation papier
le questionnaire sera accessible via un authentifiant afin d'établir la liste des répondants mais ne permettra pas de visualiser leurs réponses individuelles (notions de semi-anonymat).
l'évaluation sera systématique au niveau de l'UV (Unité de Valeur regroupant plusieurs modules dispensés par des enseignants différents), avec une grille commune pour chacun des 5 domaines d'enseignement en Tronc Commun (TC), UV mineures et UV majeures.
une grille sera dérivée pour les Travaux Pratiques et Projets (projets et ateliers en S1, S2, S3 et S4)
une grille sera également proposée pour les 9 langues enseignées. Adaptable et non obligatoire, elle sera mise en oeuvre localement sous responsabilité du département Langues et Culture Internationale.
les résultats permettront de prendre en compte les origines francophones ou non des élèves afin de déceler les problèmes de langues (compréhension orale et écrite)
les résultats « quantitatifs » des formulaires en lignes seront accessibles en temps réel par les responsables des UV et serviront de base pour un bilan qualitatif lors d'une réunion de bilan avec les élèves inscrits aux différentes UV.
les résultats quantitatifs et les bilans qualitatifs reprenant les améliorations prévues seront diffusés aux enseignants et aux élèves, toujours sur la plateforme.

4-4 L'élaboration du formulaire standard et son évolution

Le groupe d'enseignants chargé de l'EEE a mis au point, en réunions présentielles ou par des contributions sur l'éditeur partagé, une grille répondant aux objectifs déclinés lors des premières réunions. Cette grille, revue et amendée plusieurs fois, faisait, à chaque version, l'objet d'une création de formulaire sur la plateforme afin de visualiser le rendu réel sur écran et de mettre en évidence les incohérences ou les difficultés prévisibles de compréhension. Les thèmes abordés dans cette grille font référence :

à l'admission de l'élève dans le cursus, sur concours ou admis sur titre (1 question de sélection)
à l'organisation et aux contenus (4 questions de sélection +1 champ de commentaire libre)
aux aspects pédagogiques (8 questions de sélection+1 champ de commentaire libre)
aux aspects personnels, l'organisation du travail de l'élève (5 questions de sélection+1 champ de commentaire libre)
aux difficultés linguistiques pour les élèves étrangers, de compréhension écrite et orale du français, langue utilisée dans les cours (4 questions de sélection+1 champ de commentaire libre).

Toutes les questions de sélection sont à réponses obligatoires sauf celles concernant le dernier thème réservé aux élèves étrangers.

4-5 L'intégration des formulaires sur la plateforme

Le module Feedback de la plateforme Moodle a été choisi pour administrer ces formulaires d'enquêtes. Par ses fonctionnalités et son orientation « enquêtes » et « sondages », ce module répond bien aux attentes exprimées. Seules quelques modifications du code PhP ont été apportées afin de répondre au point du cahier des charges concernant le semi-anonymat ainsi que l'exportation de ces données en format tableur (Exel, OpenOffice).

Pour des raisons de gestion des inscriptions (inscriptions automatisées à partir d'une base Oracle), il a été décidé de créer des espaces séparés pour les évaluations des différents niveaux et domaines.

Après une première saisie, les bases de questions des formulaires ont été transformées en modèles et partagées entre les différents espaces dédiés aux EEE. Ceci afin d'éviter les saisies multiples et de faciliter la gestion des différentes versions de questionnaires ainsi que les modifications apportées au fil du temps.

5 – L'EXPERIMENTATION SUR LES SEMESTRES D'AUTOMNE 2006 ET DE PRINTEMPS 2007

5-1 La participation aux EEE d'automne 2006 et Printemps 2007

La participation aux 14 évaluations d'UV du S1 d'automne 2006 s'étalait de 20 à 88% suivant les UV avec une moyenne de 35%. Cette faible participation a entraîné la décision, par la Direction de la Formation, de modifier les règles de l'EEE et de rendre obligatoires les évaluations quantitatives (formulaires en ligne) ainsi que la présence des élèves à la réunion de bilan.
L'absence de participation entraînant, pour chaque étape (formulaire et réunion) une pénalité ayant le même poids qu'un contrôle continu sur la moyenne générale de l'élève à l'UV.
Mais cette décision a nécessité la mise en oeuvre d'un dispositif de « pointage » des absences et d'arbitrage des « recours ». Cette phase qui n'est toujours pas automatisée, entraîne un traitement « manuel » relativement lourd.

Question sur l'obligation de participation : Cette obligation de participation peut soulever une question sur la qualité des réponses fournies par les élèves. « Ayant chacun au moins 3 grilles à compléter à chaque semestre, certains élèves ne seraient-ils pas tentés de cocher les cases à l'aveuglette ? ».

Un relevé du temps moyen passé par les élèves à compléter quelques 300 formulaires a été effectué au printemps 2008. C'est, a priori, le seul indicateur que nous ayons. Les résultats montre que le temps moyen passé par les élèves pour compléter les grilles est de 4 à 5 minutes avec des pointes jusqu‘à 15 mn dues à la rédaction des commentaires libres et, enfin, pour une proportion de 15% environ, un temps de 1 à 2 mn, temps qui semble insuffisant pour apporter des réponses « réfléchies » aux 18 questions de sélection (qcm) obligatoires du formulaire.

5-2 Les nécessaires adaptations des grilles d'évaluation et des procédures

Ces premiers résultats, après analyse, ont entraîné une reprise et une modification des questionnaires afin de lever certaines ambiguïtés dans les énoncés et les propositions de réponse, ou de cerner, par de nouvelles questions, des problèmes particuliers mis en évidence par les élèves. Là aussi, nous sommes bien dans une démarche d'évolution et d'amélioration de la procédure d'évaluation.

5.3 Les réunions de « bilans qualitatifs » suite aux résultats »quantitatifs » obtenus par les formulaires « en ligne »

Les responsables des UV ont accès, en temps réel, aux résultats des évaluations concernant les modules dispensés dans leurs UV. Cette visualisation immédiate, sous forme de graphe, des réponses leur permet d'anticiper sur les sujets à aborder lors de la réunion de bilan qui a lieu quelques jours après la date de fermeture des questionnaires en ligne. Lors de cette réunion, l'enseignant invite les élèves à approfondir les problèmes issus des bilans quantitatifs puis propose, en accord avec les enseignants des modules, des solutions d'amélioration.

5- 4 La diffusion des résultats

Suite aux réunions de bilans, les résultats « quantitatifs », issus des questionnaires en ligne, ainsi que les propositions émanant des bilans sont mis à disposition de tous les élèves et des enseignants sur la plateforme. D'année en année, les historiques sont conservés, chacun peut ainsi mesurer les améliorations découlant de ces EEE.

6 - LA GENERALISATION DES EEE A PARTIR DU SEMESTRE D'AUTOMNE 2007

Après ces périodes d'expérimentations sur les UV des semestres 1 à 4 dans les 5 domaines d'enseignement, les EEE ont été généralisées à l'ensemble des enseignements dispensés sur ces semestres : les UV de Tronc Commun, de mineures et de majeures des 5 domaines, les projets semestriels, les langues et les UV d'intersemestre.
Pour les 3ème années, seul le semestre 5 sera concerné par les EEE, le semestre 6 étant consacré au stage de fin d'études. Pour ces élèves du semestre 5, la formation est proposée sous forme de filières et permet un choix personnalisé du parcours.

Cette option d'individualisation du parcours ne permet pas d'appliquer la procédure standard utilisée pour les élèves de 1ère et 2nde années car les inscriptions ne concernent plus les UV entières mais les modules composants les niveaux choisis dans les filières.
Après avis des responsables de ces filières, décision a été prise de proposer, dans chaque module, des questionnaires d'EEE facultatifs non-anonymes spécifiques à ces filières de 3ème année.

Quelques chiffres de la participation des élèves à la campagne d'EEE d'Automne 2008 :

– 1465 formulaires administrés

UV du semestre 1 (élèves de 1ère année) 96%

UV du semestre 3 (2nd année) 98%

Projet du semestre 1 97%

Projet du semestre 3 76%

Langues (8 langues enseignées) 74%

– Note : Plus 480 questionnaires sur les UV d'inter semestre non-traités à la rédaction de cet article.

7 - CONCLUSION

Avec ce recul sur l'application des EEE à Télécom Bretagne, quel constat pouvons-nous faire ?

Examinons ce dispositif d'EEE à partir des 5 critères d'adoption de l'innovation établis par Everett ROGERS (ROGERS, 1983) et repris par Nathalie EVEN (EVEN, 2001) :

La valeur ajoutée

Représentée ici par l'application d'une démarche qualité en réponse aux attentes de la CTI concernant la politique d'amélioration continue. Les EEE mises en place à Télécom Bretagne répondent à ces attentes en termes d'amélioration continue de l'enseignement. Comme nous l'avons vu plus haut, cette démarche d'amélioration est appliquée tant au niveau des enseignements qu'au niveau des procédures d'EEE. Pour les responsables de domaines, l'exportation, en format tableur, des données recueillies par les formulaires en ligne permet la manipulation et la consolidation des données afin d'établir des comparaisons, semestre après semestre, sur des variables précises.

La compatibilité avec les pratiques et les valeurs

Avant la mise en place de ces EEE supportées par les TIC, les enseignants proposaient, en fin de module ou d'UV, des réunions de régulation et de bilan avec leurs élèves. Ces pratiques d'évaluation existaient donc bien avant la procédure décrite ici mais n'étaient pas systématiques et le traitement des formulaires « papiers » se faisait manuellement, par l'enseignant responsable de l'UV.

La complexité

D'un point de vue technique, la plateforme présente des fonctionnalités qui permettent une création simplifiée et une mise en ligne rapide des formulaires d'évaluation ainsi que l'automatisation du traitement et la diffusion des résultats. Cette étape d'évaluation supportée par la plateforme est simple à mettre en oeuvre.

Dans le cas de Télécom Bretagne, la participation obligatoire aux EEE de 1ère et 2nd années entraîne une complexité résidant surtout dans l'établissement des listes des absences à ces activités d'évaluation. Ce traitement, établissant le différentiel entre les inscrits et les répondants, demande à être automatisé, un cahier des charges fonctionnel est en cours de rédaction sur ce point.

L'expérimentation

Cette étape est nécessaire dans la mise au point des procédures. Pour Télécom Bretagne, elle s'est étalée sur 2 campagnes consécutives d'évaluation (Automne 2006 et Printemps 2007) et a permis d'affiner les procédures mais, aussi, d'entamer l'étape d'ancrage de nouveaux usages et de nouvelles pratiques auprès des enseignants et des élèves.

La visibilité

Cette visibilité des résultats et des actions d'amélioration menées par les enseignants et l'institution constituait un des points du cahier des charges établi par le groupe de réflexion sur les EEE. Là encore, la plateforme d'enseignement joue son rôle en permettant d'afficher à tous les résultats quantitatifs et qualitatifs ainsi que les historiques des EEE et, ainsi, de pouvoir mesurer les améliorations apportées.

*****************

1 CTI, Commission des Titres d'Ingénieur. http://www.cti-commission.fr/

2 Arrêtés 97 et 2002 :http://sup.ups-tlse.fr/evaluation/textes.htm (Voir également le rapport DEJEAN, http://www.ladocumentationfrancaise.fr/rapports-publics/024000165/index.shtml)

BIBLIOGRAPHIE

BLANDIN, B, (2008). L'approche compétences dans une formation d'ingénieurs.

EVEN, N. (2001). Le suivi du dispositif : du diagnostic à l'évaluation

HADJI, C. (1992). L'évaluation des actions éducatives. Paris, PUF.

QUINTON, A. (2007). Evaluation des enseignements et des formations.

ROGERS, E. (1983). Diffusion of innovations ». New-York. FreePress

TROQUET, M.(2007), L'application du processus de Bologne en France – Bilan et perspectives.

YOUNES, N. (2008). L'évaluation de l'enseignement par les étudiants dans le supérieur.

20 ans de formations ouvertes et à distance à l'Agence Universitaire de la Francophonie

André Guyomar — 2014-10-16T07:18:44Z

Cet ouvrage fait le bilan des réalisations de l'Agence universitaire de la Francophonie (AUF) dans le domaine de la formation ouverte et à distance (FOAD) et trace de nouvelles perspectives.
La deuxième partie de l'ouvrage est réservée aux innovations pédagogiques mises en œuvre dans divers espaces géographiques. Si le chapitre 6 de Ch. Depover détermine et examine la place et l'importance du tutorat dans les nouveaux dispositifs de formation à distance, Peraya, Depover et Jaillet livrent, au chapitre 7, le contenu d'un master à distance très prisé pour une formation aux technologies éducatives : le diplôme Uticef–Acredite créé par l'AUF

Lien vers cette publication : "Un détour par le futur : Les formations ouvertes et à distance à l'Agence Universitaire Francophone"

Organiser un cours autour de glossaires

Robert Rannou — 2014-01-07T08:00:19Z

Des pages web et des liens automatiques vers des entrées de glossaires afin d'organiser et de structurer les connaissances.

Généralement, les cours déposés sur la plateforme d'enseignement sont articulés autour de documents insérés ou liés à l'espace dédié. Ces ressources sont issues des polycopiés classiques ou des diapositives projetées pendant les sessions présentielles. En réaction à cette priorité trop forte donnée au simple dépôt de documents dans les modules, l'auteur voulait donner une nouvelle dimension à ses cours en ligne en utilisant les activités disponibles sur la plateforme. Cet enseignant intervient, depuis plus de 10 ans, auprès d'élèves étrangers non-francophones. Cette expérience l'a amené à comprendre l'importance du travail à effectuer avec les élèves sur le vocabulaire employé dans les cours dispensés en français.

La réponse apportée

En 2009, cet enseignant a découvert les possibilités des « Glossaires » de la plateforme Moodle. Cette activité, intégrée à la plateforme, permet de constituer un dictionnaire de termes et de leurs définitions. Le paramétrage de l'activité autorise différents formats et des classements par catégories. En indiquant que les entrées du glossaire doivent être liées aux textes saisis sur la plateforme, toutes les entrées du ou des glossaires, seront transformées en liens hypertextes ouvrant des fenêtres affichant les définitions associées. En utilisant cette option, et en redécoupant ses polycopiés d'origine en différentes pages web sur la plateforme, l'auteur autorise plusieurs entrées sur son cours : soit par le(s) glossaire(s), soit par les pages web, soit par les exercices. En offrant ces accès différenciés à ses élèves, il leur permet d'aborder et de comprendre les concepts exposés suivant différents cheminements. D'une manière linéaire en suivant les pages web, ou les énoncés des exercices, et d'une manière distribuée en abordant les connaissances par les entrées des glossaires. Découlant du constat fait par cet enseignant et des difficultés rencontrées par ses élèves étrangers avec la langue française, un travail de soutien linguistique est proposé aux élèves étrangers depuis 2011-2012. Dispensé par des enseignants du département des langues, ces actions portent sur la compréhension et la maîtrise du vocabulaire spécifique aux domaines scientifiques suivis par ces élèves.

Présentation du 7 février 2013 aux enseignants de Télécom Bretagne par Robert Rannou

Le scénario pédagogique

Plusieurs cours ont été développés sur ce concept des glossaires. Un cours sur le langage Java, un cours sur le langage C et un autre sur le parallélisme et la concurrence dans les langages de programmation.

Les scénarios de ces cours s'articulent autour de trois éléments :

les glossaires
les pages web
les exercices et leurs corrigés
Suivant ses prérequis ou son niveau d'avancement dans la maîtrise de la matière étudié, l'élève peut aborder le cours à partir de ces trois entrées et modifier, quand il le désire, son mode de consultation.

L'option « Activer les liens automatiques » dans le paramétrage des glossaires permet de transformer les mots, les instructions du/des langages de programmation ou les expressions rencontrés dans les pages web ou dans d'autres définitions contenues dans les glossaires du cours en liens hypertextes. Cette méthode permet d'alléger les textes ou les définitions tout en gardant un maximum d'informations accessibles pour le lecteur. Lorsqu'il rencontre un mot, une expression inconnue ou mal maîtrisée, il peut, sur une simple action souris, accéder aux définitions et aux explications qui s'y réfèrent.

Les exercices constituent également une des entrées possibles, là aussi les mots et les expressions des énoncés sont documentés, développés et expliqués via les entrées des glossaires.

Les corrigés d'exercices sont disponibles, en format « page web », dans l'espace de cours. Leurs contenus sont également liés aux glossaires, ainsi, les informations nécessaires à la compréhension des solutions proposées sont directement accessibles.

La valeur ajoutée

Pour les élèves, la valeur ajoutée se traduit par les différentes possibilités d'aborder les éléments et les concepts des cours générés sur ce modèle d'association de contenus de pages web avec les glossaires. Cette méthode permet d'apporter toutes les précisions et les explications nécessaires à la compréhension, ceci dans différents formats : texte, audio, infographie, vidéo, équations codées en Latex, liens vers des sites externes…

Suivant leurs niveaux d'entrée, les élèves peuvent suivre le cours à des rythmes différents. Si certains concepts ou définitions sont déjà acquis, ils peuvent être ignorés dans la consultation, d'autres peuvent être approfondis.

Une autre valeur ajoutée se traduit par la possibilité de réutiliser ces glossaires dans d'autres cours ou de les transformer en glossaires généraux, accessibles à partir de tous les cours de la plateforme. Les contenus peuvent être imprimés ou enregistrés en format pdf, les élèves peuvent conserver ces documents de références à la fin du cours.

Enfin, le paramétrage des « glossaires » autorise une alimentation par les élèves, ce qui a pour objectif de transformer ces bases de définitions en réelles activités pédagogiques, chaque élève, ou groupe d'élèves, pouvant créer, commenter ou modifier des entrées et des définitions.

Les conditions de mise en œuvre

Le développement et l'alimentation du scénario sur la plateforme nécessitent la création des instances des glossaires. Il est important, lors de la conception de ce scénario, de déterminer les fonctions et les rôles de ces glossaires. Leur paramétrage et leurs modes d'alimentation dépendront de cette réflexion préalable.

Lorsque ces glossaires seront instanciés, les entrées peuvent être créées. Elles pourront être générées et complétées soit directement en ligne sur l'espace de cours, soit par importation de données à partir d'un fichier texte. Ces entrées, et les définitions qui les accompagnent, peuvent être modifiées et complétées à tout moment. Suivant le paramétrage donné, les élèves pourront intervenir sur les contenus, les commenter et/ou et compléter les entrées du glossaire. Dans ce dernier cas, l'enseignant peut décider de modérer les productions des élèves et de les publier à tous uniquement lorsqu'il les estime complètes.

Les améliorations possibles

D'un point de vue pédagogique, les améliorations peuvent porter sur les productions, individuelles ou collaboratives, demandées aux élèves. Ce mode de participation vient alors enrichir les contenus des cours et être réutilisés d'une promotion à une autre.

Actuellement, les glossaires peuvent être liés à un cours (glossaire secondaire) ou commun à l'ensemble de la plateforme (glossaire primaire). Il serait intéressant d'avoir des glossaires intermédiaires accessibles pour une catégorie de cours se raccrochant à un domaine d'enseignement précis (exemple : un glossaire commun à toute la catégorie du domaine informatique).

L'article en Pdf

Pour en savoir plus
Cours ouverts, basés sur les glossaires, sur le site Télécom Bretagne et sur Institut Savoirs Partagés :

La mutualisation inter-établissements pour une offre de master

André Guyomar, Isabelle Hardy — 2013-12-10T09:10:00Z

Différents laboratoires académiques en Bretagne travaillent dans le domaine de la photonique pour des applications nombreuses et variées qui vont des télécommunications à l'imagerie médicale et aux énergies renouvelables. Ces compétences sont réparties dans différentes universités (Rennes 1 et Bretagne Occidentale) et écoles d'ingénieurs (Télécom Bretagne, Enib, Enssat, Insa de Rennes). Ces établissements ont vocation à former des étudiants de niveau master et doctorat dans différents domaines. Les besoins en recherche dans le domaine de la photonique sont réels mais cependant restreints. Déjà depuis une petite dizaine d'années les écoles d'ingénieurs dont Télécom Bretagne s'étaient associées pour offrir une formation à leurs élèves souhaitant compléter leur formation d'ingénieur avec un master recherche en optique (master Phyphoton 2003-2007 puis Phot-In 2007-2011).

Depuis la rentrée 2012 ce sont 6 établissements en Bretagne : 2 universités et 4 écoles d'ingénieurs, qui s'associent pour offrir simultanément sur Brest, Lannion et Rennes, une formation avancée en optique, le master Photonique avec trois parcours : Télécommunications Optiques, Nanotechnologies Optiques, Photonique pour le vivant et l'environnement.

La réponse apportée

Une forte mutualisation entre les 6 établissements permet une offre unique de qualité au niveau de toute la Bretagne.

Déroulement du master (UE : Unité d'Enseignement)
Socle scientifique	Tronc commun	1er semestre	72 h - 3UE	mutualisé
Socle scientifique	Parcours 1 ou 2 ou 3	1er semestre	72 h - 3UE	mutualisé
Socle d'ouverture	Ouverture technologique	1er semestre	2 jours	mutualisé
	Ouverture scientifique	1er semestre	-	-
	Ouverture Professionnelle	1er semestre	-	-
Stage		2nd semestre	>= 16 semaines	mutualisé

Le socle scientifique, l'ouverture technologique et le stage en laboratoire de recherche constituent la spécificité du master Photonique. Ce sont ces activités qui font l'objet de la mutualisation entre tous les partenaires. Chaque établissement assure un sixième de l'enseignement du socle scientifique. Les UE d'ouvertures scientifique et professionnelle, à caractère plus général, sont gérées par chacun des établissements pour leurs élèves respectifs.

Le scénario pédagogique

Les enseignements du socle scientifique sont dispensés en visio-conférence. Dans la mesure du possible les étudiants, dans chaque ville Brest, Lannion, Rennes, sont regroupés dans une salle dédiée avec les outils adaptés : visioconférence, vidéoprojecteur, PC enseignant, tableau blanc interactif (TBI), accès wifi pour les élèves, plateforme Moodle. Un examen sur table sur chaque site, même jour, mêmes heures vient valider les 6 UE d'unités d'enseignements du premier semestre.
Deux jours passés dans l'une des cinq plates-formes technologiques des partenaires académiques et industriels donnent lieu à un compte rendu et viennent compléter ces enseignements scientifiques en permettant aux étudiants de découvrir un sujet particulier de recherche en photonique en laboratoire.
Une soutenance et un rapport de stage permettent au jury d'évaluer le travail effectué en stage au semestre 2. La soutenance finale peut se dérouler en visioconférence. Moodle permet de suivre les élèves pendant le stage et de recueillir les différentes productions des élèves stagiaires.

Les conditions de mise en œuvre

1. Convention entre établissements, comité de pilotage

Une convention signée par les 6 établissements décrit les termes de fonctionnement de la co-habilitation : recrutement et inscription administrative des étudiants, gestion des examens et des jurys, délivrance du diplôme, modalité de financement des enseignements mutualisés et des coûts associés (polycopiés, salles, équipements).
L'organisation s'appuie sur un comité de pilotage constitué d'au moins un enseignant-chercheur référent de chaque établissement. Le comité de pilotage coordonne la formation du point de vue pédagogique. Il se réunit régulièrement par le biais de la visioconférence et échange essentiellement par messagerie électronique.

2. Les outils numériques pour le déroulement des cours et le suivi des élèves

a. Déroulement d'un cours multi-sites

Au début du cours, chaque salle de classe se connecte à un pont de visioconférence dédié au master, hébergé par Université de Rennes1. Les sites de Brest, Lannion et Rennes peuvent se voir et échanger par la visioconférence. En parallèle le professeur partage le bureau de son ordinateur avec les ordinateurs des sites distants, via un logiciel Bridgit, hébergé par Télécom Bretagne, et une connexion internet. Le professeur peut donc projeter en temps réel des documents de cours dans la salle où il est présent ainsi que sur les sites distants.

b. Suivi des élèves, échange d'informations hors présentiel

Le master utilise la plateforme Moodle de Télécom Bretagne pour déposer des documents de cours et tenir les élèves et les enseignants informés de l'emploi du temps. Les élèves déposent sur la plateforme les devoirs à rendre, en particulier suite aux deux jours d'ouverture technologique et à la fin du stage (rapport de stage, support de soutenance). Différents forums sont utilisés par les enseignants et les élèves pour communiquer.

3. Animation Moodle, animation sur chaque site, support technique

Les référents de chaque établissement, en coordination avec les services techniques de leurs institutions respectives, s'assurent du bon fonctionnement d'un point de vue pratique sur les différents sites : lieux et horaires des cours retransmis en visio-conférences et des examens, impression des documents, etc. Chaque référent reste responsable des étudiants inscrits dans son établissement. Télécom Bretagne assure l'animation et le support technique de la plateforme Moodle.

Les améliorations possibles

1. Augmenter l'interactivité pendant les cours multi-sites :

En équipant toutes les salles de cours d'outils adaptés, en particulier TBI, prise de son de bonne qualité et plusieurs caméras et écrans pour configurer la salle avec ou sans professeur sur place.
En facilitant la prise en main des outils par les enseignants et les élèves via un guide utilisateur.

2. Faciliter le partage, la recherche et la sauvegarde des données et des informations autour du master par la mise en place d'une salle virtuelle des professeurs sur Moodle où seuls les enseignants et les personnels techniques intervenant autour du master auront accès.

La réutilisation dans d'autres cours

Le principe de fonctionnement est réutilisable pour d'autres masters ou formations co-habilités, suivant les conditions de mises en œuvre décrites ci-dessus. Le master Informatique inter-établissements s'inspire déjà de ce fonctionnement.

La valeur ajoutée

La mutualisation permet une offre unique, complète et de qualité, bien identifiée sur le territoire. Les enseignants et les élèves restent sur place et les élèves-ingénieurs 3A Télécom Bretagne peuvent suivre un double cursus.

Lien vers l'article en PDF

Pour en savoir plus :
http://vivaldi2009.ueb.eu/programme1d.html
Site web du master :
http://www.enssat.fr/ueb/master-photonique
Annuaire des formations en optique photonique :
http://www.photoniques.com/images/stories/actualites/2012/Annuaire_Formations_2012-2013.pdf
A paraître : annuaire 2013-2014 dans la revue Photonique de décembre 2013 :
http://www.photoniques.com/