Examen numérique, quelles adaptations

 

La question de l’utilisation du numérique à l’examen est d’actualité. Le rapport de la stratégie nationale de l’enseignement supérieur l’a mis dans sa feuille de route. Les plates-formes de MOOC développent des systèmes de certification en ligne (voir celui de FUN), et des premières expérimentations (Protocole expérimental de télésurveillance d’épreuves à l’Université de Caen et celles autour du Système Informatisé Distribué d’Évaluation en Santé (SIDES) ). Comme toute nouvelle numérisation, nous naviguons entre la reproduction de l’existant et la transformation des pratiques. Quels sont les enjeux, les opportunités, les risques liés à l’examen numérique?

14338467475_981d2369e6_b

Une fois de plus, c’est le mouvement des MOOC qui a fait bouger les choses. Permettre à tout participant de passer un examen à distance est à la fois un enjeu d’ouverture en permettant à de nouvelles personnes de valider leur savoir et un enjeu économique puisque la certification est vue comme un (voire le seul) modèle économique viable. Ce besoin s’élargit d’ailleurs à toute formation en ligne, et si les modèles de validation (certification, badges, …) peuvent être variés, les besoins de garantir que la personne évaluée respecte bien la consigne, et qu’elle est bien celle qui revendique la réussite et ne se fait pas aider, obligent à développer un protocole complexe. Cette complexité vient à la fois de la nécessité d’isoler et de surveiller à distance et d’isoler le candidat. On est dans la dimension de reproduction de l’existant, dans l’espace privé du candidat. Les seules solutions proposées actuellement sont de développer un contrôle d’un PC par un surveillant humain à distance.

La numérisation du processus d’examen est un second axe qui intéresse les structures organisationnelles. C’est l’axe d’étude des deux expérimentations citées ci-dessus. Les enjeux sont notablement différents. Pour l’Université de Caen, c’est un discours proche des MOOC (promotion des formations à distance et meilleures conditions de réussite des étudiants), et aussi économique (emplois possibles et limitation d’utilisation de centres d’examens). Dans le cadre de la santé, il y a une volonté d’améliorer le concours (ce n’est pas un examen, une meilleure discrimination des candidats et une meilleure égalité dans la préparation sont recherchées). La nécessité de déployer le concours à un niveau national en salle, tout en restant très proche des modalités existantes, rend le processus technique remarquablement complexe.

Un impact non négligeable de ce type de dispositif est de permettre une évaluation automatisée. L’évaluation est en effet un coût (notamment quand il s’agit de payer des correcteurs pour les concours), une source de discrimination (on sait la variabilité entre relecteurs dès que l’on sort des QCM), et une charge pour les enseignants (nombre d’entre eux considèrent que c’est la partie la plus ingrate de leur métier). Si un retour formatif est souhaitable pendant l’apprentissage, il n’existe pas au moment de l’examen.

Dans les exemples vu ici, nous avons vu principalement émergé une volonté de reproduire des examens, ou concours existants, en maintenant au maximum les conditions existantes, ce qui conduit à des dispositifs complexes et qui n’exploitent pas de nouvelles opportunités permises par le numérique. Dans le rapport de la Stranes, il s’agit pourtant d’”autoriser l’accès à Internet dans le cadre des examens”. Autrement dit de se poser la question de faire évoluer les modalités des examens.

Le passage de QCM en ligne est en effet une limitation forte des possibilités du numérique, une simple feuille à cocher. L’usage de l’ordinateur tout au long de l’apprentissage est pourtant beaucoup plus développé.

Le concours des médecins est ainsi basé sur l’obligation de savoir par coeur tout ce qui leur a été enseigné. Cela se comprend pour des raisons d’efficacité dans le diagnostic et la conduite des soins. Mais pour autant, il faut laisser la place à l’oubli, qui est humain y compris lors d’un concours, et surtout à la capacité de déclencher une recherche lorsque la pathologie dérive de ce qui était connu au moment du cours. J’avoue que j’ai apprécié lorsque lors d’une visite d’un pédiatre, un collègue est passé poser une question et qu’il lui a conseillé d’aller chercher sur les forums spécialisés. De toutes façons, un candidat qui ferait des recherches inutiles serait vite pénalisé dans un tel concours.

En informatique par exemple, nous demandons à nos étudiants de travailler en équipe, de collaborer et d’aider ses pairs, de réutiliser l’existant, de consulter les forums et autres aides en ligne, suivant le domaine applicatif de maîtriser des environnements de simulation d’être efficaces dans l’utilisation des outils de développement, … et nous devrions évaluer cela uniquement au travers d’une feuille de papier blanche ou de son équivalent numérisé ? L’enjeu est bien d’imaginer des nouvelles modalités qui prennent en compte ces dimensions. L’environnement technique à imaginer est sans doute différent. Il importe en tout cas de conserver le poste, voire l’environnement d’apprentissage, de travail dont a disposé l’étudiant pendant sa formation pour qu’objectifs, apprentissage  et évaluation soient alignés (Voir Biggs et l’alignement constructiviste), même si la réponse in fine est simplement de cocher une case.

Cela permettrait de développer des formes d’examens plus riches, et peut être de revenir vers des mises en situations comme peuvent l’être des examens en atelier, la réalisation de performance (sport, musique, théâtre,…), les jeux de rôle utilisés en recrutement ou lors de simulations en santé.

L’évaluation entre pairs est un des éléments qui permet de prendre en compte certaines dimensions, mais on perd alors la dimension d’examen. Notons en passant que cette forme d’évaluation est un manière élégante de retourner la problématique de l’évaluation et des retours formatifs en élément intégré dans le processus de formation et qui l’enrichit (en incitant les apprenants à aller plus loin qu’une simple réponse à une question, en développant de surcroît un processus d’analyse).

Différentes pistes s’offrent à nous.

Peut-on développer une solution qui permette d’évaluer une équipe, une classe … sur une durée d’examen en permettant à chacun de démontrer sa capacité à apporter au collectif et à répondre au problème posé ?

Plutôt que de développer une solution unique d’examen à distance qui oblige le candidat à disposer d’un lieu isolé pour une durée suffisante, à une heure imposée (est ce le cas pour une famille nombreuse vivant dans un petit appartement par exemple), ne pourrait-on pas imaginer d’équiper et aménager des tiers-lieux qui deviendraient centres banalisés d’examens numériques, avec des modalités enrichies. Ces tiers lieux (par exemple les bibliothèques) deviennent déjà des lieux d’accueil physiques pour les apprenants à distance, il ont donc vocation à les accompagner jusqu’à la phase ultime de l’apprentissage.

Ou est-ce que l’examen est une notion dépassée dans un contexte numérique ? Le principe de rompre l’unité de temps et d’action (sinon de lieu) est en effet un des fondements d’Internet. L’évaluation continue, la recommandation sont des alternatives à l’examen.

On y perdrait le rite de passage, l’objectif final qui mobilise nombre d’étudiants. Les deux approches sont donc sans doute amenées à cohabiter en tant que parcours différents. Pourquoi ne pas proposer les deux options ? C’est également une des richesses d’Internet que de proposer l’abondance.

 

NB : votre avis, ou vos exemples sont évidemment les bienvenus

17068632450_3ac5bec1a8_b

Crédits photos :

 

4 Réponses to “Examen numérique, quelles adaptations”

  1. Nadir Boussoukaia Says:

    Pour information, https://evalbox.com/ est fait pour ca. 6 ans d’expérience sur ce sujet. Il permet en plus de basculer de l’informatique au papier et vice-versa. Ou de faire un examen hybride.

    • Jean-Marie Gilliot Says:

      Merci !
      L’outil à l’air intéressant. Je me demandais comment ils gèrent la correction automatique de copie du cela va au delà des QCM. À tester…
      Côté QCMs les fonctionnalités ont l’air proches de ce qu’on peut trouver dans un moodle.

      L’utilisez vous ?

  2. Serge Richard Says:

    Nous avons testé il y a deux ans une évaluation par QCM dans un cours Moodle pour un examen d’une UE, mes constats sont les suivants :
    – c’est possible, mais cela nécessite un important travail pour la qualité des questions et des réponses. Evaluer par QCM , comme l’indique Ivan Abernot dans un de ses ouvrages sur l’évaluation produit une mesure correcte des performances attendues à condition que les questions soient élaborées avec exactitude et avec rigueur pour éviter l’effet ‘hasard’, qu’elles soient les plus explicites possibles et que les réponses ne soient pas évidentes. Cela prend donc pas mal de temps pour élaborer un bon QCM d’autant qu’il vaut mieux le produire en équipe pour filtrer les questions avec intelligence afin de les rendre les plus neutres vis à vis d’un contexte de formation. Ce qui suppose donc d’avoir des objectifs de formation les plus clairement partagés. Nous avions produit plus de 100 questions pour un tirage aléatoire de 20 questions pondérées. L’élaboration des réponses a nécessité des travaux en groupe d’évaluateurs pour valider chaque item.. de chaque question…et sa pondération …
    – il faut un bon serveur bien calibré en capacité de connexions pour absorber une passation de plus de 550 étudiants. Nous avons rencontré un problème technique sérieux de cette nature lors d’un examen que nous avons du reporter…
    – les conditions de passation sont essentielles, nous avions programmé la durée de la passation sur une demie-heure stricte pour les 20 questions, en laissant la possibilité d’utiliser Internet. Mais nous avions anticipé ce point lors de la définition des questions en faisant plus appel à des compétences personnelles ( comme un classement) . Les étudiants étaient avertis qu’en ½ heure pour traiter 20 questions, ils avaient le temps de réfléchir et que l’utilisation d’internet était forcément compris dans le temps imparti. Je précise que la passation était surveillée et qu’elle s’est déroulée au même moment en plusieurs lieux pour éviter des copies d’écran d’étudiants envoyé par mail ou messagerie…
    – mais quel plaisir pour l’évaluateur à la fin du QCM de récupérer en quelques clics le tableau de notes à transmettre à la scolarité.
    – une base de questions a été constituée, et c’est une archive ré-utilisable.

    Conclusion, une expérience enrichissante mais qui ne fût pas reconduite du fait de l’évolution du contenu de la formation que ne se prêtait plus à une évaluation par QCM mais par dossier numérique dans un e-portfolio, mais c’est une autre histoire !

    • Jean-Marie Gilliot Says:

      Merci Serge pour ce retour d’expérience,
      Des collègues ont fait le même type de travail, qui se justifie bien quand on a des centaines d’étudiants. Plus que du plaisir de récupérer les réponses en quelques clics, c’est bien du temps gagné, et pour les étudiants d’avoir un retour rapide, sans compter les annales pour les promos suivantes.
      Intéressant de voir que vous avez assumé l’usage d’Internet, en organisant une surveillance rapprochée.

      Sinon, quand tu dis que l’évaluation par dossier est une autres histoire, c’est bien le cœur de l’article que de poser la question de quelles évolutions pour les évaluations permet le numérique.


Laisser un commentaire