Solution : évaluation automatique QRC

Descriptif

La solution mise au point vise un certain type de questionnaires de type « QRC » (questions ouvertes à réponse courte), qui permettent d’évaluer une compétence chez un étudiant, un candidat adulte à un poste ou toute personne dont on veut tester les compétences dans le cadre d’un emploi.
Ce procédé vise les compétences cognitives. Exemples : « résoudre un problème mathématique », « rédiger une dissertation », « élaborer un plan de soins infirmiers », « analyser le bilan financier d’une entreprise », etc. Il est adapté aux compétences cognitives, et non à celles qui possèderaient une composante affective ou gestuelle importante.
Le logiciel d’analyse automatique les réponses aux questions à réponse courte, ce qui permet d’automatiser la totalité de la correction de la copie.

La méthode consiste à comparer de manière automatisée la réponse du candidat (xx mots maximum) à un ensemble de critères de qualité de cette réponse.

Il s’agit donc, pour chaque réponse à une question donnée, de préciser si les critères d’évaluation ont bien été individuellement rencontrés par la réponse ouverte. La détection automatique d’un critère d’évaluation dans une réponse est établie par un coefficient.

Selon le coefficient retourné par le système, différentes conséquences sont considérées :

– soit, on considère que le critère n’est pas suffisamment clairement exprimé dans la réponse ;

– soit, un avis est émis pour appeler l’utilisateur (celui qui a conçu le formulaire d’évaluation) à se prononcer sur la satisfaction ou non du critère d’évaluation (ceci permet d’enrichir le modèle d’apprentissage si besoin est) ;

– soit, le critère est indubitablement exprimé dans la réponse.

5 fonctionnalités majeures

  • back office d’élaboration d’un questionnaire
  • définition des critères et pondération de ces critères pour chaque question du questionnaire
  • correction automatique des questionnaires
  • bilan chiffré et analyse de la couverture des compétences évaluées
  • module de testing des questionnaires préalablement à une procédure d’évaluation