Les caractéristiques d'une évaluation de qualité
Une bonne évaluation doit être conforme aux critères suivants :
Fiabilité – Elle doit permettre de mesurer de manière exacte la connaissance visée
Efficacité – Elle doit faire un bon usage du temps de l’utilisateur et poser uniquement des questions qui contribuent à l’élaboration du score.
Lisibilité – Une bonne évaluation doit être facilement comprise, et l’objectif de chaque question doit être clair. Tout ambiguïté doit être absolument évitée.
Déterminer le nombre de questions à poser
Le nombre de question est un des plus important critère pour une bonne fiabilité. On considère qu’un bon test doit avoir au minimum 25 questions.
Il faut savoir qu’il existe des formules mathématiques permettant de calculer la fiabilité d’un questionnaire à partir des résultats d’une population d’utilisateur.
Cependant, sans rentrer plus loin dans les détails concernant les calculs mathématiques, il est important de retenir le point suivant :
Un nombre élevé de questions conduit à une meilleure fiabilité, permet de mieux couvrir les domaines au sein d’un sujet et permet de faire repasser les tests avec un effet bien moindre de mémorisation.
Inclure explications et révisions
Bien souvent, les quiz, une fois répondus, ne proposent pas d’explication supplémentaire, voire parfois même ne proposent pas la bonne réponse attendue.
Dans ces cas-là, le questionnaire est limité à sa fonction de contrôle de connaissance, et abandonne son aspect formateur. Cette logique doit répondre à un besoin très précis, un cas de figure où l’évaluation de la connaissance est l’unique objectif du questionnaire.
Dans les autres cas, il a été montré qu’il était très bénéfique pour l’apprenant d’avoir un feedback sur la question posée, avec explication et éventuellement analyse.
Notamment, après avoir analysé une question, réfléchi aux options et avoir répondu, l’apprenant est dans une disposition intellectuelle favorable pour apprendre quelque chose.
De plus, si sa réponse était erronée, l’utilisateur ressentira le besoin de connaître la bonne réponse, il est donc très intéressant d’exploiter cet état d’esprit pour l’acquisition de nouvelles connaissances.
Interroger sur les connaissances réellement importantes
Un des principes fondamentaux d’un bon questionnaire, c’est de s’assurer que le meilleur expert du sujet connaît les réponses à chaque question.
Si ce n’est pas le cas, c’est qu’il s’agit d’une mauvaise question, qui porte souvent sur des points que « personne » ne connaît par cœur.
Si lors de la rédaction d’une question, un expert doit fouiller dans une documentation (papier ou en ligne) pour trouver la réponse, c’est signe que la question risque d’être mauvaise.
La rédaction des questions
Il y a de nombreuses études réalisées sur les bonnes pratiques dans la rédaction d’un questionnaire, vous trouverez les principales ci-dessous :
– Chaque question doit permettre d’évaluer un point important de connaissance.
– Les questions prisent dans leurs ensemble doivent couvrir le sujet abordé
– L’énoncé de la question doit être dépourvu d’ambiguïté (les termes comme « souvent », « parfois » etc. sont à éviter) et porter sur une seule notion
– L’énoncé doit être cohérent avec les réponses proposées
– La formulation des réponses doit être similaires (même longueur, même champ lexical …)
– La ou les bonnes réponses doivent également être dépourvue d’ambiguïté
– Les mauvaises réponses doivent être incontestablement fausses, sans le moindre doute pour qui connaît la réponse