Qe

• Evaluer c'est mesurer puis apprécier, à l'aide de critères, l'atteinte des objectifs d'enseignement en 3 étapes :

  1. Recueillir, de manière systématique, valide et fidèle, des informations appropriées à ses objectifs d'enseignement (observation)

  2. Interpréter ces informations à l'aide de critères (analyse)

  3. Établir des conclusions et des décisions (certificatives) ou poser une action régulatrice (formative) d'évaluation (jugement et rétroaction)
• 3 grands concepts/temps dans l'évaluation

  • Prise d'information
  • Jugement
  • Décision
• Évaluation


  Recueillir de l'information sur laquelle sera posé un jugement afin de prendre des décisions
• Évaluation


  Processus qui consiste à recueillir un ensemble d'informations pertinentes, valides et fiables, puis à examiner le degré d'adéquation entre cet ensemble d'informations et un ensemble de critères choisis adéquatement en vue de fonder la prise de décision
• Évaluer


  1. Mesurer

  2. Apprécier à l'aide de critères

  3. Atteinte des objectifs d'enseignement
• Étapes de l'évaluation

  1. Recueillir, de manière systématique, valide et fidèle, des informations appropriées à ses objectifs d'enseignement (observation)

  2. Interpréter ces informations à l'aide de critères (analyse)

  3. Établir des conclusions et des décisions (certificatives) ou poser une action régulatrice (formative)
• Niveaux d'évaluation


  • Système scolaire national
  • École
  • Classe
  • Élève
• Types d'évaluation


  • Normative
  • Critériée
  • Ipsative
• Agents de l'évaluation


  • Autoévaluation
  • Évaluation par des experts internes
  • Évaluation par des experts externes
  • Évaluation par les pairs
• La place que la copie a dans la pile va infléchir positivement ou négativement, la note qu'il devrait avoir objectivement. C'est une erreur aléatoire parce que tous les étudiants auront un nombre différent de bonnes ou mauvaises copies avant la leur.
• Le but du jeu de notre évaluation est de tendre de plus en plus vers le score vrai, faire tout ce que l'on peut pour éviter les erreurs de mesures, surtout les aléatoires (= inéquitables et injustes pour les étudiants).
• Note en éducation


  Ce qu'on veut mesurer, c'est la compétence/l'aptitude de l'étudiant (cognitive, savoir-faire, soft-skills…)

  
• Mesure de la compétence

  1. Mise en place d'un artéfact (quizz, examen) qui permet de mesurer la compétence de l'étudiant face à ce que l'on a voulu travailler dans le cours

  2. L'étudiant produit une performance en lien direct avec l'artéfact

  3. L'enseignant note la performance et infère que cette note reflète la compétence, l'aptitude, la capacité que l'enseignant a voulu entrainer pendant son cours

  
• Note : une question de concordance

  Il faut que les objectifs d'apprentissage, les méthodes d'enseignement et l'évaluation soient alignés (triple concordance de Taylor)

  
• Même si c'est facile pour un enseignant de respecter la triple concordance, il peut y avoir des incohérences
• La note est aussi une question de performance : l'étudiant ne donne pas toujours sa meilleure performance face à une évaluation

  
• Expérience de Huguet, Brunot & Monteil (2001)


  • Deux groupes d'étudiants identiques en termes de performances sont soumis à une même tâche présentée différemment (géométrie vs dessin)
  • Les étudiants les plus performants sous-performent dans la tâche de dessin, tandis que les moins performants sur-performent

  
• Entre le sujet avec ses compétences et la tâche à accomplir, il y a un contexte de traitement qui influence les performances
• On pense que parce qu'on propose un artéfact idéal à l'étudiant, il va nécessairement réussir et performer et qu'on aura de quoi évaluer sa compétence alors qu'il y a des biais
• Fidélité inter-correcteurs


  Degré d'accord entre les correcteurs sur le succès ou l'échec des copies
• Résultats de l'étude d'Agazzi (1967)


  • En mathématiques, 36% des copies ont au moins un correcteur en désaccord sur la réussite ou l'échec
  • En philosophie, 81% des copies ont au moins un correcteur en désaccord
• L'humain n'est pas un bon évaluateur, il doit s'entourer d'outils, de modèles, de processus pour valider sa prise d'informations, ses jugements et ses décisions
• Prise d'information


  Concentration sur certains éléments et déconcentration par d'autres, comme dans l'expérience du gorille invisible
• Jugement


  Influence de l'estime de soi, des biais de confirmation, des effets de groupe
• Décision


  Difficulté à passer de la connaissance à l'action, comme dans l'exemple des cigarettes
• Les enseignants pensent avoir les compétences pour évaluer alors qu'ils n'ont pas été formés
• L'évaluation est quelque chose de difficile, l'humain n'est pas un bon évaluateur, il a besoin de méthodes et de techniques
• Au début du XXe siècle, on cherche à mesurer l'intangible avec la même précision que le tangible
• Alfred Binet crée un test de QI pour mesurer directement ce qu'il y a dans la tête de l'humain, sans passer par des attributs physiques
• La validité cherche à recueillir des arguments de diverses natures pour soutenir la plausibilité de l'usage d'une mesure dans un contexte donné
• Mesurer le tangible


  Avec efficacité
• Loye (2018) nous explique une première tentative : s'appuyer sur le tangible
• Fechner (1801-1887)


  Posait l'hypothèse d'un lien entre la grandeur physique d'un stimulus et la grandeur de la sensation produite sur le système nerveux
• Duffy (1904-1970)


  S'intéresse aux émotions avec la même préoccupation : la mesure physique proposée était celle de la tension musculaire
• Alfred Binet


  Il crée un instrument de mesure, un test de QI, permettant de mesurer directement ce qu'il y a dans la tête de l'humain sans passer par des attributs physiques
• Validité


  Recueillir des arguments de diverses natures pour soutenir la plausibilité de l'usage d'une mesure dans un contexte donné
• Corrélation


  Au début du XX siècle, la validité se définit essentiellement en termes de corrélation entre les résultats au test et certains critères censés mesurer le même attribut
• Analyse factorielle


  Spearman (1904) développe les analyses factorielles, la validité se définit aussi, dès lors, par la structure sous-jacente (les facteurs) au test qui doit avoir du sens
• Garret (1937): 'La validité d'un test est le degré avec lequel "un test mesure ce qu'il est censé mesurer"'
• Validité de contenu


  Évalue dans quelle mesure les divers items sont représentatifs des construits mesurés et de leurs différentes facettes, que les items sont représentatifs de l'univers de référence évalué