module 13

• Étapes du développement de programme en promotion des SHV

  1. Définir le problème sur lequel on veut agir

  2. Identifier les cibles

  3. Identifier les facteurs qui influencent les cibles

  4. Identifier les stratégies et les activités pour atteindre les cibles
• Séquence du développement de l'intervention

  1. Comprendre le comportement

  2. Identifier les options d'intervention

  3. Identifier le contenu et l'implantation

  
• Qu'est-ce qu'on évalue?


  • Portée
  • Efficacité
  • Maintien
  • Implantation
  • Adoption
• Types d'évaluation


  • Évaluation des besoins
  • Évaluation des processus (de l'implantation ou formative)
  • Évaluation d'efficacité (des effets ou sommative)
  • Évaluation d'impact
  • Évaluation de l'efficience
  • Évaluation de la pérennité
• Objectifs de l'évaluation


  • Mesurer les effets durables du programme sur les comportements et la santé des individus et des communautés
  • Évaluer les contributions du programme aux objectifs de santé publique plus larges
  • Identifier les leçons apprises et les meilleures pratiques pour guider les futurs efforts de promotion de la santé
• Méthodes d'évaluation


  1. Études de suivi à long terme des participants et des communautés

  2. Analyses comparatives avant et après le programme, p. ex. avec des groupes de contrôle

  3. Évaluations qualitatives pour comprendre les effets non quantifiables
• Évaluation de l'efficience


  Mesure l'utilisation des ressources par rapport aux résultats obtenus
• Objectifs de l'évaluation de l'efficience

  • Comparer les coûts des activités du programme aux bénéfices obtenus, en termes de résultats de santé et bien-être
  • Identifier les moyens d'optimiser l'allocation des ressources pour maximiser l'impact du programme
  • Fournir des données pour justifier le financement et le soutien continu du programme
• Méthodes d'évaluation de l'efficience

  • Analyse coût-efficacité : compare les coûts relatifs et les résultats de différentes interventions
  • Analyse coût-bénéfice : évalue les avantages financiers ou quantifiables par rapport aux coûts
  • Analyse coût-utilité : compare les coûts à des mesures de l'impact sur la qualité de vie
• Évaluation de la pérennité


  Examine la capacité d'un programme à maintenir ses résultats et ses bénéfices au-delà de la période de financement initial ou de support actif
• Objectifs de l'évaluation de la pérennité

  • Assurer que les bénéfices du programme perdurent dans le temps pour la population cible
  • Identifier les structures de soutien nécessaires pour maintenir les activités et les résultats du programme
  • Évaluer l'intégration des pratiques promues par le programme dans les routines et les politiques communautaires ou organisationnelles
• Méthodes d'évaluation de la pérennité

  • Analyse des mécanismes de financement et des modèles de gouvernance
  • Entretiens avec les parties prenantes pour comprendre les facteurs de succès et les obstacles à la durabilité
  • Étude des adaptations du programme pour répondre aux changements environnementaux et sociaux
• Étapes de la démarche évaluative

  • Planification
  • Implantation
  • Interprétation
  • Diffusion

  
• Tâches de la démarche évaluative

  • Constituer une équipe de travail
  • Concevoir un modèle logique et un plan d'évaluation
  • Concevoir les outils de collecte
  • Réaliser et suivre les activités de collecte de données
  • Analyser les données en fonction des questions d'évaluation ciblées
  • Discuter des résultats avec les parties prenantes
  • Communiquer les constats principaux dans le réseau
  • Élaborer un plan d'action et de suivi
• Principales difficultés liées à l'évaluation

  • La planification : l'évaluation n'a pas été bien planifiée ou est faite avec du retard
  • Les ressources : (temps, argent, personnel) sont insuffisantes pour mettre en place des procédures adéquates d'évaluation
  • Les ressources externes : difficile d'embaucher des consultants ou évaluateurs externes
  • La mesure des effets du programme : les changements chez les individus se produisent lentement et l'évaluation a lieu avant que les changements aient pu se produire
  • La durée : le programme est trop court et on ne donne pas suffisamment de temps pour en faire l'évaluation
  • La causalité : difficulté d'être sûr que le programme est la cause de ce qui est observé (présence de facteurs confondants)
  • Les programmes multistratégiques : il est difficile de savoir quelle stratégie a amené tel ou tel changement
  • Conflits entre les différentes parties prenantes : désaccord quant au choix des formes d'évaluation à réaliser ou autres...
  • La crainte de l'impact d'une évaluation négative : les responsables des programmes sont parfois réticents à faire une évaluation craignant que des résultats peu satisfaisants entraînent une remise en question de leur emploi ou de la qualité de leur travail
  • Les restrictions : éthiques ou politiques qui empêchent ou limitent la collecte de certaines données nécessaires pour l'évaluation
• Règles éthiques à respecter

  • Le consentement : informer les répondants, avant leur participation, du but de l'évaluation, des attentes, des avantages et des inconvénients, de la liberté de participer ou de se retirer
  • L'anonymat et la confidentialité : prendre des mesures pour protéger l'identité des individus et qu'on ne puisse savoir ce qu'il a répondu personnellement
  • L'accessibilité aux données : indiquer quand et comment les données seront détruites, s'engager à ne pas les utiliser à d'autres fins
• Modèle logique

  Un des outils servant à expliciter et représenter visuellement la théorie du changement de l'intervention soit le changement qu'on cherche à produire

  
• Éléments du modèle logique

  • Ressources
  • Activités
  • Résultats, produits ou extrants
  • Effets à court/moyen terme
  • Effet à long terme (impact)
• Le modèle logique représente la séquence logique "si... alors..."

  
• Plan d'évaluation


  Un outil de planification qui détaille les étapes requises pour réaliser l'évaluation ainsi que la stratégie prévue pour assurer la cohérence de l'ensemble de la démarche

  
• Sections du plan d'évaluation

  • Informations générales
  • Description de l'intervention
  • Objectifs de l'intervention
  • Tableau synthèse de l'évaluation (matrice d'évaluation)
  • Calendrier de réalisation