Volume 34, 2019 - Printemps

Un mot de la rédactrice

Auteurs :

Le présent numéro de la Revue canadienne d’évaluation de programme (RCEP) est l’un de nos plus complets à ce jour. On y retrouve cinq articles, cinq notes sur la pratique et deux compte-rendus de livres qui traitent d’une vaste gamme d’études, de pratiques et de sujets liés à l’évaluation. Je suis heureuse de noter que notre équipe de rédaction ne cesse de recevoir des soumissions de grande qualité et je vous encourage à continuer à envoyer vos manuscrits à la RCEP.

Les articles et les notes sur la pratique du présent numéro portent sur quatre thèmes récurrents qui représentent les plus récentes tendances dans notre domaine. Tout d’abord, la pensée évaluative et le renforcement des capacités des organisations non gouvernementales sont abordés dans les articles de Rogers, Kelly et McCoy, et de Lu, Elliot et Perlman. Ces deux articles traitent des facteurs et conditions qui facilitent et nuisent au renforcement des capacités en évaluation et au développement de la pensée évaluative. Deuxièmement, l’évaluation de la mise en œuvre semble intéresser praticiens et chercheurs : Leblanc, Gervais, Dubeau et Delame se penchent sur l’évaluation de la mise en œuvre dans le cadre de projets liés à la santé mentale, tandis que Parrott et Carman donnent un exemple de la façon dont ce type d’évaluation peut contribuer au déploiement à plus grande échelle d’un programme. Chechak, Dunlop et Holosko parlent aussi de l’évaluation de la mise en œuvre et de son utilité dans l’évaluation de programmes d’accueil pour jeunes. Les professeurs et les étudiants en évaluation pourraient être particulièrement intéressés par notre troisième thème, soit les contributions étudiantes à l’évaluation, à la fois par le mentorat par les pairs — dont on parle dans la note sur la pratique rédigée par LaChenaye, Boyce, Van Draanen, et Everett — et par le concours d’évaluation annuel de la Société canadienne d’évaluation, dont il est question dans la note sur la pratique de Sheppard, Baker, Lolic, Soni et Courtney. Finalement, nous continuons à faire progresser nos approches méthodologiques, comme le montre l’article sur l’évaluation dans des contextes autochtones par Chandna, Vine, Snelling, Harris, Smylie et Manson, et l’article sur l’utilisation d’un outil de suivi des résultats pour l’évaluation du rendement dans un contexte de psychologie clinique par Rosval, Yamin, Jamshidi et Aubry. Czechowski, Sylvestre et Moreau traitent aussi de méthodes dans leur note sur la pratique sur la sécurisation des données pour les évaluateurs et évaluatrices, une compétence clé qui continue à se développer à mesure que nos mécanismes de cueillette et d’entreposage des données s’adaptent aux nouvelles technologies.

En plus de ces articles et de ces notes sur la pratiques, le présent numéro présente deux comptes-rendus de livres qui intéresseront sûrement nos lecteurs et lectrices. Premièrement, Bhawra se penche sur Developing Monitoring and Evaluation Frameworks , par Patrick Markiewicz (2016), et, deuxièmement, Sellick examine Collaborative, Participatory, and Empowerment Evaluation: Stakeholder Involvement Approaches , par David Fetterman, Liliana Rodriguez-Campos, Ann Zukoski et autres contributeurs et contributrices (2018).

Au nom de toute l’équipe de rédaction, j’espère que ces travaux généreront des discussions et des réflexions fructueuses et contribueront à bonifier nos pratiques et connaissances collectives. Comme toujours, si vous avez des commentaires à faire sur le présent numéro, n’hésitez pas à communiquer avec moi. Vos idées seront toujours bienvenues!

Evaluation Literacy: Perspectives of Internal Evaluators in Non-Government Organizations

Auteurs :

Bien qu’il existe une abondante littérature sur l’utilisation de l’évaluation, il y a peu de discussion à propos du rôle que peuvent jouer les évaluateurs internes pour promouvoir l’utilisation de l’évaluation. La contribution de l’évaluation peut être sous-évaluée si le contexte n’est pas pris en compte. Une certaine littératie en évaluation est nécessaire pour rendre l’évaluation pertinente, plus facile à comprendre et accessible, particulièrement dans les organisations non gouvernementales (ONG) où l’on accorde de plus en plus d’importance aux résultats mesurables. La littératie en évaluation fait référence à la compréhension et à la connaissance de l’individu en matière d’évaluation et constitue un élément essentiel de l’intégration de l’évaluation dans la culture organisationnelle. Reconnaissant la valeur de la perspective interne, un exercice exploratoire a été entrepris pour cerner les rôles des évaluateurs internes et les façons d’intéresser les collègues à l’évaluation. L’exercice a permis de poser une question clé : quel est le rôle de la littératie en matière d’évaluation à l’égard de l’évaluation interne dans le secteur non gouvernemental ? Trois exemples d'auto-narration australiens, en provenance d’évaluateurs internes, soulignent l’importance de la littératie en évaluation et son rôle pour une utilisation optimale de l’évaluation. L’analyse des récits révèle les problèmes sous-jacents liés à l’utilisation de l’évaluation chez les ONG ainsi que les compétences nécessaires pour motiver et permettre aux autres d'accéder, de comprendre et d'utiliser les informations de l'évaluation. Répondant au besoin de conduire plus de recherche sur la pratique de l’évaluation interne, les auteurs espèrent que les résultats stimuleront une conversation plus large et permettront de mieux comprendre la littératie en évaluation.

Principles, Approaches, and Methods for Evaluation in Indigenous Contexts: A Grey Literature Scoping Review

Auteurs :

L’article décrit les résultats d’un examen exploratoire de la documentation parallèle (« littérature grise ») pour cerner les principes, les approches, les méthodes, les outils et les cadres d’application liée à la réalisation d’évaluations de programme dans des contextes autochtones, qui ont fait l’objet de rapports de 2000 à 2015 au Canada, aux États-Unis, en Nouvelle-Zélande et en Australie. Des intervenants clés ont été consultés pour valider et enrichir l’interprétation des résultats. Les 15 principes directeurs, ainsi que les approches, les méthodes, les outils et les cadres d’application découlant de l’examen peuvent servir de point de départ pour les évaluateurs et les communautés en vue de lancer des discussions sur la façon de mener des évaluations dans leur communauté et sur la détermination des approches, des méthodes, des outils ou des cadres d’application appropriés, selon le contexte.

Évaluation du processus d’implantation de l’approche axée sur les forces en s’appuyant sur la théorie de la diffusion de l’innovation

Auteurs :

La plupart des politiques dans le domaine de la santé mentale recommandent d’implanter les pratiques basées sur les données probantes. L’approche axée sur les forces est reconnue comme étant une pratique pouvant contribuer au rétablissement des personnes atteintes de troubles mentaux graves. Or, plusieurs études ont soulevé de nombreux défis d’implantation qui limitent sa portée. Une évaluation du processus d’implantation a été menée auprès d’intervenants ayant suivi une formation portant sur l’approche axée sur les forces. Les résultats indiquent que la formation n’est pas suffisante et qu’un engagement institutionnel est requis pour assurer la qualité de l’implantation.

Perceived Facilitators and Barriers to Evaluative Thinking in a Small Development NGO

Auteurs :

Les Objectifs Mondiaux entraînent des défis pour les organisations non gouvernementales (ONG) en développement international particulièrement quant à leur capacité à mettre en place une pratique et une réflexion évaluatives de grande qualité. Les ONG sont obligées de travailler efficacement, de rendre des comptes aux donateurs et aux bénéficiaires et de démontrer leur impact. Elles doivent également analyser de manière critique les hypothèses sur lesquelles elles fondent leur leur travail, sans quoi leur pérennité sera compromise. Utilisant des données d’évaluation collectées auprès d’une petite ONG travaillant sur la question de l’eau, cet article identifie les facilitateurs perçus et les obstacles à la réflexion évaluative, et où ils sont susceptibles de se produire dans le processus d’évaluation pour une ONG contrainte en temps et ressources.

Perceptions of the Use of an Outcome Monitoring Tool in a Clinical Psychology Training Centre: Lessons Learned for Performance Measurement

Auteurs :

L’objectif de l’étude était d’examiner les perceptions de la Mesure d’impact (MI) (Outcome Questionnaire) après sa mise en oeuvre dans un centre de formation universitaire axé sur les services psychologiques. Les participants étaient des doctorants en psychologie clinique (n = 49), des superviseurs cliniques (n = 17) et des clients (n = 24). Les données ont été recueillies par sondages, entrevues semi-structurées et groupes de discussion. Les résultats indiquent que la majorité des cliniciens utilisent la MI pour suivre le progrès de leurs clients et considèrent la mesure comme utile. Cependant, l’utilisation de l’information fournie par la MI pour les décisions cliniques était variable. Nous discutons des leçons à tirer de la mise en oeuvre des systèmes de mesure du rendement dans les services de santé mentale.

Community, Theory, and Guidance: Benefits and Lessons Learned in Evaluation Peer Mentoring

Auteurs :
Pages :
9

La majorité des évaluateurs débutent leur carrière dans des domaines connexes et finissent par travailler en évaluation. Les formations universitaires et les séances de perfectionnement en évaluation deviennent alors de plus en plus populaires. À mesure que le domaine se professionnalise et que de nouveaux programmes de mentorat appariassent, les travaux empiriques sur l’enseignement et la formation en évaluation deviennent plus courants. Cependant, on en sait encore peu sur le rôle que jouent les opportunités de perfectionnement, comme le mentorat, dans la formation en évaluation. L’objectif de l’article est d’explorer les avantages attendus et inattendus de nos expériences comme participants dans des programmes de mentorat en évaluation, de parler des leçons apprises et de décrire les éléments logistiques et structurels contribuant à la réussite du mentorat par les pairs.

20 Years Later: Reflections on the CES Student Evaluation Case Competition

Auteurs :

Chaque année depuis 1996, la Société canadienne d’évaluation (SCE) organise un concours d’évaluation pour les étudiants universitaires et collégiaux. En 2016, un total de 1 132 étudiants avait participé au concours au cours des années. Un questionnaire en ligne a été envoyé à 768 participants dont l’adresse électronique était connue; huit autres participants se sont joints à l’enquête après en avoir pris connaissance en ligne. Le questionnaire a été rempli par 112 anciens participants (taux de réponse : 14 %). Selon les résultats, la participation au concours a été une expérience positive qui a mené à une plus grande maitrise de l’évaluation, à une amélioration des compétences pour le travail en équipe et à bonifier le curriculum vitae. Certains répondants ont indiqué que leur participation les a influencé dans leur choix de carrière et les a décidé à travailler.

Scaling up Programs: Reflections on the Importance of Process Evaluation

Auteurs :

Pendant plus de dix ans, les décideurs et les organismes de financement se sont attachés à identifier des programmes novateurs et efficaces et à les reproduire. Les évaluateurs jouent un rôle important en documentant ce qui marche et en monitorant l’implantation de ces programmes. Ils peuvent aussi faire le suivi du transfert de programmes novateurs à d’autres contextes. Dans cette note sur la pratique en évaluation, nous analysons notre expérience évaluative, en partenariat public- privé, pour implanter un programme de santé et bien-être dans 10 écoles primaires d’un vaste district scolaire en milieu urbain. Nos résultats soulignent l’importance d’effectuer une analyse des processus au début du programme pour s’assurer que la mise en oeuvre du programme se déroule comme prévu. Nous décrivons aussi la façon dont ces premiers résultats d’évaluation ont permis d’améliorer le programme au cours de sa deuxième année d’implantation.

Secure Data Handling: An Essential Competence for Evaluators

Auteurs :

Comme il est primordial que les droits et le bien-être des participants à l'évaluation et des parties prenantes soient respectés, nous soutenons que les capacités et les connaissances nécessaires pour protéger correctement les données doivent être considérées comme une compétence essentielle pour les évaluateurs. À partir d’expériences antérieures et en consultation avec des experts en éthique de la recherche et en sécurité des données de notre établissement, les meilleures pratiques en matière de collecte, de traitement et de stockage des données d'évaluation ont été identifiées. Un cadre tridimensionnel pour le traitement sécurisé des données a été mis au point. Ce cadre tient compte du type d’information traité, du préjudice causé par un bris potentiel de confidentialité et des étapes pour protéger la confidentialité de l’information.

Evaluating Youth Drop-In Programs: The Utility of Process Evaluation Methods

Auteurs :

En Amérique du Nord, les centres de jeunesse de quartier vont généralement proposer des programmes communautaires essentiels aux populations défavorisées et marginalisées. En plus d’offrir des environnements prosociaux et favorables, ils offrent une multitude d'opportunités et d'interventions éducatives et de développement des compétences qui renforcent l'estime de soi, renforcent les relations et les expériences positives de vie et s'attaquent aux déterminants sociaux de la santé. Cependant, les évaluateurs de ces centres doivent souvent composer avec une évolution constante de certaines composantes (telles que les utilisateurs des services, les services, les programmes et les résultats) propres au mandat du centre. Beaucoup de recherches ont été menées sur les programmes destinés aux jeunes en général, mais il y a un manque de littérature sur les programmes d’accueil plus précisément, lacune.