Volume 32, 2017 - Printemps

Editor's Remarks / Un mot du rédacteur

Auteurs :
Pages :
i-vii

Les articles et les notes de pratique du présent numéro de la Revue canadienne d'évaluation de programme mettent en relief la valeur des travaux empiriques pour améliorer les connaissances de la pratique de l'évaluation. [...]

Contribution Analysis: Theoretical and Practical Challenges and Prospects for Evaluators

Auteurs :
Pages :
1-24

L'analyse de contribution est une approche fondée sur la théorie largement utilisée ces dernières années pour réaliser des évaluations, de façon valable, d'interventions pour lesquelles il est difficile de déterminer l'attribution avec les méthodologies existantes. Cette analyse critique de la documentation explore de façon détaillée l'analyse de contribution, en discutant de ses méthodes, de l'évolution de ses fondements épistémologiques visant à établir la causalité et de certains défis méthodologiques présents lorsque l'analyse de contribution est utilisée en pratique. L'étude met en relief des adaptations possibles de l'analyse de contribution qui pourraient en améliorer la rigueur et décrit les domaines dans lesquels des travaux plus poussés pourraient renforcer cette utile approche d'évaluation.

Comment évaluer les effets des évaluations d'impact sur la santé : le potentiel de l'analyse de contribution

Auteurs :
Pages :
25-45

L'évaluation d'impact sur la santé (ÉIS) permet d'analyser les impacts potentiels sur la santé des actions (politique, projet, programme) qui ne relèvent pas du secteur de la santé. Par exemple, les projets municipaux, comme la revitalisation urbaine ou l'aménagement urbain, ont un impact sur les déterminants de santé liés à l'environnement bâti, et par là, sur la santé de la population. Au Québec, le gouvernement et les organismes affiliés sont appelés à se prononcer sur les impacts potentiels; ils recourent à l'ÉIS pour que la santé soit prise en compte dans toutes les actions publiques. Nous connaissons bien peu de choses sur la capacité des ÉIS à influencer les politiques publiques et le fait que chaque politique ou programme soit différent et ne soit implanté bien souvent qu'une seule fois, en complique l'évaluation. Notre objectif est d'analyser le potentiel de l'analyse de la contribution pour l'évaluation des impacts d'ÉIS au niveau municipal. Pour ce faire, nous présentons la démarche d'ÉIS telle qu'implantée en Montérégie, nous identifions les défis pour l'évaluation et proposons, par l'analyse de la contribution, une stratégie d'évaluation pour l'analyse des effets.

"Advocates Change the World; Evaluation Can Help": A Literature Review and Key Insights from the Practice of Advocacy Evaluation

Auteurs :
Pages :
46-64

Ce n'est que depuis le dernier millénaire que l'on s'intéresse davantage, en pratique ou en recherche, aux initiatives visant à créer des changements dans les systèmes et les politiques. Une analyse documentaire exhaustive des activités de plaidoyer dans les organisations à but non lucratif (ONG – organisations non gouvernementales) offrant des services humanitaires montre « un manque d'évaluation et de mesure systémique en ce qui a trait à l'efficacité du plaidoyer ». De même, dans un sondage de 211 ONG ayant des activités de plaidoyer, seule une sur quatre (24,6 pourcent) ont indiqué que ce travail avait été évalué. Le sondage a été effectué aux États-Unis, mais il est probable que les ONG canadiennes se trouvent dans une situation semblable, non par manque d'intérêt ou de reconnaissance de la valeur de l'évaluation, mais plutôt parce qu'il n'est pas facile d'évaluer des changements de nature systémique et que les ONG doivent composer avec des contraintes de temps et de ressources qui font que l'évaluation n'est pas une priorité. Cet article propose des éléments clés tirés de la pratique et de la recherche de type « advocacy » qui permettront d'informer et de guider les ONG dans leur choix de stratégies d'évaluation. Je ferai état des avancées dans le champ de l'analyse des politiques et des systèmes en Amérique du Nord, de même des avantages et des défis qui y sont liés. Finalement, une synthèse des principales étapes de la planification et de la réalisation d'une évaluation de type « advocacy » pourra guider les ONG qui souhaiteraient améliorer cette pratique dans leur propre organisation.

Analyse d'implantation d'une recherche-intervention sur le dépistage rapide du VIH dans la communauté gaie montréalaise

Auteurs :
Pages :
65-89

Spot est une recherche-intervention qui a permis l'implantation d'un service de dépistage rapide du VIH dans la communauté gaie montréalaise. Afin de décrire le processus d'implantation de Spot et les facteurs contextuels qui l'ont affecté, une étude de cas a été menée. Les analyses qualitatives ont permis d'identifier un processus d'implantation en plusieurs phases, modulé par des facteurs liés aux motivations des acteurs à s'engager dans le projet, à la complexité des dynamiques partenariales, aux défis de la coordination en contexte de recherche-intervention multidisciplinaire et intersectorielle et à l'organisation de l'équipe terrain au quotidien.

La fidélité d'implantation d'un programme probant au-delà de son implantation initiale : l'exemple de Ces années incroyables en protection de l'enfance de 2003 à 2013

Auteurs :
Pages :
90-108

Cet article présente une étude décrivant la fidélité d'implantation d'un programme probant et son évolution sur 10 ans. À partir des résultats de cette étude, les auteurs tissent des liens entre l'implantation des programmes, leurs effets et leur pérennité et discutent de certains enjeux entourant la mesure de la fidélité d'implantation. La discussion aborde les éléments pouvant influencer la fidélité d'implantation et la pérennité du programme étudié, dont les adaptations apportées. Les avantages et les limites d'une approche quantitative de l'évaluation de la fidélité d'implantation pour tracer un portrait de l'implantation sont également présentés.

Finding Balance: An Evaluation Governance Model to Ease Tension between Independence and Inclusion

Auteurs :
Pages :
109-121

Les spécialistes et les théoriciens ont documenté les avantages de la participation des utilisateurs en évaluation et, de la même façon, la valeur de données d'évaluation neutres et impartiales. Il reste que réaliser une évaluation aussi indépendante qu'inclusive est encore un défi de taille dans notre domaine. Dans la présente note de pratique, nous présentons une solution. Nous décrivons le design d'une structure d'évaluation de la gouvernance qui a servi à trouver un équilibre entre les deux thèmes. Nous nommons aussi les éléments clés de cette expérience et expliquons comment ils peuvent être adaptés pour répondre à des besoins particuliers. Nous avons documenté notre expérience puisque nous croyons que la gouvernance est une avenue prometteuse pour relever ce défi qui touche de nombreuses disciplines.

Building Evaluation Culture and Capacity in a Community-Level Program: Lessons Learned from Evaluating Youth Futures

Auteurs :
Pages :
122-130

Avenir Jeunesse est un programme complexe, appuyé par un partenariat local, qui vise à accroître l'accès aux études postsecondaires pour les jeunes venant de milieux marginalisés. Bien que les parties prenantes aient reconnu l'importance de l'évaluation dès la création du programme, intégrer une culture de l'évaluation et construire la capacité pour une pratique de l'évaluation dans ce programme mené en partenariat a présenté des défis. Nous décrivons nos expériences et des leçons qui ont été tirées quant aux façons de construire la capacité évaluative et de générer et maintenir un intérêt pour l'évaluation parmi un groupe divers de partenaires. L'article propose des recommandations pour d'autres qui cherchent à faire du travail d'évaluation en contexte communautaire.

L'analyse logique comme outil de soutien à l'application des connaissances dans le domaine psychosocial

Auteurs :
Pages :
131-142

Les organisations publiques offrant des services sociaux, notamment en déficience intellectuelle, déploient des efforts depuis une quinzaine d'années pour rehausser leurs pratiques par une plus grande adéquation avec les connaissances scientifiques. L'analyse logique, une approche ancrée dans l'évaluation théorique d'intervention, constitue une avenue prometteuse pour l'application des connaissances en milieux de pratique. À travers la description d'une analyse logique d'un programme de développement des habiletés sociales, cet article souligne ses retombées, soit le déploiement d'une pratique cohérente avec les connaissances scientifiques actuelles ainsi que la valorisation et la mise à profit des connaissances issues de l'expérience des conceptrices du programme.

Book Reviews: Patricia Burch and Carolyn J. Heinrich. (2015). Mixed Methods for Policy Research and Program Evaluation. Thousand Oaks, CA: SAGE. 211 pages.

Auteurs :
Pages :
143-145

Book Reviews: Patricia Burch and Carolyn J. Heinrich. (2015). Mixed Methods for Policy Research and Program Evaluation. Thousand Oaks, CA: SAGE. 211 pages.

Book Reviews: Thomas A. Schwandt. (2015). Evaluation Foundations Revisited: Cultivating a Life of Mind for Practice. Stanford, CA: Stanford University Press. 215 pages.

Auteurs :
Pages :
146-149

Book Reviews: Thomas A. Schwandt. (2015). Evaluation Foundations Revisited: Cultivating a Life of Mind for Practice. Stanford, CA: Stanford University Press. 215 pages.