Volume 34, 2019 - Automne

Un mot de la rédactrice

Auteurs :
Je suis heureuse de vous présenter ce numéro de la RCEP, qui a deux segments thématiques, plusieurs notes sur la pratique ainsi que des comptes-rendu de livres à vous offrir. Le premier segment thématique, qui comprend un article de Catherine Fallon en français et un article de Lisa Birch et Steve Jacob en anglais, pour lequel M. Jacob a été le rédacteur invité, porte sur la démocratie et l’évaluation. Le deuxième segment thématique est composé de textes issus des conférences invitées sur la réconciliation et l’évaluation axée sur la culture présentées lors du Congrès national de la SCE en 2018; Nan Wehipeihana en est la rédactrice invitée. Nos conférencières et conférenciers ont généreusement transcrit et mis à jour leurs exposés pour en faire part à tous les membres de la SCE, et à d’autres évaluateurs et évaluatrices de partout dans le monde. J’aimerais profiter de l’occasion pour remercier Nicole Bowman-Farrell, Larry Bremner, Debbie Delancey, Kate McKegg et Nan Wehipeihana pour leurs contributions. En plus de ces deux segments, le présent numéro propose une importante mise à jour sur l’analyse de contribution préparée par John Mayne; un outil pour évaluer les partenariats, présenté par Angèle Bilodeau et Gillian Kranias; un inventaire des programmes canadiens de formation en évaluation réalisé par Theresa Hunter et James McDavid; et un modèle d’évaluation développé par Catherine Fréchette-Simard, Jonathan Bluteau et Isabelle Plante. Ce numéro comprend également une note sur la pratique et la recherche de Jeremy Acree au sujet des principes visant à guider les approches collaboratives d’évaluation, ainsi qu’une note de Christopher Cook et ses collaborateurs sur l’évaluation fondée sur le théâtre. Finalement, vous trouverez aussi deux comptes-rendu de livres. Je remercie les auteur.e.s qui continuent à nous envoyer leurs soumissions et leurs contributions et j’espère que le présent numéro saura générer des réflexions enrichissantes pour tous nos lecteurs et toutes nos lectrices.
 
Isabelle Bourgeois Rédactrice en chef
 

2018 Keynote Panel Members on Reconciliation and Culturally Responsive Evaluation— Rhetoric or Reality?

Auteurs :
Pages :
229-330

Introduction to Articles Prepared by CES Calgary

Debbie DeLancey

2018 CES Conference Co-Chair
When selecting a theme for the 2018 Canadian Evaluation Society Annual Conference, the co-chairs wanted to build on the CES Board’s 2016 motion in response to the Truth and Reconciliation Commission’s Calls to Action, committing to including reconciliation in its values, principles, and practices, with a specifi c commitment to strengthen the promotion of, and support for, culturally responsive evaluation. We wanted a theme that would challenge evaluators to explore what it means to truly work as collaborative partners and allies, not only with Indigenous governments and communities but also with other populations and communities that have traditionally been disempowered.

Revisiting Contribution Analysis

Auteurs :
Pages :
171-191

Résumé :

Les principes fondamentaux de l’analyse de contribution ont été établis en 2001. Depuis lors, l’intérêt porté à cette approche a crû et l’analyse de contribution a été opérationnalisée de différentes façons. De plus, plusieurs examens de cette approche ont été publiés et ont soulevé quelques inquiétudes. Dans cet article, je clarifi e plusieurs concepts de l’analyse de contribution, incluant les causes contributives et les énoncés de contribution. Je discute de la nécessité de faire appel à des théories du changement raisonnablement robustes et d’utiliser des théories complémentaires du changement pour comprendre des contextes complexes. Au chapitre des énoncés de contribution, je soutiens qu’il est nécessaire d’élaborer des narratifs causaux pour arriver à des attributions crédibles; que les facteurs causaux externes jouent un rôle limité dans l’atteinte des énoncés de contribution; que l’utilisation de théories du changement robustes permet d’éviter les biais; et que les opinions des intervenant.e.s sur la contribution ne devraient pas jouer un rôle central dans l’établissement des énoncés de contribution.

Mots clé : facteurs causaux, narratifs causaux, analyse de contribution, attributions de contribution, causes contributives, théories du changement

 

Self-Evaluation Tool for Action in Partnership: Translation and Cultural Adaptation of the Original Quebec French Tool to Canadian English

Auteurs :
Pages :
192-206

Résumé : Cet article présente la traduction et l’adaptation culturelle, en anglais canadien, de l’Outil diagnostique de l’action en partenariat, largement utilisé pour soutenir la pratique des partenariats depuis sa création en français, au Québec, en 2008. Les fondements théoriques et les propriétés de l’outil original sont présentés. Suivent ensuite la démarche méthodologique et la présentation des résultats. La méthodologie comprend un comité d’experts pour la traduction de l’outil vers l’anglais et la vérification de son équivalence avec l’outil original, et un pré-test eff ectué auprès d’utilisateurs potentiels. Cette procédure rigoureuse assure l’équivalence de l’outil traduit et son adaptation culturelle aux utilisateurs visés.

Mots clés : action en partenariat, action en réseau, action intersectorielle, outil d’auto-évaluation des partenariats, traduction-adaptation d’outils de mesure

 

Comparison of Canadian and American Graduate Evaluation Education Programs

Auteurs :
Pages :
207-234

Résumé :

La formation universitaire en évaluation contribue signifi cativement à sa professionnalisation. La présente étude visait à développer un inventaire pancanadien des programmes et des cours en l’évaluation, et ce, aux cycles supérieurs. La collecte de données a permis de rejoindre 105 départements universitaires en ayant recours aux informations disponibles sur les sites internet ou en contactant des personnes-ressources. Des comparaisons ont été effectuées avec les recensements des programmes d’évaluation américains aux cycles supérieurs entre 1980 et 2018. Bien que le Canada compte environ deux fois moins de programmes aux cycles supérieurs off rant plusieurs cours en évaluation comparativement aux États-Unis en 2018, le nombre relatif de ses programmes est beaucoup plus élevé si nous tenons compte de la taille des deux populations. De plus, le Canada possède également un éventail plus diversifié de disciplines offrant une formation en évaluation de programme.
Mots clé : comparaisons Canada – États-Unis, formation en évaluation, inventaire, professionnalisation

 

Évaluation de la mise en oeuvre du programme d’intervention In vivo chez les jeunes de 11–12 ans d’une école primaire québécoise présentant un problème de comportements intériorisés

Auteurs :
Pages :
235-254

Une étude exploratoire

Université du Québec à Montréal

Résumé : Les troubles intériorisés représentent le problème de santé mentale le plus courant chez les jeunes de 10 à 17 ans. La présente étude exploratoire a évalué, dans une école primaire québécoise, l’implantation du programme In vivo, qui s’appuie sur les compétences à gérer le stress pour limiter les comportements intériorisés. Utilisant un devis mixte d’évaluation, les participants au programme (n = 4, 11–12 ans), leurs parents (n = 4) et des intervenants scolaires impliqués (n = 7) ont pris part à l’étude. Les résultats soulignent la pertinence du programme dans ce contexte et révèlent les obstacles et facilitateurs de l’implantation.
Mots clé : anxiété, évaluation de programme, école primaire, prévention, stress, troubles intériorisés

Dramatizing Learning, Performing Ourselves: Stories of Theatre-Based Evaluation in Vancouver’s Downtown Eastside

Auteurs :
Pages :
255-271

 

Résumé :

Voices UP! , une pièce de théâtre communautaire créée et interprétée collectivement avec des participants du Downtown Eastside de Vancouver, illustre l’utilisation du théâtre comme méthode d’évaluation novatrice pour la collecte de données, l’analyse et l’application des connaissances. Ce processus artistique peut transmettre des résultats d’évaluations complexes et expérientiels et créer des mécanismes d’apprentissage intéressants, tout en construisant des relations et des compétences entre les participants. Dans cet article, nous décrivons le processus de création employé pour ce projet d’évaluation fondé sur le théâtre, ainsi que les principes directeurs et les leçons apprises pour les évaluateurs et évaluatrices qui souhaiteraient s’engager dans un travail participatif similaire basé sur le théâtre.
Mots clé : évaluation fondée sur les arts, traduction des connaissances, évaluation participative, recherche basée sur le théâtre
 

Applying the Collaborative Approaches to Evaluation (CAE) Principles in an Educational Evaluation: Reflections from the Field

Auteurs :
Pages :
272-281

University of North Carolina at Greensboro

Résumé :

La présente note sur la pratique présente des réflexions sur l’application des principes visant à guider les approches collaboratives en évaluation (ACE) pour orienter la planification, la mise en oeuvre et la gestion d’une évaluation collaborative dans un contexte d’enseignement supérieur. La réflexion est fondée sur l’évaluation d’un programme d’intégration de la technologie conçu pour la préparation des enseignantes et enseignants de la maternelle à la 12 e année, dans une faculté d’éducation d’une université publique du sud-est des États-Unis. L’évaluation a été réalisée pendant une période d’un an par l’auteur et par une équipe diversifiée d’évaluatrices et d’évaluateurs chevronné.e.s et débutant.e.s. La discussion des principes et de leur influence sur la pratique collaborative découle d’une analyse des réfl exions des évaluatrices et évaluateurs, de rencontres avec des intervenant.e.s et d’une entrevue finale avec les intervenant.e.s, qui ont été enregistrées et consignées tout au long de l’évaluation. Les principales conclusions tirées de notre réflexion et de notre analyse

Démocratisation et effi cience sont-elles antinomiques au niveau local?/The generalized use of new public management tools, in the name of the effi ciency and effectiveness of public action

Auteurs :
Pages :
282-302

Démocratisation et effi cience sont-elles antinomiques au niveau local?Le cas des réformes managériales des administrations publiques locales en Wallonie1

Université de Liège

Résumé : La généralisation du recours aux instruments du « New Public Management » (NPM), au nom de l’efficacité et de l’efficience de l’action publique, impose de reformuler la question du lien entre démocratie et administration. Au niveau local, il est possible d’analyser à nouveau frais le triangle entre politique – administration – citoyens, tel qu’il évolue suite à l’appropriation des nouveaux instruments de gestion stratégique et des dispositifs participatifs. L’étude de l’émergence de ces dispositifs en Wallonie met en évidence de nouveaux modes d’exercice du pouvoir et d’action publique et pose la question de leur inscription dans une logique de renforcement démocratique.
Mots clé : Administration publique, gestion stratégique, participation, pouvoirs locaux.

 

Nation-to-Nation Evaluation: Governance, Tribal Sovereignty, and Systems Thinking through Culturally Responsive Indigenous Evaluation

Auteurs :
Pages :
343-356

University of Wisconsin – Madison / Bowman Performance Consulting

Résumé :

Le présent article a été présenté dans le cadre de la séance plénière d’ouverture du Congrès annuel de la SCÉ à Calgary (Alberta) le 27 mai 2018. En racontant les récits des origines des Premières Nations/peuples autochtones et de nos collègues occidentaux en évaluation, nous pouvons commencer à comprendre l’histoire et les applications pratiques de faire connaître la vérité par l’intermédiaire de l’évaluation. La doctrine de découverte est rarement racontée dans le cadre des canons de l’histoire occidentale ou de la pratique contemporaine de l’évaluation. Des eff ets significatifs et négatifs en matière de culture, de droits de la personne et de société, qui ont des racines institutionnelles et systémiques profondes, continuent de causer du tort aux Premières Nations/populations autochtones partout dans le monde. Pour changer des siècles de résultats et d’impacts négatifs, nous devons comprendre notre origine personnelle et les histoires d’origine de l’évaluation. La

 

White Privilege and the Decolonization Work Needed in Evaluation to Support Indigenous Sovereignty and Self-Determination

Auteurs :
Pages :
357-367

The Kinnect Group

Résumé :

Le présent article vient la conférence invitée de Kate McKegg, une évaluatrice non autochtone pākehā d’Aotearoa en Nouvelle-Zélande, lors du Congrès annuel de la Société canadienne d’évaluation en 2018. Mme McKegg discute du concept et des conséquences, pour les personnes autochtones, du privilège blanc dans les Nations occidentales colonisées. Elle parle des façons par lesquelles le privilège blanc et ses conséquences jouent un rôle dans le domaine de l’évaluation, perpétuant ainsi des pratiques et des sentiments coloniaux qui maintiennent et renforcent des inégalités et des injustices, et menacent potentiellement les aspirations en matière de justice sociale de ce domaine. Mme McKegg fait valoir que les personnes bénéfi ciant du privilège blanc ont beaucoup de travail à faire pour décortiquer et comprendre leurs privilèges, si elles veulent avoir l’occasion de jouer un rôle dans la déconstruction et le démantèlement des structures de pouvoir qui permettent aux systèmes colonisateurs

 

Increasing Cultural Competence in Support of Indigenous-Led Evaluation: A Necessary Step toward Indigenous-Led Evaluation

Auteurs :
Pages :
368-384

Research Evaluation Consultancy Limited

Résumé :

Cet article vient compléter la conférence invitée de Nan Wehipeihana, une évaluatrice autochtone (māori) d’Aotearoa en Nouvelle-Zélande, lors du Congrès annuel de la Société canadienne d’évaluation en 2018. Mme Wehipeihana défi nit l’évaluation autochtone comme une évaluation menée par des personnes autochtones ; qui présente des avantages clairs pour les peuples autochtones; dont l’équipe d’évaluation est surtout composée de personnes autochtones ; qui est consciente des contextes communautaires et tribaux ; et qui est orientée par des principes, des pratiques et des connaissances autochtones. Elle soutient que l’évaluation autochtone devrait être menée par des Autochtones, sans rôles présumés ou automatiques pour les personnes non autochtones à moins qu’elles ne soient invitées à y participer. Elle décrit toute une gamme de tactiques visant à appuyer le développement des évaluateurs et des évaluatrices autochtones et de l’évaluation autochtone. Elle présente aussi un modèle permettant aux évaluateurs et aux évaluatrices non autochtones d’évaluer leur pratique et d’explorer la manière dont le pouvoir est partagé ou non, en évaluation,

Comptes rendus de livres/ Book Reviews

Auteurs :
Pages :
385-387

Anne Vo and Christina A. Christie (Eds.). (2015).

Evaluation Use and Decision Making in Society: A Tribute
to Marvin C. Alkin. Charlotte, NC: Information Age
Publishing. Paperback, 190 pages.
(ISBN: 978-1-68123-004-7)
Reviewed by Margaret Schultz Patel , University of Denver/ Schultz Patel Evaluation
Compared to other branches of research, the field of evaluation is uniquely concerned with producing actionable information. Without this charge, it is not clear what would distinguish evaluation from other types of applied research. Despite this seemingly simple focus, seasoned evaluators know all too well that there are oft en many barriers to shepherding evaluations toward achieving this fi nal purpose. The volume under review contains the musings of seasoned evaluators and evaluation theorists grappling with these barriers from many diff erent perspectives.

Comptes rendus de livres / Book Reviews

Auteurs :
Pages :
388-390

Scott G. Chaplowe and J. Bradley Cousins. (2016).
Monitoring and Evaluation Training: A Systematic Approach . Thousand Oaks, CA: SAGE. Hardcover, 439 pages. (ISBN 978-1-4522-8891-8)
Reviewed by Michele Tarsilla , UNICEF, West and Central Africa, Regional Offi ce, Dakar, Senegal

When I first looked at the title of this book, I confess that I had mixed feelings. First, the book’s focus on “monitoring and evaluation” seemed a bit too broad: monitoring and evaluation certainly complement each other; however, their respective specificities risk being neglected when the “M” and the “E” are bundled together. Next, the book’s focus on “training” seemed too narrow to tackle the complexity of the M&E capacity realms. Specialized literature confi rms that training by itself is only one of the many strategies one could pursue to strengthen M&E capacity. I have argued for years that the excessive attention given to training (a phenomenon that I refer to as the objectification of capacity) has undermined efforts made thus far to strengthen national M&E capacity. To the contrary, it is through interventions and strategies geared toward capacity strengthening at not only the individual but also the organizational and systemic levels that sustainable and contextually relevant Evaluation Capacity Development (ECD) occurs (Tarsilla, 2014).