Isabelle Bourgeois

Spring

Un mot de la rédactrice

Auteurs:
Un mot de la rédactrice L’équipe de rédaction de la RCEP est heureuse de noter la qualité et le calibre des soumissions que nous continuons à recevoir de la communauté d’évaluation, et les articles du présent numéro ne font pas exception à la règle. Les quatre premiers articles du numéro traitent de sujets d’actualité qui sauront intéresser autant les chercheurs et chercheuses que les praticiens et praticiennes, soit le premier sur le renforcement des capacités en évaluation (LaMarre, D’Avernas, Riley, Raff oul et Jain), le deuxième sur la modélisation des résultats des programmes (LaVelle et Dighe), le troisième sur la complexité des programmes et la théorie du changement (Douthwaite, Ahmad et Shah) et le quatrième sur le programme de désignation de la SCE (Lawson, Hunter et McDavid). Un cinquième article, rédigé par Dussault et Duquet, fait part des leçons apprises grâce à une évaluation eff ectuée dans les écoles du Québec. Nos quatre notes sur la pratique et la recherche mèneront sans doute aussi à des discussions pertinentes dans notre communauté. Roy et Searle nous font réfléchir à l’évaluation évolutive en discutant de glissement de portée; McDavid, Shepherd et Morin font part de leur expérience de collaboration interuniversitaire dans le domaine de la formation en évaluation; Lahey et ses collaborateurs et collaboratrices nous présentent une description de la façon dont l’évaluation est menée dans les gouvernements provinciaux et territoriaux partout au Canada; et Gauthier discute de la professionnalisation de la pratique de l’évaluation et de ses volets. Finalement, nous sommes heureux de présenter deux compte-rendus de livres, l’un par Gómez-Ramírez et l’autre par Sellick, qui nous donnent une bonne idée des nouvelles ressources qui s’offrent à nous, et de la façon dont elles pourraient avoir un effet sur notre pratique et nos réfl exions.
 
J’aimerais apporter une correction au mot de la rédactrice publié dans le numéro précédent en soulignant l’importante contribution de Katherine Graham et Rob Shepherd. J’offre toutes mes excuses à Katherine pour l’erreur qui s’est glissée dans son prénom.
 
Comme toujours, n’hésitez pas à nous faire part de vos commentaires et continuer à soumettre votre travail à la RCEP. Nous avons grandement réduit nos délais de publication grâce à l’appui de la SCE et du Conseil de recherches en sciences humaines. Nous avons hâte de vous lire bientôt ! 
 
Isabelle Bourgeois
Rédactrice en chef
 
 

Fall

Un mot de la rédactrice

Auteurs:
Je suis heureuse de vous présenter ce numéro de la RCEP, qui a deux segments thématiques, plusieurs notes sur la pratique ainsi que des comptes-rendu de livres à vous offrir. Le premier segment thématique, qui comprend un article de Catherine Fallon en français et un article de Lisa Birch et Steve Jacob en anglais, pour lequel M. Jacob a été le rédacteur invité, porte sur la démocratie et l’évaluation. Le deuxième segment thématique est composé de textes issus des conférences invitées sur la réconciliation et l’évaluation axée sur la culture présentées lors du Congrès national de la SCE en 2018; Nan Wehipeihana en est la rédactrice invitée. Nos conférencières et conférenciers ont généreusement transcrit et mis à jour leurs exposés pour en faire part à tous les membres de la SCE, et à d’autres évaluateurs et évaluatrices de partout dans le monde. J’aimerais profiter de l’occasion pour remercier Nicole Bowman-Farrell, Larry Bremner, Debbie Delancey, Kate McKegg et Nan Wehipeihana pour leurs contributions. En plus de ces deux segments, le présent numéro propose une importante mise à jour sur l’analyse de contribution préparée par John Mayne; un outil pour évaluer les partenariats, présenté par Angèle Bilodeau et Gillian Kranias; un inventaire des programmes canadiens de formation en évaluation réalisé par Theresa Hunter et James McDavid; et un modèle d’évaluation développé par Catherine Fréchette-Simard, Jonathan Bluteau et Isabelle Plante. Ce numéro comprend également une note sur la pratique et la recherche de Jeremy Acree au sujet des principes visant à guider les approches collaboratives d’évaluation, ainsi qu’une note de Christopher Cook et ses collaborateurs sur l’évaluation fondée sur le théâtre. Finalement, vous trouverez aussi deux comptes-rendu de livres. Je remercie les auteur.e.s qui continuent à nous envoyer leurs soumissions et leurs contributions et j’espère que le présent numéro saura générer des réflexions enrichissantes pour tous nos lecteurs et toutes nos lectrices.
 
Isabelle Bourgeois Rédactrice en chef
 

Spring

Un mot de la rédactrice

Auteurs:

Le présent numéro de la Revue canadienne d’évaluation de programme (RCEP) est l’un de nos plus complets à ce jour. On y retrouve cinq articles, cinq notes sur la pratique et deux compte-rendus de livres qui traitent d’une vaste gamme d’études, de pratiques et de sujets liés à l’évaluation. Je suis heureuse de noter que notre équipe de rédaction ne cesse de recevoir des soumissions de grande qualité et je vous encourage à continuer à envoyer vos manuscrits à la RCEP.

Les articles et les notes sur la pratique du présent numéro portent sur quatre thèmes récurrents qui représentent les plus récentes tendances dans notre domaine. Tout d’abord, la pensée évaluative et le renforcement des capacités des organisations non gouvernementales sont abordés dans les articles de Rogers, Kelly et McCoy, et de Lu, Elliot et Perlman. Ces deux articles traitent des facteurs et conditions qui facilitent et nuisent au renforcement des capacités en évaluation et au développement de la pensée évaluative. Deuxièmement, l’évaluation de la mise en œuvre semble intéresser praticiens et chercheurs : Leblanc, Gervais, Dubeau et Delame se penchent sur l’évaluation de la mise en œuvre dans le cadre de projets liés à la santé mentale, tandis que Parrott et Carman donnent un exemple de la façon dont ce type d’évaluation peut contribuer au déploiement à plus grande échelle d’un programme. Chechak, Dunlop et Holosko parlent aussi de l’évaluation de la mise en œuvre et de son utilité dans l’évaluation de programmes d’accueil pour jeunes. Les professeurs et les étudiants en évaluation pourraient être particulièrement intéressés par notre troisième thème, soit les contributions étudiantes à l’évaluation, à la fois par le mentorat par les pairs — dont on parle dans la note sur la pratique rédigée par LaChenaye, Boyce, Van Draanen, et Everett — et par le concours d’évaluation annuel de la Société canadienne d’évaluation, dont il est question dans la note sur la pratique de Sheppard, Baker, Lolic, Soni et Courtney. Finalement, nous continuons à faire progresser nos approches méthodologiques, comme le montre l’article sur l’évaluation dans des contextes autochtones par Chandna, Vine, Snelling, Harris, Smylie et Manson, et l’article sur l’utilisation d’un outil de suivi des résultats pour l’évaluation du rendement dans un contexte de psychologie clinique par Rosval, Yamin, Jamshidi et Aubry. Czechowski, Sylvestre et Moreau traitent aussi de méthodes dans leur note sur la pratique sur la sécurisation des données pour les évaluateurs et évaluatrices, une compétence clé qui continue à se développer à mesure que nos mécanismes de cueillette et d’entreposage des données s’adaptent aux nouvelles technologies.

En plus de ces articles et de ces notes sur la pratiques, le présent numéro présente deux comptes-rendus de livres qui intéresseront sûrement nos lecteurs et lectrices. Premièrement, Bhawra se penche sur Developing Monitoring and Evaluation Frameworks , par Patrick Markiewicz (2016), et, deuxièmement, Sellick examine Collaborative, Participatory, and Empowerment Evaluation: Stakeholder Involvement Approaches , par David Fetterman, Liliana Rodriguez-Campos, Ann Zukoski et autres contributeurs et contributrices (2018).

Au nom de toute l’équipe de rédaction, j’espère que ces travaux généreront des discussions et des réflexions fructueuses et contribueront à bonifier nos pratiques et connaissances collectives. Comme toujours, si vous avez des commentaires à faire sur le présent numéro, n’hésitez pas à communiquer avec moi. Vos idées seront toujours bienvenues!

Fall

Editor's Remarks / Un mot de la rédactrice

Auteurs:
Pages:
v-vii

Au moment de passer en revue tous les articles inclus dans le présent numéro de la RCÉP, j’ai constaté que chacun d’eux, à sa façon, traite de personnes, d’organisations et de groupes. Je n’en suis pas surprise, puisque notre travail d’évaluateurs et évaluatrices nous met constamment en contact avec des parties prenantes, des clients, des gestionnaires et des bénéficiaires. Ce lien entretenu avec autrui définit fréquemment notre travail et nous distingue d’autres disciplines. Pour commencer, Carman et Fredericks nous proposent un article sur l’analyse des réseaux sociaux, une approche de plus en plus utilisée dans notre domaine. Elles nous décrivent la façon, le moment et les conditions d’utilisation de l’analyse des réseaux sociaux dans un contexte d’évaluation, en plus de nous résumer des exemples pratiques, qui illustrent le potentiel de cette approche mais aussi les défi s qui y sont associés.

Je suis aussi heureuse de présenter un segment thématique, que j’ai dirigé en collaboration avec Marthe Hurteau, sur la participation des parties prenantes à l’évaluation, qui fait suite à un colloque sur le sujet tenu en 2016. Comme évaluateurs et évaluatrices, nous apprenons constamment comment mieux inclure les parties prenantes à notre travail, et les quatre articles inclus dans ce segment offrent de nouvelles perspectives à ce sujet, tirées de la recherche et de la pratique.

L’implication des parties prenantes dans la démarche évaluative : facteurs de succès et leçons à retenir

Auteurs:
Pages:
236-246

Les trois articles de cette section thématique abordent le rôle et la participation des parties prenantes dans la démarche évaluative selon des angles différents. Nous reprenons dans ce texte les points principaux des trois articles, afin d’identifier les facteurs de succès qu’on y retrouve et d’en tirer des leçons. Pour ce faire, nous nous inspirons des « Principes visant à guider les approches collaboratives en évaluation », identifiés par Shulha, Whitmore, Cousins, Gilbert et Al Hudib (2016).

Special Section: Stakeholder Involvement in Evaluation / Implication des parties prenantes en évaluation

Auteurs:
Pages:
188

En mai dernier, l’Association francophone pour le savoir (ACFAS) était l’hôte d’un colloque sur la place et le rôle des parties prenantes au sein de la pratique évaluative (Montréal, mai 2016). Plusieurs théoriciens et praticiens ont répondu à l’appel et leurs diverses présentations ont été l’occasion de s’informer sur leurs dernières recherches et réflexions ainsi que d’engager un riche dialogue. Trois présentateurs ont décidé de donner suite à cette journée en soumettant un article que nous regroupons dans le présent numéro de la Revue. Il s’agit de Marie-Pier Marchand, de Diane Dubeau et collaborateurs ainsi que de Sylvain Houle et collaborateurs.

Plus précisément, Marie-Pier Marchand revisite le thème de l’implication des parties prenantes en effectuant un survol de la littérature existante à ce jour. Pour sa part, Diane Dubeau et ses collaborateurs documentent les conditions gagnantes favorisant cette participation en décrivant deux modalités différentes, soit la recherche-action et l’accompagnement soutenu et efficace. Finalement, Sylvain Houle et ses collaborateurs traitent de la dimension relationnelle au sein de la démarche évaluative en introduisant le concept de sagesse pratique.

Nous espérons que cette brève présentation des trois articles saura susciter votre curiosité.

Bonne lecture!

Spring

Editor's Remarks / Un mot de la rédactrice

Auteurs:
Pages:
v-vii

Le présent numéro de la Revue canadienne d’évaluation de programme interpellera les évaluateurs et les évaluatrices aux intérêts variés, oeuvrant dans de nombreux secteurs. Les articles et les notes sur la pratique présentés traitent d’approches méthodologiques innovatrices, appliquées à divers contextes de pratique, comme la santé et l’éducation. Tout d’abord, l’article de Rusticus, Eva et Peterson fait état de la pertinence des échelles de notation alignées sur les concepts comme outil d’évaluation, tout particulièrement dans le domaine de l’éducation médicale. L’article apporte une contribution importante au domaine en nous aidant à conceptualiser l’élaboration d’une échelle en vue de recueillir des données de façon plus efficace. Ensuite, Rosella et ses collègues montrent qu’une stratégie de courtage des connaissances réalisée en équipe appuie de façon efficace l’utilisation du Diabetes Population Risk Tool (DPorT) dans un contexte de santé publique. L’article suivant, de Chen et ses coauteurs, résume les résultats d’une étude comparative empirique de modèles d’évaluation à l’aide d’un projet pédagogique à vaste échelle à Taiwan. L’article traite précisément de l’utilité de modèles d’évaluation à des fins de planification et de développement. L’article de Contandriopoulos, Larouche et Duhoux s’adresse particulièrement aux évaluateurs qui travaillent de près avec les universités ou les établissements de recherche. En faisant appel à des méthodes d’analyse de réseau social, les auteurs ont noté une corrélation positive entre les collaborations et la productivité au chapitre de la recherche. Ils ont d’ailleurs poussé plus loin leur enquête pour se pencher sur le rôle joué par les réseaux officiels dans les collaborations de recherche. Ensuite, l’article de Mediell et Dionne présente une liste de contrôle de la qualité d'un plan d’évaluation, qui a été créée et validée de façon empirique. La liste de contrôle se montrera sans doute utile autant aux évaluateurs débutants que chevronnés qui doivent concevoir et mettre en oeuvre de futures études d’évaluation.

Special Issue

Strategic Evaluation Utilization in the Canadian Federal Government

Auteurs:
Pages:
327-346

Cet article a pour but d’examiner l’utilisation des évaluations fédérales lors des exercices de révision budgétaire et de réaffectation des ressources financières au gouvernement fédéral. Notre étude de cas multiples comprenait à la fois une analyse de contenu qualitative de rapports d’évaluation publiés entre 2010 et 2013 ainsi que des entretiens semi-dirigés auprès d’évaluateurs et de gestionnaires de programmes. Nos résultats démontrent qu’en général, les évaluations n’ont pas servi à la prise de décisions stratégiques par la haute direction. Nous croyons que trois éléments sont en cause : a) les exigences de la Politique sur l’évaluation (2009) en vigueur pendant notre étude ; b) la portée des évaluations fédérales, qui ont tendance à évaluer un seul programme ; et c) la diffusion publique des rapports d’évaluation.

Editor's Remarks / Un mot du rédacteur

Auteurs:
Pages:
v-vii

Je suis honorée de vous adresser la parole pour la première fois comme rédactrice en chef de la Revue canadienne d’évaluation de programme (RCÉP). Je fais partie de l’équipe de la RCEP depuis plusieurs années; j’y ai déjà joué le rôle de rédactrice des comptes-rendus ainsi que celui de rédactrice associée. J’entreprends mes nouvelles tâches bien consciente des réalisations passées et remplie d’enthousiasme vis-à-vis de l’avenir. Je veux remercier Robert Schwartz pour son leadership des sept dernières années; son influence sur la qualité et la portée de la Revue se fera sentir encore des années durant. J’ai le privilège d’être accompagnée d’une équipe de rédaction hautement compétente et engagée, composée d’Emily Taylor, d’Astrid Brousselle, de Jill Chouinard et de Jane Whynot, quatre femmes ayant une grande expérience combinée dans les domaines de l’évaluation, de l’enseignement, du gouvernement et de l’expertise-conseil. Deux étudiantes bénévoles se sont récemment jointes à notre équipe, soit Hélène Lévesque et Michelle Naimi. Elles ont déjà fait des contributions d’une grande valeur. Nous sommes reconnaissantes de l’appui et des conseils des membres de notre conseil de rédaction, actuels ou nouveaux, qui se sont tous engagés cette année à contribuer à la Revue pour les trois prochaines années. Merci!

Fall

Measuring Evaluation Capacity in Ontario Public Health Units

Auteurs:
Pages:
165-183

L'étude présentée dans cet article visait à mesurer la capacité organisationnelle en évaluation de 32 bureaux de santé publique en Ontario. Pour ce faire, deux méthodes ont été employées: l'Instrument d'autoévaluation de la capacité organisationnelle en évaluation, élaboré par Bourgeois, Toews, Whynot et Lamarche (2013), ainsi que des entretiens semi-dirigés. Les résultats de l'étude démontrent que la majorité des bureaux de santé publique recensés développent toujours leur capacité à produire des évaluations de qualité et à les utiliser. Plusieurs facteurs organisation- nels contribuent à renforcer cette capacité, tels que l'existence d'une politique organi- sationnelle d'évaluation, la disponibilité d'évaluateurs à temps plein pour diriger les travaux d'évaluation effectués par les programmes, l'implication directe du personnel dans la démarche évaluative, et une démarche uniformisée d'évaluation, appliquée de façon systématique. Les résultats de l'étude mettent en valeur l'importance des structures et systèmes organisationnels à l'utilisation de l'évaluation et suggèrent certaines pistes d'amélioration pour les organisations qui souhaitent renforcer leur capacité en évaluation.