J. Bradley Cousins

Fall

Comptes rendus de livres / Book Reviews

Auteurs:
Pages:
388-390

Scott G. Chaplowe and J. Bradley Cousins. (2016).
Monitoring and Evaluation Training: A Systematic Approach . Thousand Oaks, CA: SAGE. Hardcover, 439 pages. (ISBN 978-1-4522-8891-8)
Reviewed by Michele Tarsilla , UNICEF, West and Central Africa, Regional Offi ce, Dakar, Senegal

When I first looked at the title of this book, I confess that I had mixed feelings. First, the book’s focus on “monitoring and evaluation” seemed a bit too broad: monitoring and evaluation certainly complement each other; however, their respective specificities risk being neglected when the “M” and the “E” are bundled together. Next, the book’s focus on “training” seemed too narrow to tackle the complexity of the M&E capacity realms. Specialized literature confi rms that training by itself is only one of the many strategies one could pursue to strengthen M&E capacity. I have argued for years that the excessive attention given to training (a phenomenon that I refer to as the objectification of capacity) has undermined efforts made thus far to strengthen national M&E capacity. To the contrary, it is through interventions and strategies geared toward capacity strengthening at not only the individual but also the organizational and systemic levels that sustainable and contextually relevant Evaluation Capacity Development (ECD) occurs (Tarsilla, 2014).

Fall

Advancing Patient Engagement in Health Service Improvement: What Can the Evaluation Community Offer?

Auteurs:
Pages:
202-221

Malgré les efforts consentis pour mieux faire participer les patients à l'amélioration de la qualité des soins de santé, la pratique d'évaluation dans ce contexte reste généralement conventionnelle et non collaborative. Après une description du problème, nous discutons des théories et des recherches pertinentes dans le domaine des soins axés sur le patient et de la participation des patients, avant de nous pencher sur les avantages possibles d'approches collaboratives et participatives en évaluation pour de telles initiatives. Nous avançons que les approches collaboratives en évaluation conviennent logiquement à l'évaluation d'initiatives de soins axés sur les patients et suggérons ensuite des contributions possibles de la communauté de l'évaluation à la promotion de la participation des patients. Finalement, nous décrivons un programme de recherche qui cerne des secteurs d'importance où un examen approfondi serait de mise.

Special Issue

Reflections on the Meaning of Success in Collaborative Approaches to Evaluation: Results of an Empirical Study

Auteurs:
Pages:
328-349

Comment les évaluateurs utilisant des approches collaboratives à l'évaluation définissent-ils le succès? Voici la question de base posée dans une analyse plus poussée de données tirées de travaux précédents (Cousins, Whitmore et Shulha, 2013; Shulha et al., 2016) qui ont permis d'élaborer un ensemble de principes scientifiquement fondés visant à orienter la pratique de l'évaluation collaborative. En examinant les données de 320 réponses à notre sondage (de 2012), nous nous sommes penchés sur ce que nos répondants ont jugé être des projets d'évaluation collaborative «très réussis» et «moins réussis qu'espéré». Les résultats ont révélé que l'utilisation de l'évaluation, les relations et les besoins en information sont des facteurs clés. Nous proposons un cadre conceptuel pour penser le succès en matière d'approche collaborative en évaluation.

Special Issue

A Cross-cultural Evaluation Conversation in India: Benefits, Challenges, and Lessons Learned

Auteurs:
Pages:
329-343

Sous forme de discussion, l'article fait le point sur cinq années de relations entre un évaluateur canadien et un groupe de collègues indiens ayant travaillé, dans le contexte d'une évaluation interculturelle regroupant plusieurs projets, sur la réforme de l'éducation en Inde. Le projet était financé par un consortium multilatéral de subventionneurs. Des spécialistes occidentaux de l'évaluation ont collaboré avec leurs collègues indiens (a) au développement des capacités en évaluation dans le pays, et (b) à la production de connaissances en évaluation concernant des projets éducatifs de qualité associés à une réforme majeure de l'éducation. L'article est tiré d'une conversation entre le chercheur principal du Canada et trois de ses collègues de l'Inde ayant participé à toutes les étapes du travail. Il est centré sur leurs perspectives et expériences respectives, et aborde notamment les avantages du rapprochement entre les deux systèmes de connaissances, occidental et indien, et les difficultés qu'il soulève. L'article s'ouvre sur la présentation générale du projet et poursuit avec les échanges des participants au sujet de leur expérience d'évaluation interculturelle. Il se termine par une analyse des questions soulevées par la discussion et une synthèse des leçons à retenir pour les évaluateurs qui s'intéressent à l'évaluation interculturelle.

Fall

Meeting at the Crossroads: Interactivity, Technology, and Evaluation Utilization

Auteurs:
Pages:
143-159
Cet article est une critique et une intégration de la littérature portant sur l'utilisation de l'évaluation. Il met un accent novateur sur l'utilisation de la technologie pour accroître l'utilité de l'évaluation. Les recherches sur l'utilisation de l'évaluation représentent l'un des importants dilemmes en cours dans le domaine de l'évaluation : qu'est-ce que les intervenants considèrent comme étant utile ou pertinent? Nous pensons qu'une approche constructiviste est utile pour donner un sens à la trajectoire de ce corpus, dans lequel ce qui est « utile » et ce qui évolue en « usage » sont devenus des notions plus fl exibles, lesquelles sont continuellement renégociées par les évaluateurs et les parties intéressées. Nous postulons qu'il peut être important pour les évaluateurs travaillant étroitement avec les intervenants de porter une plus grande attention à cette interactivité afin de développer une vision commune de ce qui est « utile ». Nous postulons que, bien qu'il ne s'agisse pas d'une mince tâche, les évaluateurs pourraient tirer profit d'une exploration des innombrables technologies et des outils sociaux disponibles. L'utilisation de ces outils dans des contextes locaux axés sur la participation pourrait être utile pour encourager l'interactivité, ce qui pourrait encourager l'apprentissage, la créativité et l'appropriation. Cet article cherche à mettre l'accent sur le fait que l'intégration de la technologie dans la pratique quotidienne d'évaluation, lorsque possible, pourrait, finalement, améliorer l'utilité et la pertinence de l'évaluation.

Special Issue

Understanding Organization Capacity for Evaluation: Synthesis and Integration

Auteurs:
Pages:
225-237

Ce numéro spécial de la Revue examine la capacité organisationnelle en évaluation et le renforcement des capacités d'évaluation (RCÉ) de façon empirique. Le numéro spécial met en vedette deux sondages auprès d'évaluateurs et sept études de cas (cas unique ou multiple) auprès d'organismes oeuvrant dans une variété de régions géographiques (e.g., l'Ontario du centre-est, la Californie, Hawaii, le Minnesota, et l'Israël). Dans l'article présenté ici, les auteurs identifient les thèmes et les courants qui émergent de ces études ainsi que les enjeux auxquels font face ceux qui désirent renforcer les capacités d'évaluation de leur organisme. Les thèmes identifiés sont la définition du RCÉ, ses résultats, le contexte organisationnel, la mise en oeuvre d'activités visant le RCÉ, et les facteurs habilitant ou limitant le processus dans les organisations.

Organizational Capacity to Do and Use Evaluation: Results of a Pan-Canadian Survey of Evaluators

Auteurs:
Pages:
1-35

Malgré un intérêt accru pour l'intégration de l'enquête évaluative dans les fonctions organisationnelles et dans la culture organisationnelle, la disponibilité de recherche empirique sur le renforcement des capacités organisationnelles à faire et à utiliser l'évaluation est limitée. Cette étude exploratoire et descriptive auprès d'évaluateurs internes canadiens situe le renforcement des capacités d'évaluation dans le contexte des caractéristiques organisationnelles (apprentissage, structures d'appui), de la réalisation et de l'utilisation des évaluations, et des variables qui interviennent pour médier l'utilisation. Nous avons reçu 340 réponses utilisables à un sondage en ligne. Cet article fourni un compte-rendu des résultats et un aperçu préliminaire des différences selon le rôle des répondants, les types d'organisme, et le niveau perçu de connaissances en évaluation. Les résultats démontrent une tendance vers des scores modérément élevés en ce qui a trait à l'apprentissage organisationnelle et aux fonctions d'appui. Le niveau de mise-en-oeuvre et d'utilisation des évaluations ainsi que l'implication des partis prenants dans les processus d'évaluation ont également démontré des scores relativement élevés. Quelques différences selon le rôle des répondants, les types d'organismes, et le niveau de connaissances en évaluation ont été observées. La discussion traite des résultats en tant que pistes pour d'autres recherches dans ce domaine.

Informing Evaluation Capacity Building Through Profiling Organizational Capacity for Evaluation: An Empirical Examination of Four Canadian Federal Government Organizations

Auteurs:
Pages:
127-146

Les études publiées au sujet du renforcement des capacités organisationnelles à réaliser et à utiliser les évaluations révèlent que le processus suit généralement quatre étapes : l'évaluation traditionnelle, qui a lieu en réaction aux pressions externes; la conscientisation et l'essai, au cours desquels les membres de l'organisation reçoivent de la formation au sujet de l'évaluation et ses bénéfices en participant à certaines activités reliées à un projet spécifique; la mise en oeuvre, l'étape à laquelle le rôle de l'évaluation est défini de façon plus claire au sein de l'organisme et qui mène enfin à l'adoption d'une pratique continue de l'évaluation, où l'évaluation devient une activité régulière à laquelle on attribue des ressources financières et humaines. Nous suggérons par l'entremise de cet article que cette perspective représente une simplification excessive et qu'il nous faut plutôt étudier les dimensions plus complexes des capacités d'évaluation d'un organisme afin de mieux identifier les pistes à suivre pour les renforcer. Nous présentons ici une analyse d'une auto-évaluation des capacités organisationnelles d'évaluation complétée par quatre agences du gouvernement fédéral canadien. L'auto-évaluation a été menée à partir d'un cadre conceptuel développé au cours d'une étude plus large. Nous intégrons les profils multidimensionnels découlant de l'auto-évaluation de chacun des organismes étudiés aux étapes du renforcement des capacités d'évaluation afin de fournir une valeur ajoutée dans la réflexion sur l'orientation du renforcement des capacités d'évaluation dans l'organisation.

Spring

Editor's Remarks / Un mot du rédacteur en chef

Auteurs:
Pages:
v-viii

Reconnecting knowledge utilization and evaluation utilization domains of inquiry

Auteurs:
Pages:
81-85

Cet article fournit un survol critique du segment thématique institulé « Appliquer des méthodes variées pour évaluer des efforts variés de transfert des connaissances issues de la recherche ». Les auteurs ramènent à la table les arguments qui encouragent les enquêtes qui soulèvent le défi de joindre deux domaines de recherche connexes : l'utilisation de l'évaluation et le domaine plus large de l'utilisation des connaissances. La contribution centrale de chacun des articles précédents est identifiée et située dans le contexte de la recherche en cours dans ce domaine.