Volume 33, 2018 - Printemps

Editor's Remarks / Un mot de la rédactrice

Auteurs :
Pages :
v-vii

Le présent numéro de la Revue canadienne d’évaluation de programme interpellera les évaluateurs et les évaluatrices aux intérêts variés, oeuvrant dans de nombreux secteurs. Les articles et les notes sur la pratique présentés traitent d’approches méthodologiques innovatrices, appliquées à divers contextes de pratique, comme la santé et l’éducation. Tout d’abord, l’article de Rusticus, Eva et Peterson fait état de la pertinence des échelles de notation alignées sur les concepts comme outil d’évaluation, tout particulièrement dans le domaine de l’éducation médicale. L’article apporte une contribution importante au domaine en nous aidant à conceptualiser l’élaboration d’une échelle en vue de recueillir des données de façon plus efficace. Ensuite, Rosella et ses collègues montrent qu’une stratégie de courtage des connaissances réalisée en équipe appuie de façon efficace l’utilisation du Diabetes Population Risk Tool (DPorT) dans un contexte de santé publique. L’article suivant, de Chen et ses coauteurs, résume les résultats d’une étude comparative empirique de modèles d’évaluation à l’aide d’un projet pédagogique à vaste échelle à Taiwan. L’article traite précisément de l’utilité de modèles d’évaluation à des fins de planification et de développement. L’article de Contandriopoulos, Larouche et Duhoux s’adresse particulièrement aux évaluateurs qui travaillent de près avec les universités ou les établissements de recherche. En faisant appel à des méthodes d’analyse de réseau social, les auteurs ont noté une corrélation positive entre les collaborations et la productivité au chapitre de la recherche. Ils ont d’ailleurs poussé plus loin leur enquête pour se pencher sur le rôle joué par les réseaux officiels dans les collaborations de recherche. Ensuite, l’article de Mediell et Dionne présente une liste de contrôle de la qualité d'un plan d’évaluation, qui a été créée et validée de façon empirique. La liste de contrôle se montrera sans doute utile autant aux évaluateurs débutants que chevronnés qui doivent concevoir et mettre en oeuvre de futures études d’évaluation.

Construct-Aligned Rating Scales Improve the Reliability of Program Evaluation Data

Auteurs :
Pages :
1-20

Les écrits scientifiques indiquent que l’appréciation de la performance est plus juste et plus efficiente si les échelles de notation utilisées correspondent à la représentation que les formateurs ont de la performance des personnes en formation. Notre étude vise à tester cette observation dans le contexte d’un programme d’éducation médicale en analysant de quelle façon la correspondance des construits avec les représentations sur la performance améliorent la fiabilité des résultats concernant les compétences acquises. Nos résultats suggérent qu’intégrer les appréciations des étudiants sur leurs propres compétences permet d’évaluer le succès d’un programme de façon plus efficiente lorsque les échelles utilisées sont alignées avec les concepts d’indépendance et d’aptitudes plutôt que d’être formulées d’une manière qui reflète les attentes liées à leur performance.

Evaluating the Process and Outcomes of a Knowledge Translation Approach to Supporting Use of the Diabetes Population Risk Tool (DPoRT) in Public Health Practice

Auteurs :
Pages :
21-48

Pour appuyer l’utilisation de l’outil Diabetes Population Risk Tool (DPoRT) dans les milieux de santé publique, une équipe de courtage de connaissances (KB) a utilisé et évalué le modèle Population Health Planning Knowledge-to-Action. Les sources de données comprenaient des documents, des sondages, des groupes de discussion, des entrevues et des notes d’observation. L’équipe de KB a facilité l’utilisation de DPoRT. Les résultats comprenaient les changements dans les compétences, les connaissances et les pratiques organisationnelles. Le modèle Population Health Planning Knowledge-to-Action et la stratégie KB basée sur l’équipe ont appuyé l’utilisation de DPoRT.

Using Logic Models and the Action Model / Change Model Schema in Planning the Learning Community Program: A Comparative Case Study

Auteurs :
Pages :
49-68

De plus en plus les évaluateurs semblent orienter leur intérêt vers la conception et la planification de programme plutôt que sur l’implantation et les effets. Une étape importante de ce virage est d’examiner les modèles d’évaluation existants et d’évaluer leurs points forts et leurs points faibles pour l’exercice de planification. Cet article présente une étude de cas comparative de l’utilisation des modèles logiques et des modèle d’action/de changement aux fins de la planification d’un programme d’apprentissage communautaire à Taiwan. Nos résultats indiquent que les modèles logiques sont relativement faciles à apprendre et efficaces pour l’identification des principaux indicateurs et éléments d’un programme, mais ne suffisent pas à articuler la signification théorique du programme. En revanche, le schéma du modèle d’action/modèle de changement prend un peu plus de temps à apprendre et à pratiquer, mais offre des avantages relatifs pour fournir des éclairages théoriques sur les facteurs contextuels et les mécanismes causaux du programme, au contraire des modèles logiques. Cette comparaison peut servir de guide pour les praticiens de l’évaluation lorsqu’il s’agit de choisir des outils d’évaluation à appliquer dans la planification et/ou l’évaluation de leurs programmes.

Evaluating Academic Research Networks

Auteurs :
Pages :
69-89

Les universités et les agences de financement cherchent de plus en plus à renforcer de façon efficace une capacité de recherche scientifique dynamique et concurrentielle. Bon nombre de leurs politiques de financement sont fondées sur l’hypothèse qu’une amélioration de la collaboration et du réseautage entre les chercheurs et entre les établissements mène à une productivité scientifique accrue. De nombreuses études ont noté une corrélation positive entre les collaborations de recherche et le rendement en recherche, mais la contribution des réseaux institutionnels officiels à ce résultat reste nébuleuse. À l’aide de méthodes d’analyse des réseaux sociaux, nous mettons l’accent sur la distinction entre ce que nous définissons comme les réseaux institutionnels de recherche « officiels » et les réseaux « organiques » de chercheurs. Nous analysons aussi l’association entre les positions structurelles réelles des chercheurs au sein de ces réseaux et leur rendement scientifique. Les données utilisées proviennent des curriculum vitae de 125 chercheurs membres de deux réseaux de recherche financés par la province du Québec (Canada). Nos résultats confirment une corrélation positive entre la collaboration et la productivité en recherche. Nous avons démontré que les collaborations au sein des réseaux officiels inclus dans notre étude ne constituent qu’une composante relativement modeste d’un réseau sous-jacent et organique de collaboration. Ces résultats contribuent au corpus sur l’évaluation de politiques et de programmes liés aux réseaux de recherche institutionnels et devraient stimuler la recherche sur la capacité qu’ont ces types de réseaux d’encourager la productivité en recherche.

Un outil à visée pédagogique pour discuter de méthodologie

Auteurs :
Pages :
90-113

Dans le cadre de cet article, nous abordons l’importance de la communication de la démarche d’évaluation (processus, méthodologie, résultats et limites de l’évaluation), et ce, dans le but de favoriser l’utilisation des résultats et la mise en oeuvre des recommandations. Nous proposons un outil méta-évaluatif formatif à visée principalement pédagogique, centré sur les aspects méthodologiques du processus évaluatif afin d’accompagner les évaluateurs, et plus particulièrement les évaluateurs novices, dans la planification, la mise en oeuvre et la communication rigoureuses de la méthodologie. Nous portons particulièrement notre attention sur la communication de la démarche d’évaluation de programme par l’intermédiaire de rapports d’évaluation (techniques et finaux) qui sont généralement le véhicule offrant le maximum d’informations concernant à la fois les résultats et le processus évaluatif. Bien que nous soyons conscients que d’autres moyens de communication existent (ex. : articles publiés dans des revues scientifiques), leur format ne permet pas toujours de fournir l’ensemble des informations inhérentes autant aux résultats qu’à la démarche mise de l’avant par le(s) évaluateur(s) puisqu’on y présente généralement les faits saillants sans s’attarder aux aspects méthodologiques. Puisque notre propos touche spécifiquement aux considérations méthodologiques, il nous apparaissait plus pertinent de nous appuyer sur les informations contenues dans les rapports. Ce choix n’est pas anodin, puisque la qualité d’une évaluation repose, entre autres, sur une méthodologie avérée permettant de fournir les données probantes nécessaires à l’exercice du jugement. Aussi, nous discuterons du rôle de la méta-évaluation (MEV) dans l’enrichissement de la pratique des évaluateurs et la promotion de la qualité d’une évaluation de programme; et nous présenterons un outil méta-évaluatif que nous avons conçu afin de favoriser l’opérationnalisation de méthodologies évaluatives de qualité et la mise en oeuvre de pratiques évaluatives efficaces.

Expanding the Role of Digital Photographs in Evaluation Practice: Documenting, Sense-Making, and Imagining

Auteurs :
Pages :
114-134

Les personnes impliquées dans un programme et les évaluateurs du programme génèrent et partagent régulièrement des photographies numériques. L’auteur présente trois cadres pour l’utilisation de photographies dans la pratique de l’évaluation: documenter les changements sociaux, donner du sens, inspirer et imaginer les changements sociaux. Cette analyse est tirée de recherches s’appuyant sur des démarches artistiques et provenant des domaines de la sociologie et de l’anthropologie visuelles. S’appuyant sur ce cadre, la revue de la littérature indique une utilisation intensive des photographies à des fins de documentation et une utilisation croissante des photographies pour donner du sens et inspirer et imaginer le changement social dans la pratique de l’évaluation. À la fin de cet article, vous trouverez un exemple concret de la façon dont une équipe d’évaluation a utilisé des photographies numériques dans le cadre d’une évaluation d’un programme de perfectionnement professionnel des enseignants.

NorthBEAT’s Capacity-to-Consent Protocol for Obtaining Informed Consent from Youth Evaluation Participants: An Alternative to Parental Consent

Auteurs :
Pages :
135-153

Pour se conformer à des pratiques éthiques, les évaluateurs doivent obtenir le consentement éclairé de participants au projet. Lorsque ces participants sont des mineurs, le consentement des parents est généralement demandé. Cependant, il n’est pas toujours possible ou souhaitable d’obtenir le consentement des parents dans tous les contextes d’évaluation. La présente note de pratique présente un contexte (recherche sur les services de santé mentale en milieu rural au Canada) où l’obtention du consentement d’un parent est considérée non éthique et impossible. Nous présentons un protocole en deux étapes de « capacité à consentir » que nous avons mis au point pour obtenir le consentement de jeunes participants. Ce protocole offre une solution de rechange éthique et applicable à l’obtention du consentement des parents pour les jeunes. On discute des ramifications du protocole pour la pratique de l’évaluation.

Building Community Capacity: Self-Assessment Performance Metrics for Canadian Microcredit Programs

Auteurs :
Pages :
154-167

Les programmes de microcrédit exploités dans des pays riches dotés d’un système bancaire bien développé constituent un défi particulier au chapitre de l’évaluation du rendement, lequel ne peut être relevé ni par les systèmes professionnels d’évaluation microfinancière des institutions, ni par des indicateurs de rendement social. Les contributions potentielles des programmes de microcrédit, conçus pour offrir de petits prêts pour l’incubation et le développement d’entreprises dans les centres urbains, pourraient dépasser l’objectif d’accroître le revenu, pour inclure des effets contribuant au renforcement des capacités communautaires, comme le développement du capital social, le développement des compétences d’affaire et la promotion de l’inclusion financière. L’article fait part de notre recommandation pour un ensemble d’indicateurs de rendement qui tient compte de ses contributions. Conçus en partenariat avec un petit programme urbain, ces indicateurs de rendement conviennent à des programmes de microcrédit communautaires de taille modeste, exploités surtout par des bénévoles.

Comptes rendus de livres : Colin Robson. (2017). Small-Scale Evaluation: Principles and Practice. 2nd ed. London, UK: SAGE.

Auteurs :
Pages :
168-170

Book Reviews / Comptes rendus de livres
Colin Robson. (2017). Small-Scale Evaluation: Principles and Practice.
2nd ed. London, UK: SAGE. 168 pages. (ISBN: 978-0-7619-5510-8)

Comptes rendus de livres : Hallie Preskill and Darlene Russ-Eft. (2016). Building Evaluation Capacity: Activities for Teaching and Training. 2nd ed. Thousand Oaks, CA: SAGE.

Auteurs :
Pages :
171-173

Book Reviews / Comptes rendus de livres
Hallie Preskill and Darlene Russ-Eft. (2016). Building Evaluation
Capacity: Activities for Teaching and Training. 2nd ed. Thousand Oaks,
CA: SAGE. 418 pages. (ISBN: 978-1-4833-3432-5)