Volume 23, 2008 - Numéro spécial

Organizational Capacity to Do and Use Evaluation: Results of a Pan-Canadian Survey of Evaluators

Auteurs :
Pages :
1-35

Malgré un intérêt accru pour l'intégration de l'enquête évaluative dans les fonctions organisationnelles et dans la culture organisationnelle, la disponibilité de recherche empirique sur le renforcement des capacités organisationnelles à faire et à utiliser l'évaluation est limitée. Cette étude exploratoire et descriptive auprès d'évaluateurs internes canadiens situe le renforcement des capacités d'évaluation dans le contexte des caractéristiques organisationnelles (apprentissage, structures d'appui), de la réalisation et de l'utilisation des évaluations, et des variables qui interviennent pour médier l'utilisation. Nous avons reçu 340 réponses utilisables à un sondage en ligne. Cet article fourni un compte-rendu des résultats et un aperçu préliminaire des différences selon le rôle des répondants, les types d'organisme, et le niveau perçu de connaissances en évaluation. Les résultats démontrent une tendance vers des scores modérément élevés en ce qui a trait à l'apprentissage organisationnelle et aux fonctions d'appui. Le niveau de mise-en-oeuvre et d'utilisation des évaluations ainsi que l'implication des partis prenants dans les processus d'évaluation ont également démontré des scores relativement élevés. Quelques différences selon le rôle des répondants, les types d'organismes, et le niveau de connaissances en évaluation ont été observées. La discussion traite des résultats en tant que pistes pour d'autres recherches dans ce domaine.

Perceptions of Evaluation Capacity Building in the United States: A Descriptive Study of American Evaluation Association Members

Auteurs :
Pages :
37-30

Cet article donne un aperçu descriptif des attitudes et des perceptions des membres de l'American Evaluation Association (AEA) liés au renforcement des capacités d'évaluation (RCÉ). Dans cette étude, nous avons analysé les données sur l'utilisation d'évaluations qui ont été initialement recueillies au printemps 2006 et provenant de 1 140 membres de l'AEA aux États-Unis. L'étude actuelle tente d'ajouter à la base de connaissances sur le RCÉ en décrivant des opinions de participants concernant : (a) l'importance du RCÉ en tant que méthode d'évaluation, (b) le rôle des évaluateurs dans l'exécution d'activités liées au RCÉ, (c) des facteurs liés au RCÉ qui en influencent l'utilisation, et (d) le degré auquel ces activités d'évaluation stimulent l'apprentissage organisationnel et changent les résultats. La plupart des répondants connaissent le RCÉ et acceptent que le renforcement des capacités d'évaluation est un rôle assumé par l'évaluateur. Les liens entre l'apprentissage organisationnel et le RCÉ ont été soutenus. Les résultats organisationnels axés sur l'apprentissage sont notés plus favorablement que les résultats organisationnels axés sur le changement.

Evaluation Capacity Building in the Schools: Administrator-Led and Teacher-Led Perspectives

Auteurs :
Pages :
61-82

L'objectif de cet article est de décrire le renforcement des capacités d'évaluation en utilisant une méthode d'immersion dans deux écoles : l'une gérée par des administrateurs et l'autre par des professeurs. Les descriptions fournissent la délimitation d'aspects de conception, de développement, et de durabilité dans le renforcement des capacités selon les perspectives des professeurs, des directeurs d'école, et des spécialistes d'évaluation. La méthode de l'immersion dans le cadre du renforcement des capacités d'évaluation met l'accent sur les distinctions entre le développement de la capacité d'utiliser les données recueillies dans l'évaluation et la capacité de conduire des évaluations, et examine l'utilisation de méthodes d'approche directe et indirecte de renforcement des capacités d'évaluation. Les deux cas montrent également les rôles joués par l'appropriation du développement des capacités d'évaluation, notamment la durabilité.

The Road to Evaluation Capacity Building: A Case Study from Israel

Auteurs :
Pages :
83-102

Nous présentons une étude empirique sur une initiative de renforcement des capacités d'évaluation (RCÉ) réalisée dans une école israélienne. D'abord nous présentons l'historique du parcours de l'école pendant 10 ans vers l'intégration réussie de l'évaluation RCÉ. Nous examinons ensuite le cas en fonction des quatre éléments du RCÉ de King (2002), c'est-à-dire : les professeurs, les étudiants, le curriculum, et le contexte. Nous présentons quatre exemples concrets des évaluations effectuées à l'école illustrant comment ces éléments ont influencé les résultats du RCÉ. Cette présentation est suivie d'une discussion du cas relativement aux autres listes de contrôle du RCÉ. Après une enquête approfondie et systématique, nous croyons que, grâce à ce cas, nous pouvons en apprendre davantage sur les facteurs qui contribuent à la réussite des efforts du RCÉ dans les écoles ou à leur échec.

Participatory Evaluation as Seen in a Vygotskian Framework

Auteurs :
Pages :
103-125

Dans les évaluations participatives de programmes K–12 (étudiants de 5 à 18 ans), les évaluateurs développent la capacité d'évaluation du corps enseignant et des administrateurs en les formant à mener des travaux d'évaluation mais aussi en les accompagnant dans ces travaux. On peut avancer comme argument convaincant que le renforcement des capacités d'évaluation peut être examiné dans ces évaluations en se servant d'une approche vygotskienne. Nous avons mené des évaluations participatives dans 9 écoles publiques en Hawaii et rassemblé des données révélant à quel degré différents facteurs ont influencé l'apprentissage du personnel sur l'évaluation des programmes. Après avoir terminé les évaluations, un enquêteur formé a mené des entrevues standardisées avec les personnels participants au sujet de leurs opinions sur les méthodes et les effets du renforcement des capacités d'évaluation. Deux enquêteurs ont classé les résultats des entrevues d'après des codes relatifs aux concepts vygotskiens. Nous présentons ici ces résultats en fournissant plusieurs conclusions sur la valeur de l'utilisation d'un cadre vygotskien pour examiner le renforcement des capacités d'évaluation dans les évaluations participatives.

Informing Evaluation Capacity Building Through Profiling Organizational Capacity for Evaluation: An Empirical Examination of Four Canadian Federal Government Organizations

Auteurs :
Pages :
127-146

Les études publiées au sujet du renforcement des capacités organisationnelles à réaliser et à utiliser les évaluations révèlent que le processus suit généralement quatre étapes : l'évaluation traditionnelle, qui a lieu en réaction aux pressions externes; la conscientisation et l'essai, au cours desquels les membres de l'organisation reçoivent de la formation au sujet de l'évaluation et ses bénéfices en participant à certaines activités reliées à un projet spécifique; la mise en oeuvre, l'étape à laquelle le rôle de l'évaluation est défini de façon plus claire au sein de l'organisme et qui mène enfin à l'adoption d'une pratique continue de l'évaluation, où l'évaluation devient une activité régulière à laquelle on attribue des ressources financières et humaines. Nous suggérons par l'entremise de cet article que cette perspective représente une simplification excessive et qu'il nous faut plutôt étudier les dimensions plus complexes des capacités d'évaluation d'un organisme afin de mieux identifier les pistes à suivre pour les renforcer. Nous présentons ici une analyse d'une auto-évaluation des capacités organisationnelles d'évaluation complétée par quatre agences du gouvernement fédéral canadien. L'auto-évaluation a été menée à partir d'un cadre conceptuel développé au cours d'une étude plus large. Nous intégrons les profils multidimensionnels découlant de l'auto-évaluation de chacun des organismes étudiés aux étapes du renforcement des capacités d'évaluation afin de fournir une valeur ajoutée dans la réflexion sur l'orientation du renforcement des capacités d'évaluation dans l'organisation.

Insights into Evaluation Capacity Building: Motivations, Strategies, Outcomes, and Lessons Learned

Auteurs :
Pages :
147-174

Le renforcement des capacités d'évaluation (RCÉ) est d'un grand intérêt pour beaucoup d'organisations alors qu'elles font face à des demandes croissantes de pratiques basées sur la responsabilité et les données probantes. Bien que dereux évaluateurs soient engagés dans des activités et des processus de renforcement des capacités d'évaluation avec un large éventail d'organisations, nous savons toujours très peu sur qui bénéficie du renforcement des capacités, quelles stratégies sont utilisées, et l'efficacité de ces efforts dans leur ensemble. Pour explorer ces questions, une étude a été menée avec 15 organisations qui ont participé aux efforts de RCÉ pendant les dernières années. Les constatations présentées dans cet article font partie d'une étude plus importante et représentent les résultats d'entrevues avec 25 évaluateurs et 13 clients (n = 38) qui ont animé et soutenu les efforts de RCÉ d'une organisation. Nous nous concentrons en particulier sur les motivations des participants pour s'engager en RCÉ, les stratégies d'apprentissage et de perfectionnement utilisées pour faciliter le renforcement des capacités, les résultats perçus de ces efforts, et les leçons retenues.

A Bumpy Journey to Evaluation Capacity: A Case Study of Evaluation Capacity Building in a Private Foundation

Auteurs :
Pages :
175-197

Les processus de renforcement des capacités d'évaluation (RCÉ) ont été explorés par une étude de cas sur les efforts effectués dans le cadre du RCÉ par une fondation privée, une organisation avec des ressources financières solides, un personnel intelligent, un agent d'évaluation interne, et l'accès à des experts-conseils reconnus en évaluation. La question primordiale de recherche était : Quels sont les facteurs qui affectent le processus de RCÉ dans une organisation? La recherche était conçue de manière à inclure des entrevues approfondies, des sondages, l'analyse documentaire, et des observations d'un échantillon du personnel de la fondation et des experts-conseils externes. Cet article révèle la complexité des expériences de l'organisation dans le renforcement des capacités d'évaluation et offre des commentaires sur ce qui doit être considéré en élaborant une fonction d'évaluation soutenable dans une organisation.

Using Evaluation Capacity Building (ECB) to Interpret Evaluation Strategy and Practice in the United States National Tobacco Control Program (Ntcp): A Preliminary Study

Auteurs :
Pages :
199-223

L'Office on Smoking and Health (OSH) des Centers for Disease Control and Prevention (CDC) soutient les programmes des états pour la prévention et le contrôle du tabagisme par le National Tobacco Control Program (NTCP). L'OSH fournit au NTCP des conseils d'experts et d'assistance technique sur la surveillance de l'usage du tabac et des maladies et l'évaluation des programmes. Ces services sont conformes aux objectifs nationaux de santé et fournissent des données qui servent à l'établissement de politiques nationales et des états ainsi qu'à la planification des programmes. Toutefois, la prestation des services du NTCP, la réalisation des objectifs, et l'évaluation des efforts prodigués sont gênées par les fluctuations dans le financement accordé par les états pour soutenir les programmes de prévention et de contrôle de l'usage du tabac. Pour optimiser les efforts et les ressources, le renforcement des capacités d'évaluation (RCÉ) est une stratégie pour renforcer les services d'évaluation et l'efficience et l'efficacité des programmes, c'est-à-dire, l'amélioration des programmes. Cet article interprète les résultats du NTCP en utilisant un cadre RCÉ pour apprendre l'utilité de cette méthode pour faire des suggestions de changements structuraux et de pratique qui mènent à l'amélioration du programme.

Understanding Organization Capacity for Evaluation: Synthesis and Integration

Auteurs :
Pages :
225-237

Ce numéro spécial de la Revue examine la capacité organisationnelle en évaluation et le renforcement des capacités d'évaluation (RCÉ) de façon empirique. Le numéro spécial met en vedette deux sondages auprès d'évaluateurs et sept études de cas (cas unique ou multiple) auprès d'organismes oeuvrant dans une variété de régions géographiques (e.g., l'Ontario du centre-est, la Californie, Hawaii, le Minnesota, et l'Israël). Dans l'article présenté ici, les auteurs identifient les thèmes et les courants qui émergent de ces études ainsi que les enjeux auxquels font face ceux qui désirent renforcer les capacités d'évaluation de leur organisme. Les thèmes identifiés sont la définition du RCÉ, ses résultats, le contexte organisationnel, la mise en oeuvre d'activités visant le RCÉ, et les facteurs habilitant ou limitant le processus dans les organisations.