Volume 19, 2004 - Printemps

The lay of the land: evaluation practice in Canada today

Auteurs :
Pages :
143-178

Un groupe de 12 praticiens et observateurs de l'évaluation prend le pouls de l'évaluation de programme au Canada. Chaque auteur présente un point de vue personnel basé sur sa propre expérience dans le domaine. Les auteurs ont été sélectionnés pour fournir profondeur de vue et variété de perspectives. Chaque présentation met en évidence une force de l'évaluation de programme telle que pratiquée aujourd'hui au Canada, une faiblesse, une menace et une opportunité. On conclut que les évaluateurs possèdent des habiletés qu'aucune autre profession n'offre; ce sont des chercheurs du social et de l'écque versés en cueillette de données empiriques et en méthodes d'analyse permettant de fournir une base factuelle solide pour l'examen de programmes et de politiques. Toutefois, l'évaluation de programme n'a pas acquis d'identité propre et, en fait, a eu tendance à négliger des enjeux d'évaluation clés et à donner moins d'importance à la rigueur. L'environnement actuel de l'évaluation de programme est dominé par le suivi de programmes, la faiblesse de l'identité propre de l'évaluation et le contact insuffisant avec les besoins de gestion. Mais l'évaluation ne manque pas d'opportunités; on y retrouve la gestion basée sur les résultats, les efforts en partenariat et en défense des intérêts, la formation professionnelle individuelle et le rapprochement de la gestion des programmes et du développement des politiques. Mais d'abord, les évaluateurs doivent s'auto-définir pour mieux communiquer ce que pourrait être leur contribution particulière. L'article énonce quelques implications pour la pratique de l'évaluation au Canada et présente l'ébauche d'un plan de travail pour les évaluateurs individuellement et collectivement, dans leurs organisations et dans le cadre de leur association professionnelle. Un résumé en français ainsi que la version française des conclusions et implications sont présentés en annexe.

Toward a best practice for evaluating the impact of government programs on job creation

Auteurs :
Pages :
1-29

Cet article présente et analyse les résultats d'une recherche documentaire visant à repérer des évaluations de l'impact de programmes gouvernementaux sur la création d'emplois. Les facteurs qui compliquent ce type d'analyse sont décrits. Les avantages et inconvénients de chaque méthode sont présentés. On conclut qu'aucune méthode n'est totalement suffisante en elle-même. Il est recommandé d'utiliser un ensemble d'enquêtes auprès des usagers, d'analyses de cas choisis par les usagers et, lorsqu'une analyse financiere est requise, d'analyses coûts/bénéfices. Les faiblesses de chaque méthode sont compensées par la présence de méthodes complémentaires.

Reporting on outcomes: setting performance expectations and telling performance stories

Auteurs :
Pages :
31-60

Les résultats, et plus particulièrement les conséquences, sont au coeur de la réforme de la gestion publique dans dereuses administrations incluant au Canada. La gestion axée sur les résultats, notamment l'établissement d'attentes réalistes en matière de résultats pour les programmes, et la communication d'une information crédible sur ceux-ci s'avèrent des défis, ce qui n'est peut-être pas étonnant compte tenu des défis que pose l'évaluation des conséquences des programmes d'intérêt public. Le présent article analyse la façon dont l'enchaînement des résultats peut servir à établir les attentes et rendre compte, de façon crédible, des conséqences atteintes. On y présente l'idée d'un tableau exposant des attentes évolutives face aux résultats ainsi que celle d'une description du rendement centrée sur l'enchaînement des résultats du programme et le tableau des attentes.

Unnatural selection: an examination of the Fraser Institute's performance index for the Donner Canadian Foundation Awards for Excellence in the Delivery of Social Services

Auteurs :
Pages :
61-96

Utilisant des métaphores darwiniennes, cet article examine un outil quantitatif d'évaluation du rendement des organismes à but non lucratif canadiens relativement nouveau : le Performance Index du Fraser Institute pour les prix d'excellence de la fondation canadienne Donner (Donner Canadian Foundation Awards) pour la prestation de services sociaux. Plusieurs aspects de l'Index, dont la gestion stratégique, le suivi des résultats et l'aute financière sont analysés afin de déterminer leur capacité à évaluer avec exactitude l'excellence du rendement et leur inadéquation potentielle pour dereux organismes à but non lucratif. L'interaction entre les approches «commerciales» préconisées par l'Index et la nature fondamentalement différente des objectifs des organismes à but non lucratif constitue un thème récurrent de la discussion. On accorde une attention particulière à la différence entre les organismes qui ont un souci de rentabilité et les organismes à but non lucratif qui ont des missions spécifiques diverses. Pour évaluer le rendement des organismes à but non lucratif, on recommande des approches axées sur un contexte et une mission spécifiques.

Analyser le degré d'intégration de l'approche écologique dans les programmes de promotion de la santé: le cas des programmations de réduction de tabagisme de deux directions de la santé publique québécoises

Auteurs :
Pages :
97-123

Depuis plusieurs années, l'OMS prône l'implantation de stratégies écologiques d'amélioration de la santé des populations axées notamment sur une diversité de déterminants de la santé et de milieux d'intervention. Si cette approche suscite l'intérêt des professionnels en santé publique, les outils conceptuels qui permettraient d'en baliser l'élaboration et l'évaluation demeurent encore peu développés. Cet article vise à combler cette lacune en présentant un outil d'évaluation du caractère écologique des programmes. Pour illustrer son potentiel, nous avons évalué les programmations de réduction du tabagisme de deux directions régionales de santé publique du Québec. Cette application permet de poser un jugement quant au caractère écologique des deux programmations en cause et d'illustrer le potentiel de l'outil d'évaluation.

An empirical study of building the evaluation capacity of K–12 site-managed project personnel

Auteurs :
Pages :
125-141

Cette étude examine les effets du perfectionnement professionnel — ateliers formels et consultation continue — sur les capacités d'évaluation du personnel d'un établissement scolaire de niveau primaire et secondaire, qui effectuait l'évaluation de 17 projets autogérés. On a examiné (a) les changements dans les attitudes de l'établissement et des administrateurs envers l'évaluation, (b) leur sentiment de compétence en tant qu'évaluateurs, et (c) l'évaluation de leurs capacités en tant qu'évaluateurs. Les attitudes du personnel scolaire envers l'évaluation demeurent inchangées, mais leur sentiment de compétence en tant qu'évaluateurs et leur évaluation de leurs capacités d'évaluation se sont tous deux améliorés. Les conclusions de l'étude corroborent l'argument selon lequel la formation et l'encadrement par des évaluateurs expérimentés peuvent aider le personnel à améliorer ses capacités d'évaluation. Plusieurs limites sont notées dans la conception et les données de l'étude.