Volume 22, 2007 - Printemps

Value-for-money analysis of active labour market programs

Auteurs :
Pages :
1-29

Les critères d'imputabilité des agences centrales gouvernementales ont créé des attentes quant à la gestion visant à montrer les résultats des ressources utilisées, soit en d'autres termes, l'« optimisation des ressources ». En démontrant l'optimisation des ressources, nous démontrons la pertinence d'un programme et la clarté de ses fondements théoriques et logiques, mais le principe central de l'optimisation des ressources repose sur la démonstration de coût-efficacité du programme en question. Malheureusement, plusieurs politiques et programmes publics ne se prêtent pas à une analyse quantitative des résultats, et ceci limite les conclusions que l'on peut tirer quant à l'optimisation des ressources. Toutefois, les programmes de formation sur le marché du travail se prêtent à une analyse coût-efficacité, dans la mesure où la méthodologie d'évaluation respecte certains critères. Cet article examine l'analyse coût-efficacité dans le contexte des programmes de formation sur le marché du travail, et plus spécifiquement les programmes visant les groupes écquement désavantagés. À la suite d'un examen des types de données disponibles et des méthodes d'analyse qui peuvent être utilisées afin d'établir l'optimisation des ressources dans les programmes de formation sur le marché du travail, les auteurs recommandent des améliorations au niveau de l'application de ces méthodes, qui pourraient augmenter la « valeur » et l'utilité de l'analyse de l'optimisation des ressources.

Quand une république s'expose au regard de citoyens-évaluateurs

Auteurs :
Pages :
31-47

Le Canton de Genève s'est doté en 1995 d'une Commission externe d'évaluation des politiques publiques, organe unique en Suisse. Avec elle, les deux pouvoirs, exécutif et législatif, partagent un organisme indépendant pour juger l'efficacité et la pertinence de l'action étatique. Composée de 16 citoyens-évaluateurs, cette commission a la possibilité de se saisir d'un thème d'évaluation et d'apporter des éléments critiques inattendus. En 11 ans d'activité, 19 rapports d'évaluation ont été rendus publics. Ils portent sur les effets des lois sur les bénéficiaires et les groupes-cibles. Les thèmes abordés sont conséquents et très divers : logement, prestations sociales, chômage, fiscalité, transports publics, etcétéra. Les recommandations sont particulièrement suivies par le Gouvernement.

Developing a tool to measure knowledge exchange outcomes

Auteurs :
Pages :
49-73

Cet article décrit le processus de développement de mesures pour l'évaluation de résultats de l'échange de connaissances. Ce processus sera décrit en utilisant comme exemple spécifique un document sur la diffusion des meilleures pratiques pour le diabète de type 2. Un modèle des meilleures pratiques comprend la synthèse de connaissances, l'échange de connaissances (diffusion ou adoption) ainsi que des étapes d'évaluation. Les meilleures pratiques sont nécessaires à toutes les étapes. Un examen approfondi de la littérature n'a permis d'identifier aucune synthèse de connaissances d'outils concrets ou de modèles pour l'évaluation de stratégies de diffusion ou d'échange. Dans ce projet, un outil pratique et utilisable a été développé pour mesurer la portée et la compréhension des innovations diffusées. L'instrument comme tel facilite l'échange de connaissances entre les producteurs et les utilisateurs. À l'heure actuelle, l'outil présente des appuis théoriques solides. Les expérimentations initiales sont amorcées, cependant les tests de validité et de fiabilité sont encore à l'étape de planification. L'instrument décrit peut être adapté à d'autres domaines d'évaluation et de recherche sur la santé des populations.

Conceptualizing research impact: the case of education research

Auteurs :
Pages :
75-98

Cette étude qualitative vise à conceptualiser l'impact de la recherche en général, en étudiant le cas particulier de l'impact de la recherche dans le domaine de l'éducation. Un processus d'analyse inspiré de l'approche de la théorie à base empirique a été appliquée à l'analyse de sections de rapports fournis par des chercheurs en éducation. La littérature portant sur l'impact de la recherche a servi à appuyer et à compléter le portrait de la recherche en éducation émergeant des données. Le cadre conceptuel produit propose cinq stades interdépendants, chacun représentant différents types d'impact de la recherche qui sont généralement interdépendants en terme de temps et de contrôle exercé par le chercheur. Il est souhaité que ce cadre conceptuel aidera les évaluateurs de programmes ainsi que les chercheurs à entreprendre la tâche plus considérable de découvrir et débattre le sens d'alternatives servant à mesurer les impacts de la recherche dans le domaine des sciences humaines et sociales.

A participatory approach to the development of an evaluation framework: process, pitfalls, and payoffs

Auteurs :
Pages :
99-124

Il existe beaucoup d'écrits sur les démarches participatives au développement et à l'application de l'évaluation de programme. Mais très peu portent sur les démarches participatives pour le développement d'un cadre d'évaluation. Cet article traite d'une étude de cas de l'application d'une démarche participative d'évaluation et examine les résultats à la lumière de la théorie d'évaluation participative. Une démarche participative a servi à développer un cadre d'évaluation provincial pour un programme de financement collectif unique à l'échelle de la communauté, de la province et du fédéral, pour des organismes communautaires VIH/SIDA en Alberta, au Canada. Le processus de participation a mené à un développement significatif de leur capacité, de l'apprentissage mutuel, et de leur réseau de ressources ainsi qu'à la création d'un cadre d'évaluation provincial complet et convivial. Le but de cet article est de partager le processus, les entraves rencontrées, et les gains obtenus par cette démarche participative au développement d'un cadre d'évaluation.

Youth voices: evaluation of participatory action research

Auteurs :
Pages :
125-150

Lorsqu'elle est dirigée avec sensibilité et réflexivité, la recherche action participative (RAP) peut être un processus valorisant, particulièrement pertinent pour amener des jeunes à réfléchir ou à discuter de changements sociaux. Dans l'évolution de la théorie et de la pratique de la RAP, les chercheurs ont évalué les expériences des participants communautaires en utilisant autant des approches qualitatives que quantitatives. Toutefois, peu de ces évaluations se sont concentrées sur des processus de la RAP auprès de jeunes, et il n'existe que quelques articles qui soulignent la participation de jeunes à leur évaluation. Cet article examine les processus permettant aux jeunes de pleinement participer à l'évaluation d'un projet de RAP qui porte lede Youth Voices (Voix Jeunesse). L'analyse repose sur des questionnaires de rétroaction provenant d'évaluateurs communautaires, de notes et comptes rendus de réunions d'équipes, ainsi que des expériences et observations des chercheurs. Les auteurs se penchent sur les leçons tirées pouvant s'avérer utiles pour d'autres dans l'utilisation de la recherche sur l'évaluation participative auprès de jeunes. Cette étude met en évidence les limites de l'évaluation participative auprès de jeunes à risque, notamment à cause des défis posés par leur développement psychosocial, ainsi que le maintien de l'engagement des participants pendant tout le processus d'évaluation participative. Ces leçons mettent en évidence les principales tensions dans l'utilisation de l'évaluation participative et remettent en question la supposition implicite à l'effet qu'une participation plus élevée est forcément préférable pour travailler avec les jeunes. Une question centrale se pose : À quel niveau la participation est-elle optimale pour assurer une prise de décision communautaire authentique dans un projet de RAP, sans surcharger les jeunes participants?

Considérations théoriques et méthodologiques lors de l'évaluation de programmes d'intervention de crise

Auteurs :
Pages :
151-176

Les programmes d'intervention brève et intensive dédiés aux familles en crise ont fait l'objet dereuses évaluations et recherches évaluatives. Néanmoins, plusieurs experts affirment qu'il est encore difficile de statuer sur l'efficacité de ces pro grammes en raison des failles méthodologiques des études et de la confusion qui entourent la définition de ces programmes et leur implantation. Cet article présente les principaux enjeux liés à l'évaluation de ces programmes et propose différentes solutions telles que l'implication hâtive de l'évaluateur dans la démarche d'implantation du programme, la définition d'objectifs cohérents et cliniquement ancrés et la redéfinition des critères de succès habituellement utilisés.

Navigating uncharted waters: project monitoring at CIDA

Auteurs :
Pages :
177-194

Depuis dereuses années l'Agence canadienne du développement international (ACDI) utilise des observateurs externes pour contribuer à la mesure du rendement de ses projets. Ce fut d'abord un rôle de surveillance, joué par des observateurs devant rester à l'écart des organisations de mise en oeuvre. Pour refléter les tendances internationales actuelles dans les domaines du suivi et de l'évaluation, le rôle de suivi est, du moins théoriquement, davantage axé sur la participation et l'amélioration, exigeant que les observateurs fassent preuve de divers connaissances, compétences et comportements. Ce rôle est cependant mal défini, ce qui laisse place à diverses interprétations. Par ailleurs, le défi s'intensifie lorsque le suivi porte sur des questions transversales, telles que l'égalité des sexes. Cet article présentere de défis propres au suivi, et préconise une approche participative visant l'apprentissage et l'amélioration des programmes. Les auteurs appellent la communauté évaluative à amorcer des recherches et un débat académique dans ce domaine, en vue d'améliorer la pratique.

What an eight-year-old can teach us about logic modelling and mainstreaming

Auteurs :
Pages :
195-204

Cet article présente une courte étude narrative servant à illustrer que les méthodologies d'évaluation complexes, telles que l'élaboration de modèles logiques, peuvent être simplifiées au point de pouvoir guider rapidement un enfant tout au long de leur processus. Néanmoins, cette étude narrative sert aussi à souligner les conséquences potentielles en termes d'élaboration de programmes et d'activités d'évaluation, lorsqu'un processus est trop simplifié. Comme une lame à double tranchant, la simplification du processus encourage davantage d'organisations à utiliser un modèle logique pour concevoir et évaluer des programmes. Toutefois avec du recul, cette simplicité peut mener à des architectures de programme n'ayant que peu d'occasions de démontrer leur réussite, ou bien à des évaluations qui répondent à côté de la question.