Volume 24, 2009 - Printemps

The Lay of the Land: Evaluation Practice in Canada in 2009

Auteurs :
Pages :
1-49

Un groupe de douze praticiens et observateurs de l'évaluation fait le point sur l'état de l'évaluation de programme au Canada. Chaque collaborateur fournit un point de vue personnel, selon sa propre expérience dans le domaine. L'équipe de collaborateurs constitue un échantillon choisi à dessein pour fournir profondeur de vue et variété de perspectives. Chaque présentation met en évidence une force de l'évaluation de programme pratiquée au Canada, une faiblesse, une menace et une opportunité. On conclut que la pratique de l'évaluation au Canada a évolué à bien des égards depuis 2003 (quand un premier portrait avait été dressé) : un titre professionnel existe, l'infrastructure est plus solide que jamais, les organisations sont davantage axées sur les résultats. Pourtant, l'évaluation est affaiblie par des lacunes dans l'enseignement postsecondaire et dans le perfectionnement professionnel, par des ressources limitées, par le manque d'indépendance, par une rigidité des approches d'évaluation ainsi que par le manque d'auto-évaluation. Alors que la demande d'évaluation et d'évaluateurs semble augmenter, la disponibilité d'évaluateurs et de ressources financières pour mener les évaluations stagnent. La définition collective du domaine de l'évaluation manque encore de clarté. Un regard porté vers l'avenir se fait cependant rassurant. L'appétit croissant pour l'évaluation donne l'occasion aux évaluateurs de faire une réelle différence, surtout s'ils adoptent une vision plus systémique de l'intervention des programmes et une compréhension globale de l'efficacité organisationnelle. La mise en place d'un titre d'évaluateur accrédité donne à la SCÉ une occasion importante de positionner l'évaluation comme une discipline crédible. Une annexe présente une synthèse en français des conclusions de cet article.

Learning Through Evaluation? Reflections on Two Federal Community-Building Initiatives

Auteurs :
Pages :
51-77

Ces dernières années, le gouvernement fédéral a lancé dereux projets pilotes pour s'attaquer à des problèmes de politiques locaux complexes avec de nouvelles méthodes de gouvernance requérant l'engagement vertical des organisations communautaires et la collaboration horizontale entre les ministères. L'un des principaux objectifs de ces projets d'une durée limitée est l'apprentissage en matière de politiques, en mettant l'accent sur la recherche-action et sur le dialogue avec les intervenants pour orienter les innovations futures. Cela dit, la concrétisation des possibilités d'apprentissage au moyen de projets pilotes exige des cadres d'évaluation sensibles aux défis particuliers de l'élaboration collaborative et communautaire des politiques. Par l'analyse comparative d'études de cas portant sur deux projets pilotes fédéraux récents, nous faisons la lumière sur les tensions dans les approches les plus répandues et étudions des stratégies en vue d'harmoniser des cadres fédéraux d'évaluation qui tiennent compte des besoins et des capacités des communautés locales.

Décentralisation et renforcement des capacités de suivi-évaluation des collectivités territoriales: expériences de l'Afrique de l'Ouest

Auteurs :
Pages :
79-107

Depuis le milieu des années 80, on peut noter un intérêt croissant pour la gestion de la performance et des outils de suivi et d'évaluation pour les collectivités territoriales. Aujourd'hui, le débat sur de tels instruments s'étend également aux pays en voie de développement, dont les pays d'Afrique de l'Ouest. Même si les défis rencontrés, dans la conception et l'utilisation d'outils appropriés pour la mesure des performances, différent quelque peu de ceux des pays développés, ils demeurent néanmoins très appropriés pour enrichir le débat international.

L'évaluation des programmes de développement en Afghanistan. étude de cas: une évaluation participative du programme de solidarité nationale

Auteurs :
Pages :
109-132

Cette étude de cas concerne le processus d'évaluation à l'oeuvre dans le Programme de Solidarité Nationale (NSP) en Afghanistan et une méthodologie pilote d'évaluation participative utilisée au niveau local. Face aux défaillances des mécanismes d'évaluation existants, qui peuvent aboutir à des résultats contradictoires, la méthodologie proposée d'évaluation participative se base sur les théories de l'anthropologie du don. Elle vise à étudier les impacts d'un programme à travers le vécu et l'analyse partagée entre les partenaires. Cette méthodologie soulève dereux enjeux opérationnels et concernant l'articulation entre processus d'évaluation et programme. Cependant, en faisant évoluer les perceptions des différents acteurs, l'outil présenté peut être considéré comme un levier pour le changement social.

Designing and Applying Project Fidelity Assessment for a Teacher Implemented Middle School Instructional Improvement Pilot Intervention

Auteurs :
Pages :
133-156

Cet article soutient que les évaluations de l'intervention des projets pilotes ont suscité trop peu d'attention dans la mesure de fidélité des projets et de l'utilisation des résultats de ces mesures pour (a) interpréter des variations dans les résultats du projet et (b) comprendre le rationnel des enseignants pour s'écarter des protocoles d'implantation. Les auteurs décrivent le développement et l'application d'une méthode de mesure et d'analyse de la fidélité de l'implantation d'un projet pilote qui vise l'amélioration de l'enseignement à l'école intermédiaire. Les auteurs ont trouvé que les scores de fidélité les plus élevés n'étaient pas corrélés aux résultats escomptés du projet, alors que les plus faibles, entre 70 % et 79 %, engendrent les gains les plus avantageux sur les scores pré-post des étudiants. De plus, l'application de la méthodologie permet de mieux comprendre le rationnel des enseignants pour s'écarter du protocole d'implantation; ces écarts reflètent typiquement des jugements sensés des professionnels dans la salle de classe.

Evaluating the Early Implementation of a Community Crisis Bed Program for People Experiencing a Psychiatric Emergency Using Key Component Scaling

Auteurs :
Pages :
157-178

Cet article décrit l'évaluation des premières étapes de l'implantation d'un programme communautaire de lits de crises pour des personnes en situation d'urgence psychiatrique. Une approche d'étalonnage des composantes clés a été employée afin (a) de produire des données spécifiques et détaillées sur la mise en oeuvre de composantes précises du programme, (b) de faciliter la comparaison des perceptions des divers partenaires du programme sur sa mise en oeuvre, et (c) d'améliorer la compréhension qu'ont ces partenaires du programme. Les données quantitatives et qualitatives recueillies auprès de trois groupes d'intervenants (l'équipe mobile d'intervention d'urgence, le personnel des fournisseurs de lits, et les partenaires de la communauté) ont permis d'identifier des composantes du programme dont la mise en oeuvre a été réussie et des défis rencontrés, ainsi que d'élaborer des suggestions pour améliorations.

BOOK REVIEW: Richard A. Krueger and Mary Anne Casey. (2009). Focus Groups: A Practical Guide for Applied Research

COMPTES RENDUS DE LIVRES: Valéry Ridde & Christian Dagenais (Éds.). (2009). Approches et pratiques en évaluation de programme