Volume 22, 2007 - Automne

Using public databases to study relative program impact

Auteurs :
Pages :
57-68

On exige de plus en plus des évaluateurs qu’ils répondent à la question « en comparaison à quoi? » lorsqu’ils analysent l’inci dence des programmes qu’ils étudient. Le contexte des programmes et d’autres contraintes rendent souvent impossible l’utilisation de certaines de nos méthodes les plus rigoureuses, comme les essais randomisés, dans l’étude de leurs impacts. Il est impératif d’analyser et de diffuser des méthodes de rechange qui en permettent l’étude en dépit de contraintes contextuelles extrêmes. Cet article propose une méthode qui s’appuie sur des banques de données publiques disponibles pour établir des groupes de référence et déterminer l’incidence relative des programmes.

Thickening the plot: combining objectives- and methods-oriented approaches in the evaluation of a provincial superintendents’ qualification program

Auteurs :
Pages :
69-92

Cet article traite du cadre d'évaluation relatif à un programme provincial continu d'homologation des chefs de service. Au moyen d'un modèle d'évaluation des divergences, le Discrepancy Evaluation Model (DEM), fondé sur les normes et combiné à une méthode d'étude de cas approfondie, cette évaluation fait l'examen du programme pour trois secteurs d'intervention privilégiés : harmonisation du programme, mesure des compétences, et formation comparative. Ces secteurs se fondent sur des normes officielles de nature législative et réglementaire correspondant aux procédures du DEM, mais les conclusions de l'évaluation pour chacun des secteurs ont été renforcées par l'ajout d'une méthode d'étude de cas. Le bien-fondé théorique, méthodologique, et relatif à l'utilisation de ce cadre est abordé. Les leçons tirées lors de l'évaluation de programmes similaires sont également prises en compte.

Developing a special education accountability framework using program evaluation

Auteurs :
Pages :
93-125

L'imputabilité a été à l'avant-plan de la réforme éducative basée sur les normes. Cependant, étant donné que nous sommes dans un nouvel âge d'imputabilité, guidée par les règles d'action de l'évaluation à grande échelle, les recherches indiquent que ces systèmes d'imputabilité constituent des obstacles organisationnels et techniques à l'amélioration de l'éducation. Ce qui est présenté dans cet article est un plan d'imputabilité local, basé sur des programmes d'éducation spécialisée dans un grand conseil scolaire à prédominance urbaine, du sud de l'Ontario. Selon les principes de l'évaluation d'un programme participatif, ce plan vise à construire la capacité organisationnelle pour l'imputabilité bureaucratique et professionnelle, afin de surmonter les obstacles à l'amélioration de l'éducation par l'imputabilité.

Participatory impact pathways analysis: a practical application of program theory in research-for-development

Auteurs :
Pages :
127-159

Le programme Défi pour l'eau et la nourriture vise à améliorer la sécurité alimentaire et à réduire la pauvreté dans le cadre d'un ensemble de quelque 50 projets de recherche axés sur le développement. Ces projets impliquent près de 200 organisations oeuvrant dans neuf bassins fl uviaux à travers le monde. Les auteurs ont mis au point une approche destinée à augmenter l'impact du programme au plan du développement par l'entremise d'une meilleure mesure des impacts de chacun des projets. Cette approche comprend un plan de suivi et d'évaluation permettant aux parties prenantes de tirer des conclusions stratégiques destinées à améliorer les projets à venir, et de générer les données requises pour les campagnes d'information à l'intention du grand public. L'approche comprend également une présentation explicite des fondements théoriques du programme, ainsi qu'une description des réseaux d'impacts basée sur une modèle logique et sur une cartographie de réseaux. L'intégration du modèle logique et de la cartographie de réseaux en une présentation unifiée incluant les étapes logiques, les facteurs de risques, et les principales hypothèses contribue à étoffer la pertinence globale du modèle. L'approche participative de l'impact des cheminements critiques (PIPA) repose sur des concepts associés à la théorie de programme, à l'apprentissage organisationnel, et à l'analyse des réseaux sociaux.

Methodological and conceptual challenges in studying evaluation process use

Auteurs :
Pages :
1-19

Cet article aborde les défis conceptuels et méthodologiques qui se posent lors de l’étude empirique de l’utilisation des processus. La principale difficulté consiste à démêler la cause, le processus d’évaluation, et les effets qui en découlent, les indicateurs de l’utilisation du processus. Le chercheur en évaluation doit non seulement tenir compte de tous les facteurs pertinents concernant l’évaluateur, les participants, et le contexte, l’approche, et la mise en oeuvre de l’évaluation, mais il doit également établir la recherche en fonction d’une opérationalisation valide de l’utilisation des processus. L’article s’inspire des expériences de l’auteur qui a mené une étude exploratoire sur l’utilisation des processus dans le cadre de deux projets d’auto-évaluation animés par des experts et comprenant cinq employés du programme. Avant que des études à plus vaste échelle ne puissent établir des connaissances plus généralisables concernant l’utilisation des processus, les chercheurs en évaluation devraient entreprendre des études qualitatives approfondies, en temps réel, et de grande qualité visant à mieux comprendre les interactions complexes en jeu et contribuant à mettre sur pied une opérationalisation rigoureuse de ce concept pertinent.

Collaborative Evaluation in a Community Change Initiative: Dilemmas Of Control Over Technical Decision Making

Auteurs :
Pages :
21-39

L’évaluation axée sur la collaboration offre aux intervenants communautaires et aux évaluateurs l’occasion de trouver un véritable sens à leur travail. Pour une initiative de changement communautaire, l’évaluation axée sur la collaboration fournit également l’occasion de renforcer la capacité communautaire. Cet article présente un cadre pour la contribution de l’évaluation axée sur la collaboration à l’atteinte des objectifs en contexte d’initiative de changement communautaire. Il explore ensuite une dimension du processus d’évaluation axée sur la collaboration — le contrôle sur la prise de décisions d’ordre technique — et explique cinq dilemmes liés à l’exploration de ce processus. Une étude de cas permet d’illustrer les cinq dilemmes et de proposer des stratégies visant à surmonter les écueils associés au processus de contrôle de la prise de décisions d’ordre technique. L’article conclut en proposant deux principales leçons qui ont été retenues à l’intention des évaluateurs qui tentent d’explorer le contrôle des dilemmes associés à la prise de décisions d’ordre technique pour l’évaluation axée sur la collaboration.

Increasing research skills in rural health boards: an evaluation of a training program from Wwestern Newfoundland

Auteurs :
Pages :
41-56

Des obstacles à l’amélioration des habilités en évaluation se posent en milieu rural. Par exemple, il y a moins d’occasion pour l’éducation professionelle continue, et l’accès aux ressources de formation est limité. Dans ce projet, nous avons développé et évalué un programme de formation pour améliorer les habiletés de recherche en milieu rural. Les participants ont assisté à cinq ateliers et réalisé un projet sous la supervision de leur formateur. Après chaque atelier, les participants ont évalué positivement les activités (moyen de 4.5 sur 5). Un sondage réalisé avant et après le projet montre qu’il n’y avait pas d’augmentation des scores concernant les connaissances en recherche. Néanmoins, la formation a amélioré la confiance des participants à réaliser des activités de recherche. De plus, après le projet, les participants estiment qu’ils ont accès aux ressources nécessaires pour réaliser une évaluation. Les données qualitatives suggèrent que les participants sont familiers avec la terminologie de recherche et montrent la pertinence des mises en situation.