Volume 21, 2006 - Printemps

Editor's Remarks / Un mot du rédacteur

The role of the Office of the Auditor General in Canada and the concept of independence

Audit and evaluation in public management: challenges, reforms, and different roles

Auteurs :
Pages :
11-45

La vérification et l'évaluation jouent d'importants rôles dans la gestion publique. Cependant, il peut y avoir une certaine confusion et des discussions quant à la portée de chacune de ces fonctions et à leurs rôles respectifs. Cet article examine et compare chacune de ces fonctions par rapport à la gestion publique, ainsi que les défis clés que doit relever chacune d'elles dans le secteur public. La vérification et l'évaluation devraient jouer différents rôles dans la gestion publique et fournir des renseignements différents sur le rendement des organismes du secteur public, chacune mettant à profit ses propres points forts.

Making cost-benefit analysis a practical tool for evaluation

Auteurs :
Pages :
47-62

Une évaluation des coûts-avantages exige des données précises sur les résultats des programmes. Toutefois, ces données ne sont pas disponibles quand l'analyse est de nature prospective, et elles sont dispendieuses et leur collecte exige beaucoup de temps lorsque l'analyse est rétrospective. Ce problème de l'incertitude des données est partiellement résolu par la version révisée du Guide de l'analyse avantages (Watson & Mallory, 1997), publiée par le Conseil du Trésor, qui permet d'utiliser des estimations probabilistes des résultats des programmes dans l'analyse. On ne dispose pas encore de beaucoup d'exemples pratique de cette technique. Un exemple est l'évaluation de Transports Canada des exigences modifiées pour les petits vaisseaux commerciaux de transporter de l'équipement de signalisation d'urgence. Cet article décrit cette évaluation et évalue la pertinence de la méthodologie.

Evaluability assessment as a tool for research network development: experiences of the complementary and alternative medicine education and research network of Alberta, Canada

Auteurs :
Pages :
63-82

Beaucoup de réseaux de recherche ont émergé afin de faciliter l'implication dans la recherche, d'augmenter la capacité de recherche, et de développer une culture de recherche, mais on en sait encore peu en ce qui concerne leur efficacité. Les évaluations requièrent que les réseaux aient des objectifs clairement définis ainsi qu'un plan pour les atteindre; plusiers réseaux n'en ont pas. Cet article décrit l'expérience d'un réseau de recherche, Complementary and Alternative Medicine Education and Research Network of Alberta, qui a fait une « évaluation de l'évaluabilité » adaptée pour aider à développer le réseau et pour planifier une évaluation significative. Cette expérience pourrait aider d'autres réseaux de recherche à penser stratégiquement et à planifier pour des évaluations efficaces.

Discours qui résistent à l'objectivation: que peut-on en tirer pour l'évaluation?

Auteurs :
Pages :
83-106

L'évaluateur doit porter attention aux distorsions qu'il contribue à créer lorsqu'il utilise l'entrevue comme méthode de collecte de données. L'évaluation est un exercice politique qui, placé dans un contexte politique, peut favoriser l'émergence de discours de résistance à l'objectivation. À partir des entrevues que nous avons effectuées lors de l'évaluation du processus d'implantation de l'initiative ONUSIDA d'accès aux médicaments au Chili, nous illustrons différentes tactiques que les acteurs utilisent et qui peuvent soit attirer la sympathie de l'évaluateur, soit faire obstacle à son besoin d'information. Nous présentons une méthode d'analyse que l'évaluateur peut utiliser pour redonner du sens aux discours de résistance.

Humanitarian education project in Sierra Leone

Auteurs :
Pages :
107-129

Bien qu'il soit clair que l'évaluation participative (ÉP) ait les potentialités pour des programmes d'aide internationale, il n'y a que très peu de données probantes documentées concernant les approches participatives adoptées dans les évaluations de l'aide humanitaire pour les populations en situations d'urgence. Deux courants d'évaluation participative, l'une de l'approche pratique (ÉP-P) et l'autre de l'approche transformative (ÉP-T), sont pertinents pour les programmes d'aide internationale. Mais étant donné que ces deux approches de l'ÉP sont enracinées dans des objectifs et des processus différents, il n'est pas évident que les dynamiques de pragmatisme et de transformation puissent être appliquées intégralement dans les évaluations participatives d'aide humanitaire. L'exemple d'une évaluation de l'éducation humanitaire pour les enfants déplacés durant la guerre civile au Sierra Léone démontre les avantages pratiques provenant de la participation même limitée dans le processus évaluatifs des parties intéressées. En outre, malgré le fait que l'évaluation de l'éducation rapide ne soit pas une intervention transformative, elle permet de porter un regard sur les défis qui entourent les efforts orientés vers une transformation sociale par étape dans un contexte d'après-guerre.

Participatory needs assessment

Auteurs :
Pages :
131-154

Les études de besoins sont typiquement effectuées soit exclusivement par des praticiens aux dépens de la qualité ou soit entièrement par des évaluateurs externes aux dépens de la pertinence. Cet article propose une approche participative pour l'étude des besoins, que nous définissons comme une approche systématique à l'établissement des priorités organisationnelles à laquelle des évaluateurs qualifiés et des intervenants des programmes se partagent la responsabilité de toutes les décisions importantes et procédurales. Nous présentons les avantages potentiels et trois défis déterminants : favoriser une participation véritable du personnel du programme, réduire les contraintes de temps imposées aux intervenants, et maintenir la qualité des évaluations. Nous avons réalisé une étude de cas où 81 intervenants ont travaillé avec un évaluateur externe pour repérer et prioriser les besoins dans un conseil scolaire. Ce dernier a élaboré neuf stratégies pour relever les défis que présente l'étude de besoins participative. Cet exercice a permis d'exécuter une évaluation des besoins qui a mené à des niveaux d'utilisation relativement élevés (soutien pour la prise de décisions individuelles, utilisation conceptuelle et utilisation des processus) et à des niveaux de qualité modérément élevés, en particulier en ce qui a trait à la crédibilité aux yeux des utilisateurs. Nous soutenons que l'étude de besoins participative constitue un prolongement adéquat des approches participatives à l'évaluation de programme.

Impacts du PIRS en milieu scolaire

Auteurs :
Pages :
155-174

Cet article examine l'impact du Programme d'indicateurs du rendement scolaire (PIRS) sur le milieu éducatif. Ce programme pancanadien évalue le rendement des élèves en mathématiques, en sciences, en lecture, et en écriture. Les données proviennent d'entrevues semi-structurées menées auprès des coordonnateurs (n = 20) du programme dans toutes les instances géopolitiques et d'un questionnaire envoyé à travers le Canada à l'intention des dirigeants des conseils scolaires participants (n = 147). L'impact du PIRS se décrit selon deux dimensions : positif versus négatif et intrinsèque versus extrinsèque. Les résultats révèlent qu'une certaine faiblesse dans la communication entre les responsables du PIRS et les différents acteurs en éducation joue un rôle important sur le degré d'impact. La discussion offre certaines explications et recommandations à l'endroit des programmes d'évaluation des apprentissages.