Volume 23, 2008 - Automne

Drawing on Indigenous Ways of Knowing: Reflections from a Community Evaluator

Auteurs :
Pages :
73-92

Le conflit qui règne entre les façons d'apprendre occidentales et autochtones a été incarné par le « modèle du parachutage » du chercheur occidental qui atterrit sur une réserve, fait la collecte de données, et part sans qu'on entende parler de lui par la suite. Les forces de la science autochtone, par exemple, l'observation et les facteurs contextuels, sont soit ignorés soit adoptés. Ces erreurs du passé (et parfois du présent) commises par des chercheurs académiques demeurent une source de tension dans les communautés autochtones où, malgré les fonds de recherche qui affluent aux communautés afin de « résoudre » les problèmes de santé, les écarts persistent entre les niveaux de santé dans les communautés autochtones et dans la population générale. Cet article fait état des réflexions d'un évaluateur de la communauté et d'un éducateur sanitaire de Lakota, qui ont agi à titre de « traducteurs culturels » dans le cadre d'un processus participatif communautaire dirigé par une agence communautaire. Nous avons reconnu la nécessité de travailler avec et dans les deux cultures — soit celles du monde de la recherche académique et de la communauté autochtone—et nous nous sommes basés sur des principes d'évaluation collaborative et des façons d'apprendre autochtones pour effectuer une recherche évaluative formative sur les enjeux liés à l'abandon du tabac chez les femmes enceintes autochtones.

Bureaucratic Competence as an Essential Factor in Cross-Cultural/Multicultural Program Evaluations

Auteurs :
Pages :
93-115

Nous convenons sans doute tous que tant les responsables de la mise en oeuvre que les évaluateurs devraient se montrer sensibles aux différences culturelles et tenir compte des enjeux de l'éthique, tout en faisant preuve d'une efficacité opérante dans le cadre de leur pratique professionnelle. Cependant, nous minimisons ou nous refusons de tenir compte du fait que ces objectifs de pratique peuvent entrer en conflit dans l'atteinte de compétence bureaucratique, particulièrement dans une société multiculturelle. Les concilier exige la reconnaissance des facteurs suivants : le rôle indispensable d'une évaluation responsable de programme dans ces efforts, évaluation qui s'étendra aux employés ainsi qu'aux clientèles ciblées par ces programmes; l'ouverture d'esprit des évaluateurs, en particulier quant aux apports théorique et opérationnel au domaine; le rôle joué par les modes de représentation bureaucratique et électoral; la fonction indispensable des programmes d'action affirmative et d'équité salariale en adressant la diversité et l'équité; enfin, l'engagement envers le principe selon lequel les sujets visés par les processus d'évaluation et de mise en oeuvre devraient jouer un rôle plus important que le statut passif leur désigné par la bureaucratie traditionnelle et par les sciences sociales appliquées.

Moments of Truth: an Unexplored Dimension to Communicate Effectiveness

Auteurs :
Pages :
117-138

Cet article prend pour cadre des communautés rurales et éloignées de la province canadienne de l'Ontario où l'accès à l'internet à haute vitesse crée de nouvelles opportunités pour la prestation des services de santé publique et d'information. Cet article soutient que les capacités de planification et d'évaluation des agences de financement public et des prestataires de services s'améliorent lorsque la notion « d'heure de vérité » est adoptée en tant que dimension supplémentaire pour atteindre et promouvoir l'efficacité des programmes. Il s'agit d'une dimension d'évaluation rarement considérée comme valable dans le secteur public, alors qu'il se situe au coeur même des comportements dans le secteur privé.

Une analyse du processus d'évaluation de la politique régionale de santé dans le Nord Pas-de-Calais (France)

Auteurs :
Pages :
139-164

En France, l'évaluation d'une politique de santé constitue un fait récent. L'évaluation effectuée dans la région Nord Pas-de-Calais présente l'intérêt de porter à la fois sur une politique et ses programmes. L'article présente une analyse des différents questionnements de cette évaluation confrontés à ceux d'une grille d'évaluation fondée sur un cheminement séquentiel. Il appert que la culture évaluative française est marquée par une approche à la fois pluraliste et à partir de critères d'évaluation, témoignant de la dimension normative (jugement) de cette activité. La confrontation conduit à rechercher les liens entre les questions de la grille et une approche par critères « à la française » afin d'établir des correspondances entre ces deux approches en vue d'enrichir la réflexion évaluative tant en France qu'au Canada.

A Journey Through Five Evaluation Projects with the Same Analysis Framework

Auteurs :
Pages :
165-190

L'évaluation est de plus en plus appelée à agir en support au processus de gestion et de reddition de comptes, et ce, peu importe le domaine d'activités. Souvent réalisée dans un environnement complexe et dynamique, elle doit par ailleurs tenir compte d'intérêts et d'enjeux différents s'actualisant à des paliers divers. Dans ce contexte, le cadre d'analyse développé par Gervais peut s'avérer un outil utile pour structurer à la fois la planification de la démarche d'évaluation et l'interprétation des résultats y afférant. Outre la description des cinq dimensions de ce cadre, plusieurs exemples d'utilisation seront présentés. Une analyse critique des forces et limites du cadre d'analyse ainsi que ses principales contributions aux processus évaluatifs dans lesquels il a été utilisé sera finalement réalisée à la lueur des commentaires émis à ce jour par certains de ses utilisateurs.

L'examen de la qualité des évaluations fédérales: une méta-évaluation réussie?

Auteurs :
Pages :
191-224

La qualité des évaluations représente un enjeu fondamental au sein du mouvement de la gestion et des politiques fondées sur des données probantes. Le Secrétariat du Conseil du Trésor du Canada (SCT) a ainsi réalisé en 2004 un examen de la qualité des évaluations fédérales d'une envergure considérable. Au regard de sa pertinence, de sa méthodologie, et de la crédibilité de ses conclusions, cette méta-évaluation est-elle réussie? Cet article offre une réponse à cette question en présentant une évaluation de l'examen du SCT. Malgré des lacunes importantes au niveau de la théorie et des critères de qualité, du devis de recherche, du processus de codage, et de l'analyse des données, cette méta-évaluation présente des conclusions qui sont dans l'ensemble pertinentes et d'un niveau de crédibilité acceptable. Les enseignements que l'on peut tirer de cet examen sont proposés à titre de recommandations à l'intention des évaluateurs et des responsables des services d'évaluation désirant réaliser un examen similaire mais qui ne souffrirait pas des mêmes lacunes.

Latent Profiles of Evaluators' Self-Reported Practices

Auteurs :
Pages :
225-254

Cet article présente les résultats d'une étude décrivant les pratiques autorapportées de 138 évaluateurs. Une analyse de profil latent a servi à déterminer les stratégies de pratique des évaluateurs. Quatre classes ont émergé de ces analyses et sont désignées modèle indistinct de pratique; modèle axé sur la méthode; modèle axé sur l'utilisateur; et modèle robuste de pratique. Les évaluateurs qui appliquent un « modèle indistinct de pratique » ont fourni des réponses moyennes aux questions qui se rapprochaient davantage du zéro que les évaluateurs dans les trois autres classes. Ce résultat laisse supposer l'existence d'un lien relativement faible avec les pratiques décrites par l'instrument de l'étude. Les évaluateurs dans la classe « modèle axé sur la méthode » affichaient une préférence distincte et marquée pour l'application de méthodes particulières. Les évaluateurs dans la classe « modèle axé sur l'utilisateur » accordaient une grande importance au rôle de facilitateur de l'évaluateur et cherchaient à favoriser un degré élevé d'engagement chez les intervenants et les participants. Enfin, les évaluateurs dans la classe « modèle robuste de pratique » affichaient un degré de rigueur élevé quant à l'application des modèles de pratique dont ils ont fait mention, en ce qui a trait spécifiquement à ce que prônent les théoriciens de l'évaluation. Les quatre profils se distinguaient par lere d'années d'expérience, par le niveau de scolarisation, ainsi que par le statut interne ou externe de l'évaluateur.

COMPTES RENDUS DE LIVRES: M.J. Bamberger, J. Rugh, and L. Mabry. (2006). RealWorld Evaluation: Working Under Budget, Time, Data, and Political Constraints

BOOK REVIEW: Carl F. Brun. (2005). A Practical Guide to Social Service Evaluation

BOOK REVIEW: Hedley Dimock. (2004). Outcome-based Program Development and Evaluation

BOOK REVIEW: Donna M. Mertens. (2009). Transformative Research and Evaluation

BOOK REVIEW: R. Pawson. (2006). Evidence-based Policy: A Realist Perspective

Aboriginal Ways of Knowing: Aboriginal-led Evaluation (Guest Editor’s Introduction) / Modes de connaissance autochtones: l’évaluation menée par des Autochtones (Introduction de la rédactrice invitée)

Reframing Evaluation: Defining an Indigenous Evaluation Framework

Auteurs :
Pages :
13-31

L'American Indian Higher Education Consortium (AIHEC), composé de 34 collèges et universités sous contrôle tribal par les Indiens d'Amérique, a entrepris un vaste travail en vue d'élaborer un « cadre théorique autochtone d'évaluation » qui synthétise les façons d'apprendre autochtones et la pratique d'évaluation occidentale. Pour poser les fondements du cadre théorique, l'AIHEC s'est lancé dans un processus de consultation en profondeur et a réalisé plusieurs groupes de discussion dans les principales régions des États-Unis. Les experts de la culture, les éducateurs autochtones, et les évaluateurs ont partagé leurs préoccupations au sujet de l'évaluation tout en décrivant l'intégration de l'évaluation dans un cadre théorique culturel. Cet article résume les échanges des groupes de discussion et décrit comment le cadre théorique a été élaboré à l'aide des principes clés des façons d'apprendre autochtones et de quatre valeurs centrales communes aux communautés autochtones.

Challenges in Applying Indigenous Evaluation Practices in Mainstream Grant Programs to Indigenous Communities

Auteurs :
Pages :
33-50

Comment des évaluateurs autochtones peuvent-ils mettre en oeuvre des modèles culturellement adéquats dans des communautés des Premières nations tout en veillant à ce que les exigences en matière d'évaluation du financement public soient rencontrées? En décrivant les défis présents dans une communauté tribale aux États-Unis, cet article décrit comment les programmes de prévention de la toxicomanie destinés aux Indiens d'Amérique/Autochtones d'Alaska procèdent à l'évaluation de la mise en oeuvre et des résultats des subventions du Strategic Prevention Framework du Center for Substance Abuse Prevention du gouvernement fédéral. Les exigences liées à la mise en oeuvre de programmes fondés sur les données probantes produites selon les normes pour d'autres populations et aux données d'évaluation basées sur les méthodes quantitatives viennent s'ajouter au défi à relever. Tout au long du processus, des leçons sont tirées dans l'espoir qu'elles viendront renforcer les bénéficiaires autochtones et accroître la compétence culturelle des exigences gouvernementales en ce qui a trait à l'évaluation.

Using Technology to Enhance Aboriginal Evaluations

Auteurs :
Pages :
51-72

Cet article met l'accent sur l'utilisation de la technologie pour l'évaluation de programmes destinés aux peuples autochtones afin d'explorer la possibilité d'utiliser la technologie informatique visuelle et verbale pour améliorer l'intégration de visions du monde autochtones dans l'évaluation de programme. L'auteure situe les visions du monde autochtone, incluant des méthodes de communication et de transmission des connaissances, dans un cadre théorique d'évaluation unique qui tient compte des méthodes occidentales de collecte des données. Des exemples du cadre théorique de l'auteure sont offerts dans le contexte d'évaluations de programmes autochtones. Selon ses expériences, l'auteure conclut qu'il est possible de joindre les connaissances traditionnelles des peuples autochtones à la technologie numérique dans le cadre de l'évaluation de programme.