Volume 24, 2009 - Automne

Building an Evaluative Culture: The Key to Effective Evaluation and Results Management

Auteurs :
Pages :
1-30

Dereux examens des systèmes de rendement basés sur les résultats ont fait remarquer qu'une faible culture évaluative dans une organisation mine des tentatives de construction d'une évaluation efficace et/ou d'un système de gestion des résultats. Cet article expose ce qui constitue une culture évaluative solide où les données sur les résultats de rendement sont délibérément cherchées afin d'apprendre comment mieux gérer et offrir des programmes et services. Une telle organisation apprécie la preuve empirique des résultats qu'elle cherche à atteindre. L'article met en évidence et examine des mesures pratiques qu'une organisation peut adopter pour construire et appuyer une culture évaluative.

A Promising New Approach to Eliminating Selection Bias

Auteurs :
Pages :
31-56

Cet article décrit un processus inventif et pratique pour remédier au problème du biais dans la sélection. En se servant d'une approche algorithmique utilisant la variation connue associée au traitement dans la matrice X, nous proposons une transformation des données qui permet l'estimation des effets de traitement sans biais. Cette approche ne demande pas la modélisation des données basée sur des théories ou suppositions sous-jacentes quant au procédé de sélection. Notre proposition préconise plutôt l'utilisation de la variation existante dans les données et laisse parler les données mêmes. La méthode est illustrée en l'appliquant aux Centres d'Emploi Italiens.

La fidélité de l'implantation d'un programme d'intervention pour des adolescentes agressées sexuellement: une mesure par observation systématique

Auteurs :
Pages :
57-79

Une première étude de la fidélité de l'implantation d'un programme d'intervention de groupe pour des adolescentes agressées sexuellement prévoyant 18 séances d'activités organisées autour de 9 thèmes a été réalisée. Par observation systématique du protocole d'intervention déployé auprès de deux groupes d'adolescentes, cette étude de cas dépeint la fidélité et en décrit l'évolution. Les résultats montrent que le premier groupe rencontre des standards de fidélité d'implantation plus élevés que le second en ce qui concerne plus particulièrement les indicateurs d'adhérence. Les niveaux de participation sont similaires dans les deux groupes mais la qualité semble s'améliorer au second groupe. Les durées des activités implantées sont plus élevées que prévu dans les deux groupes. La discussion des résultats est faite à la lumière des facteurs qui favorisent la fidélité et du débat entre la fidélité et l'adaptation.

Interrater Reliability in Content Analysis of Healthcare Service Quality Using Montreal's Conceptual Framework

Auteurs :
Pages :
81-102

Cette étude examine l'utilité du cadre de mesure de la qualité des services conçue à Montréal, qui a servi comme un ensemble de codes prédéfinis dans l'analyse du contenu des réponses des patients, mesurant aussi l'accord interjuge des données codées. Deux évaluateurs ont passé en revue indépendamment les réponses à un sondage postal de patients externes sur la qualité des soins et enregistré si un patient a exprimé un souci particulier. L'accord interjuge était calculé selon trois mesures : le pourcentage d'accord, le Kappa de Cohen, et le coefficient de généralisabilité. Nous avons constaté des niveaux d'accord interjuge spécifique aux codes tous supérieurs à 96 %. Toutes les valeurs du coefficient de Kappa excédaient 0,80, à l'exception de quatre codes reliés à des traits rarement observés. Le coefficient de généralisabilité calculé se situe à 0,93. Tous les indices se sont avérés significativement en accord de façon constante. Nous avons démontré empiriquement que les catégories du contenu du concept de service de Montréal sont exhaustives et fiables dans un processus bien défini d'analyse de contenu.

Coûts de transaction et politiques agri-environnementales

Auteurs :
Pages :
103-130

Cet article propose une grille d'analyse et une méthode de mesure des coûts de transaction liés à l'application des politiques agri-environnementales françaises. La théorie des coûts de transaction vise à prendre en compte le rôle des coûts liés à l'établissement et à la sécurisation des contrats sur l'organisation et l'efficacité écque. Développée à l'origine pour comprendre les formes d'organisation industrielle, elle se révèle pertinente en matière d'évaluation des politiques publiques, plus particulièrement les politiques territoriales et d'environnement, qui impliquent un grandre d'acteurs aux intérêts souvent divergents, et qui posent des problèmes importants d'asymétrie d'information. La méthode que nous proposons est appliquée à deux dispositifs très différents, l'un assez standardisé (la prime à l'herbe), l'autre territorialisé (le contrat territorial d'exploitation). Nous montrons la diversité des formes que peuvent prendre les coûts de transaction pour les différents acteurs impliqués (administrations, organisations professionnelles, agriculteurs) et l'intérêt d'une analyse de ces coûts pour évaluer correctement l'efficacité de ces politiques.

The Downward Trend of Survey Response Rates: Implications and Considerations for Evaluators

Auteurs :
Pages :
131-156

Des taux de réponse diminuant rapidement et la menace afférente de biais dû à la non réponse mettent en doute la validité des données obtenues par l'intermédiaire d'enquêtes téléphoniques, un outil souvent utilisé en matière d'évaluation. Cet article analyse les changements observés dans le biais dû à la non réponse au fil du temps en l'examinant les données à trois points dans le temps (1991, 1996, et 2002) d'une enquête téléphonique annuelle auprès des ménages menée par le laboratoire de recherche sur la population (Population Research Lab) de l'Université de l'Alberta. Les résultats démontrent une baisse importante des taux de réponse accompagné d'un niveau croissant de biais dans les variables associées à la scolarité des répondants. Les répercussions de ces résultats sont étudiées par l'intermédiaire d'analyses de régression et suggèrent qu'une représentation décroissante de répondants ayant une scolarité inférieure pourrait avoir un impact significatif sur différentes variables d'enquête, permettant ainsi aux opinions des répondants plus instruits d'occuper une place prépondérante dans les résultats d'évaluation. Par ricochet, de tels résultats pourraient alimenter des politiques et programmes gouvernementaux de manière à avantager la classe moyenne instruite.

An Illustration of a Methodology to Maximize Mail Survey Response Rates in a Provincial School-Based Physical Activity Needs Assessment

Auteurs :
Pages :
157-168

Nous avons mené deux sondages postaux pour évaluer les besoins à l'échelle provinciale et examiner les occasions de participation aux activités physiques et les barrières existantes dans les écoles primaires et secondaires de l'Ontario. La méthode conçue sur mesure de Dillman (Tailored Design Method ou TDM) a été utilisée pour optimiser le taux et la qualité des réponses. Les deux sondages consistaient en cinq envois postaux à des personnes-ressources clés des écoles choisies aléatoirement. Le taux de réponses parmi les 599 écoles primaires et les 600 écoles secondaires a été respectivement de 85 % et 79 %. Cet article examine comment les stratégies TDM (i.e., les stratégies pour établir la confiance, augmenter les récompenses subjectives, et diminuer les coûts perçus parmi les personnes-ressources clés) ont été utilisées pour obtenir des taux de réponses élevés, examiner les taux de réponses après chaque envoi postal, et en tirer quelques leçons, qui seront utiles aux chercheurs qui envisagent l'utilisation de la méthode TDM dans des sondages conçues pour élaborer et évaluer les programmes.

BOOK REVIEW: L. Bickman & D.J. Rog (Eds.). (2009). The SAGE Handbook of Applied Social Research Methods (2nd ed.)

COMPTES RENDUS DE LIVRES: Michael Quinn Patton. (2008). Utilization-Focused Evaluation (4e éd.)

BOOK REVIEW: D.L. Streiner & S. Sidani (Eds.). (2010).When Research Goes Off the Rails: Why It Happens and What You Can Do About It.