Volume 25, 2010 - Automne

Gauging Alignments: An Ethnographically Informed Method for Process Evaluation in a Community-based Intervention

Auteurs :
Pages :
1-27

Les projets communautaires comportent des interventions et des interactions multidimensionnelles dans des contextes imprévisibles. Les évaluations des processus peuvent permettre de découvrir des résultats variables d'un site à l'autre et les raisons pour lesquelles les résultats de certains projets n'atteignent pas les attentes. Les auteurs présentent une étude influencée par l'ethnographie des composantes interactives du projet pilote communautaire de prévention des chutes qui a été mise en oeuvre dans 4 communautés partout au Canada. Les descriptions ethnographiques et les analyses de l'alignement entre les composantes multiniveaux du projet ont permis aux chercheurs de mieux comprendre les mécanismes de l'évolution du projet à chaque site et les variations dans le rythme, la mobilisation, et la durabilité du projet aux différents sites. Les principales sources de données étaient constituées de transcriptions de la téléconférence du projet triangulées avec les notes du registre, les observations sur le terrain, et les entrevues. Les descriptions et les analyses des alignements peuvent contribuer à l'évaluation du processus. Les ajustements au projet pourraient ainsi être effectués selon le rythme des progrès vers les objectifs du programme, les décisions éclairées à l'égard du programme, et l'interprétation de la variabilité des résultats du programme. On recommande une étude et une opérationnalisation plus approfondies du concept de l'alignement afin de faire avancer les connaissances sur la façon de procéder à des évaluations du processus d'interventions complexes.

Contribution Analysis Applied: Reflections on Scope and Methodology

Auteurs :
Pages :
29-57

Cet article s'intéresse à l'analyse de contribution, telle que conçue par John Mayne, d'un point de vue à la fois théorique et pratique. Malgré une attention croissante il semble que peu d'études appliquent l'analyse de contribution. Cet article présente le champ élargi de l'analyse de contribution en analysant les tenants théoriques et méthodologiques, ainsi que leur application dans le cadre de 2 travaux d'évaluation en cours. Les auteurs concluent que l'analyse de contribution a beaucoup à offrir dans le contexte actuel de l'évaluation dite « théorique », mais une analyse plus poussée du cadre théorique et méthodologique de l'analyse de contribution est également nécessaire.

Pre-Measurement Triangulation: Considerations for Program Evaluation in Human Service Enterprises

Auteurs :
Pages :
59-82

Le concept d'intégration de perspectives multiples en prise de mesure est un fondement de l'évaluation des programmes de services sociaux, mais il pose également des défis importants en matière de faisabilité et d'interprétation des projets. Les méthodes de triangulation sont discutées, et une nouvelle approche est présentée. La triangulation pré-mesure en se servant de la théorie de la mesure communimétrique peut s'avérer une alternative efficace pour répondre à certains des défis soulevés par les méthodes de triangulation dans l'évaluation de programmes de services sociaux. Un exemple d'un tel outil est fourni, accompagné d'une discussion de son utilisation. Les limites de ces stratégies sont également présentées.

Jugement crédible en évaluation de programme: définition et conditions requises

Auteurs :
Pages :
83-101

L'évaluation de programme consiste à établir la qualité d'un programme afin de générer un jugement qui doit être valide et crédible aux yeux des détenteurs d'enjeux. La présente recherche vise à mieux comprendre le terme « jugement crédible » et à cerner les conditions requises pour le générer. Des entrevues semi-dirigées ont été réalisées auprès de six évaluateurs chevronnés et clients. Les résultats mettent en évidence la présence des conditions afin d'assurer un jugement crédible : une méthodologie rigoureuse, une information de qualité, la représentation de différents points de vue, et une cohérence dans le développement de l'argumentation. La contribution de cette étude réside dans le fait qu'elle valide la réflexion de certains théoriciens, tout en soulignant les embuches qui se présentent au cours du passage entre la théorie et l'exercice professionnel.

Managing Evaluation: Responding to Common Problems with a 10-Step Process

Auteurs :
Pages :
103-123

Il y a maintenant un choix clair de cadres pour gérer l'évaluation des programmes, la gestion d'une ou plusieurs études, ou la gestion de la structure et du processus de renforcement des capacités d'évaluation. C'est une distinction avec une différence, et cet article conceptualise cette différence et montre comment les deux cadres comprennent trois problèmes communs à l'évaluation de programme : (a) la non-intégration systématique dans un processus d'amélioration d'un programme plus important, (b) la difficulté à trouver un évaluateur adéquat, et (c) l'absence de conceptualisation adéquate avant le lancement de l'étude sur les évaluations. Deux approches à ces problèmes, basées sur la pratique, sont présentées et interprétées en utilisant les 2 cadres. Ces cadres montrent des distinctions et des différences évidentes entre les 2 approches de gestion. Il s'agit d'approches mettant à l'essai des pratiques développées au cours de 30 ans d'évaluations effectuées et gérées par une équipe d'évaluation aux États-Unis, où il semble y avoir des différences évidentes avec le Canada, au moins dans le secteur public, et dans les pratiques entourant la participation des intervenants et l'utilisation. Notre expérience montre que les gestionnaires des programmes et les gestionnaires des services d'évaluation des programmes ont des choix clairs sur la façon de gérer l'évaluation des programmes des services de santé publique et autres services à la personne dans le secteur public et des organismes à but non lucratif, et ces choix ont des implications pour le développement organisationnel, la gestion d'une équipe d'évaluation, et les relations interorganisationnelles.

BOOK REVIEWS: J. A. Morell. (2010). Evaluation in the Face of Uncertainty: Anticipating Surprise and Responding to the Inevitable. New York, NY: Guilford. 303 pages.

BOOK REVIEWS: S. Donaldson, C.A. Christie, and M.M. Mark. (2009) What Counts as Credible Evidence in Applied Research and Evaluation Practice? Thousand Oaks, CA: Sage. 265 pages.

BOOK REVIEWS: D. Russ-Eft & H. Preskill. (2009). Evaluation in Organizations: A Systematic Approach to Enhancing Learning, Performance and Change (2nd ed.). New York, NY: Basic Books. 552 pages.