Volume 19, 2004 - Automne

Stakeholder involvement in a government-funded outcome evaluation: lessons from the front line

Auteurs :
Pages :
37-56

Le présent article décrit le processus utilisé lors d'une évaluation des résultats lancée par le gouvernement à laquelle ont participé à la planification et la prise de décision des intervenants de projets subventionnés. Il examine les forces, les défis, et les limites de l'évaluation. Des consultations de suivi menées auprès des membres du personnel du projet qui ont participé à la collecte de données pour l'évaluation indiquent que ceux-ci ont eu l'occasion de connaître les participants du programme grâce aux entrevues et que, selon eux, les liens établis entre les bailleurs de fonds, le personnel, et les évaluateurs constituent un point fort du processus. Parmi les points faibles, on note des soucis au sujet de certaines questions posées aux participants, la complexité de la conception de l'évaluation, et des lacunes quant à l'identification des implications du roulement du personnel et de la charge de travail quand on a décidé d'impliquer le personnel de première ligne dans la collecte de données.

Le benchmarking et l'amélioration continue

Auteurs :
Pages :
57-74

Le benchmarking se nourrit des courants d'amélioration continue et de contrôle de la qualité en favorisant l'identification de « bonnes pratiques » qui seront importées et adaptées dans des milieux qui souhaitent améliorer leur performance. Le présent article présente la démarche de benchmarking et l'illustre au moyen d'une étude de cas. Sa contribution réside dans le traitement qu'il accorde à l'approche et dans les efforts déployés pour clarifier l'objet de l'étude et identifier des indicateurs de performance adéquats. Finalement, il offre une réflexion sur l'apport du contexte organisationnel dans une démarche évaluative, thème de plus en plus fréquemment abordé par les auteurs dans le domaine de l'évaluation.

L'évaluation des technologies de la santé: comment l'introduire dans les hôpitaux universitaires du Québec?

Auteurs :
Pages :
75-98

Cet article décrit le degré de mise en œuvre de l'évaluation des technologies de la santé (ETS) dans les établissements universitaires du Québec et examine la structure pour favoriser son implantation. Les données proviennent d'un questionnaire postal administré dans les établissements universitaires (taux de réponse 83/149 = 56 %). Des entrevues complémentaires (n = 4) permettent de documenter le contexte plus large de la mise en œuvre de l'ETS. Les principaux obstacles identifiés sont la faible disponibilité des ressources matérielles, financières, et humaines. Les répondants favorisent une unité d'ETS qui relèverait de la direction générale ou de la direction des services professionnels, en lien étroit avec le centre de recherche. Les résultats illustrent trois défis principaux : la clarification des attentes des acteurs face à l'ETS, la recherche d'un plus grand consensus autour de l'ETS, et une large adhésion dans la structure choisie.

Integrating evaluative inquiry into the organizational culture: a review and synthesis of the knowledge base

Auteurs :
Pages :
99-141

Cet article a pour but d'explorer, grâce à un examen poussé et à l'intégration de la littérature académique récente, les interconnexions et liens conceptuels entre les faits nouveaux dans les domaines de l'utilisation de l'évaluation, du renforcement des capacités d'évaluation, et de l'apprentissage organisationnel. L'objectif est de décrire et de critiquer l'état actuel de la base de connaissances en ce qui a trait au problème général de l'intégration de l'évaluation à la culture organisationnelle. Nous avons identifié et examiné 36 études empiriques récentes utilisées pour élaborer un cadre conceptuel partiellement fondé sur des travaux antérieurs. Du point de vue méthodologique, les résultats démontrent que la recherche dans ce domaine est encore sousdéveloppée. Du point de vue «validation», ils démontrent que l'état de préparation de l'organisation à l'évaluation peut être favorablement influencée directement par des initiatives de renforcement des capacités d'évaluation (RCE) et indirectement par l'exécution et l'utilisation d'évaluations. La discussion propose un plan pour la recherche continue et identifie les implications pour la pratique.

The analysis of focus groups in published research articles

Auteurs :
Pages :
143-164

Cet article examine 72 articles de recherche publiés qui comportent la méthodologie de groupe de discussion, provenant des domaines de la santé, de la sociologie, et de l'éducation. Les articles sont évalués en fonction du type d'analyse des transcriptions des groupes de discussion, de la description de la méthodologie, et du système de codage utilisé, si émergent ou déterminé d'avance. Moins de la moitié des articles utilisent un système de codage afin d'analyser les transcriptions, alors que plus de la moitié utilisent simplement des extraits intéressants des groupes de discussion afin de présenter le contenu des discussions ou pour valider d'autres résultats quantitatifs. Les résultats montrent que 14 % des articles utilisent des tests de qualité tel que la fidélité inter-juges pour assurer la rigueur de l'analyse des données. La plupart des articles utilisant des tests de qualité proviennent du domaine de la santé. La discussion porte sur les résulatats en tant qu'implications pour la pratique de l'évaluation et de la recherche continue.

Pre- and post-scenarios: assessing learning and behaviour outcomes in training settings

Auteurs :
Pages :
165-176

Dans cet article, l'auteur discute du recours à des préscénarios et à des postscénarios pour documenter les effets de la formation sur l'apprentissage et le comportement en utilisant, comme toile de fond pour la discussion, les cinq niveaux critiques de l'évaluation du perfectionnement professionnel de Guskey et le modèle à quatre niveaux pour l'évaluation de la formation de Kirkpatrick. Deux cas sont fournis à titre d'exemple, dont des scénarios cliniques qui ont été administrés dans un atelier de formation sur la maladie d'Alzheimer et analysés à l'aide de tests statistiques et des scénarios situationnels qui ont été administrés dans un programme de formation intergénérationnel en éducation de la petite enfance et analysés à l'aide de méthodes qualitatives. La discussion porte sur la création et l'administration de scénarios, la prévention des biais de mesure, l'analyse des données provenant des scénarios, et l'utilisation des résultats de l'analyse des scénarios pour concevoir une évaluation du changement de comportement à long terme et une évaluation du changement et du soutien organisationnels.

The role of the evaluator in a political world

Auteurs :
Pages :
1-16

Avant-propos par Alan G. RyanUniversity of SaskatchewanPendant sa carrière longue et distinguée, Ernest House a constamment souligné l'importance de la responsabilité morale des évaluateurs. Son activisme social nous a maintes fois mis en garde contre l'attrait que peuvent susciter les agendas des personnes en position de pouvoir. (C'est cette position qui faisait de lui un conférencier particulièrement pertinent pour le premier congrès annuel de la SCÉ en Saskatchewan; il connaît bien l'histoire de cette province en ce qui a trait aux coopératives et aux initiatives sociales.) Dans son allocution, il mentionne que le climat politique actuel aux États-Unis constitue une menace pour l'aute et l'utilité de l'évaluation, c'est-à-dire, celle de devenir un serviteur de l'élite au pouvoir. En se basant sur l'analyse du culte de l'efficacité de Janice Gross Stein, il montre comment le fondamentalisme politique et méthodologique sont intimement liés. Comme il l'a écrit il y a plus de 25 ans dans son ouvrage intitulé The logic of evaluative argument (1977): « [traduction] Il y en a qui essaient d'appliquer de force une simplicité aux complexités de la vie et qui éliminent par le faitmême l'ambiguïté... Étant souvent dans des positions de pouvoir, ils imposent des définitions arbitraires de la réalité pour justifier leurs gestes. » (p. 47)Mais House n'a jamais été de ceux qui se laissent aller au désespoir, et ce, quelle que soit la situation. Il recommande aux évaluateurs qui font face à de telles forces de confronter directement les instances politiques. Nous devons remettre en cause les hypothèses simplistes qui imposent des limites artificielles aux questions d'évaluation et aux approches méthodologiques. Dans l'exemple détaillé tiré de ses propres travaux, il nous présente un rôle nouveau pour l'évaluateur, une sorte d'approche transactionnelle à l'évaluation (Rippey, 1973) mais qui est mise à jour grâce à une compréhension raffinée des forces politiques en jeu dans l'étude entreprise. Ce faisant, il souligne clairement que les responsabilités de la profession d'évaluation vont bien au-delà de tout modèle d'imputabilité.

Using multi-site core evaluation to provide "scientific" evidence

Auteurs :
Pages :
17-36

Les bailleurs de fonds des programmes en éducation et autres sciences sociales sont de plus en plus enclins à financer des évaluations de l'efficacité et du rendement basées sur des devis expérimentaux. Par conséquent, ils montrent moins d'intérêt pour les évaluations qui visent d'autres buts tels que la conformité des programmes aux modèles auxquels ils réfèrent. Afin de bien comprendre l'efficacité des programmes sociaux et éducatifs complexes, il faut utiliser une évaluation qui fournit divers éléments d'information. Cet article utilise le Core Evaluation of the Collaboratives for Excellence in Teacher Preparation Program comme exemple d'une évaluation qui satisfait aux exigences de l'évaluation objective scientifique en même temps qu'elle permet de valoriser et d'intégrer d'autres buts d'évaluation. La discussion porte sur les réussites et les limites de l'exemple pour atteindre cette harmonisation.