Volume 10, 1995 - Printemps

L'évaluation au sein des régions françaises et de la Commission européenne: son rôle dans le cadre du partage des responsabilités

Auteurs :
Pages :
135-149

À l'instar de l'État français, les administrations européennes et régionales développent, parfois en commun parfois de manière concurrente, des dispositifs d'évaluation des politiques. L'intérêt de ces administrations à l'égard de l'évaluation est lié à leur relative jeunesse, car elles font face à une double nécessité: se doter d'une doctrine d'action correspondant à la nouvelle entité publique dont elles doivent défendre les intérêts d'une part, et, d'autre part, défendre leurs points de vue particuliers vis-à-vis d'un appareil d'État qui reste puissant et voit d'un mauvais œil émerger des définitions concurrentes de l'intérêt général. Les négociations sontreuses entre ces trois niveaux de collectivités dans le cadre des politiques dites «nbsp;partenariales » qui se multiplient. Rares sont, en effet, les actions des Régions et de la Commission Européenne qui ne font pas l'objet d'un cofinancement avec l'État français. Cette contractualisation d'objectifs communs et de moyens s'assortit le plus souvent d'une obligation d'évaluer.

Evaluating a three-day exercise to obtain convergence of opinion

Auteurs :
Pages :
151-158

Un ministère du gouvernement canadien a souhaité identifier les difficultés les plus sérieuses liées à l'établissement d'associations entre ce ministère et d'autres organismes, pour trouver des solutions susceptibles d'améliorer le développement de telles associations à l'avenir. Dans ce but, une réunion de travail, utilisant la technique Delphi, a été organisée à l'intention d'un groupe de hauts fonctionnaires du ministère familiers avec ces associations. Cette étude rend compte du processus utilisé dans le temps limité disponible à ce but et évalue son efficacité.

Use of a stakeholder advisory group to facilitate the utilization of evaluation results

Auteurs :
Pages :
159-162

L'article décrit les mesures prises par les auteurs pour établir un groupe consultatif à l'intention des intervenants dans un projet majeur d'évaluation. Les auteurs soutiennent que l'existence et l'emploi du groupe consultatif ont amélioré l'utilisation des résultats de l'évaluation du projet.

A level-three evaluaton of five marketing classes

Auteurs :
Pages :
163-171

L'étude reflète l'orientation dans le monde des affaires aux États-Unis de l'évaluation de l'impact de l'éducation sur les pratiques commerciales. Cette évaluton a mesuré comment les concepts enseignés dans les cinq cours de marketing ont été transformés dans la réalité pratique et ont déterminé les divers éléments jouant un rôle dans l'application de ces concepts. Des données qualitatives et quantitatives ont été recueillies. En se servant d'un t test pour comparer les résultats avant et après les cours, on a trouvé que dans 16% des cas les comportements présentaient des différences de résultats significatives. Bien que modestes, les données suggèrent un transfert réel de savoir au milieu de travail après un temps limité pour la compréhension des concepts. De façon générale, les diplômés pouvaient probablement: reconnaître clairement les questions de recherche, montrer de l'objectivité quant à l'utilité et l'à-propos des données d'une recherche, obtenir la participation de l'administration et choisir des méthodologies plus pertinentes. Les facteurs qui ont influencé la mise en œuvre comprennent: les ressources, le soutien administratif, des objectifs clairs et un esprit ouvert aux idées nouvelles. La portée pratique comprend le renforcement des concepts et, de façon plus importante, la formation des cadres en ce qui touche l'importance de se servir des techniques de marketing convenables et l'impact de celles-ci.

Evaluating an indian and métis education staff development program

Auteurs :
Pages :
173-178

L'objectif de cette étude était de fournir à la Direction de l'éducation indienne et métisse du ministère de l'Éducation, de la Formation et de l'Emploi de la Saskatchewan des renseignements sur le programme de formation professionnelle qu'elle offre. Cette évaluation a été conçue en collaboration avec la Direction de l'éducation indienne et métisse, avec le concours du Comité consultatif provincial sur l'éducation indienne et métisse. Les données de l'étude ont été réunies par questionnaires, sondages téléphoniques, entrevues de groupe, visites sur place et analyses de documents. L'évaluation a fourni des renseignements qui permettront de définir dans quelle mesure le programme a répondu à ses objectifs.

Qualitative evaluation as symbolic policy making: evaluating work training programs for Quebec welfare recipients

Auteurs :
Pages :
1-15

L'évaluation «nbsp;qualitative » des politiques publiques exige un traitement impartial des parties prenantes aux interventions évaluées. Par contre, la justification des politiques symboliques exige la formulation de conclusions favorables au maintien des politiques en place. Ces pressions contradictoires peuvent amener les évaluateurs à favoriser certains points de vue plus que d'autres. On peut illustrer ce problème en examinant un cas précis d'évaluation qualitative, celle des Mesures de relance, un programme québécois visant la réinsertion des assistés sociaux. Alors que dereux groupes étaient associés à cette intervention, seuls les bénéficiaires ont été consultés en profondeur. Puisqu'une composante importante du programme –les Stages en milieu de travail- ne fonctionnait que grâce à la collaboration des employeurs, il aurait semblé logique que ces derniers soient asociés à l'évaluation. Cependant, leur participation aurait pu empêcher la formulation des conclusions souhaitées par les évaluateurs, notamment celle que le programme pourrait réussir si certaines améliorations étaient apportées. L'analyse de ce cas amène à la conclusion que l'évaluation qualitative n'est utile que dans la mesure où elle tient vraiment compte de l'ensemble des parties prenantes d'une intervention. L'article est suivi d'une brève critique par Dale H. Poel qui soutient que ce sont les évaluateurs, plutôt que la méthode qualitative elle-même, qui sont à l'origine de la partialité politique. L'auteur répond brièvement à cette critique.

Individual choice and sources of error: idiographic evaluation of psychosocial rehabilitation

Auteurs :
Pages :
23-34

Cet article examine brièvement les approches expérimentales et les sources d'erreur dans l'évaluation des programmes de réadaptation psychiatriques ou psychosociaux: des concepts qui ont été tout au début et par la suite quasi-expérimentaux, la sélection de groupes qui se placent aux limites extrêmes des critères de mesures, le problème de l'auto-sélection et de l'attrition différentielle, l'absence de sujets témoins et d'évaluation non aveugle et les variations individuelles en réponse à des traitements mal définis. Ces facteurs deviennent plus problématiques en évaluant des traitements ayant un fondement écologique qui demandent de mesurer des progrès individuels face à des objectifs particuliers dans des milieux choisis individuellement. La réadaptation psychosociale axée de façon spéciale sur des personnes qui oeuvrent dans leur propre environnement n'a pas encore trouvé une méthodologie de recherche valide relative à l'idéologie. Cet article décrit une approche idiographique à l'évaluation qui caractérise les réponses individuelles au traitement associée à la méthodologie du groupe restreint en se servant du groupe comme témoin pour fournir un outil pratique d'évaluation de l'efficacité du traitement dans des situations de réadaptation appliquée.

An idiographic evaluation of an integrated, team case management program: hospitalization, client problems and stages of change

Auteurs :
Pages :
35-58

L'article décrit l'évaluation d'un programme de gestion de cas intégrée et de traitement de dépendance pour les individus qui ont le double défi d'affronter les problèmes des maladies mentales et de toxicomanie. Ce sont des cas de pathologie double. Ce programme, modelé sur le New Hampshire Specialized Services, coniste en un traitement énergique des cas associé à une thérapie en quatre étapes de la toxicomanie. Dans ces cas, on se représente les individus comme vivant des processus d'engagement, de persuasion, de traitement de groupe actif et de prévention de rechute. La méthode applique un concept A-B quasi-expérimental ayant une analyse idiographique des cas en milieu hospitalier parmi pluieurs petits groupes de malades. La thérapie, qui a eu un effet constant dans ces groupes, doit être considérée comme un sous-produit naturel de la participation continue à ce programme. Deux nouveaux mécanismes de mesure ont été mis au point pour en évaluer le fonctionnement et déterminer le niveau de modification du comportement obtenu chez les participants. Il s'agit respectivement de la Liste de contrôle des problèmes du client et de l'échelle d'évaluation des Étapes de modification. La fiabilité des données de chaque mécanisme indique des niveaux allant de médiocre à bon. Les résultats indiquent que le programme a eu du succès en réduisant la période d'hospitalisation, en augmentant la fidélité au traitement de la toxicomanie et en améliorant le fonctionnement dans plusieurs aspects de la vie au cours de la première année du programme. Les partcipants au programme ont exprimé un taux élevé de satisfaction. Il faut poursuivre encore la recherche sur l‘analyse des composantes pour mieux définir les effets du traitement et les cibles qui y conviennent.

Program design can make outcome evaluation impossible: a review of four studies of community ecc development programs

Auteurs :
Pages :
59-72

Entre 1981 et 1990, Emploi et Immigration Canada (EIC) a évalué trois programmes de développement écque de collectivités: le Programme de stratégie d'emploi communautaire, le Programme de croissance locale et de développement de l'emploi, et le Programme de développement des collectivités. Rétrospectivement, on peut voir que deux problèmes de création de concepts sont venus entraver ces évaluations: d'abord aucun traitement n'était reproductible, ensuite il est peu probable qu'une politique d'intervention large mais superficielle ait des effets mesurables dans un environnement «nbsp;bruyant » où co-existent d'autres facteurs incontrôlables. Cet article revoit les études d'évaluation, les leçons retenues de chaque étude, comment les programmes subséquents ont reflété ces leçons et comment les limitations méthodologiques des études ont imposé des contraintes sur ce qu'on avait appris.

Factors influencing the utilization of results: a case study of an evaluation of an adult day care program

Auteurs :
Pages :
73-87

Malgré l'intérêt grandisant pour la recherche évaluative dans le domaine des soins de santé, il s'avère que les résultats de ce type de recherche sont peu utilisés au niveau organisationnel. Le but de cet article est d'examiner les facteurs qui influencent l'utilisation de résultats au niveau d'un organisme et d'un programme local. Les résultats d'une évaluation d'un programme de centre de soins de jour pour adultes servent à illustrer les questions associées aux facteurs d'utilisation. Ceux-ci comprennent des facteurs de structure, des facteurs associés aux processus de recherche et des facteurs reliés au climat organisationnel du centre.

Evaluability assesment in health care: an example of the patient care and outcome process

Auteurs :
Pages :
89-102

Une première étape essentielle à la réussite dans l'évaluation des programmes est l'analyse de la faisabilité et de la planification de l'évaluation. Les programmes qui visent à réaliser des changements difficiles et significatifs aux services de santé importants doivent être ouverts non seulement à l'encouragement mais aussi aux revues critiques qui suivent des efforts systématiques d'évaluation. Cet article met au point les valeurs et les principes d'une analyse de la faisabilité d'une évaluation et donne un exemple de l'application de cet outil d'évaluation dans le secteur des soins de la santé où les changements ont lieu rapidement et continuellement. Pour finir, quelques leçons apprises après avoir mené l'analyse de faisabilité d'une évaluation sont exposées.

Evaluability assesment of a community-based program

Auteurs :
Pages :
103-121

L'analyse de faisabilité de l'évaluation a augmenté l'utilité et la signification des études d'évaluation par les analyses en profondeur de programmes afin de déterminer les composantes du programme qui se prêtent à d'autres évaluations et celles qui s'en excluent. Ce fait est particulièrement important dans le cas de programmes communautaires dont la strucure, les activités et les objectifs sont souvent trop largement définis pour permettre de mesurer leurs effets avec justesse. Le programme Rural Quality of Life (RQL), qui a pour but de traiter les conséquences humaines de la crise rurale actuelle en Saskatchewan, est un exemple d'un tel programme. L'analyse de faisabilité de l'évaluation a déterminé que la structure du programme et la description de ses activités et objectifs avaient besoin d'éclaircissement supplémentaire avant toute autre considération concernant les recherches. Les recommandations ont porté sur une plus grande élaboration des programmes et sur la planification des évaluations futures. De façon générale, le processus d'analyse de faisabilité de l'évaluation a été utile au personnel du programme et aux responsables qui ont participé, d'une façon pratique, à la détermination de la nature et du fonctionnement actuels du programme RQL.

Assessing educational programming from a social marketing perspective: an illustration

Auteurs :
Pages :
123-133

Cet article a pour but d'examiner la valeur d'une perspective de marketing social en tant que cadre cohérent et unificateur où plusieurs initiatives distinctes doivent être étudiées dans le contexte d'un seul projet d'évaluation. Il s'agit en plus de considérer l'évaluation sous la perspective du marketing social, en illustrant brièvement l'application des principes du marketing social comme normes d'évaluation des programmes, dans le cadre d'une étude de l'éducation publique de l'Association canadienne du cancer.