Kenneth Cabatoff

Spring

Qualitative evaluation as symbolic policy making: evaluating work training programs for Quebec welfare recipients

Auteurs:
Pages:
1-15

L'évaluation «nbsp;qualitative » des politiques publiques exige un traitement impartial des parties prenantes aux interventions évaluées. Par contre, la justification des politiques symboliques exige la formulation de conclusions favorables au maintien des politiques en place. Ces pressions contradictoires peuvent amener les évaluateurs à favoriser certains points de vue plus que d'autres. On peut illustrer ce problème en examinant un cas précis d'évaluation qualitative, celle des Mesures de relance, un programme québécois visant la réinsertion des assistés sociaux. Alors que dereux groupes étaient associés à cette intervention, seuls les bénéficiaires ont été consultés en profondeur. Puisqu'une composante importante du programme –les Stages en milieu de travail- ne fonctionnait que grâce à la collaboration des employeurs, il aurait semblé logique que ces derniers soient asociés à l'évaluation. Cependant, leur participation aurait pu empêcher la formulation des conclusions souhaitées par les évaluateurs, notamment celle que le programme pourrait réussir si certaines améliorations étaient apportées. L'analyse de ce cas amène à la conclusion que l'évaluation qualitative n'est utile que dans la mesure où elle tient vraiment compte de l'ensemble des parties prenantes d'une intervention. L'article est suivi d'une brève critique par Dale H. Poel qui soutient que ce sont les évaluateurs, plutôt que la méthode qualitative elle-même, qui sont à l'origine de la partialité politique. L'auteur répond brièvement à cette critique.

Fall

Au-delà de mdèles «rationnel» et «pluraliste» dans l'analyse des politiques publiques: le cas de la CTMSP

Auteurs:
Pages:
105-141

La plupart des critiques du modèle expérimental/sommatif de l'évaluation de programme, comme celles du modèle «technocratique» de la formulation des politiques publiques, supposent que les déficiences de ces modèles peuvent être corrigées par l'adoption d'un point de vue plus pluraliste (Elmore, 1976, 1978; Lindblom, 1965; Monnier, 1992; Pressman & Wildavsky, 1979). Tout en acceptant le bien fondé partiel de ce point de vue, l'auteur estime que le point de vue pluraliste ne parvient pas à corriger les déficiences des modèles expérimental et technocratique. Il propose plutôt un modèle fondé sur la notion des communautés des politiques publiques. Cette approche est illustrée par l'examen d'un cas spécifique d'émergence d'une politique socio-sanitaire au Québec: la Classification par types en milieu de soins prolongés (CTMSP).

Spring

Organizational constraints on the introduction of program evaluation: the "self-evaluating" organization reconsidered

Auteurs:
Pages:
149-166

Cette étude de cas propose que les contraintes organisationnelles lors de l'introduction de l'évaluation de programme s'associent plus souvent aux problèmes de l'apprentissage organisationnel, plutôt qu'à la résistance «politique» étudiée par Wildavsky (1979) et d'autres spécialistes des rapports entre les organisations et les évaluateurs. Face aux besoins croissants et des ressources en décroissance, le Centre des services sociaux juifs à la famille a décidé de procéder au développement d'un système d'évaluation de programme. Ce système devait permettre une allocation de ressources plus efficace, mais le modèle mis au point pour atteindre cet objectif se référait aux notions de la conformité plutôt que celles de l'efficacité. Lorsque le moment arrivait d'évaluer un programme en fonction du nouveau système, il fallait procéder par des modifications majeures. Cette expérience suggère que l'introduction de l'évaluation de programme est similaire à n'importe quel autre changement technologique; de tels changements doivent souvent se référer aux besoins spécifiques de chaque organisation.

Special Issue

Stakeholder Involvement in Educational Evaluation: Quebec's Commission d'évaluation de l'enseignement collégial

Auteurs:
Pages:
137-148

La Commission d'évaluation de l'enseignement collégial, dans ses tentatives d'introduire l'évaluation de programme dans les CEGEP québécois, a suivi deux grands principes. Elle propose que les programmes collégiaux soient évalués en fonction de leurs objectifs. Elle propose aussi que tous les groupes associés à la gestion ou à l'enseignement des programmes collégiaux soient associés à l'évaluation, qui doit donc être à la fois parti cipative et orientée vers les résultats. Cependant, les groupes qui devraient être les plus directement impliqués aux évaluations - les enseignants collégiaux - ont pour la plupart refusé de participer. Cette absence de participation, selon les évaluateurs, s'explique par le fait que l'évaluation soit une activité «nouvelle et mal définie.» Ils éspèrent que la «résistance à l'évaluation» diminuera avec le temps. L'évaluation des programmes de Techniques d'éducation en services de garde, par exemple, a accordé beaucoup d'importance aux programmes de diplôme à pleintemps (DEC) et très peu d'importance aux programmes d'attestation à temps partiel (AEC). Il se peut que les évaluateurs n'aient pas réussi à identifier les véritables problèmes des programmes AEC, tant ils étaient préoccupés par les objectifs des programmes DEC. Il est proposé qu'une démarche méthodologique axée sur la theory-driven évaluation aurait mieux réussi à identifier les problèmes spécifiques des programmes AEC. Il se peut qu'une telle approche - qui part de la base pour monter au sommet - aurait mieux réussi aussi à mobiliser la participation des enseignants que l'approche descendante employée dans ce cas.

Special Issue

The long march from evaluation to accreditation : Québec's new government management framework

Auteurs:
Pages:
73-88

L'auteur de ce texte considère les systèmes de mesure de la performance comme des manifestations spécifiques d'une tendance plus générale vers l'introduction des processus d'agrément dans les établissements du secteur public. À cause desreuses ressemblances entre les processus d'agrément et les mesures de performance, il est utile de réfléchir sur les conséquences potentielles de l'introduction des mesures de performance dans le Gouvernement du Québec, à la lumière des expériences vécues dans les différents secteurs où il existe déjà des processus d'agrément. Les processus d'agrément sont souvent considérés comme des méthodes alternatives à celles employées par l'évaluation de programme. Dans le domaine de l'enseignement collégial au Québec, par exemple, la Commission d'évaluation de l'enseignement collégial a récemment décidé d'abandonner son mandat d'évaluation de programmes, afin de consacrer ses ressources à "l'évaluation institutionnelle". Il s'agira de procéder à l'agrément des établissements, et donc d'abandonner l'évaluation des programmes. Cette décision a été prise en réponse aux demandes de la Fédération des Cégep, qui s'est toujours opposée aux méthodes d'évaluation de programme employées par la CÉEC. Les Cégep considèrent le processus d'agrément comme un instrument pour réduire la concurrence "malsaine" entre établissements collégiaux. La Fédération veut que la CÉEC aide les collèges à améliorer leur performance, tout en évitant des distinctions malheureuses entre la bonne performance et la performance déficiente. Si un collège n'arrive pas à satisfaire les exigences de l'agrément, le processus d'agrément devrait être suspendu. À la lumière de cette expérience, on peut conclure que les systèmes d'agrément sont souvent des moyens pour réduire l'imputabilité des établissements publics devant le gouvernement et devant l'opinion publique. Alors que l'évaluation de programme suppose la possibilité des débats publics autour des programmes sous évaluation, les processus d'agrément éliminent toute possibilité des débats publics, en assurant que les informations nécessaires aux débats publics restent confidentielles.