Greg Mason

Fall

Assessing the value for money of active labour market programming for persons with disabilities

Auteurs:
Pages:
21-38

La nouvelle politique sur l'évaluation du Conseil du Trésor du Canada et la directive qui l'accompagne placent une pression accrue sur les épaules de ceux qui mènent des évaluations de programmes fédéraux afin de non seulement quantifier l'impact de la programmation, mais aussi d'évaluer sa valeur de façon mesurable. Cependant, il peut s'avérer difficile en cours d'évaluation d'exprimer de façon précise le niveau d'optimisation des ressources (la valeur) des programmes. Un certainre de défis techniques et pratiques peuvent nous empêcher d'utiliser des approches conventionnelles. Cet article porte sur l'évaluation de l'optimisation des ressources dans le cadre de l'évaluation de l'Entente Canada-Manitoba sur le marché du travail visant les personnes handicapées. Il illustre plusieurs approches qui peuvent permettre de surmonter les obstacles les plus communs à l'évaluation de l'optimisation des ressources dans le cadre d'évaluations de programmes.

Fall

BOOK REVIEW: R. Pawson. (2006). Evidence-based Policy: A Realist Perspective

Auteurs:
Pages:
268-270

Spring

The Lay of the Land: Evaluation Practice in Canada in 2009

Auteurs:
Pages:
1-49

Un groupe de douze praticiens et observateurs de l'évaluation fait le point sur l'état de l'évaluation de programme au Canada. Chaque collaborateur fournit un point de vue personnel, selon sa propre expérience dans le domaine. L'équipe de collaborateurs constitue un échantillon choisi à dessein pour fournir profondeur de vue et variété de perspectives. Chaque présentation met en évidence une force de l'évaluation de programme pratiquée au Canada, une faiblesse, une menace et une opportunité. On conclut que la pratique de l'évaluation au Canada a évolué à bien des égards depuis 2003 (quand un premier portrait avait été dressé) : un titre professionnel existe, l'infrastructure est plus solide que jamais, les organisations sont davantage axées sur les résultats. Pourtant, l'évaluation est affaiblie par des lacunes dans l'enseignement postsecondaire et dans le perfectionnement professionnel, par des ressources limitées, par le manque d'indépendance, par une rigidité des approches d'évaluation ainsi que par le manque d'auto-évaluation. Alors que la demande d'évaluation et d'évaluateurs semble augmenter, la disponibilité d'évaluateurs et de ressources financières pour mener les évaluations stagnent. La définition collective du domaine de l'évaluation manque encore de clarté. Un regard porté vers l'avenir se fait cependant rassurant. L'appétit croissant pour l'évaluation donne l'occasion aux évaluateurs de faire une réelle différence, surtout s'ils adoptent une vision plus systémique de l'intervention des programmes et une compréhension globale de l'efficacité organisationnelle. La mise en place d'un titre d'évaluateur accrédité donne à la SCÉ une occasion importante de positionner l'évaluation comme une discipline crédible. Une annexe présente une synthèse en français des conclusions de cet article.

Spring

Evaluation in the context of the Social Union Framework Agreement: a case study of the national child benefit

Auteurs:
Pages:
139-158

L'Entente-cadre sur l'union sociale et divers programmes particuliers, tels que la Prestation nationale pour enfants (PNE), font l'objet d'une prestation conjointe de divers paliers de gouvernement et présentent dereux défis aux évaluateurs. En plus de la question d'attribution (qui, selon le présent document, n'est pas la question centrale), le problème essentiel de l'évaluation de ces mesures conjointes (fédérales, provinciales et territoriales) est le fait que les programmes deviennent de plus en plus complexes et hétérogènes. Les concepts de planification conjointe et de partage de l'information exigent un niveau élevé de collaboration entre les commanditaires des programmes. Le soutien accordé par les gouvernements participants à des évaluations détaillées et à la mesure continue du rendement constituera un test de la justification et de l'efficacité d'ententes telles que l'Entente-cadre sur l'union sociale.

Spring

The lay of the land: evaluation practice in Canada today

Auteurs:
Pages:
143-178

Un groupe de 12 praticiens et observateurs de l'évaluation prend le pouls de l'évaluation de programme au Canada. Chaque auteur présente un point de vue personnel basé sur sa propre expérience dans le domaine. Les auteurs ont été sélectionnés pour fournir profondeur de vue et variété de perspectives. Chaque présentation met en évidence une force de l'évaluation de programme telle que pratiquée aujourd'hui au Canada, une faiblesse, une menace et une opportunité. On conclut que les évaluateurs possèdent des habiletés qu'aucune autre profession n'offre; ce sont des chercheurs du social et de l'écque versés en cueillette de données empiriques et en méthodes d'analyse permettant de fournir une base factuelle solide pour l'examen de programmes et de politiques. Toutefois, l'évaluation de programme n'a pas acquis d'identité propre et, en fait, a eu tendance à négliger des enjeux d'évaluation clés et à donner moins d'importance à la rigueur. L'environnement actuel de l'évaluation de programme est dominé par le suivi de programmes, la faiblesse de l'identité propre de l'évaluation et le contact insuffisant avec les besoins de gestion. Mais l'évaluation ne manque pas d'opportunités; on y retrouve la gestion basée sur les résultats, les efforts en partenariat et en défense des intérêts, la formation professionnelle individuelle et le rapprochement de la gestion des programmes et du développement des politiques. Mais d'abord, les évaluateurs doivent s'auto-définir pour mieux communiquer ce que pourrait être leur contribution particulière. L'article énonce quelques implications pour la pratique de l'évaluation au Canada et présente l'ébauche d'un plan de travail pour les évaluateurs individuellement et collectivement, dans leurs organisations et dans le cadre de leur association professionnelle. Un résumé en français ainsi que la version française des conclusions et implications sont présentés en annexe.

Spring

Value-for-money analysis of active labour market programs

Auteurs:
Pages:
1-29

Les critères d'imputabilité des agences centrales gouvernementales ont créé des attentes quant à la gestion visant à montrer les résultats des ressources utilisées, soit en d'autres termes, l'« optimisation des ressources ». En démontrant l'optimisation des ressources, nous démontrons la pertinence d'un programme et la clarté de ses fondements théoriques et logiques, mais le principe central de l'optimisation des ressources repose sur la démonstration de coût-efficacité du programme en question. Malheureusement, plusieurs politiques et programmes publics ne se prêtent pas à une analyse quantitative des résultats, et ceci limite les conclusions que l'on peut tirer quant à l'optimisation des ressources. Toutefois, les programmes de formation sur le marché du travail se prêtent à une analyse coût-efficacité, dans la mesure où la méthodologie d'évaluation respecte certains critères. Cet article examine l'analyse coût-efficacité dans le contexte des programmes de formation sur le marché du travail, et plus spécifiquement les programmes visant les groupes écquement désavantagés. À la suite d'un examen des types de données disponibles et des méthodes d'analyse qui peuvent être utilisées afin d'établir l'optimisation des ressources dans les programmes de formation sur le marché du travail, les auteurs recommandent des améliorations au niveau de l'application de ces méthodes, qui pourraient augmenter la « valeur » et l'utilité de l'analyse de l'optimisation des ressources.

Spring

Recent Advances in Questionnaire Design for Program Evaluation

Auteurs:
Pages:
73-94

Même si l'évaluation a recours au questionnaire comme technique fondamentale de collecte de données, les chercheurs semblent souvent ignorer les progrès récents de la conception des questionnaires. Dans le présent article, on examine des éléments qui vont au-delà de la création de questions normalisées et des règles de base que les chercheurs trouvent utiles pour la collecte de données. De telles lignes directrices demeurent valables pour la plupart des recherches dans le secteur de l'évaluation des programmes, et elles ne devraient pas être abandonnées à la hâte. Par contre, l'évolution rapide de la théorie sous-jacente à la conception des questionnaires a des incidences importantes sur l'évaluation. Trois thèmes illustrent les changements. Premièrement, les échelles de grandeur et leur utilisation dans l'établissement des échelles de satisfaction de la clientèle indiquent comment des catégories de réponse peuvent améliorer des questions individuelles. Deuxièmement, dans la théorie de la décision, on considère que les répondants choisissent les réponses justes» dans un ensemble de réponses potentielles. Selon un tel point de vue, toute réponse est conditionnée par les valeurs du répondant et par sa perception des risques liés à la divulgation de ses sentiments réels. Troisièmement, il est possible dans certains cas d'élaborer le questionnaire selon un cadre qui reproduit le processus de choix du répondant. Le questionnaire, par exemple, peut simuler la prise de décision d'un consommateur dans le marché. Chacun des trois thèmes est appliqué à des problèmes auxquels doivent faire face les évaluateurs dans la collecte de données au moyen d'enquêtes et de questionnaires.

Spring

Coping With Collinearity

Auteurs:
Pages:
87-93

Les désordres co-linéaires sont très communs dans les analyses par régression. Les moyens courants pour évaluer la sévérité de ce désordes, tel que l'éxamination de la stabilité des paramètres quand on enlève des variables des l'équation, sont seulment suggestifs. Cet article passe en reveu les méthodes récents pour analyser ces désordres. Ces méthodes comprennent les indicateurs conditionels et la décompostion de la variation du groupe de variables et sont présentes dans plusiers ensambles statistiques pour ordinateurs. Des stratégies pour corriger ce problème sont examinées. En générale, on ne dit pas seulment laisser tomber les variables de l'équation à moins qu'ils soient rédondants à la théorie de base ou à logique du programme.