James C. McDavid

Fall

Comparison of Canadian and American Graduate Evaluation Education Programs

Auteurs:
Pages:
207-234

Résumé :

La formation universitaire en évaluation contribue signifi cativement à sa professionnalisation. La présente étude visait à développer un inventaire pancanadien des programmes et des cours en l’évaluation, et ce, aux cycles supérieurs. La collecte de données a permis de rejoindre 105 départements universitaires en ayant recours aux informations disponibles sur les sites internet ou en contactant des personnes-ressources. Des comparaisons ont été effectuées avec les recensements des programmes d’évaluation américains aux cycles supérieurs entre 1980 et 2018. Bien que le Canada compte environ deux fois moins de programmes aux cycles supérieurs off rant plusieurs cours en évaluation comparativement aux États-Unis en 2018, le nombre relatif de ses programmes est beaucoup plus élevé si nous tenons compte de la taille des deux populations. De plus, le Canada possède également un éventail plus diversifié de disciplines offrant une formation en évaluation de programme.
Mots clé : comparaisons Canada – États-Unis, formation en évaluation, inventaire, professionnalisation

 

Spring

Contribution Analysis: Theoretical and Practical Challenges and Prospects for Evaluators

Auteurs:
Pages:
1-24

L'analyse de contribution est une approche fondée sur la théorie largement utilisée ces dernières années pour réaliser des évaluations, de façon valable, d'interventions pour lesquelles il est difficile de déterminer l'attribution avec les méthodologies existantes. Cette analyse critique de la documentation explore de façon détaillée l'analyse de contribution, en discutant de ses méthodes, de l'évolution de ses fondements épistémologiques visant à établir la causalité et de certains défis méthodologiques présents lorsque l'analyse de contribution est utilisée en pratique. L'étude met en relief des adaptations possibles de l'analyse de contribution qui pourraient en améliorer la rigueur et décrit les domaines dans lesquels des travaux plus poussés pourraient renforcer cette utile approche d'évaluation.

Special Issue

Professional Standards for Evaluators: The Development of an Action Plan for the Canadian Evaluation Society

Auteurs:
Pages:
21-32

Le Conseil national de la Société canadienne d'évaluation (SCÉ) a reconnu le besoin de créer un statut professionnel pour la pratique de l'évaluation par ceux qui répondent aux critères appropriés d'admissibilité. Un consortium de membres experts de la SCÉ a développé un plan d'action comportant des options de politiques en se basant sur (a) une revue de la littérature, (b) les consultations avec les organisations professionnelles pertinentes, (c) la connaissance et l'expérience des membres du consortium, et (d) le sondage mené en 2005 sur la pratique et les enjeux en évaluation au Canada. Le plan d'action a recommandé trois niveaux successifs de titres professionnels comportant des critères d'admissibilité progressivement plus rigoureux. C'est à partir de ce plan que la SCÉ a adopté le titre d'Évaluateur accrédité.

Spring

The Lay of the Land: Evaluation Practice in Canada in 2009

Auteurs:
Pages:
1-49

Un groupe de douze praticiens et observateurs de l'évaluation fait le point sur l'état de l'évaluation de programme au Canada. Chaque collaborateur fournit un point de vue personnel, selon sa propre expérience dans le domaine. L'équipe de collaborateurs constitue un échantillon choisi à dessein pour fournir profondeur de vue et variété de perspectives. Chaque présentation met en évidence une force de l'évaluation de programme pratiquée au Canada, une faiblesse, une menace et une opportunité. On conclut que la pratique de l'évaluation au Canada a évolué à bien des égards depuis 2003 (quand un premier portrait avait été dressé) : un titre professionnel existe, l'infrastructure est plus solide que jamais, les organisations sont davantage axées sur les résultats. Pourtant, l'évaluation est affaiblie par des lacunes dans l'enseignement postsecondaire et dans le perfectionnement professionnel, par des ressources limitées, par le manque d'indépendance, par une rigidité des approches d'évaluation ainsi que par le manque d'auto-évaluation. Alors que la demande d'évaluation et d'évaluateurs semble augmenter, la disponibilité d'évaluateurs et de ressources financières pour mener les évaluations stagnent. La définition collective du domaine de l'évaluation manque encore de clarté. Un regard porté vers l'avenir se fait cependant rassurant. L'appétit croissant pour l'évaluation donne l'occasion aux évaluateurs de faire une réelle différence, surtout s'ils adoptent une vision plus systémique de l'intervention des programmes et une compréhension globale de l'efficacité organisationnelle. La mise en place d'un titre d'évaluateur accrédité donne à la SCÉ une occasion importante de positionner l'évaluation comme une discipline crédible. Une annexe présente une synthèse en français des conclusions de cet article.

Special Issue

Will evaluation prosper in the future?

Auteurs:
Pages:
47-72

L'argument principal de cet article est le fait que l'évaluation et la plupart des évaluateurs de programme n'ont pas suivi le mouvement amorcé il y a plus de 10 ans visant à faire de la mesure du rendement la pierre angulaire de la gestion et de la responsabilisation dans le secteur public. Si les évaluateurs ne font pas face à ces développements de façon stratégique, l'évaluation de programme risque de devenir de moins en moins pertinente pour le secteur public et les organismes à but non lucratif. Les évaluateurs, divisés par des différences épistémologiques et méthodologiques, ont décidé collectivement de choisir de ne pas adopter la professionnalisation comme moyen pour reprendre le terrain perdu aux mains des professions de la vérification et de la consultation en gestion. Il est essentiel que les évaluateurs élaborent et mettent en oeuvre des stratégies visant à créer un milieu favorable à l'exercice de la profession, incluant la conception et la mise en oeuvre de systèmes de mesure du rendement. Les évaluateurs sont bien placés pour le faire, s'ils agissent collectivement.

Special Issue

Program evaluation in British Columbia in a time of transition

Auteurs:
Pages:
3-28

Au cours des cinq dernières années, l'évaluation des programmes de la fonction publique de la Colombie-Britannique a subi une importante transformation. Bien que les évaluations de programmes conventionnelles continuent à être réalisées dans quelques ministères, la principale tendance va vers la mesure du rendement. Une loi adoptée récemment (Budget Transparency and Accountability Act) impose la planification stratégique et financière, la mesure du rendement et l'information du public. L'article met en évidence neuf questions dont il faudra s'occuper si les rapports publics du rendement doivent déboucher sur la gestion soutenue du rendement dans le gouvernement de la Colombie-Britannique. Étant donné la rareté des ressources et l'esprit qui préside à l'organisation et à la pratique du gouvernement, il sera très difficile d'appliquer dans cette province la reddition publique de comptes sur la base du rendement.

Spring

Program Evaluation and Contracting Out Government Services

Auteurs:
Pages:
9-23

Cet aticle met en lumière le rôle important que peut jouer le processus d'évaluation de programme dans la sous-traitance de services gouvernementaux. De nos jours la sous-traitance est percue de plus en plus fréquemment comme un substitut pratique et effacace à la prestation se prètent particulièrement bien à l'utilisation des compétences inhérentes a l'évaluation de programme. De plus, grâce à la relation d'indépendance qui existe entre le sous-traitant et l'administrateur du programme, ce dernier peut surveiller et évaluer le contrat sans risquer qu'il y ait conflit d'intêret puisqu'il ne s'agit pas de son propre programme.

Spring

The Impact of Radar Cameras on Traffic Speed: A Quasi-Experimental Evaluation

Auteurs:
Pages:
51-68

Cet article présente les résultats d'une quasi-expérience sommative visant à évaluer l'effet des appareils-photos avec radar sur la vitesse des véhicules. Cette évaluation a été menée dans deux artères de Vancouver. L'essai sur le terrain s'est fait à la rue Knight où, pendant deux mois, une caméra radar fut installée périodiquement et où des policiers relevèrent la vitesse et les numéros d'immatriculation des véhicules photographiés. Les contraventions furent par la suite envoyées par la poste aux propriétaires des véhicules ayant dépassé la limite de vitesse. Une comparaison pour cette étude quasi-expérimentale a été faite sur la rue Granville. Un détecteur à boucle d'induction enterré sous la chaussée des deux rues a permis de mesurer électroniquement la vitesse de circulation, avant, pendant et après l'essai. Une analyse ARMMI des moyennes de vitesses journalières et du pourcentage de véhicules dépassant les limites de vitesse permises indique des réductions significatives de ces deux variables sur la rue Knight, alors que sur la rue Granville, les vitesses restèrent inchangés. Bien que ces résultats vont dans le sens des politiques visant l'utilisation des appareils-photos avec radar, l'orientation sommative de cette évaluation ne nous permet pas d'établir une nette distinction entre l'effet des appareils-photos avec radar et celui des policiers ayant appliqué cette technique.