Kenneth Watson

Gagnant, Prix pour la contribution à l'évaluation au Canada, 2002

Aujourd'hui, la SCÉ a l'honneur d'annoncer que Kenneth Watson est le récipiendaire du Prix pour Contribution à l'évaluation.

Au cours des vingt dernières années de pratique d'évaluation, Ken Watson a contribué au développement de la profession en tant qu'évaluateur professionnel et comme spécialiste de la méthodologie. Il a été un des membres fondateurs de la Société canadienne d'évaluation, trésorier de deux assemblées annuelles et membre du conseil de rédaction de la Revue canadienne d'évaluation de programme depuis quinze ans.

Il est le principal auteur de la publication Guide de l'analyse avantages-coûts, et a procédé à une révision en profondeur et à la rédaction d'une nouvelle version du Guide des méthodes d'évaluation, publiés par le Conseil du Trésor. Il a publié une dizaine d'articles dans la Revue canadienne d'évaluation de programme, en plus de plusieurs commentaires et notes professionnelles. Pendant cinq ans, il a été le principal formateur en analyse coûts-avantages pour Formation et Développement Canada, et a conçu, rédigé et présenté le matériel.

Ken a aussi contribué à la méthodologie de la vérification de l'optimisation des ressources, notamment en rédigeant, tout récemment, un énoncé sur les principes et les pratiques intitulé Integrity of Performance Information (Intégrité des données sur le rendement) pour Travaux publics et Services gouvernementaux Canada. Il a rédigé, pour le compte du Bureau du Vérificateur Général du Canada, de nombreux documents d'orientation et de discussion sur l'optimisation des ressources et la vérification axée sur les résultats.

Il a également contribué aux méthodes d'évaluation dans le domaine du développement international : il a été vérificateur du contrôle de la qualité des lignes directrices de la Banque mondiale; il a complété des mandats pour la Division de l'évaluation des opérations de la Banque; tout récemment, il a rédigé un article intitulé Evaluating Country Performance as a Factor in Concessionary Resource Allocation (Évaluation du rendement d'un pays en vue de l'allocation de ressources à conditions de faveur) pour la Banque de développement des Caraïbes (2000) et a réorganisé le système d'évaluation des projets de cette institution (2001).

Il détient un doctorat de l'Université Harvard, avec spécialisation en évaluation de programme. Vers le milieu des années 1990, il a passé un an comme professeur titulaire non permanent à l'Université nationale d'Australie, où il a enseigné l'analyse de décisions et l'évaluation.

Malheureusement, Ken n'a pas pu se joindre à nous aujourd'hui, mais il a demandé à Michael Obrecht d'accepter le prix pour lui.

Discours d'acceptation de Ken Watson, récipiendaire du Prix pour la contribution à l'évaluation au Canada de 2002, décerné par la Société canadienne d'évaluation

C'est un honneur et un plaisir pour moi de recevoir ce Prix et je regrette de ne pas pouvoir l'accepter en personne. Je dois en effet me trouver aux Philippines au moment de l'assemblée annuelle de la SCÉ, puisque je suis le principal évaluateur pour l'étude sur le Fonds asiatique de développement de la Banque asiatique de développement. Ce fonds est un mécanisme de réduction de la pauvreté élaboré par la Banque et, d'une certaine manière, il est important à l'évaluation pour le Canada, sinon «au» Canada, parce que nous avons un intérêt majeur dans cette organisation multilatérale. Michael Obrecht a gracieusement accepté de vous lire mon discours d'acceptation et de remerciement.

En acceptant ce Prix, j'aimerais formuler quelques commentaires sur la pratique de l'évaluation au Canada, telle que je l'ai observée au cours des 20 dernières années et sur la modeste contribution que j'y ai faite.

Dans les années soixante, on a mené une expérience sur les évaluations effectuées centralement au Secrétariat du Conseil du Trésor. L'expérience n'a pas réussi et, dans les années soixante-dix, on a fait une pause afin de prendre du recul. Quand j'ai commencé à jouer un rôle plus actif dans l'évaluation, vers 1979, notamment comme coresponsable — avec le Secrétariat du Conseil du Trésor — d'une conférence sur l'évaluation des programmes sociaux, le gouvernement du Canada était prêt à essayer à nouveau, mais cette fois-ci, il s'est lancé dans une nouvelle direction : il a placé l'évaluation dans les ministères mêmes, le sous-ministre étant le client et le Secrétariat du Conseil du Trésor jouant un rôle de soutien et de consultation. À peu près à la même époque, le Bureau du Vérificateur général en était à son premier cycle de vérification de l'optimisation des ressources et s'affairait activement à élaborer de nouvelles méthodes pour ce type de vérification, qui présentait certains recoupements avec l'évaluation de programme axée sur les objectifs.

Aux États-Unis, les années soixante-dix ont été une période fructueuse pour les études sur l'évaluation. Le gouvernement avait financé une douzaine d'évaluations majeures où intervenaient les conceptions quasi-expérimentales telles que les études sur l'allocation de logement et sur le projet Head Start. Le gouvernement et les organismes américains avaient, bien sûr, également financé des centaines d'études de plus petite envergure. Les théoriciens de l'évaluation publiaient des travaux très stimulants dans le domaine.

La stratégie canadienne issue de cette période était axée autour de quelques idées clés — des modèles logiques de programme pour conférer une rigueur accrue à la réflexion sur la causalité et les résultats, et des cadres d'évaluation pour assurer une meilleure conception des programmes et une planification de l'évaluation axée sur les questions d'intérêt, ainsi que des plans d'évaluation ministériels visant à assurer une portée maximale. Je pense que les modèles logiques que j'ai élaborés pour l'ancien ministère de l'Industrie et du Commerce en 1979 et en 1980 ont été parmi les premiers à être effectués dans ce nouveau contexte au Canada et qu'ils ont influencé l'approche qui est devenue la norme dans les manuels du Contrôleur général du Canada dans les années qui ont suivi.

J'étais un des membres fondateurs de la Société canadienne d'évaluation. En 1985, je suis devenu membre du conseil de rédaction de la Revue canadienne d'évaluation de programme, ce qui s'est avérée un expérience très intéressante et très agréable pour moi. Pour le premier numéro de la Revue, j'ai effectué et publié une entrevue avec Donald Campbell. Maintenant, vingt ans plus tard, je suis responsable du groupe des méthodes économiques pour Campbell Collaboration, un groupe qui se penche sur les synthèses d'évaluation des programmes sociaux dans différents pays. J'ai publié une douzaine d'articles dans la Revue, et j'ai toujours trouvé le contenu de cette dernière très utile.

Vers la fin des années quatre-vingt et au début des années quatre-vingt-dix, alors qu'une nouvelle théorie sur la gestion publique émergeait — en particulier en Nouvelle-Zélande, en Australie et en Grande-Bretagne — préconisant des ententes de rendement beaucoup plus claires entre le directeur et les agents, le Secrétariat du Conseil du Trésor a offert aux ministères une «responsabilité ministérielle accrue» par le biais de protocoles d'entente qui les rendaient responsables d'équilibrer l'autonomie et la souplesse accrues. Cet instrument n'a été utilisé que de façon minime.

Vers la fin des années quatre-vingt-dix, le Secrétariat du Conseil du Trésor m'a demandé, ainsi qu'à Charles Mallory de Conseils et Vérification Canada, de participer à la rédaction d'une nouvelle version du Guide de l'analyse avantages-coûts; la version antérieure datait de 1969. Des efforts répétés de révision du Guide, y compris des initiatives majeures en ce sens vers 1975 et 1985, avaient échoué; j'étais donc très heureux que celle-ci ait réussi, malgré les difficultés qu'on a eues à obtenir l'assentiment des principaux ministères sur des questions délicates comme le taux d'escompte, et malgré la difficile et imposante tâche consistant à élargir le Guide pour y inclure les techniques de traitement des données incertaines, communément appelées « analyse du risque ».

À peu près à la même époque, le Secrétariat du Conseil du Trésor m'a embauché pour réviser et rédiger une nouvelle version du Guide des méthodes d'évaluation. J'ai aussi travaillé à un certain nombre de projets de méthodologie au Bureau du Vérificateur général, dont un guide de vérification de l'opimisation des ressources axée sur les résultats. J'ai trouvé cela très utile de travailler dans les deux domaines : la vérification de l'optimisation des ressources et l'évaluation de programme.

En tout et pour tout, j'ai fait des expériences très intéressantes en tant que spécialiste en méthodes d'évaluation, et j'ai aussi participé comme évaluateur à des douzaines d'études, dont plusieurs ont mené à une meilleure compréhension du domaine.

Toutefois, ce Prix me porte à réfléchir sur cette période, et j'ai l'impression que nous n'avons pas fait beaucoup de progrès depuis 1980. Je ne pense pas que l'imputabilité ministérielle se soit améliorée. Notre gouvernement national est hautement centralisé et nous n'avons que quelques centres d'évaluation indépendants. Aucun organisme central et aucun comité parlementaire n'effectue d'évaluations, et nous n'avons pas les fondations et les laboratoires de pensée indépendants dont disposent les Américains. L'évaluation des ministères, plutôt que l'évaluation par ceux-ci, demeure sous-développée.

Nous avons fait beaucoup d'études, mais nous ont-elles permis d'accumuler une grande sagesse? Y a-t-il une meilleure « mémoire nationale » de ce qui fonctionne et de ce qui ne fonctionne pas? Combien de méta-évaluations a-t-on effectuées qui permettent à un ministère de mieux comprendre ses activités, après des années de travaux d'évaluation? Pas beaucoup. Je ne peux penser qu'à une ou deux. Pendant le premier gouvernement Trudeau, le greffier du Conseil privé, Michael Pittfield, a délibérément mis en place un cadre général pour les gestionnaires de haute direction, alors qu'auparavant ces cadres étaient développés à l'intérieur d'une spécialité, comme les pêches par exemple. Vers le milieu des années quatre-vingt-dix, le jeu des chaises musicales entre les sous-ministres et les sous-ministres adjoints avait atteint un tel degré que la durée moyenne des mandats était de moins d'un an et demi. La mémoire ministérielle est devenue courte et l'évaluation a raté l'occasion de combler ce besoin.

Avons-nous de meilleurs outils d'évaluation? Peut-être quelques-uns. Je pense que le Guide de l'analyse avantages-coûts constituait un pas dans la bonne direction. Il a été traduit en mandarin. J'espère que les Chinois l'utilisent plus que nous. Selon moi, au cours des deux dernières décennies, on a produit une grande quantité de terminologie d'évaluation mais nous n'avons pas fait beaucoup de progrès. Les projets et priorités actuels constituent-ils réellement une amélioration par rapport à la Troisième Partie du Budget des dépenses d'il y a vingt ans? Peut-être dans une faible mesure.

Importe-t-il que nous n'ayons pas une meilleure imputabilité, de meilleurs outils d'évaluation et une meilleure « mémoire publique », que le sujet de séminaire le plus populaire cette année soit « comment établir un lien entre les coûts et les résultats » — qui apparemment constitue encore un grand mystère? Je pense que c'est important. On a tous et chacun une liste de cas où l'évaluation aurait pu faire davantage, mais j'aimerais citer quelques exemples : je ne pense pas qu'il était nécessaire de perdre la pêche de la morue. Je ne pense pas que le taux d'infection du VIH/SIDA au Canada doive être deux fois plus élevé qu'en Australie. Je ne pense pas que nos revenus per capita avaient besoin de chuter jusqu'à atteindre les deux tiers de ceux de nos voisins du sud. Je pense que l'évaluation est importante parce qu'elle devrait nous permettre de faire les choses plus intelligemment. Pour reprendre les paroles d'une chanson d'une grande chanteuse de blues, Bessie Smith : 'I've been right and I've been wrong. Right is better' (J'ai déjà eu raison et j'ai déjà eu tort. Avoir raison est bien meilleur).

Merci encore une fois pour ce Prix, et j'espère que l'avenir nous réserve de meilleures évaluations et que nous aurons plus souvent raison.

Lu par Michael Obrecht lors du déjeuner de remise des Prix de la SCÉ à Halifax le 7 mai 2002.