John Mayne

Fall

Sustainability Analysis of Intervention Benefits: A Theory of Change Approach

Auteurs:

Résumé : Les théories du changement décrivent la chaîne des résultats d’une inter-vention. Pour ce faire, elles devraient décrire les conditions nécessaires à la produc-tion des résultats souhaités. Cependant, les théories du changement se penchent rarement sur la question de la durabilité des résultats de l’intervention. L’article porte sur la façon dont les théories du changement peuvent adopter une vision de durabilité en explorant les diverses facettes de la durabilité.

Ceci est la copie en ligne avancée.

Fall

Revisiting Contribution Analysis

Auteurs:
Pages:
171-191

Résumé :

Les principes fondamentaux de l’analyse de contribution ont été établis en 2001. Depuis lors, l’intérêt porté à cette approche a crû et l’analyse de contribution a été opérationnalisée de différentes façons. De plus, plusieurs examens de cette approche ont été publiés et ont soulevé quelques inquiétudes. Dans cet article, je clarifi e plusieurs concepts de l’analyse de contribution, incluant les causes contributives et les énoncés de contribution. Je discute de la nécessité de faire appel à des théories du changement raisonnablement robustes et d’utiliser des théories complémentaires du changement pour comprendre des contextes complexes. Au chapitre des énoncés de contribution, je soutiens qu’il est nécessaire d’élaborer des narratifs causaux pour arriver à des attributions crédibles; que les facteurs causaux externes jouent un rôle limité dans l’atteinte des énoncés de contribution; que l’utilisation de théories du changement robustes permet d’éviter les biais; et que les opinions des intervenant.e.s sur la contribution ne devraient pas jouer un rôle central dans l’établissement des énoncés de contribution.

Mots clé : facteurs causaux, narratifs causaux, analyse de contribution, attributions de contribution, causes contributives, théories du changement

 

Special Issue

Using Actor-Based Theories of Change to Conduct Robust Evaluation in Complex Settings

Auteurs:

This ahead of print version may differ slightly from the final published version.

L’utilisation d’une théorie du changement fait partie des bonnes pratiques en évaluation. Compte tenu de la complexité croissante des interventions, l’élaboration de théories du changement reflétant cette complexité devient de plus en plus difficile. Parallèlement, la capacité d’utiliser ces modèles pour les évaluations reposant sur l’analyse des théories, comme l’analyse de la contribution, est tout aussi importante. Cet article explore une approche visant à relever ces défis soit la théorie du changement imbriquée et fondée sur les acteurs avec, comme exemple illustrant la pertinence de cette approche, le cas de l’évaluation des répercussions d’un programme complexe de réforme des corps policiers à la République démocratique du Congo.

Special Issue

Linking Evaluation to Expenditure Reviews: Neither Realistic nor a Good Idea

Auteurs:
Pages:
316-326

On tient souvent pour acquis que l’évaluation devrait jouer un rôle important dans les décisions et les exercices de révision budgétaire. Ce rôle est rarement contesté et est souvent perçu comme l’un des objectifs de l’évaluation. Dans cet article, nous faisons l’argument inverse : l’évaluation n’est ni adaptée ni conçue pour jouer un tel rôle. S’il y a un besoin d’intégrer aux décisions budgétaires de l’information crédible sur la performance des interventions, alors nous devrons investir dans une autre forme d’évaluation, soit l’évaluation des dépenses, une fonction qui devra être séparée et distincte de l’évaluation institutionnalisée dans les Ministères.

Fall

Théories du changement : comment élaborer des modèles utiles

Auteurs:
Pages:
174-201

Bien que les théories du changement soient souvent l’objet d’articles en évaluation et qu’il y ait un consensus sur ce qu’est, conceptuellement, une théorie du changement, il n’y a, en réalité, au-delà des principes généraux, que peu de consensus sur ce qu’elles comprennent, sur ce qu’elles devraient mettre en valeur ainsi que de la manière dont elles devraient être représentées et utilisées. Cet article donne un aperçu de certains modèles de théories du changement qui se sont révélés utiles, tant pour des interventions simples que complexes, et présente la façon dont ils ont été developpés. Les modèles sont intuitifs et flexibles, leurs composantes sont bien définies et ils s’appuient sur des modèles de causalité rigoureux. Ces modèles fournissent un cadre structuré pour l’élaboration de théories du changement utiles et pour l’analyse de l’intervention.

Theory of Change Analysis: Building Robust Theories of Change

Auteurs:
Pages:
155-173

L'utilisation qui est faite de modèles de théories du changement varie grandement. Il y a eu peu de discussion sur ce qui constitue une bonne ou solide théorie du changement. Le présent article décrit et analyse les critères de détermination de la robustesse d'une telle théorie. De plus, il discute de la façon dont ces critères peuvent servir à l'évaluation vigoureuse d'une théorie du changement. Une analyse approfondie d'une théorie du changement peut être extrêmement utile, autant pour concevoir ou évaluer la conception d'une intervention, que pour concevoir des évaluations et des régimes de surveillance. L'article se termine avec une discussion sur l'analyse d'une théorie du changement et un exemple.

Fall

Useful Theory of Change Models

Auteurs:
Pages:
119-142

Bien que les théories du changement soient souvent débattues dans la littérature portant sur l'évaluation et qu'il y ait un consensus sur ce qu'est, conceptuellement, la théorie du changement, il n'y a, en réalité, aucun accord au-delà de la définition générale de ce que la théorie du changement comprend, de ce qu'elle démontre ainsi que de la manière dont elle peut être représentée et utilisée. Cet article donne un aperçu de modèles de théories du changement, ainsi que leur développement, lesquels se sont montrés très utiles lors d'interventions tant simples que complexes. Les modèles sont intuitifs, fl exibles et bien définis en matière de composantes. De plus, ils sont liés à de rigoureux modèles de causalité. Les modèles fournissent un cadre structuré au développement de théories du changement utiles et à l'analyse de l'intervention qu'ils représentent.

Spring

The Lay of the Land: Evaluation Practice in Canada in 2009

Auteurs:
Pages:
1-49

Un groupe de douze praticiens et observateurs de l'évaluation fait le point sur l'état de l'évaluation de programme au Canada. Chaque collaborateur fournit un point de vue personnel, selon sa propre expérience dans le domaine. L'équipe de collaborateurs constitue un échantillon choisi à dessein pour fournir profondeur de vue et variété de perspectives. Chaque présentation met en évidence une force de l'évaluation de programme pratiquée au Canada, une faiblesse, une menace et une opportunité. On conclut que la pratique de l'évaluation au Canada a évolué à bien des égards depuis 2003 (quand un premier portrait avait été dressé) : un titre professionnel existe, l'infrastructure est plus solide que jamais, les organisations sont davantage axées sur les résultats. Pourtant, l'évaluation est affaiblie par des lacunes dans l'enseignement postsecondaire et dans le perfectionnement professionnel, par des ressources limitées, par le manque d'indépendance, par une rigidité des approches d'évaluation ainsi que par le manque d'auto-évaluation. Alors que la demande d'évaluation et d'évaluateurs semble augmenter, la disponibilité d'évaluateurs et de ressources financières pour mener les évaluations stagnent. La définition collective du domaine de l'évaluation manque encore de clarté. Un regard porté vers l'avenir se fait cependant rassurant. L'appétit croissant pour l'évaluation donne l'occasion aux évaluateurs de faire une réelle différence, surtout s'ils adoptent une vision plus systémique de l'intervention des programmes et une compréhension globale de l'efficacité organisationnelle. La mise en place d'un titre d'évaluateur accrédité donne à la SCÉ une occasion importante de positionner l'évaluation comme une discipline crédible. Une annexe présente une synthèse en français des conclusions de cet article.

Fall

Building an Evaluative Culture: The Key to Effective Evaluation and Results Management

Auteurs:
Pages:
1-30

Dereux examens des systèmes de rendement basés sur les résultats ont fait remarquer qu'une faible culture évaluative dans une organisation mine des tentatives de construction d'une évaluation efficace et/ou d'un système de gestion des résultats. Cet article expose ce qui constitue une culture évaluative solide où les données sur les résultats de rendement sont délibérément cherchées afin d'apprendre comment mieux gérer et offrir des programmes et services. Une telle organisation apprécie la preuve empirique des résultats qu'elle cherche à atteindre. L'article met en évidence et examine des mesures pratiques qu'une organisation peut adopter pour construire et appuyer une culture évaluative.

Fall

A Commentary on Shepherd’s “In Search of a Balanced Canadian Federal Evaluation Function: Getting to Relevance”

Auteurs:
Pages:
47-50