Christina A. Christie

Special Issue

Meta-Modeling: A Theory-Based Synthesis Approach

Auteurs:

This ahead of print version may differ slightly from the final published version.

Les synthèses sont de plus en plus populaires pour résumer les travaux de recherche préliminaires. Ces 20 dernières années, on observe un intérêt croissant pour les méthodes mixtes puis, plus récemment, pour les synthèses théoriques. Cet article décrit une application pratique de la méta-modélisation – une approche de synthèse théorique reposant sur l’utilisation de méthodes mixtes. La méthodologie proposée combine des techniques de comparaison méta-analytiques et qualitatives visant à élaborer la théorie d’une intervention – un méta-modèle – expliquant le comment et le pourquoi du fonctionnement d’un programme. Comme le montre cet article, la méta-modélisation permet une synthèse des résultats d’études qui est à la fois structurée et transparente.

Fall

Latent Profiles of Evaluators' Self-Reported Practices

Auteurs:
Pages:
225-254

Cet article présente les résultats d'une étude décrivant les pratiques autorapportées de 138 évaluateurs. Une analyse de profil latent a servi à déterminer les stratégies de pratique des évaluateurs. Quatre classes ont émergé de ces analyses et sont désignées modèle indistinct de pratique; modèle axé sur la méthode; modèle axé sur l'utilisateur; et modèle robuste de pratique. Les évaluateurs qui appliquent un « modèle indistinct de pratique » ont fourni des réponses moyennes aux questions qui se rapprochaient davantage du zéro que les évaluateurs dans les trois autres classes. Ce résultat laisse supposer l'existence d'un lien relativement faible avec les pratiques décrites par l'instrument de l'étude. Les évaluateurs dans la classe « modèle axé sur la méthode » affichaient une préférence distincte et marquée pour l'application de méthodes particulières. Les évaluateurs dans la classe « modèle axé sur l'utilisateur » accordaient une grande importance au rôle de facilitateur de l'évaluateur et cherchaient à favoriser un degré élevé d'engagement chez les intervenants et les participants. Enfin, les évaluateurs dans la classe « modèle robuste de pratique » affichaient un degré de rigueur élevé quant à l'application des modèles de pratique dont ils ont fait mention, en ce qui a trait spécifiquement à ce que prônent les théoriciens de l'évaluation. Les quatre profils se distinguaient par lere d'années d'expérience, par le niveau de scolarisation, ainsi que par le statut interne ou externe de l'évaluateur.

Special Issue

Perceptions of Evaluation Capacity Building in the United States: A Descriptive Study of American Evaluation Association Members

Auteurs:
Pages:
37-30

Cet article donne un aperçu descriptif des attitudes et des perceptions des membres de l'American Evaluation Association (AEA) liés au renforcement des capacités d'évaluation (RCÉ). Dans cette étude, nous avons analysé les données sur l'utilisation d'évaluations qui ont été initialement recueillies au printemps 2006 et provenant de 1 140 membres de l'AEA aux États-Unis. L'étude actuelle tente d'ajouter à la base de connaissances sur le RCÉ en décrivant des opinions de participants concernant : (a) l'importance du RCÉ en tant que méthode d'évaluation, (b) le rôle des évaluateurs dans l'exécution d'activités liées au RCÉ, (c) des facteurs liés au RCÉ qui en influencent l'utilisation, et (d) le degré auquel ces activités d'évaluation stimulent l'apprentissage organisationnel et changent les résultats. La plupart des répondants connaissent le RCÉ et acceptent que le renforcement des capacités d'évaluation est un rôle assumé par l'évaluateur. Les liens entre l'apprentissage organisationnel et le RCÉ ont été soutenus. Les résultats organisationnels axés sur l'apprentissage sont notés plus favorablement que les résultats organisationnels axés sur le changement.

Spring

Advancing Empirical Scholarship to Further Develop Evaluation Theory and Practice

Auteurs:
Pages:
1-18

L'élaboration adéquate d'une théorie se fonde sur la recherche empirique. Dans le contexte de l'évaluation éducationnelle, l'élaboration d'une théorie empiriste comporte des avantages importants pour le domaine et le praticien. En particulier, l'adoption d'une théorie reposant sur l'empirisme favorise la promotion d'une pratique d'évaluation plus systématique et pertinente au contexte. En outre, elle donne lieu à l'élaboration de théories de la contingence qui spécifient les conditions optimales de pratiques d'évaluation particulières. Contrairement à la position historique prônant l'influence extérieure [outside-in], la recherche empirique sur le domaine de l'évaluation doit reconnaître le statut de « savants » des praticiens, qui permet de jeter un éclairage unique sur le recoupement de la théorie et de la pratique.

Fall

The language of evaluation theory: insights gained from an empirical study of evaluation theory and practice

Auteurs:
Pages:
33-45

Une préoccupation généralisée quant aux questions de langage dans le domaine de l'évaluation a été limitée comparativement à d'autres disciplines des sciences sociales. Dans cet article, nous présentons certaines possibilités de confusion dans les définitions ou les concepts, occasionnées par le langage de la théorie de l'évaluation et repérées dans le cadre d'une étude menée par Christie. Nous suggérons qu'une bonne partie du langage que nous utilisons pour décrire la pratique de l'évaluation est profondément ancrée dans la terminologie théorique, ce qui peut en limiter l'utilité. Nous avançons aussi que le langage théorique devrait être utilisé avec beaucoup de précaution, en faisant attention aux subtilités et aux nuances des termes, parce qu'il peut y avoir de la confusion ou de l'ambiguïté dans le domaine en ce qui a trait aux termes que nous utilisons de façon systématique. Nous offrons un plan de recherche et nous suggérons qu'il serait utile et avantageux pour nous d'en apprendre davantage sur les «théories populaires» courantes du domaine et le vernaculaire utilisé pour les décrire.

Spring

The Delphi technique as a method for increasing inclusion in the evaluation process

Auteurs:
Pages:
105-122

La meilleure façon d'intégrer les points de vue des groupes sousreprésentés et marginalisés au processus d'évaluation est une question d'une grande importance pour dereux théoriciens et praticiens de l'évaluation. Cet article présente la méthode Delphi — une méthode utilisée pour atteindre un consensus sur un certainre de questions avec la participation de toutes les parties intéressées et sans qu'il y ait d'incident ou de confrontation risquant de compromettre la validité des données recueillies — comme procédure pour rehausser la participation des groupes marginalisés au processus d'évaluation. Illustrée à l'aide d'une étude de cas, la méthode Delphi contribue à permettre l'expression de l'opinion de tous les intéressés et à s'assurer que les voix parfois silencieuses aient une influence égale. Les auteurs préconisent cette technique particulièrement pour les modèles d'évaluation de la justice sociale. On discute également des avantages et des leçons apprises concernant la méthode Delphi pour promouvoir la participation et la représentation des groupes marginalisés dans les évaluations.