Volume 34, 2019 - Printemps

Community, Theory, and Guidance: Benefits and Lessons Learned in Evaluation Peer Mentoring

Auteurs :
Pages :
9

Cette version pré-impression peut différer légèrement de la version finale publiée.

La majorité des évaluateurs débutent leur carrière dans des domaines connexes et finissent par travailler en évaluation. Les formations universitaires et les séances de perfectionnement en évaluation deviennent alors de plus en plus populaires. À mesure que le domaine se professionnalise et que de nouveaux programmes de mentorat appariassent, les travaux empiriques sur l’enseignement et la formation en évaluation deviennent plus courants. Cependant, on en sait encore peu sur le rôle que jouent les opportunités de perfectionnement, comme le mentorat, dans la formation en évaluation. L’objectif de l’article est d’explorer les avantages attendus et inattendus de nos expériences comme participants dans des programmes de mentorat en évaluation, de parler des leçons apprises et de décrire les éléments logistiques et structurels contribuant à la réussite du mentorat par les pairs.

Principles, Approaches, and Methods for Evaluation in Indigenous Contexts: A Grey Literature Scoping Review

Auteurs :

Cette version pré-impression peut différer légèrement de la version finale publiée.

L’article décrit les résultats d’un examen exploratoire de la documentation parallèle (« littérature grise ») pour cerner les principes, les approches, les méthodes, les outils et les cadres d’application liée à la réalisation d’évaluations de programme dans des contextes autochtones, qui ont fait l’objet de rapports de 2000 à 2015 au Canada, aux États-Unis, en Nouvelle-Zélande et en Australie. Des intervenants clés ont été consultés pour valider et enrichir l’interprétation des résultats. Les 15 principes directeurs, ainsi que les approches, les méthodes, les outils et les cadres d’application découlant de l’examen peuvent servir de point de départ pour les évaluateurs et les communautés en vue de lancer des discussions sur la façon de mener des évaluations dans leur communauté et sur la détermination des approches, des méthodes, des outils ou des cadres d’application appropriés, selon le contexte.

Perceptions of the Use of an Outcome Monitoring Tool in a Clinical Psychology Training Centre: Lessons Learned for Performance Measurement

Auteurs :

Cette version pré-impression peut différer légèrement de la version finale publiée.

L’objectif de l’étude était d’examiner les perceptions de la Mesure d’impact (MI) (Outcome Questionnaire) après sa mise en oeuvre dans un centre de formation universitaire axé sur les services psychologiques. Les participants étaient des doctorants en psychologie clinique (n = 49), des superviseurs cliniques (n = 17) et des clients (n = 24). Les données ont été recueillies par sondages, entrevues semi-structurées et groupes de discussion. Les résultats indiquent que la majorité des cliniciens utilisent la MI pour suivre le progrès de leurs clients et considèrent la mesure comme utile. Cependant, l’utilisation de l’information fournie par la MI pour les décisions cliniques était variable. Nous discutons des leçons à tirer de la mise en oeuvre des systèmes de mesure du rendement dans les services de santé mentale.

Évaluation du processus d’implantation de l’approche axée sur les forces en s’appuyant sur la théorie de la diffusion de l’innovation

Auteurs :

Cette version pré-impression peut différer légèrement de la version finale publiée.

La plupart des politiques dans le domaine de la santé mentale recommandent d’implanter les pratiques basées sur les données probantes. L’approche axée sur les forces est reconnue comme étant une pratique pouvant contribuer au rétablissement des personnes atteintes de troubles mentaux graves. Or, plusieurs études ont soulevé de nombreux défis d’implantation qui limitent sa portée. Une évaluation du processus d’implantation a été menée auprès d’intervenants ayant suivi une formation portant sur l’approche axée sur les forces. Les résultats indiquent que la formation n’est pas suffisante et qu’un engagement institutionnel est requis pour assurer la qualité de l’implantation.

Evaluation Literacy: Perspectives of Internal Evaluators in Non-Government Organizations

Auteurs :

Cette version pré-impression peut différer légèrement de la version finale publiée.

Bien qu’il existe une abondante littérature sur l’utilisation de l’évaluation, il y a peu de discussion à propos du rôle que peuvent jouer les évaluateurs internes pour promouvoir l’utilisation de l’évaluation. La contribution de l’évaluation peut être sous-évaluée si le contexte n’est pas pris en compte. Une certaine littératie en évaluation est nécessaire pour rendre l’évaluation pertinente, plus facile à comprendre et accessible, particulièrement dans les organisations non gouvernementales (ONG) où l’on accorde de plus en plus d’importance aux résultats mesurables. La littératie en évaluation fait référence à la compréhension et à la connaissance de l’individu en matière d’évaluation et constitue un élément essentiel de l’intégration de l’évaluation dans la culture organisationnelle. Reconnaissant la valeur de la perspective interne, un exercice exploratoire a été entrepris pour cerner les rôles des évaluateurs internes et les façons d’intéresser les collègues à l’évaluation. L’exercice a permis de poser une question clé : quel est le rôle de la littératie en matière d’évaluation à l’égard de l’évaluation interne dans le secteur non gouvernemental ? Trois exemples d'auto-narration australiens, en provenance d’évaluateurs internes, soulignent l’importance de la littératie en évaluation et son rôle pour une utilisation optimale de l’évaluation. L’analyse des récits révèle les problèmes sous-jacents liés à l’utilisation de l’évaluation chez les ONG ainsi que les compétences nécessaires pour motiver et permettre aux autres d'accéder, de comprendre et d'utiliser les informations de l'évaluation. Répondant au besoin de conduire plus de recherche sur la pratique de l’évaluation interne, les auteurs espèrent que les résultats stimuleront une conversation plus large et permettront de mieux comprendre la littératie en évaluation.

Perceived Facilitators and Barriers to Evaluative Thinking in a Small Development NGO

Auteurs :

Cette version pré-impression peut différer légèrement de la version finale publiée.

Les Objectifs Mondiaux entraînent des défis pour les organisations non gouvernementales (ONG) en développement international particulièrement quant à leur capacité à mettre en place une pratique et une réflexion évaluatives de grande qualité. Les ONG sont obligées de travailler efficacement, de rendre des comptes aux donateurs et aux bénéficiaires et de démontrer leur impact. Elles doivent également analyser de manière critique les hypothèses sur lesquelles elles fondent leur leur travail, sans quoi leur pérennité sera compromise. Utilisant des données d’évaluation collectées auprès d’une petite ONG travaillant sur la question de l’eau, cet article identifie les facilitateurs perçus et les obstacles à la réflexion évaluative, et où ils sont susceptibles de se produire dans le processus d’évaluation pour une ONG contrainte en temps et ressources.

Secure Data Handling: An Essential Competence for Evaluators

Auteurs :

Cette version pré-impression peut différer légèrement de la version finale publiée.

Comme il est primordial que les droits et le bien-être des participants à l'évaluation et des parties prenantes soient respectés, nous soutenons que les capacités et les connaissances nécessaires pour protéger correctement les données doivent être considérées comme une compétence essentielle pour les évaluateurs. À partir d’expériences antérieures et en consultation avec des experts en éthique de la recherche et en sécurité des données de notre établissement, les meilleures pratiques en matière de collecte, de traitement et de stockage des données d'évaluation ont été identifiées. Un cadre tridimensionnel pour le traitement sécurisé des données a été mis au point. Ce cadre tient compte du type d’information traité, du préjudice causé par un bris potentiel de confidentialité et des étapes pour protéger la confidentialité de l’information.

Scaling up Programs: Reflections on the Importance of Process Evaluation

Auteurs :

Cette version pré-impression peut différer légèrement de la version finale publiée.

Pendant plus de dix ans, les décideurs et les organismes de financement se sont attachés à identifier des programmes novateurs et efficaces et à les reproduire. Les évaluateurs jouent un rôle important en documentant ce qui marche et en monitorant l’implantation de ces programmes. Ils peuvent aussi faire le suivi du transfert de programmes novateurs à d’autres contextes. Dans cette note sur la pratique en évaluation, nous analysons notre expérience évaluative, en partenariat public- privé, pour implanter un programme de santé et bien-être dans 10 écoles primaires d’un vaste district scolaire en milieu urbain. Nos résultats soulignent l’importance d’effectuer une analyse des processus au début du programme pour s’assurer que la mise en oeuvre du programme se déroule comme prévu. Nous décrivons aussi la façon dont ces premiers résultats d’évaluation ont permis d’améliorer le programme au cours de sa deuxième année d’implantation.

Evaluating Youth Drop-In Programs: The Utility of Process Evaluation Methods

Auteurs :

Cette version pré-impression peut différer légèrement de la version finale publiée.

En Amérique du Nord, les centres de jeunesse de quartier vont généralement proposer des programmes communautaires essentiels aux populations défavorisées et marginalisées. En plus d’offrir des environnements prosociaux et favorables, ils offrent une multitude d'opportunités et d'interventions éducatives et de développement des compétences qui renforcent l'estime de soi, renforcent les relations et les expériences positives de vie et s'attaquent aux déterminants sociaux de la santé. Cependant, les évaluateurs de ces centres doivent souvent composer avec une évolution constante de certaines composantes (telles que les utilisateurs des services, les services, les programmes et les résultats) propres au mandat du centre. Beaucoup de recherches ont été menées sur les programmes destinés aux jeunes en général, mais il y a un manque de littérature sur les programmes d’accueil plus précisément, lacune.

20 Years Later: Reflections on the CES Student Evaluation Case Competition

Auteurs :

Cette version pré-impression peut différer légèrement de la version finale publiée.

Chaque année depuis 1996, la Société canadienne d’évaluation (SCE) organise un concours d’évaluation pour les étudiants universitaires et collégiaux. En 2016, un total de 1 132 étudiants avait participé au concours au cours des années. Un questionnaire en ligne a été envoyé à 768 participants dont l’adresse électronique était connue; huit autres participants se sont joints à l’enquête après en avoir pris connaissance en ligne. Le questionnaire a été rempli par 112 anciens participants (taux de réponse : 14 %). Selon les résultats, la participation au concours a été une expérience positive qui a mené à une plus grande maitrise de l’évaluation, à une amélioration des compétences pour le travail en équipe et à bonifier le curriculum vitae. Certains répondants ont indiqué que leur participation les a influencé dans leur choix de carrière et les a décidé à travailler.