J. Bradley Cousins

Gagnant, Prix pour la contribution à l'évaluation au Canada, 1999

Entretien avec Linda Lee

Linda : Quand on pense au développement d'une culture d'évaluation dans les organisations, les évaluateurs peuvent-ils influencer la création de cette culture — ou est-ce davantage le rôle des administrateurs de programme? En d'autres termes, les évaluateurs devraient-ils considérer la création de cette culture comme faisant partie de leur rôle primaire?

Brad : Absolument. Selon moi, mais il y a tellement de points de vue différents. Il y a des évaluateurs qui n'hésiteraient pas à dénigrer cette position parce qu'ils croient que l'évaluation doit rester détachée, que l'évaluation et le développement doivent être séparés. Les évaluateurs qui voient l'évaluation comme étant sommative, un inventaire, un jugement sur le mérite et la valeur, seraient moins enclins à considérer ce point de vue comme étant valide. Mais j'ai toujours été d'avis que l'évaluation est un moyen d'améliorer les programmes et les organisations et, qu'à cause de cela, elle est nécessairement intimement liée au développement. Donc, bien sûr qu'on veut que les évaluateurs travaillent de concert avec les administrateurs organisationnels, les décideurs et d'autres personnes-clés à la mise en oeuvre du programme, parce que c'est quand ils travaillent ensemble qu'ils peuvent entreprendre certaines des activités qui peuvent réellement produire le genre de résultats qu'on recherche. Pour ma part, je dirais que oui, c'est un rôle très important pour les évaluateurs que d'essayer de changer la culture d'une organisation. Et la seule façon d'y arriver, c'est de faire des essais répétés où les membres de l'organisation peuvent enfin voir les avantages qui peuvent en découler. Mais je suis sûr que tout le monde n'est pas du même avis.

Linda : Comment cela s'intègre-t-il aux travaux que vous avez effectués dans le domaine de l'évaluation participative?

Brad : Comme vous le savez, j'ai effectué une bonne partie de mes travaux dans l'évaluation participative dans des écoles. Dans les écoles, surtout les programmes avec lesquels je travaillais, la question n'était pas de savoir « si on devrait continuer ce programme ou l'annuler », ou « est-ce qu'on devrait financer tel ou tel programme », autrement dit, le genre de questions reliées à une évaluation sommative où on a besoin d'un jugement externe, indépendant et impartial. Les activités auxquelles j'ai pris part avaient davantage trait à l'amélioration des écoles et à l'évaluation formative des programmes. La question fondamentale est de savoir comment modifier les programmes afin de les améliorer, de rehausser leur mise en oeuvre et, en bout de ligne, améliorer les résultats. En examinant ces questions avec mes collègues dans les écoles, j'ai eu l'occasion de développer des liens et de commencer à travailler sur changements culturels dont on a besoin. Encore une fois, ce n'est pas quelque chose qui peut se faire en une journée. L'important c'est d'avoir une relation soutenue. Cela se produira sur une certaine période et les gens doivent être en mesure de voir les avantages.

Linda : Parlant d'éducation, le domaine dans lequel vous travaillez depuis de nombreuses années, les éducateurs et les décideurs (on ne mentionnera même pas les politiciens et les médias) sont parfois ignorants des résultats de la recherche et de l'évaluation dans l'éducation. Pensez-vous qu'il y a un besoin urgent d'être plus proactif au niveau de la diffusion ou de la divulgation des résultats de certains de nos travaux de recherche dans le domaine de l'éducation? Et pensez-vous que cela pourrait affecter la qualité des politiques sur l'éducation dans ce pays?

Brad : Tout à fait. Je pense que je peux parler pour l'Ontario, où plusieurs des décisions politiques sont prises d'après des facteurs qui, à mon avis, ne considèrent pas le point de vue du milieu de l'enseignement. Je reconnais qu'il s'agit d'un milieu politique, mais je crois fermement que l'arène politique a besoin, dans ses délibérations, de puiser dans les connaissances académiques et celles fondées sur la recherche. Nous pouvons identifier quelques initiatives stratégiques qui ont été élaborées, et on peut essayer de les relier à certains travaux de recherche existants et aux connaissances qui ont été créées — et on subit beaucoup de pression en ce sens. D'un autre côté, nous possédons de solides bassins de connaissances et de données pour pouvoir suggérer certaines orientations en matière de politiques et d'initiatives stratégiques dans ces domaines, mais malheureusement ce savoir n'est pas utilisé ou s'évapore tout simplement. Et il faut se demander pourquoi. C'est un milieu très politique et je crois qu'il est important que les chercheurs et les évaluateurs continuent d'essayer de se faire entendre dans l'arène politique et ce, par tous les moyens qui s'offrent à eux. Je pense que c'est là une question prioritaire à l'ordre du jour de la plupart des chercheurs sérieux du domaine de l'éducation et des personnes qui effectuent des évaluations dans ce domaine.

Linda : Cette question n'est peut-être pas juste, mais voyez-vous un rôle — ou un rôle plus prépondérant — pour la Société canadienne d'évaluation dans ce processus, c'est-à-dire d'amener les décisionnaires davantage attention aux résultats de la bonne recherche et de la bonne évaluation?

Brad : Oui. Je pense que quand on a une société ou une organisation nationale qui adhère à des principes communs, comme la SCÉ, les chances de se faire reconnaître — ou de se faire entendre — augmentent considérablement. Mais certains pourraient penser qu'une organisation comme la SCÉ adopte une certaine orientation politique si elle essaie d'exercer des pressions sur les décisionnaires parce que, après tout, nous parlons de valeur dans les décisions. Mais je ne sais pas si cela doit nécessairement être le cas. Je pense qu'il faudrait sensibiliser les gens aux données qui ont été accumulées et aux connaissances qui ont été créées. Je crois qu'on peut le faire, à condition d'avoir un plan soigné de façon à ne pas favoriser un ensemble de politiques par rapport à un autre. C'est un peu délicat, mais néanmoins, je pense que les associations ou les sociétés ont un rôle à jouer, ne serait-ce que par la reconnaissance dont elles jouissent déjà et de par leur mandat.

Linda : On observe, entre autres choses, que les gouvernements et les districts scolaires utilisent davantages d'indicateurs du rendement. Dans l'éducation, ces indicateurs peuvent inclure, par exemple, les notes obtenues aux examens provinciaux, en pensant que l'utilisation de ces indicateurs du rendement créera de meilleures conditions d'enseignement et d'apprentissage. Qu'en pensez-vous? Ce mouvement vers l'adoption des indicateurs du rendement est-il une chose positive dans l'évaluation? Utilisons-nous les bonnes sortes d'indicateurs?

Brad : Je pense qu'il est absolument crucial que nous essayions de mesurer les résultats désirés des programmes de manière fiable et valide. Il est essentiel que les évaluateurs le fassent. En ce qui a concerne la tendance vers l'adoption des indicateurs du rendement et de la surveillance des résultats, il y a, selon moi, beaucoup de potentiel ici, mais aussi beaucoup de danger. Le problème c'est que nous pouvons peut-être débattre et discuter de ce qui constitue des indicateurs appropriés, et peut-être en arriver à un ensemble d'indicateurs qui peuvent satisfaire la grande majorité des intervenants, quels que soient leurs points de vue. Mais, une fois qu'on aura mis en oeuvre un tel système de surveillance du rendement fondé sur ces indicateurs, lorsqu'on observe des changements dans ces derniers sans avoir procédé à une collecte systématique de données sur la main-d'oeuvre et le processus, tout le monde peut y aller de ses suppositions quant à la raison pour laquelle les indicateurs ont subi les changements observés. Pour moi, c'est très problématique et cela ne fait qu'envenimer les débats politiques. Les gens utiliseront les tendances dans les résultats d'une manière ou d'une autre, mais ces tendances ne nous renseignent pas beaucoup sur ce qu'il faut changer afin d'améliorer le système. Je vois donc une utilisation valide pour les indicateurs du rendement et nous sommes certainement imputables envers le public; ce dernier a le droit de savoir comment nous débrouillons — et il n'y a rien de mal à cela — mais je pense qu'à moins que nous n'allions bien au-delà de ce point et que nous soyons en mesure d'expliquer les tendances dans les variations que nous observons, nous passons un peu à côté de la plaque. Nous ne faisons que contribuer à un dialogue et à une rhétorique politiques continus. Donc, pour ma part, j'aimerais qu'on place davantage l'accent sur la compréhension de la mise en oeuvre du programme et les composantes du processus et la façon dont on les mesures, en essayant d'expliquer la variabilité dans les indicateurs du rendement et les mesures de résultats que nous avons élaborées.

Linda : Que voyez-vous dans l'avenir proche — qu'espérez-vous voir arriver dans le domaine de l'évaluation de l'éducation dans ce pays? Qu'aimeriez-vous voir de façon à ce qu'on puisse dire, dans dix ans, par exemple : « Wow! Nous avons réellement fait beaucoup de progrès dans la façon d'effectuer l'évaluation! » À quoi cela ressemblerait-il selon vous?

Brad : Je pense qu'en ce qui me concerne, cela signifierait que les décideurs à l'échelle locale — je veux dire par là les conseils et commissions scolaires ou les districts scolaires — reconnaissent la valeur des données recueillies systématiquement et s'efforcent de rationaliser le processus de prise de décisions en atténuant ces données. Pour que cela arrive, ils doivent être prêts à investir dans les fonctions ou les structures de recherche et d'évaluation dans les organisations-mêmes. Je sais qu'en Ontario au moins, beaucoup des conseils plus grands maintiennent toujours de tels bureaux, mais il devient de plus en plus difficile de justifier ces bureaux en temps de repli et de compressions budgétaires. Être imputable envers le public c'est prendre les moyens nécessaires pour améliorer les programmes d'éducation, les programmes de cours et le système. Pour prendre des décisions réellement sages quant aux mesures à adopter, nous devons avoir systématiquement recueilli de l'information. Donc, si on ouvre la voie à des arguments politiques et à la rhétorique du repli et qu'on préconise une désaccentuation du rôle de ces unités ou du rôle des consultants en évaluation dans la diffusion d'informations, je pense que cela pose un gros problème. Je suppose que j'aimerais qu'on accorde une valeur accrue aux renseignements qui sont recueillis de façon systématique.

Toujours dans le domaine de l'éducation, j'aimerais qu'on accorde une plus grande importance à l'information générée par les praticiens du domaine pédagogique, c'est-à-dire le secteur entier de la recherche sur les mesures, et qu'on accepte la notion que les praticiens devraient et peuvent avoir un rôle extrêmement utile à jouer dans la création et la production de connaissances. Nous devons mettre ces connaissances à profit. Je pense qu'on commence à faire quelques progrès à ce niveau et on en discute beaucoup — certaines personnes ont même pris la recherche sur les mesures très au sérieux — mais je pense que nous avons un bon bout de chemin à parcourir avant que cela ne soit accepté comme faisant partie intégrante de la culture organisationnelle.

Linda : Eh bien, c'était une bonne façon de nous ramener au point de départ. Y a-t-il autre chose? D'autres commentaires que vous aimeriez ajouter?

Brad : Je pense qu'un des domaines qui m'a toujours intrigué est la question de la professionnalisation de l'évaluation, c'est-à-dire, « Est-ce que l'évaluation deviendra une profession? » Je trouve que c'est là une question fascinante, de même que celle-ci : « les enseignants sont-ils professionnels? ». Les réponses à ces questions ont suscité beaucoup d'nitérêt et je ne crois pas que ces réponses soient faciles à trouver. Elles portent sur la notion de savoir si les évaluateurs travaillent — ou devraient travailler — séparément des réalisateurs de programme? La fonction d'évaluation devrait-elle ne servir qu'à juger le mérite ou la valeur des programmes, sans influencer ou participer au développement de ces derniers? Je pense que si nous réfléchissons à la question de savoir si l'évaluation devrait être une profession, vous obtiendrez différentes réponses selon que vous vous situez de tel ou tel côté du débat. Je m'attends donc à un dialogue soutenu à ce niveau. À la base, je pense que les évaluateurs ont toujours besoin de savoir exactement ce que l'évaluation signifie pour quelqu'un. S'agit-il seulement d'un jugement détaché, relativement objectif, orienté sommativement du mérite et de la valeur, ou a-t-elle un rôle à jouer dans le développement et la mise en oeuvre du programme? Je pense que ce sont là des questions auxquelles les personnes qui travaillent dans le domaine continuent de faire face.

Je préconise certainement le développement de compétences de première classe, l'utilisation des outils disponibles et de méthodes de pointe. Je pense que la formation des évaluateurs et d'autres personnes qui travaillent dans le domaine joue un rôle de premier plan et que ce rôle se poursuivra. Mais, mis à part la formation et le perfectionnement professionnel, une profession doit créer sa propre base de connaissances ésotériques. Les évaluateurs ont fait quelques percées à cet égard, mais principalement au niveau de la théorie. Ce qui manque, ce sont des recherches empiriques sur l'évaluation. J'aimerais qu'on déploie davantage d'efforts pour combler le fossé entre la théorie et la pratique au moyen de la recherche empirique si l'on veut que les évaluateurs fassent de sérieux progrès vers la professionnalisation. En ce qui me concerne, il y a des questions fondamentales auxquelles il faudra répondre si on veut s'entendre sur la nature professionnelle de l'évaluation.

Linda : Je suis contente que vous ayez abordé ce sujet parce qu'il fait couler beaucoup d'encre en ce moment, comme vous le savez. Cela nous amène à la question de l'agrément des évaluateurs. La SCÉ a préparé des documents de position sur la question et le fait d'envisager d'agréer les évaluateurs crée beaucoup de controverse.

Brad : C'est tout à fait exact. Vous savez, pour beaucoup d'évaluateurs, l'évaluation est une importante partie de leurs fonctions, mais ce n'est peut-être pas la seule chose qu'ils font. À mon avis, cela pose un problème à ce niveau-là aussi.

Linda : Merci beaucoup Brad d'avoir pris le temps de vous entretenir avec moi. Au lieu de publier une longue biographie dans le Bulletin de la SCÉ comme on le fait d'habitude pour les lauréats de prix, ce sera plus intéressant pour les gens de lire certaines de vos opinions; je vous suis vraiment reconnaissante d'avoir pris le temps de faire cela pour la Société.

Brad : Cela m'a fait plaisir!