Jean-François Lévesque, chargé d'enseignement et chercheur à l’ENAP, démontre que l’utilisation des résultats des évaluations de programmes doit être plus stratégique et transversale.
L’administration publique met en place, chaque année, de nombreux programmes en santé, en économie, en transports, en éducation, etc. Ces programmes sont ponctuellement évalués et les constats de ces évaluations permettent de prendre des décisions éclairées sur la poursuite, la cessation ou la modification du programme en question.
Étudiant au doctorat à l’ENAP, Jean-François Lévesque a effectué des travaux sur l’usage de ces évaluations par l’analyse thématique. Il s’est particulièrement penché sur le cas des programmes touchants le groupe Anciens Combattants Canada (ACC).
Ce ministère était d’un grand intérêt. Ses pratiques en évaluation permettent une documentation des programmes sur plusieurs années et cycle d’évaluation.
Publiés dans le Canadian Journal of Program Evaluation, les résultats de ses travaux révèlent les enjeux autour de l’utilisation des évaluations au gouvernement fédéral canadien observé dans l’évaluation de la Politique sur l’évaluation de 2009 et participe à l’évaluation neutre de la fonction d’évaluation. D’ailleurs, l’article fait la synthèse de plusieurs apprentissages stratégiques, puisqu’il présente à la fois la pertinence des programmes, leur efficacité, leur efficience et le volet économie.
L’utilisation de l’évaluation des programmes en administration publique
Le chercheur a recensé différentes manières de l’utilisation des évaluations de programmes, stratégique ou pas.
- Elle est instrumentale dans la mesure où elle soutient le renouvellement ou l’amélioration des programmes et facilite la prise de décision.
- Elle est conceptuelle lorsqu’elle contribue à l’amélioration de la compréhension ou d’un changement dans la conception de l’objet de l’évaluation.
- Elle est symbolique pour justifier ou légitimer une position.
- Elle est processuelle quand les activités de l’évaluation affectent les individus et les organisations plutôt que les résultats, le comportement ou la cognition chez les participants, ainsi que la pensée évaluative.
- Enfin, elle peut être stratégique lorsqu’elle vise l’application plus large des résultats au niveau décisionnel et budgétaire de l’organisation en excluant l’amélioration des programmes individuellement
C’est pourquoi la note de recherche propose l’étude du cas d’anciens combattants du Canada avec une analyse thématique transversale (ATT) afin de favoriser l’utilisation stratégique. L’ATT explore la transversalité des programmes; l’ATT tente de mettre en lumière le questionnement pertinent pour la haute direction; puis, l’ATT souhaite mettre en lumière les éléments pouvant soutenir l’organisation pour soutenir la prise de décision stratégique et l’allocation des ressources budgétaires.
Extrait de l’article L’utilisation des évaluations par l’analyse thématique : le cas d’Anciens Combattants Canada (ACC) de Jean-François Lévesque
Les avantages de l’analyse thématique en évaluation de programme
Le chercheur a constaté que l’ATT en évaluation de programme comportait de multiples avantages. Entre autres, la rapidité de sa mise en œuvre et un accès facile pour les analystes. De plus, l’ATT permet de comparer les données issues des programmes analysés et de les confronter à des données externes. Cet avantage permet d’offrir aux personnes en position de prendre des décisions d’en utiliser les résultats plus stratégiquement, en incluant dans l’analyse des éléments culturels et contextuels directement reliés aux organisations dont les programmes sont évalués.
Pour conclure, le chercheur lance un appel à la reproductibilité de l’analyse thématique transversale afin de valider plus largement sa pertinence pour l’évaluation en administration publique. Pour ce faire, l’article expose notamment les étapes d’analyse, le livret de codes, ainsi que la synthèse des thèmes des rapports d’évaluation.
À propos des programmes d'études de l'ENAP
L'ENAP propose une offre de cours et de programmes universitaires variée aux personnes qui souhaitent parfaire leurs connaissances. Que ce soit pour des programmes d'études de 2e ou de 3e cycles, les étudiantes et les étudiants ainsi que les personnes en emploi y trouvent un vaste choix pour répondre à leurs besoins et développer une carrière à leur image.