Passer au contenu

PACP Rapport du Comité

Si vous avez des questions ou commentaires concernant l'accessibilité à cette publication, veuillez communiquer avec nous à accessible@parl.gc.ca.

Réponse du gouvernement au Dix-septième rapport du Comité permanent des comptes publics : Chapitre 1, « L’évaluation de l’efficacité des programmes » du Rapport de l’automne 2009 de la vérificatrice générale du Canada

Le gouvernement est d’accord avec le Comité permanent des comptes publics (CPCP) sur l’importance de l’évaluation des programmes pour fournir une information fiable sur l’efficacité des programmes aux fins de la prise de décision, et il apprécie le soutien du Comité à l’égard de l’évolution soutenue de l’évaluation de l’efficacité au sein du gouvernement fédéral et des exigences de la politique qui ont été renforcées récemment pour l’évaluation.

Le gouvernement reconnaît que l’évaluation de programme est une importante source d’information sur l’optimisation des ressources des programmes, y compris leur efficacité, leur efficience, leur rentabilité et leur pertinence. En tant qu’outil de gestion, l’évaluation soutient l’amélioration des politiques et des programmes, la gestion des dépenses, la prise de décision du Cabinet et les rapports publics car il en découle une information fiable et neutre sur l’optimisation des ressources des programmes gouvernementaux.

Dans le cadre du renouvellement du système de gestion des dépenses du gouvernement du Canada de 2007, et conformément à la réponse du gouvernement au quatrième rapport du Comité permanent des comptes publics (CPCP), lequel fut déposé en juillet 2008 et fait mention de l’acceptation d’une recommandation selon laquelle le Secrétariat du Conseil du Trésor du Canada rehausserait l’importance que revêt l’évaluation en ajoutant l’évaluation des programmes comme exigence clé du système de gestion des dépenses, l’évaluation joue un rôle de plus en plus important en vue d’assurer une gestion efficace des dépenses publiques. En appui à ce rôle, la Politique sur l’évaluation de 2009 a instauré des changements majeurs en ce qui a trait à la fonction d’évaluation dans les ministères et à l’échelle du gouvernement du Canada. Ces changements visent à élargir la portée de l’évaluation des programmes, à axer l’évaluation sur les questions relatives à l’optimisation des ressources financières, à assurer la collecte continue des données sur le rendement afin de soutenir les évaluations, et à rehausser la gouvernance et la neutralité de la fonction.

Vu les changements de taille qu’apporte la Politique sur l’évaluation de 2009, un plan de mise en oeuvre graduelle sur quatre ans a été adopté pour donner aux ministères suffisamment de temps pour s’adapter aux nouvelles exigences et renforcer leur capacité d’évaluation pour satisfaire aux exigences de la politique.

Pendant la mise en œuvre de la Politique sur l’évaluation et de la Politique sur la structure de la gestion, des ressources et des résultats, le SCT continuera de fournir des conseils et un soutien aux ministères pour qu’ils améliorent leurs fonctions d’évaluation ainsi que leur mesure permanente du rendement. Le rapport annuel La santé de la fonction d’évaluation sera rendu public après son approbation par le Conseil du Trésor, et il fera état de la progression de la fonction d’évaluation.

Recommandation 1

Que d’ici au 31 décembre 2010, Patrimoine canadien et Ressources humaines et Développement des compétences Canada présentent chacun au Comité permanent des comptes publics un plan d’action expliquant comment ils entendent donner suite aux recommandations formulées dans le chapitre 1 du rapport de l’automne 2009 de la vérificatrice générale du Canada

La recommandation est acceptée.

Dans sa réponse au Quatorzième rapport du Comité permanent des comptes publics sur le Chapitre 2 du Rapport de la vérificatrice générale du Canada de décembre 2008, intitulé La gouvernance des petites entités fédérales, le gouvernement fait remarquer que les ministères et les organismes conserveront leur attitude réceptive aux demandes du Comité et continueront de prendre toutes les mesures raisonnables pour s’assurer que le Comité possède l’information dont il a besoin pour tenir ses audiences. Dans ce contexte, les ministères et organismes du gouvernement continuent de fournir au Comité toute l’information pertinente lorsqu’ils sont appelés à comparaître devant lui.

Avant de se présenter devant le Comité au sujet du Chapitre 1 du Rapport de la vérificatrice générale du Canada de l’automne 2009, intitulé « L’évaluation de l’efficacité des programmes », tous les ministères dont il est question dans le Chapitre ont préparé des plans d’action. Toutefois, Patrimoine canadien et Ressources humaines et Développement des compétences Canada n’ont pas été appelés à se présenter devant le Comité et, par conséquent, n’ont pas fourni leurs plans d’action au Comité.

Afin de fournir au Comité des documents existants qui pourraient aider ses membres à mieux comprendre les efforts déployés par le gouvernement dans ce domaine, le gouvernement est heureux de fournir une information additionnelle pour compléter celle déjà fournie au Comité. Ainsi, les plans d’action ministériels préparés par Patrimoine canadien et Ressources humaines et Développement des compétences Canada sont joints en annexes à la réponse du gouvernement.

En bref, les plans d’action de ces deux ministères, qui s’ajoutent aux plans que le Comité a déjà reçus, témoignent de l’engagement du gouvernement à améliorer l’information sur le rendement, pour renforcer les fonctions d’évaluation dans tout le gouvernement et améliorer la capacité de celui-ci à gérer d’après les résultats.

Recommandation 2

Qu’à partir de 2010-2011, le Secrétariat du Conseil du Trésor prépare un rapport annuel sur l’état de la fonction d’évaluation et le rende accessible au public

La recommandation est acceptée.

Le SCT préparera son rapport annuel La santé de la fonction d’évaluation, comme l’exige la Politique sur l’évaluation de 2009, et il le rendra public sur le site Web du Conseil du Trésor du Canada, lorsqu’il aura été approuvé par celui-ci. Le rapport contiendra de l’information sur l’état de divers aspects de la fonction d’évaluation du gouvernement du Canada, y compris la progression de la mise en œuvre de la Politique sur l’évaluation de 2009.

Le rapport fera largement état de la fonction surveillée par le SCT et donnera de l’information sur les activités menées par le SCT à l’appui de la fonction à l’échelle du gouvernement et pour soutenir les administrateurs généraux et d’autres intervenants en formulant des propositions pour améliorer la fonction d’évaluation fédérale et, par conséquent en faire un outil d’information pour les parlementaires et les Canadiens et les Canadiennes pour suivre de près l’évolution de la fonction.

Recommandation 4

Que d’ici au 31 janvier 2011, Environnement Canada, Pêches et Océans Canada et Ressources humaines et Développement des compétences Canada présentent au Comité permanent des comptes publics une stratégie d’amélioration de leur cadre de mesure du rendement.

La recommandation est acceptée et l’information demandée est fournie de la manière présentée ci-dessous.

Le Conseil du Trésor a renouvelé la Politique sur la structure de la gestion, des ressources et des résultats (SGRR) en février 2010. Initialement instaurée en avril 2005, la Politique énonce une approche commune concernant la collecte, la gestion et la communication de l’information financière et non financière sur le rendement.

Essentiellement, la Politique sur la SGRR vise à établir un lien entre les ressources (prévues et réelles) et les résultats escomptés pour toutes les dépenses de programmes, et elle contribue à l’amélioration de la prise de décision en permettant d’accéder à une information financière et non financière exacte sur le rendement.

Les ministères assujettis à la Politique sont tenus d’établir une SGRR réunissant les composantes suivantes, lesquelles servent de base pour leurs rapports au Parlement :

  • des résultats stratégiques (RS) : avantages à long terme, durables et mesurables pour les Canadiens et les Canadiennes;
  • une architecture des activités de programmes (AAP) : répertoire des programmes liés à des résultats stratégiques, y compris un cadre de mesure du rendement (CMR) à l’appui, qui énonce les résultats escomptés à obtenir ainsi que les résultats spécifiques devant découler d’un programme, accompagnés de mesures du rendement;
  • une structure de gouvernance : mécanismes de prise de décision, responsabilités et responsabilisation au sein d’un ministère.

Le cadre de mesure du rendement est la composante clé de la Politique sur la SGRR. Les organisations sont tenues de définir les mesures du rendement pour chaque résultat stratégique et programme faisant partie de leur AAP.

Le gouvernement reconnaît qu’un cadre de mesure du rendement solide est un facteur important pour faciliter les évaluations. Comme l’exige la Politique sur l’évaluation de 2009, les chefs de l’évaluation de tous les grands ministères et organismes examinent les cadres et les stratégies de mesure du rendement des ministères et fournissent des conseils à leur sujet, et ils prépareront des rapports annuels qu’ils soumettront au comité d’évaluation de leur ministère, qui feront état de la mesure du rendement au sein de leur ministère et précisément de la façon dont elle soutient l’évaluation. Ces rapports aideront les ministères à définir les améliorations qu’il faut apporter à la mesure du rendement pour soutenir la conduite des évaluations.

L’élaboration de l’information sur le rendement est un processus permanent et d’importants progrès ont été accomplis dans les trois ministères depuis que la vérification a été faite. Les trois ministères participent toujours et travaillent avec le Secrétariat du Conseil du Trésor du Canada pour améliorer leurs cadres de mesure du rendement et l’information connexe sur la mesure du rendement afin de mieux soutenir la gestion et la prise de décision.

Comme on le précise dans les paragraphes qui suivent, Environnement canada, Pêches et Océans Canada et Ressources humaines et Développement des compétences Canada ont tous apporté des modifications depuis la vérification pour continuer d’améliorer et de renforcer la qualité de leurs CMR.

Pêches et Océans Canada

Pêches et Océans Canada a entrepris un remaniement complet de sa Structure de la gestion, des ressources et des résultats (SGRR) pour 2011-2012, dont une composante clé est le Cadre de mesure du rendement (CMR).

Pêches et Océans Canada a fait beaucoup d’efforts pour rehausser le niveau de précision et la qualité des indicateurs de rendement pour disposer d’un moyen plus efficace et fiable d’évaluer le rendement et d’en faire rapport aux Canadiens.

De plus, les indicateurs de rendement de Pêches et Océans Canada pour 2011-2012 ont été élaborés avec l’information fournie par la Direction de l’évaluation du Ministère, pour s’assurer qu’ils faciliteront les futures évaluations, et ils seront soumis régulièrement à des examens internes et externes pour en assurer l’amélioration continue.

Pêches et Océans Canada a également lancé un plan d’action sur la mesure du rendement, qui est une approche exhaustive progressive pour s’assurer que des stratégies de mesure du rendement sont élaborées et mises en œuvre pour tous les programmes du Ministère d’ici décembre 2011. Ces stratégies soutiendront à la fois le Cadre de mesure du rendement du Ministère ainsi que chacune des évaluations.

Environnement Canada

Depuis que le BVG a mené sa vérification, Environnement Canada a amorcé une révision majeure de son Architecture des activités de programme (AAP) et de son Cadre de mesure du rendement (CMR). Le CMR en vigueur pour l’exercice 2010-2011prévoit l’examen de tous les programmes de l’AAP.

Des stratégies de mesure du rendement sont en cours de renouvellement ou d’élaboration pour tous les programmes de l’AAP et les travaux se déroulent sur plusieurs années et de façon progressive. Le moment est choisi en fonction du calendrier des évaluations de programmes.

On est en train de répertorier les indicateurs de rendement utilisés dans tout le Ministère en plus de ceux du CMR. Ils serviront de référence pour évaluer les changements qu’il est proposé d’apporter aux indicateurs, et ce travail permettra de déceler d’importantes lacunes à combler.

À mesure que les programmes se déroulent pour mettre en place les systèmes permettant de collecter et d’analyser des données sur le rendement, les domaines où il faut apporter des révisions pour assurer la pertinence, la fiabilité et l’utilité de l’information communiquée sont repérés au moyen d’un processus d’examens et de remises en question réguliers.

La Direction de la vérification et de l’évaluation d’Environnement Canada examinera la mise en œuvre du CMR et des stratégies de mesure du rendement à l’aide de plusieurs mécanismes. Par exemple, des évaluations de l’évaluabilité seront effectuées deux ans avant chaque évaluation prévue et décèleront d’éventuels problèmes liés à la disponibilité ou à la qualité de l’information sur le rendement ainsi que d’autres questions concernant l’évaluabilité. La mise en œuvre des réponses de la direction aux recommandations découlant des évaluations, en particulier celles qui traitent de la mesure du rendement, continuera de faire l’objet d’une surveillance régulière.

Ressources humaines et Développement des compétences Canada

En 2009, RHDCC a entrepris un vaste examen de son Cadre de mesure du rendement (CMR) en utilisant les tableaux de planification des résultats stratégiques du sous-ministre adjoint comme moyen d’échange de vues. Il en a résulté un CMR 2010-2011 renforcé, allié à des énoncés des résultats et des indicateurs de rendement améliorés.

Dans le cadre de la mise à jour annuelle de sa SGRR, RHDCC cherchera à améliorer à nouveau des indicateurs spécifiques du CMR pour 2011-2012, après un examen de la haute direction et du Comité de vérification ministériel. Comme dans le passé, la Direction de l’évaluation a contribué à l’élaboration des indicateurs de rendement ministériels pour 2011-2012. En prévision de 2012-2013, le Ministère procédera à un vaste examen de son CMR.

RHDCC soutient l’élaboration de politiques et de programmes, des exercices de diagnostic, des prévisions et des évaluations qui reposent sur des données probantes, ainsi que la collecte et l’analyse de données à l’appui de l’amélioration de la fiabilité des indicateurs et des données. Pour soutenir cette fonction et renforcer la gestion de l’information liée au CMR, RHDCC est en train de mettre au point une application Web pour l’entreposage et le partage de l’information et des données sur la mesure du rendement. Ce dépôt central de données courantes et historiques sur le CMR accroîtra la souplesse en matière de rapport et la comparabilité des données sur le rendement sur plusieurs années.

Recommandations 3, 5, 6, 7, 8

Recommandation 3

Que le Secrétariat du Conseil du Trésor inclue dans son rapport annuel sur l’état de la fonction d’évaluation une mise à jour sur ses activités de surveillance et de soutien de l’évaluation de l’efficacité.

Recommandation 5

Que le Secrétariat du Conseil du Trésor précise dans son rapport annuel sur l’état de la fonction d’évaluation le nombre d’évaluations de l’efficacité effectuées et quels ministères ont eu de la difficulté à établir avec exactitude le degré de succès des programmes en raison de l’insuffisance de l’information sur le rendement.

Recommandation 6

Que le Secrétariat du Conseil du Trésor précise dans son rapport annuel sur l’état de la fonction d’évaluation le pourcentage des dépenses de programmes directes et des programmes de subventions et de contributions ayant fait l’objet d’une évaluation au cours de l’exercice, ainsi que le pourcentage des dépenses et des programmes évalués au cours du cycle quinquennal.

Recommandation 7

Que le Secrétariat du Conseil du Trésor précise dans son rapport annuel sur l’état de la fonction d’évaluation le nombre d’évaluateurs à l’emploi des grands ministères au sein de l’administration fédérale.

Recommandation 8

Que le Secrétariat du Conseil du Trésor précise dans son rapport annuel sur l’état de la fonction d’évaluation le pourcentage des évaluations effectuées par des sous-traitants.

Les recommandations sont acceptées, et des éclaircissements sont fournis sur les rôles et les responsabilités.

Comme le prescrit la Politique sur l’évaluation de 2009, des évaluations doivent être menées pour déterminer l’optimisation des ressources des programmes, y compris la mesure dans laquelle les programmes sont efficaces, efficients, rentables et pertinents. Comme l’indique la réponse du gouvernement à la recommandation 2, le SCT préparera un rapport annuel La santé de la fonction d’évaluation, pour se conformer à la Politique sur l’évaluation. Le rapport contiendra de l’information sur l’état de la fonction d’évaluation, sa progression au regard des exigences législatives pour l’évaluation permanente des programmes de subventions et contributions aux termes de la Loi sur la gestion des finances publiques, et son évolution dans le cadre de la mise en œuvre de la Politique sur l’évaluation de 2009. Le rapport La santé de la fonction d’évaluation contiendra aussi des renseignements provenant des recommandations du CPCP, notamment sur :

  • les activités de surveillance et de soutien du SCT à l’égard de la fonction d’évaluation;
  • le nombre d’évaluations reçues par le SCT en provenance des ministères;
  • le pourcentage des dépenses de programmes directes et des programmes de subventions et de contributions ayant fait l’objet d’une évaluation au cours de la période sur laquelle porte le rapport, ainsi que le pourcentage évalué au cours du cycle quinquennal;
  • le nombre d’évaluateurs au service des grands ministères de l’administration fédérale;
  • l’utilisation de sous-traitants dans la conduite des évaluations;
  • le pourcentage de grands ministères évalués selon le Cadre de responsabilisation de gestion, dont les rapports font état de la difficulté à évaluer l’efficacité des programmes en raison de l’insuffisance de l’information sur le rendement.

Il incombe à chaque ministère de rendre compte des situations dans lesquelles ils ont eu de la difficulté à établir le degré de succès des programmes en raison de l’insuffisance de l’information sur le rendement, car selon les Normes d’évaluation pour le gouvernement du Canada, tous les rapports d’évaluation ministériels doivent présenter les « limites de l’évaluation par rapport aux mandats, méthodes et consultations ». Par ailleurs, les chefs de l’évaluation des grands ministères et organismes sont tenus, conformément à la Directive sur la fonction d’évaluation, de soumettre à leur Comité d’évaluation ministériel un rapport annuel sur « l’état de la mesure du rendement des programmes à l’appui de l’évaluation ». 

Recommandation 9

Que le Bureau du vérificateur général fasse une vérification de suivi d’ici cinq ans après la vérification initiale pour voir si les ministères arrivent à satisfaire aux exigences en matière d’évaluation de l’efficacité et s’ils effectuent leurs évaluations de façon économique et efficiente

La réponse du gouvernement ne donne pas suite aux recommandations qui ne relèvent pas de sa compétence. Ainsi, le gouvernement n’est pas en mesure de répondre à la recommandation 9 du Comité, qui s’adresse au Bureau du vérificateur général. La vérificatrice générale du Canada est habilitée à présenter sa propre réponse à la recommandation en tant que mandataire indépendante du Parlement.


MINISTÈRE DU PATRIMOINE CANADIEN

Plan d’action pour la mise en oeuvre des recommandations de la Vérificatrice générale sur

«L’évaluation de l’efficacité des programmes»

RECOMMANDATION

RÉPONSE DU MINISTÈRE

PLAN D’ACTION / ÉTAT

1.37 Agriculture et Agroalimentaire Canada, Citoyenneté et Immigration Canada, Environnement Canada, Patrimoine canadien, Pêches et Océans Canada, et Ressources humaines et Développement des compétences Canada devraient élaborer et mettre en œuvre des plans d’action pour s’assurer que l’information sur le rendement des programmes est recueillie de façon continue en vue d’appuyer l’évaluation de l’efficacité des programmes.

ACCEPTÉE

1. Recommandation acceptée. Patrimoine canadien applique son Plan d’action pour la mise en œuvre de la Politique sur la structure de gestion, des ressources et des résultats (SGRR) afin de veiller à ce que le personnel chargé des programmes soit en mesure de s’acquitter de ses responsabilités à l’égard de l’élaboration et de l’application de stratégies de mesure du rendement. Le Plan d’action prévoit, entre autres :

­ l’organisation de séances d’information et d’ateliers;

­ la définition d’indicateurs et de cibles connexes;

­ l’établissement de méthodes efficaces pour étayer les résultats;

­ la création d’un « centre d’expertise » sur la mesure du rendement au sein du Ministère;

­ la conception et la mise en œuvre d’outils et de directives appropriés;

­ la mise au point de systèmes et de technologies de l’information pertinents;

­ l’analyse périodique des données recueillies et la présentation de rapports à cet égard.

La mise en œuvre du Plan d’action devrait s’achever à la fin de 2011-2012.

MISE EN OEUVRE PARTIELLE

EN COURS

Des ajustements on été apportés au Plan d’action pour la mise en œuvre de la SGRR compte tenu des réductions du budget ministériel et du lancement de l’Initiative de transformation. Ce plan d’action sera mis à jour une fois l’Initiative de transformation complétée, plus particulièrement, la mise en œuvre de la Revue des Services Internes.

Entre temps, le ministère continue de réaliser des progrès dans l’amélioration de l’état de la mesure du rendement.

Organisation de séances d’information et d’ateliers : En août 2009, la Sous-ministre de PCH identifiait la mesure du rendement comme priorité de formation. En septembre 2009, la Direction de la planification stratégique (DPS) livrait des séances d’information et des ateliers sur la mesure du rendement à l’ensemble des gestionnaires de programmes, aux directions et agents de programmes. Le site Intranet des ressources humaines affiche la formation sur la mesure du rendement comme priorité de formation pour tous les employés de PCH pour 2010-2012. C’est dans ce contexte que la DPS offrira deux sessions de formation en novembre 2010. Une formation plus approfondie pourrait être offerte au printemps 2011. Entre temps, la


   

­ DPS collabore avec le Centre d’expertise en subventions et contributions, la Direction des services d’évaluation (DSÉ) et la Direction générale de la gestion financière (DGGF) en vue d’adopter une terminologie commune pour la gestion du rendement à travers le ministère. La DPS fournit aussi des avis aux secteurs et programmes sur les stratégies de mesure du rendement et leur alignement avec le Cadre de mesure du rendement (CMR).

­ Définition d’indicateurs et de cibles connexes : PCH continue d’améliorer son Cadre de mesure du rendement. Le CMR évolue et gagne en maturité. La version de 2011-2012 fait état d’indicateurs peaufinés et de l’augmentation du nombre de cibles. Dépendant des changements organisationnels engendrés par l’Initiative de transformation, le plan d’action présentera les grandes lignes des prochaines étapes et l’envergure des modifications au CMR pour les mois à venir.

­ Établissement de méthodes efficaces pour étayer les résultats : À l’été 2009, PCH a entrepris un exercice de développement d’une méthodologie pour le CMR résultant dans le raffinement des indicateurs et résultats attendus au niveau des résultats stratégiques (RS) de même que pour les activités de programmes (AP). De plus, des cibles ont été identifiées pour la plupart des AP et des sous-activités de programmes (SAP).

Création d’un « centre d’expertise » sur la mesure du rendement au sein du Ministère : PCH s’est doté d’un gestionnaire et d’un analyste pour le dossier de la mesure du rendement. La création d’un centre d’expertise est en suspens étant donné le contexte présent de restrictions budgétaires et dépendant des décisions à venir sur les modèles de livraison pour les fonctions corporatives. On s'attend à ce que ces


   

­ décisions soient mises en œuvre début 2011. De plus, la DPS a mis en œuvre un réseau de planification formel, notamment la mise sur pied du Groupe de travail de niveau IV (directeur ou gestionnaire), qui supporte le Comité de Planification Intégré de niveau III dans la structure de gouvernance.

­ Conception et mise en œuvre d’outils et de directives appropriés : PCH a développé des fiches méthodologiques pour fournir des détails sur les résultats attendus et les indicateurs pour les résultats stratégiques (RS) et des activités de programmes (AP). Ces fiches étaient très utiles pour répondre aux exigences de reddition de compte tel que le RPP 2009-2010. Le développement du niveau de sous-sous-activité de programmes, laissé à la discrétion des ministères, a été retardé en raison d'autres priorités; cependant, il sera revisité à une date ultérieure.

­ Mise au point de systèmes et de technologies de l’information pertinents : Ce projet a été annulé en raison des contraintes budgétaires. Une nouvelle orientation sera donnée une fois que les résultats de l'Initiative de transformation auront été mis en œuvre. Plus de détails seront fournis en temps et lieu.

­ Analyse périodique des données recueillies et présentation de rapports à cet égard : PCH a exploré un processus de collecte de données dans le Groupe du Patrimoine (Activité de programme 3) pendant deux exercices, utilisant 2008-2009 comme une année de référence. La collecte de données de 2009-2010 a contribué à l'amélioration de la capacité de reddition de compte du ministère.

­ PCH se prépare à étendre la collecte de données, l’analyse et les rapports durant l’exercice 2011-2012.


 

2. Le Bureau du dirigeant principal de la vérification et de l’évaluation du Ministère fournit en permanence des conseils et apporte de façon continue son concours aux gestionnaires qui s’emploient à mettre en œuvre le Plan d’action. Conformément à la Politique sur les paiements de transfert, ce bureau fournit également, en temps opportun, des avis et une aide pour ce qui est de la conception des programmes et des stratégies de mesure du rendement lorsqu’il examine les documents d’approbation officiels pour la création de nouveaux programmes et le renouvellement de programmes en vigueur.

COMPLÉTÉE – Le BDPVÉ de PCH continue de revoir systématiquement toutes les présentations au Conseil du Trésor et contribue au processus d’approbation afin d’assurer la qualité et la validité des informations relatives à l’évaluation, de même qu’aux stratégies de mesure du rendement.

Les gestionnaires d’évaluation poursuivent aussi la revue des modèles logiques, des indicateurs de rendement et stratégies d’évaluation pour les programmes de leur portfolio. Cette structure favorise la couverture entière de l’Architecture d’activités de programmes et permet de surveiller de façon efficace la qualité des mesures de rendement à travers le ministère.

 

3. Enfin, conformément à l’obligation qui lui est faite aux termes de la Politique sur l’évaluation, le bureau présentera, en 2010-2011, son premier rapport annuel sur l’état de la mesure du rendement des programmes au comité d’évaluation ministériel.

MISE EN OEUVRE PARTIELLE

Phase I – Étude préliminaire

Le Dirigeant principal de la vérification et de l’évaluation a complété une étude préliminaire sur l’état de la mesure du rendement des programmes à l'appui de l'évaluation à PCH. L'objectif principal était d'évaluer l’adéquation et la disponibilité de données rassemblées selon des programmes pour des évaluations d'efficacité. Des résultats généraux ont été présentés au Comité d’évaluation ministériel fin juin 2010.

Phase II – Étude approfondie

Cette phase comprend la conduite actuelle de l’évaluation. Les principaux enjeux comprennent :

­ un portrait de la disponibilité de données sur les résultats et les méthodes de collecte;

­ les actions entreprises par les gestionnaires de programmes et de services corporatifs pour la mise en œuvre et l’amélioration de la mesure du rendement;

les facteurs ayant une incidence sur la mise en œuvre


   

d’une culture du rendement à PCH, incluant l’appui fourni par les cadres supérieurs de PCH;

­ la formation offerte au personnel des programmes et la formation requise;

­ la clarté des rôles et responsabilités au sein du ministère afin d’assurer la mise en œuvre adéquate des stratégies de mesure du rendement.

Livrable : Un rapport final qui comprend :

­ le rapport annuel sur l’état de la mesure du rendement des programmes de PCH en appui à l’évaluation;

­ des recommandations et suggestions de méthodologies à l’attention des cadres supérieurs et gestionnaires de programmes pour améliorer et renforcer la mesure du rendement à PCH.

Échéancier : Mars 2011.

1.43 Agriculture et Agroalimentaire Canada, Citoyenneté et Immigration Canada, Environnement Canada, Patrimoine canadien, Pêches et Océans Canada, et Ressources humaines et Développement des compétences Canada devraient examiner les avantages d’intégrer des spécialistes externes au sein de leur comité d’évaluation. Le Secrétariat du Conseil du Trésor devrait établir des lignes directrices à ce sujet à l’intention des ministères.

ACCEPTÉE

Au sein de Patrimoine canadien, c’est le Comité des politiques stratégiques, de la planification et de l’évaluation (CPSPÉ), sous la présidence de l’administrateur général, qui surveille la fonction d’évaluation. Cette structure permet une meilleure intégration entre les fonctions d’établissement des politiques, de planification et d’évaluation au Ministère. De même, Patrimoine canadien présente déjà les rapports d’évaluation clés, au besoin, à son comité de vérification ministériel pour qu’il les examine et en discute. Le Ministère collaborera avec le Centre d’excellence en évaluation du Secrétariat du Conseil du Trésor pour déterminer la valeur ajoutée que représente l’intégration des avis d’experts de l’évaluation externes pour éclairer les travaux des comités d’évaluation ministériels.

COMPLÉTÉE

1. Le Dirigeant principal de la vérification et de l’évaluation du ministère continuera, à l’avenir, de soumettre tous les rapports d’évaluations clés au comité de vérification du ministère pour revue et discussion.

2. PCH collabore déjà avec le Centre d’excellence en évaluation (CEE) du Secrétariat du Conseil du Trésor sur plusieurs questions relatives à l’évaluation. Le ministère est bien représenté et contribue activement à tous les groupes de travail interministériels mis en place par le CEE pour la mise en œuvre de la Politique sur l’évaluation (2009). PCH a participé à la consultation du CEE et aux discussions avec les ministères pour clarifier le rôle des experts d'évaluation externes au sein des comités d'évaluation ministériels. PCH a fourni au CEE des commentaires sur les défis liés à la mise en œuvre de cette recommandation à PCH, commentaires qui ont aidé à développer des conseils sur cette question.


1.48 Agriculture et Agroalimentaire Canada, Citoyenneté et Immigration Canada, Patrimoine canadien, Pêches et Océans Canada, et Ressources humaines et Développement des compétences Canada devraient instaurer des processus systématiques pour déterminer si leurs évaluations de l’efficacité répondent aux exigences établies pour l’ensemble du gouvernement et aux besoins ministériels internes, et procéder aux améliorations recensées. Le Secrétariat du Conseil du Trésor devrait exercer une surveillance et apporter l’aide supplémentaire qu’il juge nécessaire à la mise en œuvre de ces processus

ACCEPTÉE

Patrimoine canadien reconnaît qu’il est nécessaire d’établir des processus systématiques pour déterminer si les évaluations de l’efficacité répondent aux besoins. La Direction des services d’évaluation s’emploie actuellement à élaborer un cadre de mesure du rendement et une stratégie de gestion en vue d’établir des attentes précises à l’égard du rendement ainsi que des normes visant la fonction d’évaluation du Ministère. Un processus systématique pour recueillir, analyser et communiquer les données sur le rendement et sur la satisfaction des clients sera mis en œuvre en vue de recenser les secteurs susceptibles d’être améliorés. À la lumière des données qui seront recueillies pendant la première année de la mise en œuvre (2010-2011), des rapports périodiques devraient être présentés au comité d’évaluation ministériel dès le début de 2011-2012. Cette information sur le rendement viendra compléter des données qui sont déjà communiquées dans le cadre des examens fondés sur le Cadre de responsabilisation de gestion qui sont menés par le Secrétariat du Conseil du Trésor.

MISE EN OEUVRE PARTIELLE

Exigences établies pour l’ensemble du gouvernement :

COMPLÉTÉE – 1. La première ébauche de rapport final d’évaluations menées par la Direction des services d’évaluation de PCH fait l’objet d’une revue interne par les pairs. Un gabarit normalisé est systématiquement utilisé pour évaluer différents critères et saisir les commentaires pertinents conformément aux normes du Gouvernement du Canada pour l’évaluation, de même qu’aux critères de qualité des évaluations du CRG du Secrétariat du Conseil du Trésor.

Répondre aux besoins ministériels internes et procéder aux améliorations recensées :

COMPLÉTÉE – 1. Les gestionnaires de programme, les directeurs généraux, les sous-ministres adjoints et le Sous-ministre sont toujours consultés pour la mise à jour du plan quinquennal afin d’assurer une programmation appropriée qui répond adéquatement aux besoins de reddition de compte. Dans le cas de programmes identifiés à haut risque, le mandat et les questions d’évaluations sont discutés et approuvées par le Comité ministériel d’évaluation présidé par le Sous-ministre.

EN COURS – 2. La Direction des services d’évaluation a revu son modèle logique et développé un cadre de mesure du rendement pour assurer un suivi des progrès vers l’atteinte des résultats attendus. Des mesures claires sont identifiées et intégrées au Plan d’affaires intégré du Bureau du dirigeant principal de la vérification et de l’évaluation pour 2010-11 / 2012-13. L’exercice 2011-2012 sera consacré à développer les données de base, 2011-2012 pour mettre en œuvre le système de collecte de données, et


   

avant le 1er avril 2012, la Direction de Services d'évaluation passera en revue et mettra à jour sa charte de service et informera ses clients du ministère. Une fois mis en œuvre, la livraison de service sera suivie pour évaluer la conformité et des ajustements seront faits au besoin.

EN COURS – 3.

­ La Direction de Services d'Évaluation a développé et expérimenté un questionnaire d'enquête pour rassembler des données sur la satisfaction des clients après la conduite d'une évaluation. Le questionnaire a été mis à jour et programmé pour être complété en ligne. À compté de janvier 2011, cet outil sera systématiquement utilisé pour colliger des données sur le rendement et permettre d’identifier des mesures d’amélioration.

­ Toujours à compter de janvier 2011, la Direction des Services d’Évaluation procédera systématiquement à la tenue de sessions de leçons apprises documentées, en collaboration avec les gestionnaires de programmes, à l’issue de chaque évaluation. Le but de ces sessions est de revoir le processus d’évaluation, d’évaluer dans quelle mesure les besoins des gestionnaires ont été comblés, souligner les pratiques efficaces et identifier des améliorations possibles.

­ La Direction des Services d’Évaluation développe un questionnaire annuel à l’attention de ses clients afin de recueillir des données additionnelles sur la qualité et l’opportunité des services conseils et avis, de même que sur l’utilisation des résultats d’évaluation. Cet outil sera mis en œuvre durant l’exercice 2011-2012.


Ministère des Ressources humaines et Développement des compétences

Plan d’action pour la mise en oeuvre des recommandations de la Vérificatrice générale sur

«L’évaluation de l’efficacité des programmes»

RECOMMENDATIONS DE LA VÉRIFICATRICE GÉNÉRALE DU CANADA

RÉPONSE DE LA DIRECTION

PLAN DE GESTION

MESURE(S) À PRENDRE

ÉCHÉANCE

RESPONSABILITÉ

OU NUMÉRO DE CR

Recommandation 1.37

Agriculture et Agroalimentaire Canada, Citoyenneté et Immigration Canada, Environnement Canada, Patrimoine canadien, Pêches et Océans Canada, et Ressources humaines et Développement des compétences Canada devraient élaborer et mettre en œuvre des plans d’action pour s’assurer que l’information sur le rendement des programmes est recueillie de façon continue en vue d’appuyer l’évaluation de l’efficacité des programmes.

Réponse de Ressources humaines et Développement des compétences Canada

Recommandation acceptée. Ressources humaines et Développement des compétences Canada accepte cette recommandation puisqu’elle reflète l’esprit de diverses politiques du Secrétariat du Conseil du Trésor, y compris la Politique sur l’évaluation de 2009. Ainsi, le Ministère recueille et surveille déjà de façon continue les données sur le rendement pour appuyer l’évaluation de l’efficacité, notamment en menant les actions suivantes :

• suivre la mise en œuvre des mesures annoncées dans les réponses de la direction aux évaluations antérieures qui ont relevé des problèmes relatifs aux données pour les programmes actuels;

Élaborer et présenter un rapport annuel sur la situation de la mesure du rendement, tel qu’exigé par la Politique sur l’évaluation.

Le 7 juillet 2009, en guise de réponse, la direction a présenté au comité d’évaluation ministériel une étude de suivi (pour la période de 2004-2005 à 2006-2007). La fréquence et la méthode des mesures de suivi qui seront utilisées dans l’avenir feront l’objet de discussions au CEM.

Mars 2010

(mises à jour annuelles)

8 décembre 2009

(établissement de rapports périodique)

DG, Évaluation,

Direction générale de la politique stratégique et de la recherche

DG, Évaluation,

Direction générale de la politique stratégique et de la recherche


RECOMMENDATIONS DE LA VÉRIFICATRICE GÉNÉRALE DU CANADA

RÉPONSE DE LA DIRECTION

PLAN DE GESTION

MESURE(S) À PRENDRE

ÉCHÉANCE

RESPONSABILITÉ

OU NUMÉRO DE CR

 

• entreprendre des travaux d’évaluation préliminaires, avant le début officiel des évaluations de l’efficacité dans le cadre du processus de planification des évaluations, pour examiner l’état des données sur le rendement et des modèles logiques;

• suivre la mise en œuvre des nouveaux programmes (p. ex., les initiatives lancées dans le cadre du Plan d’action économique) pour veiller à ce que soient disponibles les données administratives et les données sur le rendement nécessaires au soutien des activités d’évaluation futures.

Le Ministère entreprend aussi un examen exhaustif ainsi qu’une mise au point et une validation complètes de son Cadre de mesure du rendement pour le rendre plus solide et complet, en vue d’appuyer la planification, la surveillance et la gestion continues en fonction des résultats. La Direction de l’évaluation participe activement à ce projet. Les progrès réalisés à l’égard du Cadre de mesure du rendement du Ministère favoriseront le suivi du rendement ainsi que l’évaluation de la pertinence et de l’efficacité des programmes.

En cours

En cours

Effectuer un examen exhaustif ainsi qu’une mise au point et une validation complètes du Cadre de mesure du rendement (CMR), auxquels des SMA de l’ensemble du Ministère participeront.

Collaborer avec le Secrétariat du Conseil du Trésor afin de poursuivre le renforcement continu du CMR.

En cours

En cours

Septembre 2009 (terminé)

Mises à jour annuelles

DG, Évaluation,

Direction générale de la politique stratégique et de la recherche

DG, Évaluation,

Direction générale de la politique stratégique et de la recherche

DG, Planification et imputabilité ministérielles, Direction générale de la politique stratégique et de la recherche


RECOMMENDATIONS DE LA VÉRIFICATRICE GÉNÉRALE DU CANADA

RÉPONSE DE LA DIRECTION

PLAN DE GESTION

MESURE(S) À PRENDRE

ÉCHÉANCE

RESPONSABILITÉ

OU NUMÉRO DE CR

Recommandation 1.43

Agriculture et Agroalimentaire Canada, Citoyenneté et Immigration Canada, Environnement Canada, Patrimoine canadien, Pêches et Océans Canada, et Ressources humaines et Développement des compétences Canada devraient examiner les avantages d’intégrer des spécialistes externes au sein de leur comité d’évaluation. Le Secrétariat du Conseil du Trésor devrait établir des lignes directrices à ce sujet à l’intention des ministères.

Réponse de Ressources humaines et Développement des compétences Canada

Recommandation acceptée. Ressources humaines et Développement des compétences Canada a déjà invité des membres de l’extérieur du Ministère à siéger à son comité d’évaluation. Le Ministère envisagera de nouveau l’inclusion officielle d’experts externes à l’actuel Comité d’évaluation du Ministère et se tournera vers le Secrétariat du Conseil du Trésor du Canada pour obtenir des recommandations sur ce volet de la Politique sur l’évaluation.

Discuter de la possibilité d’inviter des personnes extérieures au Ministère à siéger au comité d’évaluation ministériel, et modifier le mandat du comité, s’il y a lieu.

17 novembre 2009

DG, Évaluation,

Direction générale de la politique stratégique et de la recherche


RECOMMENDATIONS DE LA VÉRIFICATRICE GÉNÉRALE DU CANADA

RÉPONSE DE LA DIRECTION

PLAN DE GESTION

MESURE(S) À PRENDRE

ÉCHÉANCE

RESPONSABILITÉ

OU NUMÉRO DE CR

Recommandation 1.48

Agriculture et Agroalimentaire Canada, Citoyenneté et Immigration Canada, Patrimoine canadien, Pêches et Océans Canada, et Ressources humaines et Développement des compétences Canada devraient instaurer des processus systématiques pour déterminer si leurs évaluations de l’efficacité répondent aux exigences établies pour l’ensemble du gouvernement et aux besoins ministériels internes, et procéder aux améliorations recensées. Le Secrétariat du Conseil du Trésor devrait exercer une surveillance et apporter l’aide supplémentaire qu’il juge nécessaire à la mise en œuvre de ces processus.

Réponse de Ressources humaines et Développement des compétences Canada

Recommandation acceptée. Ressources humaines et Développement des compétences Canada emploie actuellement divers processus systématiques pour assurer la qualité et la pertinence de ses évaluations par rapport aux besoins internes et gouvernementaux. Le recours à des examens externes par des pairs et à l’expertise de comités d’évaluation consultatifs fait obligatoirement partie de nos travaux d’évaluation, en vue de faire en sorte que les évaluations répondent aux besoins d’information. Nous planifierons des travaux plus poussés pour déterminer systématiquement si les évaluations répondent aux besoins du gouvernement et des cadres supérieurs, en s’appuyant sur le processus annuel d’examen fondé sur le Cadre de responsabilisation de gestion, qui est dirigé par le Secrétariat du Conseil du Trésor. Le Ministère recensera les secteurs susceptibles d’être améliorés et fera rapport à cet égard au comité d’évaluation ministériel.

En consultation avec la haute direction, élaborer un plan ministériel d’évaluation afin d’établir l’orientation, l’ampleur et l’enchaînement des ressources d’évaluation, de même que les aspects susceptibles d’être améliorés

Recenser les aspects susceptibles d’être améliorés au moyen de l’évaluation annuelle relative au Cadre de responsabilisation de la gestion. Ces lacunes feront l’objet d’une présentation et de discussions dans le cadre d’une rencontre du comité d’évaluation ministériel.

Avril 2010

(mises à jour annuelles)

Avril/mai 2010

(processus annuel)

DG, Évaluation,

Direction générale de la politique stratégique et de la recherche