Sécurité publique Canada Vérification interne de la mesure du rendement
Le 16 mars, 2016

Sécurité publique Canada Vérification interne de la mesure du rendement Version PDF (289 Ko)
Table des matières

Résumé

Contexte

La mesure du rendement se définit comme suit : « Processus ou systèmes de sélection, d'élaboration et d'utilisation continue de mesures de rendement pour guider le processus décisionnelNote de bas de page1 ». La mesure du rendement est un outil de gestion reposant sur les résultats que les organisations fédérales doivent utiliser pour renforcer la prise de décisions, l'amélioration des programmes et la production de rapports; elle revêt de plus en plus d'importance dans une ère de transparence gouvernementale et de reddition de comptes.

Compte tenu de l'importance de la mesure du rendement, le sous-ministre a approuvé la vérification de la mesure du rendement dans le cadre du Plan de vérification axé sur les risques de 2012-2013 à 2014-2015.

Objectif et portée de la vérification

La vérification avait pour objectif de donner une assurance raisonnable que les pratiques et les processus ministériels de mesure du rendement sont adéquats et efficaces et qu'ils respectent les exigences du Conseil du Trésor (CT).

Sa portée est axée sur la manière dont les indicateurs et les mesures du rendement sont élaborés et dont les données sont recueillies et utilisées par le Ministère. La vérification a également porté sur la conformité avec les politiques du CT et du Ministère ainsi que les chartes du comité ministériel de vérification et d'évaluation.

La planification de la vérification et la conduite étaient basées sur l'information et la documentation disponible jusqu'à septembre 2014.

Résumé des constatations

Conformément aux politiques et aux lignes directrices du CT et de Sécurité publique Canada (SP), un processus exhaustif de mesure du rendement comprend ce qui suit :

La vérification a démontré que le Ministère a mis en place des processus et des mécanismes de contrôle fondamentaux. Les voici :

L'examen de la documentation, les entrevues, les essais et l'analyse d'échantillons révèlent que les processus de mesure du rendement de SP sont incomplets :

Opinion des vérificateurs

Il faut apporter des améliorationsNote de bas de page2 aux pratiques et aux processus de mesure du rendement afin d'augmenter leur niveau de conformité aux exigences du CT et leur pertinence et leur efficacité. Il est possible d'améliorer les processus de mesure du rendement et de renforcer la collecte et l'utilisation de renseignements sur la mesure du rendement pour appuyer les activités de gestion et de surveillance.

Énoncé d'assurance et de conformité

Des procédures de vérification suffisantes et appropriées ont été exécutées, avec les éléments probants appropriés, pour étayer l'exactitude de l'opinion formulée dans le présent rapport. L'opinion repose sur une comparaison des conditions, telles qu'elles se présentaient au moment de la vérification, avec des critères de vérification préalablement établis et approuvés par la direction. L'opinion s'applique seulement à l'entité qui a fait l'objet de l'examen et dans les limites de la portée décrite dans le présent document. Les éléments probants ont été recueillis conformément à la Politique sur la vérification interne et à la Directive sur la vérification interne au gouvernement du Canada du Conseil du Trésor. La présente vérification respecte les Normes relatives à la vérification interne au sein du gouvernement du Canada, comme le confirment les résultats du programme d'assurance et d'amélioration de la qualité. Les procédures utilisées respectent les normes professionnelles de l'Institute of Internal Auditors (IIA). Les éléments probants recueillis sont suffisants pour convaincre la haute direction du bien-fondé de l'opinion découlant de la vérification interne.

Recommandations

  1. Le sous-ministre adjoint du Secteur des affaires du Portefeuille et des communications (SAPC) devrait veiller :
    • à l'harmonisation entre les indicateurs du CMR, du RPP et du RMR;
    • au soutien du dirigeant principal de la vérification et de l'évaluation (DPVE) pour l'examen du CMR et les conseils à cet égard, conformément à la Directive sur la fonction d'évaluation du SCT.
  2. Chaque sous-ministre adjoint devrait :
    • indiquer les ressources consacrées à l'élaboration et à la mise en œuvre des SMR;
    • assurer les liens entre le CMR et les SMR.
  3. Chaque sous-ministre adjoint devrait :
    • veiller à la collecte de données exactes par rapport aux indicateurs du CMR et des SMR afin de soutenir la prise de décisions et la production de rapports en temps opportun;
    • élaborer des ententes relatives à la collecte de données par un tiers, s'il y a lieu.

Réponse de la direction

La direction accepte les recommandations formulées dans la vérification interne. Ces recommandations tiennent compte du fait que la responsabilité de la mesure du rendement est partagée entre tous les gestionnaires du Ministère.
Les principales mesures à prendre par la gestion pour répondre aux recommandations et aux constatations, ainsi que leurs échéances, se trouvent dans la section Constatations, recommandations et réponse de la gestion du présent rapport.

Signature du DPVE

____________________________

Membres de l'équipe de vérification

Deborah Duhn
Sonja Mitrovic
Kyle Abonasara

Remerciements

La Vérification interne tient à remercier toutes les personnes ayant apporté aide et conseils au cours de la vérification.

1. Introduction

1.1 Contexte

La mesure du rendement se définit comme suit : « Processus ou systèmes de sélection, d'élaboration et d'utilisation continue de mesures de rendement pour guider le processus décisionnelNote de bas de page3 ». La mesure du rendement est un outil de gestion reposant sur les résultats que les organisations fédérales doivent utiliser pour renforcer la prise de décisions et la production de rapports.

Plus précisément, la mesure du rendement appuie Sécurité publique Canada (SP) dans son rôle de leadership pour établir une certaine cohérence dans les activités du Ministère. Elle procure également des leviers permettant d'influer sur la cohérence des politiques en plus d'offrir un aperçu des enjeux horizontaux avec de nombreux partenaires fédéraux et grâce à la réalisation des activités de programme suivantes : sécurité nationale, stratégies frontalières, lutte contre le crime et gestion des mesures d'urgence.

Les processus de mesure du rendement permettent de garantir des renseignements pertinents, exacts et opportuns pour la prise de décisions éclairées et la production de rapports solides. La mesure continue du rendement forme une base solide pour la gestion fondée sur les résultats et elle revêt de plus en plus d'importance dans une ère de transparence gouvernementale et de reddition de comptes.

Compte tenu de l'importance de la mesure du rendement, le sous-ministre a approuvé la vérification de la mesure du rendement dans le cadre du Plan de vérification axé sur les risques de 2012-2013 à 2014-2015.

1.2 Cadre législatif

La mesure du rendement est définie au moyen d'un ensemble de politiques, de directives et de lignes directrices du Conseil du Trésor (CT). La Politique sur la structure de la gestion, des ressources et des résultats (SGRR), la Politique sur l'évaluation et la Politique sur les paiements de transfert en font partie. Plus particulièrement, la Politique sur la SGRR vise à « garantir que le gouvernement et le Parlement reçoivent l'information financière et non financière intégrée sur le rendement des programmes, de façon à améliorer les décisions d'affectation et de réaffectation des ressources, tant dans chaque ministère qu'à l'échelle pangouvernementaleNote de bas de page4 ».

1.3 Rôles et responsabilités

Les rôles et les responsabilités du sous-ministre, des dirigeants des secteurs et du dirigeant principal de la vérification et de l'évaluation (DPVE) en matière de mesure du rendement sont définis dans les politiques du CT et de SP, notamment la Politique sur la SGRR (2010) du CT, la Politique sur l'évaluation (2009) du CT et celle de SP, la Directive sur la fonction d'évaluation (2009) du SCT et la Politique sur les paiements de transfert (2008) du CT. Voici un résumé des responsabilités principales énoncées dans les politiques et directives du CT et de SP.

Les responsabilités principales de l'administrateur général consistent à faire en sorte :

Le Comité ministériel d'évaluation (CME) :

Les responsabilités principales des dirigeants des secteurs sont les suivantes :

En tant que chef de l'évaluation, les responsabilités principales du DPVE sont les suivantes :

Les responsabilités des gestionnaires de programmes comprennent les suivantes :

1.4 Objectif de la vérification

L'objectif de la vérification consistait à donner une assurance raisonnable que les systèmes mis en place et les pratiques appliquées à l'appui de la mesure du rendement sont adéquats et efficaces et qu'ils respectent les exigences du Conseil du Trésor.

1.5 Portée et approche

La vérification portait sur la manière dont les indicateurs et les mesures du rendement sont élaborés et dont l'information connexe sur le rendement est recueillie et utilisée par le Ministère. La vérification était également axée sur le respect des instruments suivants : la Politique sur la structure de la gestion, des ressources et des résultats (SGRR) du CT, la Politique sur les paiements de transfert du CT, la Politique sur l'évaluation du CT, la Directive sur la fonction d'évaluation du SCT, la Politique sur l'évaluation du Ministère, la charte du CME, le cycle de planification et d'établissement de rapports ainsi que la mesure dans laquelle les renseignements sur le rendement sont intégrés aux principales décisions.

Pour la vérification, on a recueilli des échantillons de renseignements sur la mesure du rendement dans toutes les activités ministérielles, y compris les programmes de subventions et de contributions, les activités liées aux politiques et à la recherche et les fonctions de soutien internes jusqu'en septembre 2015.

Exceptions

La présente vérification n'a fourni aucune assurance concernant les éléments suivants :

1.6 Évaluation des risques

L'évaluation des risques effectuée pendant la phase de planification de la vérification a orienté l'établissement de la portée et des critères de la vérification. Voir les annexes C et D pour les détails.

Les activités opérationnelles du Ministère sont très diversifiées; elles concernent notamment les programmes de paiements de transfert, l'élaboration de politiques et les opérations. Cette diversité fait ressortir la nécessité d'un CMR rigoureux afin de bien comprendre les résultats obtenus dans chacune des activités et d'harmoniser les ressources en conséquence. En raison de la nature de certaines activités de SP, comme l'élaboration de politiques, il est difficile de définir des indicateurs du rendement et des sources de données.

Les secteurs de programme et de politique sont également largement tributaires des processus de collecte de données des intervenants externes, dont certains sont moins bien établis; il en résulte un niveau plus élevé de risques en ce qui a trait à l'intégrité et à la validité de données. En outre, dans certains cas, l'affectation des ressources pour des activités de mesure du rendement entrait en concurrence avec d'autres priorités, ce qui peut avoir donné lieu à des processus incomplets.

Au Ministère, de nombreuses activités, de par leur caractère horizontal, comprennent la participation d'autres ministères et organismes, tant à l'intérieur qu'à l'extérieur du Portefeuille. Cette approche horizontale complique l'acceptation de la mesure du rendement, l'engagement et la production de rapports sur la mesure du rendement par toutes les parties visées.

1.7 Opinion des vérificateura

Il faut apporter des améliorationsNote de bas de page12 aux pratiques et aux processus de mesure du rendement afin d'augmenter leur niveau de conformité aux exigences du CT et leur pertinence et efficacité. Il est possible d'améliorer les processus de mesure du rendement et de renforcer la collecte et l'utilisation de renseignements sur la mesure du rendement pour appuyer les activités de gestion et de surveillance.

1.8 Énoncé d'assurance et de conformité

Des procédures de vérification suffisantes et appropriées ont été exécutées, avec les éléments probants appropriés, pour étayer l'exactitude de l'opinion formulée dans le présent rapport. L'opinion repose sur une comparaison des conditions, telles qu'elles se présentaient au moment de la vérification, avec des critères de vérification préalablement établis et approuvés par la direction. L'opinion s'applique seulement à l'entité qui a fait l'objet de l'examen et dans les limites de la portée décrite dans le présent document. Les éléments probants ont été recueillis conformément à la Politique sur la vérification interne et à la Directive sur la vérification interne au gouvernement du Canada du Conseil du Trésor. La présente vérification respecte les Normes relatives à la vérification interne au sein du gouvernement du Canada, comme le confirment les résultats du programme d'assurance et d'amélioration de la qualité. Les procédures utilisées respectent les normes professionnelles de l'Institute of Internal Auditors (IIA). Les éléments probants recueillis sont suffisants pour convaincre la haute direction du bien-fondé de l'opinion découlant de la vérification interne.

2. Constatations, Recommadations et réponse de la gestion

2.1 Processus de mesure du rendement de Sécurité publique Canada

Dans le cadre de l'examen de diverses politiques et lignes directrices afférentes à la gestion de la mesure du rendement, nous avons relevé les éléments obligatoires suivants qui doivent être soumis aux processus exhaustifs de mesure du rendement :

Les processus de mesure du rendement de Sécurité publique Canada sont incomplets.

Politiques, lignes directrices et formation

Il existe de nombreuses politiques et lignes directrices qui fournissent une orientation relativement à la mesure du rendement. Le Conseil du Trésor a approuvé des politiques et des directives sur la mesure du rendement, notamment la Politique sur la SGRR, la Politique sur l'évaluation, la Directive sur la fonction d'évaluation et la Politique sur les paiements de transfert. Outre les politiques externes, Sécurité publique Canada a également élaboré et approuvé sa Politique sur l'évaluation.

Afin d'offrir un soutien aux ministères dans l'élaboration d'outils de mesure du rendement, le Conseil du Trésor a également publié la Ligne directrice sur une stratégie de mesure du rendement aux termes de la Politique sur les paiements de transfert et le document intitulé Pour soutenir des évaluations efficaces : Guide d'élaboration de stratégies de mesure du rendement. En complément aux directives disponibles et pour appuyer les secteurs de programme et de politiques, SP a également élaboré un guide qui porte sur l'élaboration de modèles logiques, soit le Guide sur les stratégies de mesure du rendement – Renseignements sur les modèles logiques.

Même s'il existe des politiques et des lignes directrices, celles-ci portent principalement sur la gestion de la mesure du rendement des secteurs de programme et fournissent des indications limitées en ce qui touche les activités liées aux politiques. Selon les répondants, le besoin persiste à l'égard de directives supplémentaires sur le rôle unique de SP en tant que coordonnateur et ministère chargé de l'établissement de politiques.

Des programmes spécialisés en évaluation et des cours de gestion générale (G110, G126, G226) sont offerts par l'École de la fonction publique du Canada, dans le but de soutenir la mise en œuvre des politiques, des directives et des lignes directrices énumérées et leur respect.

En outre, la Division de la planification stratégique (DPS) du SAPC a élaboré et présenté un certain nombre d'exposés ciblés à l'intention de divers secteurs et directions générales, y compris une série d'ateliers en 2012. Le nombre de participants à ces ateliers était limité, mais 50 % des répondants ont souligné la nécessité d'offrir une formation et une orientation, en particulier sur l'élaboration des indicateurs associés à la fonction d'élaboration de politiques, et des outils pour la saisie des données requises. À la suite de l'évaluation, l'Unité d'évaluation a élaboré et donné une séance de formation sur les indicateurs de la mesure du rendement pour les activités liées aux politiques afin de répondre au besoin mentionné.

Rôles, responsabilités, reddition de comptes et surveillance

L'examen des documents et les entrevues révèlent que, en général, la reddition de comptes, les responsabilités et les rôles étaient clairs et conformes aux politiques, aux directives et aux instructions mentionnées ci-dessus.

Selon la Directive sur la fonction d'évaluation, le chef de l'évaluation est chargé d'« examiner le cadre de mesure du rendement associé à la structure de la gestion, des ressources et des résultats du Ministère et de fournir des conseils à cet égardNote de bas de page13 ». Nous avons effectué un suivi auprès du CT, qui n'a pas fourni une interprétation claire de « conseils », à savoir s'il s'agissait d'une forme quelconque de reddition de comptes et quelle est la façon de garantir la prestation de ces « conseils ». Ainsi, chaque ministère avait sa propre interprétation et pouvait concevoir sa propre méthodologie en vue de répondre à ses besoins et de garantir qu'il respecte la politique. Tandis que les politiques de SP et du SCT prévoient des rôles et des responsabilités en matière de « conseils » et d'« examen » touchant les SMR et le CMR, la fonction d'évaluation de SP n'avait pas de processus officiel pour l'examen de toutes les SMR ou du CMR annuel. Jusqu'à maintenant, la fonction d'évaluation n'a pas participé activement à l'examen du CMR, comme l'exige la Directive sur la fonction d'évaluation du SCT.

Outre le rôle consultatif et d'examen associé à la fonction d'évaluation, la DPS a également offert un soutien au Ministère en matière de gestion de la mesure du rendement. Comme il est inscrit officiellement dans son plan d'activités, la DPS s'est engagée à favoriser la stabilité de l'AAP tout en la modifiant, au besoinNote de bas de page14. Plus précisément, il incombe à la DPS :

L'examen des ententes de gestion du rendement 2014-2015 relatives à chaque cadre supérieur révèle un engagement de la direction à l'égard de la mesure du rendement, notamment par l'inclusion du critère suivant :

« Des progrès importants ont été réalisés en vue d'atteindre les résultats attendus en fonction des secteurs de responsabilité des cadres supérieurs figurant dans le CMR, et des stratégies d'atténuation sont en place pour tenir compte des principaux risques. »

Les rôles, les responsabilités et la reddition de comptes sont clairement énoncés, mais les répondants ont mentionné que les rôles de la DPS et de l'Unité d'évaluation sont mal interprétés, en particulier quant à l'élaboration et la surveillance des activités de mesure du rendement.

D'après la Directive sur la fonction d'évaluation du SCT, le chef de l'évaluation doit présenter au CME un rapport annuel sur l'état de la mesure du rendement. Entre 2009 et 2013, ce rapport n'a pas été produit. Toutefois, à la réunion du CME du 15 juin 2010, il a été question de la mesure du rendement, et le directeur général (DG), Évaluation, a déposé le document Dotation de la fonction de l'évaluation. On y indiquait les activités prioritaires et recommandait celles qui pouvaient être reportées. Le rapport annuel sur l'état de la mesure du rendement était désigné comme l'une des activités à reporter compte tenu de son importance limitée, vu l'état connu de la mesure du rendement dans l'ensemble du Ministère. Le CME a accepté la recommandation relative à la priorité à accorder aux activités.

Le premier rapport annuel sur l'état de la mesure du rendement a été présenté au CME en février 2014 (le résumé des constatations se trouve à l'annexe E). Il visait à fournir les renseignements requis sur la mesure du rendement afin que le Ministère puisse aller de l'avant concernant la gestion fondée sur les résultats. Le soutien à l'égard de la gestion fondée sur les résultats vise à :

Le rapport a servi de catalyseur pour attirer l'attention sur la mesure du rendement et améliorer la surveillance à cet égard par le CME. Dans le rapport, il était recommandé que le SMA responsable approuve toutes les SMR. La rédaction du rapport et l'adoption des recommandations ont considérablement contribué au renforcement du rôle de l'Unité d'évaluation dans la coordination de ces activités. Après la période de vérification, l'Unité d'évaluation a commencé à collaborer avec la DPS et le Centre d'excellence pour les subventions et les contributions afin de clarifier les rôles, de mettre au point des outils de suivi et de dresser des listes d'inventaire.

En matière de mesure du rendement, la gouvernance de la surveillance regroupe divers comités à différents échelons de l'organisation, soit le CME, le Comité ministériel de vérification (CMV), le Comité de gestion ministériel (CGM) et les comités de gestion des secteurs.

Selon la Politique sur l'évaluation du CT et la charte du CME de SP, le CME assume des responsabilités particulières et clairement définies en matière de MR. Plus précisément, le CME « vérifie si les ressources affectées aux activités de mesure du rendement liées à l'évaluation sont suffisantes, et recommande à l'administrateur général un niveau de ressources suffisant pour ces activitésNote de bas de page15 ». Outre les constatations et les recommandations figurant dans le rapport annuel sur l'état de la mesure du rendement de SP et à la suite de l'évaluation, on a révisé la charte du CME de SP dans le but d'y ajouter des responsabilités liées aux examens périodiques des SMR approuvées par le sous-ministre adjoint (SMA) et aux examens du CMR ministériel, tous les ansNote de bas de page16.

Conformément à la Politique sur la vérification interne du CT, l'examen des comptes rendus des décisions du CMV nous a permis de constater que le CMV recevait de l'information sur la mise en œuvre de la SGRR et avait examiné les principaux rapports sur le rendement comme le RPP, le RMR et le CMR 2014-2015. Toutefois, nous avons également constaté que le rapport annuel sur l'état de la mesure du rendement de SP n'était pas présenté aux membres du CMV.

Le mandat du CGM prévoit que les renseignements sur le rendement doivent être présentés pour examen à la mi-exercice et à la fin de l'exercice. En ce qui a trait expressément au CMR, le CGM est tenu d'examiner le CMR initial puis d'en examiner les résultats à la mi-exercice et à la fin de l'exercice. Pendant la période de vérification, nous avons constaté que le CMR avait fait l'objet d'un examen bilatéral par les SMA plutôt que par le CGM, comme il aurait été attendu. Les SMA se sont réunis pour discuter de la version définitive du CMR. De plus, en raison de contraintes de temps, les résultats à la mi-exercice du CMR 2013-2014 n'ont pas été présentés au CGM, car on considérait qu'ils n'étaient plus pertinents. En 2014-2015, on a seulement présenté les données d'un nombre limité d'indicateurs à l'examen de mi-exercice et aux discussions de fin d'exercice. Les comptes rendus de décisions du CGM mentionnaient les nouvelles mesures requises afin que le SMA, SAPC, examine les indicateurs existants et s'assure que ceux sélectionnés aux fins de présentation indiquent les problèmes auxquels il faut apporter rapidement des corrections.

En dernier lieu, nous concluons à un manque d'uniformité dans les renseignements sur le rendement présentés aux divers comités et utilisés par ceux-ci dans l'ensemble du Ministère, ce qui peut réduire l'efficacité des comités.

Procédures et pratiques relatives à l'élaboration et à l'approbation du CMR

Un CMR ministériel énonce les résultats attendus et les mesures du rendement de l'AAP. Le nombre d'indicateurs dans le CMR est limité; ces indicateurs visent à soutenir la surveillance et la reddition de comptes au sein du Ministère.

L'élaboration du CMR ministériel s'est améliorée grâce à l'amélioration des cibles, des indicateurs et de l'intégration dans la planification des activités ministérielles. Nous avons constaté que le CMR était harmonisé avec la Politique sur la SGRR du CT; il présente les indicateurs par sous-sous-activité de l'AAP et il est approuvé individuellement par tous les SMA.

Les répondants ont indiqué que la DPS a adopté une approche consultative individuelle avec chaque secteur de programme. Les consultations ont notamment abordé les modifications demandées par le SCT, les processus généraux d'élaboration du CMR et la mise en œuvre des indicateurs. Les répondants ont confirmé une bonne participation générale durant les consultations sur l'élaboration du CMR, mais les attentes à l'égard du CMR et son utilisation ne sont toujours pas claires. Il convient de souligner que, au dire de certains répondants, les indicateurs du CMR étaient peu importants pour eux puisqu'ils ne leur fournissaient pas l'information requise pour orienter leur programme.

Bien que la DPS ait organisé des réunions avec les coordonnateurs des secteurs et les gestionnaires de programmes en vue de faciliter le processus de modification du CMR, rien n'indique l'existence d'une méthodologie établie à l'appui de la demande de modification du CMR. Les répondants ont déclaré que la fonction d'évaluation n'avait pas été consultée en ce qui a trait au soutien de son rôle lié à la prestation de conseils et à l'examen.

Le SCT a formulé des commentaires sur le CMR de SP, et la DPS a retenu les services d'un expert-conseil en 2012-2013 pour l'examen du CMR. Le SCT et l'expert-conseil ont tous les deux formulé des observations, principalement les suivantes :

Même si la DPS était d'accord avec certaines des observations, rien ne montre que ces observations ont été communiquées à la haute direction.

La DPS a dirigé le processus d'élaboration du CMR; elle a veillé au respect de la SGRR et à l'harmonisation avec l'AAP, mais nous avons constaté qu'il demeure nécessaire d'examiner le CMR en vue d'en garantir la clarté et l'exhaustivité.

Procédures et pratiques relatives à l'élaboration et à l'approbation des SMR

Les SMR permettent de déterminer et de planifier la façon dont les données sur le rendement doivent être recueillies afin de faciliter la surveillance et l'évaluation continues d'un programme. Elles visent à soutenir efficacement la surveillance et la mise en œuvre des programmes au quotidien et l'évaluation éventuelle de ce programme. Il n'y a pas de limite imposée au nombre d'indicateurs pouvant être inclus ou aux résultats et extrants attendus. Toutefois, « la stratégie […] est plus susceptible d'être mise en œuvre si le nombre d'indicateurs est raisonnableNote de bas de page17 ».

On a conclu que l'élaboration d'un CMR détaillé est bien comprise, notamment les modèles logiques, les discussions avec les intervenants et la détermination des indicateurs. Plus précisément, 10 répondants sur 11 ont mentionné qu'ils avaient eu des discussions collaboratives avec des intervenants des programmes. Les secteurs de programme ont assuré la sensibilisation et la pertinence, éléments qui revêtent une importance particulière étant donné que nous comptons sur l'apport des partenaires.

Un échantillon discrétionnaire des SMR, soit approximativement 30 %, a été évalué en vue de vérifier leur progrès et l'intégrité de leurs indicateurs. D'après les résultats, on peut faire mieux, principalement en ce qui a trait à l'intégrité et à la définition des indicateurs. Plus particulièrement, nous avons constaté :

Bien qu'il reste des améliorations à apporter, l'élaboration de SMR a progressé depuis le rapport annuel sur l'état de la mesure du rendement de SP de 2013.

Qui plus est, le rapport a également attiré l'attention de la haute direction en exigeant que les SMA responsables approuvent les SMR. Plus particulièrement, le sous-ministre a demandé que les SMR dont l'évaluation indiquait « Améliorations requises » soient mises à jour et approuvées par chaque SMA concerné d'ici le 30 septembre 2014. Le diagramme qui suit présente la situation des SMR en septembre 2015.

Figure 1 : État de l'élaboration de SMR, à l'échelle du Ministère

Text
Description de l'image

Ce graphique circulaire intitulé « État de l'élaboration de SMR, à l'échelle du Ministère» est divisé en trois sections. Le total du diagramme circulaire est égal à 28 SMRs. La plus grande section représente 18 des 28 SMRs au total et est nommée « Élaborée, approuvée par le SMA». La deuxième section représente 8 sur 28 SMRs au total et est nommée « Élaborée, non approuvée par le SMA». La plus petite section représente 2 sur 28 SMRs au total et est nommée « en suspens ».


Les deux SMR en suspens ont trait à des activités liées aux politiques.

Harmonisation entre le CMR, les SMR et d'autres documents opérationnels

L'harmonisation entre le CMR, les SMR et d'autres documents opérationnels, comme les plans d'activités, permet l'utilisation des renseignements sur la mesure du rendement pour la saine gestion.

Dans le cadre de l'examen des plans d'activités des secteurs de 2014-2015, nous avons constaté une harmonisation avec le CMR en ce qui a trait aux indicateurs et aux cibles. Cette harmonisation se retrouve également dans les plans de travail qui tenaient compte de l'engagement général d'améliorer les activités de mesure du rendement.

De plus, les répondants ont relevé un écart entre le CMR et les SMR. Au cours de l'examen des documents, nous avons seulement relevé quelques exemples d'harmonisation délibérée entre les indicateurs individuels des SMR et le CMR. Compte tenu des processus d'élaboration du CMR et des SMR, d'autres améliorations sont requises en vue de garantir leur harmonisation.

Malgré les efforts déployés pour améliorer les processus de mesure du rendement au Ministère, nous avons constaté des possibilités d'amélioration qui permettraient d'optimiser les processus d'élaboration et de renforcer l'harmonisation entre les SMR et le CMR. Le manque d'harmonisation entre les SMR et le CMR présente des risques de manque d'uniformité pouvant entraîner une faiblesse du CMR et des SMR et une présentation erronée du rendement du Ministère.

2.2 Collecte de données, production de rapports et prise de décisions sur le rendement à Sécurité publique Canada

Comme les politiques et les lignes directrices l'indiquent, nous avons relevé les éléments suivants, qui sont requis pour la collecte et l'utilisation de données sur le rendement :

SP recueille des données limitées par rapport aux indicateurs dans le CMR et les SMR; par conséquent une quantité restreinte de données est disponible pour appuyer la prise de décisions et la production de rapports.

Collecte de données, production de rapports et prise de décisions concernant le CMR

Le Ministère a démontré qu'il a pris de nombreuses mesures pour améliorer les processus de mesure du rendement. Des efforts ont été déployés pour préciser et adapter l'AAP et l'harmoniser avec les indicateurs du CMR. Nous avons cependant constaté que le Ministère n'a pas fait preuve de stabilité au cours de la dernière année pour permettre la collecte des données et l'analyse des résultats.

L'examen des documents révèle que les données relatives à environ 25 % des indicateurs du CMR 2012-2013 n'ont pas été recueillies et communiquées en 2013-2014. En outre, l'analyse du CMR 2013-2014 nous a permis de constater que les sources de données n'étaient pas précisées pour un certain nombre d'indicateurs. Ces derniers n'étaient donc pas mesurables. L'examen du Rapport sur les plans et les priorités (RPP) et du Rapport ministériel sur le rendement (RMR) a fait ressortir une divergence entre les indicateurs figurant dans le plan et ceux dont les résultats ont fait l'objet de rapports. Nous n'avons trouvé aucune justification pour étayer les modifications apportées à certains des indicateurs du RPP dans le RMR de cet exercice. De même, l'examen a démontré un manque d'uniformité dans les indicateurs, à l'élaboration du CMR et à l'étape de la production de rapports. En raison de ce manque d'uniformité, nous avons relevé des difficultés à assurer l'intégrité du processus de production de rapports et la situation réelle de la mesure du rendement au sein du Ministère.

D'après l'examen du CMR 2014-2015, seul un nombre limité d'indicateurs est présenté au CGM pour l'examen des résultats à la mi-exercice. Rien n'indique qu'on a utilisé un processus de sélection officiel ou de justification de la sélection. Après analyse des documents sur le rendement et examen des ordres du jour et des comptes rendus de décisions du Comité, nous avons constaté qu'il n'y avait pas de mise à jour sur l'état du CMR complet. En outre, même si les renseignements sur le rendement étaient présentés à l'occasion aux comités, nous avons constaté que les préoccupations et les questions liées au CMR n'étaient pas entièrement exposées et abordées en vue de garantir que des mesures correctives étaient prises.

Concernant de la gestion des secteurs, les répondants ont mentionné avoir tenu des réunions régulières; la documentation officielle était cependant limitée. Selon de nombreux répondants, il n'y a guère de demande de la part de la haute direction pour des données ou des résultats sur la mesure du rendement. La plupart des discussions sur la mesure du rendement étaient axées sur l'établissement des indicateurs et la détermination des sources de données.

Collecte de données, production de rapports et prise de décisions concernant les SMR

Même si le processus d'élaboration d'une SMR est bien compris et que 64 % des SMR sont élaborées et approuvées par le SMA, ces stratégies en sont encore au tout début de leur mise en œuvre.

Des efforts ont été déployés pour la collecte de renseignements sur la mesure du rendement, dans la mesure du possible; nous avons cependant constaté que les données n'étaient pas recueillies régulièrement. La collecte des renseignements sur le rendement s'effectue de façon ponctuelle ou selon les besoins. L'examen d'un échantillon de SMR a révélé que quatre programmes sur dix (Programme de prévention du crime, Programme des services de police des Premières nations, Centre des opérations du gouvernement et Infrastructures essentielles) recueillent des renseignements sur la mesure du rendement et les utilisent en appui aux aspects liés à la gestion de programme.

D'après l'examen des SMR et les répondants, la limite de la collecte et de l'utilisation de données est également attribuable, dans certains cas, à la dépendance envers les renseignements fournis par des tiers. Cette dépendance exige la participation continue et active des intervenants, et la collecte de données en temps opportun présente donc des défis. De plus, nous avons constaté que la dépendance à l'égard de tiers n'a pas été éclaircie, et les secteurs de programme en étaient aux premières étapes de la détermination des processus liés à la collecte de données auprès de tiers et à leur stockage. En dernier lieu, l'examen de l'échantillon de SMR a démontré une méthodologie limitée pour l'analyse et l'interprétation des données.

Compte tenu de l'utilisation attendue des renseignements sur la mesure du rendement, nous avons remarqué que le Ministère en est toujours au tout début de la collecte de données, ce qui limite les renseignements disponibles aux fins de production de rapports et de prise de décisions éclairées. Les observations de vérification font état de possibilités de promouvoir l'utilisation des renseignements sur la mesure du rendement et d'améliorer la détermination des sources de données, la collecte régulière de données, l'analyse et la production de rapports. Comme le Ministère a recueilli des données limitées sur le rendement, il existe un risque que les renseignements soient insuffisants pour la prise de décisions éclairées.

2.3 Recommandations

  1. Le sous-ministre adjoint du Secteur des affaires du Portefeuille et des communications (SAPC) devrait veiller :
    • à l'harmonisation entre les indicateurs du CMR, du RPP et du RMR;
    • au soutien du dirigeant principal de la vérification et de l'évaluation pour l'examen du CMR et les conseils à cet égard, conformément à la Directive sur la fonction d'évaluation du SCT.
  2. Chaque sous-ministre adjoint devrait :
    • indiquer les ressources affectées à l'élaboration et à la mise en œuvre des SMR;
    • assurer les liens entre le CMR et les SMR.
  3. Chaque sous-ministre adjoint devrait :
    • veiller à la collecte de données exactes par rapport aux indicateurs du CMR et des SMR afin d'appuyer la prise de décisions et la production de rapports en temps opportun.
    • élaborer des ententes relatives à la collecte de données par un tiers, s'il y a lieu.

2.4 Réponse de la directions

La gestion accepte les recommandations formulées dans la vérification interne. Ces recommandations tiennent compte du fait que la responsabilité de la mesure du rendement est partagée entre tous les gestionnaires du Ministère.

Mesures prévues

Date de fin prévue

Recommandation 1
Le sous-ministre adjoint du Secteur des affaires du Portefeuille et des communications (SAPC) devrait veiller :

  • à l'harmonisation entre les indicateurs du CMR, du RPP et du RMR;
  • au soutien du dirigeant principal de la vérification et de l'évaluation pour l'examen du CMR et les conseils à cet égard, conformément à la Directive sur la fonction d'évaluation du SCT.

Contribution du SAPC

  • Le SAPC continuera de garantir l'harmonisation avec la politique sur la SGRR en s'assurant que les indicateurs du CMR, du RPP et du RMR sont harmonisés.
  • Le SAPC donnera au DPVE l'occasion d'examiner le CMR et de donner des conseils à son sujet avant son approbation définitive.

30 novembre 2017

Recommandation 2
Chaque sous-ministre adjoint devrait :

  • indiquer les ressources affectées à l'élaboration et à la mise en œuvre des SMR;
  • assurer les liens entre le CMR et les SMR.

Contribution du SAPC

  • Le SAPC continuera d'aider les secteurs à élaborer et à mettre en œuvre les SMR. Le SAPC s'engage à utiliser les principaux documents de planification (comme le RPP et les plans des activités) pour cibler les programmes du Secteur qui nécessitent l'élaboration et la mise en œuvre d'une SMR.
  • Le SAPC continuera de s'assurer que des liens sont établis entre le CMR et les SMR en examinant et en utilisant les indicateurs de la SMR pour orienter le processus de modification de la SGRR. Les gestionnaires de programme du SAPC examineront leurs SMR quand le CMR aura été modifié au cours du processus annuel de modification de la SGRR et apporteront des changements, au besoin.

30 avril 2017

Contribution du SGUP
Le Secteur a déjà assigné des ressources à la mise en œuvre de la mesure du rendement au sein du Secteur. De plus, le SGUP s'attend à ce que les gestionnaires élaborent, recueillent et utilisent des mesures du rendement dans le cadre d'une administration saine des programmes.
Afin de garantir que les gestionnaires sont bien appuyés, on leur offrira une formation sur l'utilisation de données de mesure du rendement dans la planification et l'administration de programmes, et le Secteur se concentrera davantage sur l'utilisation de données sur le rendement pour la gestion des programmes.

30 novembre 2016

Contribution du SGM
a) Le SMA du SGM assignera des ressources à l'élaboration et à la mise en œuvre de SMR.
b) Le SMA du SGM s'assurera qu'il y a des liens entre le CMR et les SMR.

 

31 mars 2018

 

Contribution du SSCRC

  • Les gestionnaires du SSCRC désigneront les ressources appropriées pour élaborer et mettre en œuvre des SMR, au besoin.
  • Les gestionnaires du SSCRC s'assureront que les SMR relevant d'eux contiennent des liens vers les éléments pertinents du CMR, soit pendant l'élaboration de nouvelles SMR ou la mise à jour des SMR en place (p. ex. à la suite de changements dans un programme, une fonction ou une orientation stratégique, y compris des changements aux résultats attendus ou aux objectifs). Ils le feront en collaboration avec le SAPC qui est chargé de l'examen et de la coordination de la SGRR et du CMR dans l'ensemble du Ministère.

31 mars 2017

Contribution du SSCN

  • Les SMR seront assignées et réassignées chaque année dans le cadre du processus de gestion du rendement. Les documents de planification importants tels que les plans des activités et le RPP serviront à cibler les domaines du Secteur qui pourraient profiter de l'élaboration et de la mise en œuvre d'une SMR.
  • Le SSCN continuera de s'assurer que des liens sont établis entre le CMR et les SMR en examinant les indicateurs des SMR afin d'orienter le processus de modification de la politique sur la SGRR.

 

31 mars 2017

Recommandation 3
Chaque sous-ministre adjoint devrait :

  • veiller à la collecte de données exactes par rapport aux indicateurs du CMR et des SMR afin d'appuyer la prise de décisions et la production de rapports en temps opportun.
  • élaborer des ententes relatives à la collecte de données par un tiers, s'il y a lieu.

Contribution du SAPC

  • Le SAPC s'assurera qu'il recueille des données exactes concernant les indicateurs du CMR et des SMR (s'il y a lieu) et continuera d'aider les secteurs à recueillir des données en élaborant des gabarits complets pour la SGRR et les SMR, ainsi qu'en menant des exercices tels que les examens de mi-exercice et de fin d'exercice.
  • Au moment de l'examen ou de l'élaboration d'une SMR, les gestionnaires de programme du SAPC évalueront la nécessité d'élaborer une entente relative à la collecte de données par un tiers et, s'il y a lieu, élaboreront une entente.

31 août 2017

Contribution du SGUP
La direction du SGUP se concentrera sur l'utilisation des données sur le rendement. On tirera parti du cycle d'examen de mi-exercice pour encourager le suivi des données sur le rendement. La collecte et l'utilisation de mesures du rendement seront ajoutées au processus de gestion du rendement des employés.
On profitera des réunions entre la direction du SGUP et les hauts gestionnaires ainsi que les gestionnaires intermédiaires pour mettre l'accent sur la collecte de données sur le rendement.

31 mars 2017

Contribution du SGM

  • Le SMA du SGM s'assurera que les données relatives aux indicateurs du CMR et des SMR sont recueillies et disponibles pour appuyer la prise de décisions rapides et les rapports.
  • Au moment de l'examen ou de l'élaboration d'une SMR, les directeurs généraux du SGM évalueront la nécessité d'élaborer une entente relative à la collecte de données par un tiers et, s'il y a lieu, élaboreront une entente.

31 mars 2018

 

Contribution du SSCRC

  • La collecte de données est ajoutée comme responsabilité liée au processus de planification des activités du Secteur, mais en fonction des fréquences indiquées dans chaque SMR.
  • Au moment de l'examen ou de l'élaboration d'une SMR, les gestionnaires de programme évalueront la nécessité d'élaborer une entente relative à la collecte de données par un tiers et, s'il y a lieu, élaboreront une entente.

31 mars 2017

Contribution du SSCN

  • Le SSCN élabore actuellement son plan des activités pour 2016-2017 et s'assurera d'y ajouter un horaire clairement défini pour la collecte de données relatives aux indicateurs du CMR et de mentionner le gestionnaire responsable de la collecte des données.
  • La validation dans l'ensemble des directions générales pour les ententes requises avec des tiers est en cours. Des ententes et des protocoles seront élaborés, au besoin.

30 avril 2017

Annexe A : Échelle D'opinion de la direction générale de la vérification interne et de L'évaluation

Voici l'échelle d'opinion des vérificateurs, Direction générale de la vérification interne et de l'évaluation, qui sert à évaluer l'importance de l'ensemble des constatations et des conclusions des vérificateurs.

Classement de l'opinion du vérificateur

Définition

Bien contrôlé

  • Bien géré, aucune faiblesse importante constatée;
  • Efficace.

Amélioration mineure

  • Bien géré, mais certaines améliorations sont nécessaires;
  • Efficace.

Améliorations requises

Des améliorations doivent être apportées (au moins un des critères suivants doit être respecté) :

  • faiblesses en matière de contrôle, mais l'exposition au risque est limitée, car la probabilité d'occurrence du risque n'est pas élevée;
  • faiblesses en matière de contrôle, mais l'exposition au risque est limitée, car l'incidence du risque n'est pas élevée.

Améliorations importantes requises

Des améliorations importantes doivent être apportées (au moins un des critères suivants doit être respecté) :

  • des redressements financiers s'imposent à l'égard de certains postes ou domaines ou du Ministère;
  • des lacunes en matière de contrôle entraînent une exposition grave au risque;
  • lacunes importantes dans la structure de contrôle globale.

Annexe B : État de L' élaboration de SMR, par secteur

Secteur

Élaborée
(approuvée par le SMA)

Élaborée
(non approuvée par le SMA)

En suspens

Total

Sécurité et cybersécurité nationale

3

2

0

5

Affaires du Portefeuille et communications

2

1

0

3

Sécurité communautaire et réduction du crime

9

4

2

15

Gestion des urgences et programmes

4

1

0

5

Total – Ministère

18

8

2

28

Annexe C : Critères de vérification

Critères de vérification

Critère 1 

Le Ministère a officiellement défini ses politiques et ses directives et les a communiquées comme il se doit afin d'assurer la mise en œuvre efficace de la mesure du rendement.

Critère 2 

Les responsables de programmes et d'activités individuels ont élaboré des stratégies de mesure du rendement (comprenant la mobilisation des intervenants appropriés), indiqué les sources de données et mis en œuvre des processus de collecte de données et de production de rapports.

Critère 3 

Le processus relatif au CMR a permis de mobiliser les intervenants pertinents afin d'assurer des indicateurs de rendement bien définis et mesurables qui s'harmonisent aux objectifs ministériels.

Critère 4 

Les processus subalternes relatifs aux SMR permettent d'orienter et d'harmoniser le CMR. Les processus et les activités liés aux SMR sont harmonisés aux plans d'activités des secteurs et aux activités du plan de travail de sorte qu'ils sont bien axés sur l'atteinte des résultats.

Critère 5 

Les renseignements sur la mesure du rendement sont intégrés comme il se doit au processus décisionnel.

Critère 6 

Le Ministère est en mesure de rendre compte aux Canadiens, aux parlementaires et aux organismes centraux de ses réalisations d'une manière qui correspond à ses objectifs et aux résultats des programmes.

Critère 7 

Le Ministère exerce des contrôles en matière de responsabilisation quant à la mesure du rendement.

Annexe D : Risques préliminaires liés à la vérification

Voici un résumé des principaux risques qui pèsent sur SP quant à la mesure du rendement.

Secteur clé

Énoncé du risque

Culture

Les méthodes et les pratiques en matière de mesure du rendement pourraient ne pas être comprises dans les activités opérationnelles.

Mobilisation

Le personnel clé pourrait ne pas participer comme il se doit à tous les aspects de la mesure du rendement.

Intégration

Les principaux documents relatifs à la mesure du rendement (p. ex. CMR, SMR et plans d'activités) pourraient ne pas être harmonisés, et les résultats et les indicateurs pourraient ne pas être appropriés.

Données sur le rendement

Les activités de surveillance de données sur les secteurs liés aux programmes et aux politiques pourraient ne pas suffire pour remettre en question ou valider les renseignements externes requis pour assurer l'intégrité des indicateurs du rendement.

Utilisation

Les renseignements sur le rendement pourraient ne pas être utilisés par le personnel clé pour orienter la prise de décisions (c.-à-d. l'affectation des ressources ou la réorganisation des objectifs d'un projet).

Rapports

Le Ministère pourrait ne pas être en mesure de dresser un tableau complet de ses activités à l'intention des Canadiens, des parlementaires et des organismes centraux.

Annexe E : Résumé du rapport annuel sur l'état de la mesure du rendement de 2013

Le rapport annuel sur l'état de la mesure du rendement de 2013 visait principalement à évaluer l'existence et l'exhaustivité des SMR selon leur activité liée aux programmes et aux politiques indiquées ci-dessus. L'exhaustivité des SMR a été évaluée conformément aux directives du CT qui indiquent les éléments clés, dont les modèles logiques, les indicateurs et la collecte de données. Le rapport établit une base de comparaison future pour le Ministère et résume les lacunes en matière de mesure du rendement.

Le rapport n'a pas tenté de formuler de conclusions sur ces programmes, à savoir lesquels étaient dotés de SMR et si celles-ci étaient mises en œuvre et intégrées dans le cycle de gestion du programme. L'analyse était l'objectif de la présente vérification.

Les constations principales du rapport annuel sont les suivantes :

Notes

  1. 1

    Lexique de la gestion axée sur les résultats, CT.

  2. 2

    L'échelle d'évaluation de l'opinion du vérificateur se trouve à l'annexe A.

  3. 3

    Lexique de la gestion axée sur les résultats, CT.

  4. 4

    Politique sur la structure de la gestion, des ressources et des résultats, CT.

  5. 5

    Politique sur l'évaluation, CT.

  6. 6

    Politique sur la structure de la gestion, des ressources et des résultats, CT.

  7. 7

    Politique sur les paiements de transfert, CT.

  8. 8

    Politique sur l'évaluation, CT.

  9. 9

    Politique sur l'évaluation, SP.

  10. 10

    Directive sur la fonction d'évaluation, CT.

  11. 11

    Directive sur la fonction d'évaluation, CT.

  12. 12

    L'échelle d'évaluation de l'opinion du vérificateur se trouve à l'annexe A.

  13. 13

    Politique sur l'évaluation, CT.

  14. 14

    Plan d'activités de la DPS.

  15. 15

    Politique sur l'évaluation, CT.

  16. 16

    Charte du CME de SP.

  17. 17

    Pour soutenir des évaluations efficaces : Guide d'élaboration de stratégies de mesure du rendement, CT.

Date de modification :