Résultats du programme Stop Now and Plan (SNAP)

1. Introduction

Le programme Stop Now and Plan (SNAPMD) est un programme communautaire à l'intention des enfants (de moins de douze ans) qui ont déjà eu des démêlés avec le système de justice pénale ou qui risquent d'en avoir, et qui manifestent des signes précoces de comportements antisociaux ou agressifs.

Le programme fait appel à une approche cognitivo-comportementale à composantes multiples pour réduire les risques que les enfants adoptent des comportements délinquants. Le modèle SNAPMD se fonde sur un cadre exhaustif visant à enseigner efficacement aux enfants aux prises avec de graves problèmes comportementaux les compétences nécessaires pour régulariser leurs émotions, avoir un meilleur contrôle d'eux-mêmes et résoudre des problèmes. Les parents apprennent également des compétences enseignées dans le cadre du programme SNAPMDainsi que des techniques cognitivo-comportementales d'éducation des enfants, tandis que les enfants apprennent à s'arrêter pour réfléchir afin de trouver des solutions à leurs problèmes. Or, même si l'efficacité du SNAPMDa été éprouvée dans le contexte canadien (au sein de centres de santé mentale agréés), il faut mener des évaluations approfondies afin de mesurer l'impact du programme au sein de diverses organisations communautaires partout au Canada. Le présent sommaire fournit un aperçu de l'évaluation d'impacts multi-sites du programme SNAPMD, financée par le Centre national de prévention du crime (CNPC)Note 1.

Description du programme

Le programme SNAPMDcible les garçons et les filles âgés de six à douze ans, puisqu'il est possible à cet âge d'influencer leur fonctionnement cognitif et comportemental. L'un des critères d'admission au programme est l'adoption de comportements antisociaux ou délinquants. Les enfants admis au programme présentent habituellement les deux pour cent de comportements agressifs et délinquants les plus courants, comme l'intimidation, la violation des règles et le trouble des conduites. Ce modèle empirique à composantes multiples fait correspondre les niveaux de risque et de besoin aux degrés d'intensité de l'intervention.

Le programme comprend deux composantes principales. La première, le SNAP® Boy's Group ou le SNAP® Girl's Club, est un programme d'une durée de douze semaines adapté au sexe de l'enfant qui montre aux jeunes comment maîtriser leurs impulsions et leur permet d'acquérir des compétences en matière de résolution de problèmes.

La deuxième composante est la séance de groupe pour les parents du SNAPMD (SNAP® Parent Group). Offerte en parallèle, elle enseigne aux parents des stratégies efficaces d'éducation des enfants. Le programme comporte aussi d'autres composantes, selon le degré de risque et de besoin, notamment le counseling et l'encadrement individualisés, le counseling familial, l'encadrement scolaire, le leadership chez les jeunes et une composante adaptée au sexe de l'enfant visant la saine croissance des filles (Girls Growing Up Healthy).

Le CNPC a versé une somme d'environ dix millions de dollars pour le financement de neuf programmes SNAPMDpartout au Canada (cette somme comprend les coûts liés à l'évaluation des processus).

Groupe cible

Le tableau 1 présente un sommaire des niveaux de risque combinés des enfants de Toronto et d'Edmonton. Il indique que tout juste moins des trois quarts (70 %) des enfants présentent un risque moyen ou élevé à leur entrée dans le programme. Ces données laissent entendre que les projets sont mis en œuvre auprès d'enfants qui satisfont aux exigences cliniques, qui ont déjà eu des démêlés avec la police et qui courent un risque accru de délinquance s'ils ne participent pas à une intervention efficace.

Tableau 1

Niveau de risque

Nombre

Pourcentage

Faible

48

29,3 %

Moyen

81

49,4 %

élevé

35

21,3 %

Total

164

100 %

Objectifs de l'évaluation

Le CNPC a attribué un contrat à une entreprise indépendante pour qu'elle effectue une évaluation d'impacts multi-sites du programme SNAPMDNote 2. L'étude d'évaluation, d'une valeur de 875 000 $, a été lancée en 2010 et se terminera en 2014. Les objectifs de l'évaluation sont les suivants :

L'évaluation vise à mesurer l'efficacité du programme SNAPMDà trois endroits où il est mis en œuvre : à Toronto, à Edmonton et au sein d'une Nation crie, au Québec. Les intervenants des trois sites ont reçu une formation leur permettant de mettre en œuvre l'ensemble du modèle SNAPMD(ce qui comprend les composantes de base et autres composantes). Le programme a ainsi été exécuté dans des milieux urbains et ruraux, où vivent des populations autochtones et non autochtones, ce qui permet d'évaluer la validité externe du programme. Par ailleurs, les sites comportent un échantillon de grande taille, ce qui offre la possibilité de mettre en place un devis d'évaluation rigoureux.

Une analyse coût-efficacité sera réalisée à Edmonton et à Toronto. Les résultats répondront à la question suivante : Qu'en coûte-t-il pour avoir un effet sur les échelles mesurant le changement dans le cadre du programme SNAPMD?

Méthode d'évaluation

Le devis d'évaluation initial proposait une méthode unique pour chaque site :

En raison de la difficulté à trouver un groupe de référence, un groupe expérimental différé (GED) a été utilisé pour les trois sites. Une fois les mesures préalables et postérieures à l'intervention appliquées à l'échantillon de la liste d'attente, les participants ont pu entamer le programme SNAPMD. Ce compromis signifie que le CNPC est incapable de comparer les différences à long terme entre les enfants participant au programme SNAPMDet les enfants appartenant au GED lors des suivis de six et douze mois. Tous les intervenants des sites du programme SNAPMDont confirmé que les enfants n'avaient reçu aucune intervention liée au programme SNAPMDdurant la période du GED et qu'ils n'avaient participé à aucune activité d'intervention comparable durant la période où ils étaient sur la liste d'attente.

Le groupe expérimental et le GED étaient fondamentalement les mêmes, ce qui indique que le GED pourrait servir de groupe de référence pour l'étude d'évaluation.

Les évaluateurs effectuent une analyse propre à chacun des sites pour chaque rapport annuel, et une analyse comparative entre les sites pour le rapport d'étape et le rapport final. L'analyse comparative entre les sites permettra de déterminer s'il est possible de mettre en œuvre le programme SNAPMDdans différents milieux.

Limites de l'évaluation

Les données du présent sommaire devraient être considérées comme préliminaires, car l'étude d'évaluation n'est pas terminée, ce qui fait que les conclusions relatives à l'attribution au programme ne devraient être formulées qu'à la fin des projets, en 2014.

En raison de l'utilisation du GED, le CNPC sera uniquement en mesure d'effectuer des comparaisons à court terme (sur une période de trois mois) entre le groupe expérimental et les GED (enfants de la liste d'attente qui n'ont pas suivi le programme). Les intervenants des sites ont confirmé que les enfants de la liste d'attente n'avaient reçu aucune intervention dans le cadre du programme SNAPMD. À Edmonton, par exemple, les intervenants ont surveillé rigoureusement les services externes offerts aux enfants de la liste d'attente. Tout juste moins du tiers de ces enfants a participé à des évaluations et à des visites ponctuelles dans un établissement psychiatrique ou auprès d'un travailleur social ou d'un conseiller scolaire. Quelques enfants du GED peuvent avoir reçu des services minimaux, mais aucun de ces services n'était comparable au degré d'intervention du programme SNAPMD.

La taille de l'échantillon du GED est relativement petite (n = 18 et n = 9), ce qui diminue la fiabilité des analyses comparatives entre les groupes.

Les sites du programme SNAPMD qui font l'objet d'une évaluation sont des endroits où des programmes communautaires financés par le CNPC sont mis en œuvre dans un environnement non clinique. Les intervenants de tous ces sites exécutaient différents programmes avant de recevoir des fonds du CNPC. Au moment d'examiner les résultats présentés dans le sommaire, il importe de noter que les intervenants disposaient d'une période relativement courte de six mois pour apprendre à connaître et à appliquer le modèle SNAPMD. Or, la documentation scientifique portant sur la mise en œuvre indique qu'il faut environ deux à quatre ans pour mettre en œuvre efficacement un programme modèle fondé sur des données probantes.

Résultats à mesurer

Les objectifs ciblés incluent la diminution des comportements d'extériorisation (violation des règles, agressivité, trouble des conduites, trouble oppositionnel et trouble de l'attention) et des comportements d'intériorisation concomitants (anxiété et dépression) ainsi que l'augmentation des comportements prosociaux (p. ex. la compétence). Pour les parents, les autres résultats à mesurer comprennent le renforcement des stratégies d'éducation des enfants, la réduction des facteurs de risque liés à la famille et l'amélioration des relations avec les enfants.

Outils de mesure et collecte des données

Les évaluateurs utilisent des instruments de recherche quantitatifs et qualitatifs. L'équipe d'évaluation emploie les instruments normalisés requis qui ont été utilisés et mis à l'essai à maintes reprises. Parmi les outils et les approches de recherche, on retrouve la Child Behavior Checklist (CBCL) et le Teacher's Report Form (TRF). Ces mesures incluent des échelles comportementales qui mesurent la violation des règles, l'agressivité, le trouble des conduites et le trouble oppositionnel, de même que des échelles de la compétence sociale qui comportent des mesures fondées sur les forces permettant d'évaluer les changements dans l'engagement social, le rendement scolaire et le rendement social à l'école. Pour sa part, la Total Problems Scale (TPS) mesure les comportements d'intériorisation et d'extériorisation, les problèmes sociaux, les troubles de la pensée et les troubles de l'attention. Les échelles du Manuel diagnostique et statistique des troubles mentaux (DSM) incluent des mesures liées aux troubles affectifs, à l'anxiété, au trouble oppositionnel avec provocation et au trouble des conduites. Les niveaux de risque sont évalués au moyen des Early Assessment Risk Lists (EARL-20B et EARL-21G), élaborées par le Child Development Institute (CDI).

Les intervenants du programme feront remplir certains questionnaires, tandis que les évaluateurs en feront remplir d'autres, et les concepteurs du programme du CDI participeront aux vérifications de la fidélité. Le CDI a créé l'outil initial de mesure de la fidélité, que les évaluateurs ont ensuite peaufiné en le convertissant en un instrument convenant davantage aux analyses multivariables. Les évaluateurs tenteront d'obtenir les données des écoles sur les suspensions afin de compléter les renseignements tirés des questionnaires. Le Dr Pepler note que les évaluations des professeurs démontrent que les changements attendus se produisent non pas immédiatement après le programme, mais au cours de l'évaluation de six mois. L'une des explications possibles est que les professeurs peuvent ne pas être aussi observateurs que les parents en ce qui concerne les changements dans le comportement des enfants (Pepler et coll., 2010). Le personnel du CNPC a également noté qu'il arrive souvent que les enfants avaient plus de deux professeurs au cours des périodes d'évaluation; il était donc difficile pour eux d'obtenir une continuité.

Les données sont recueillies avant le programme ainsi que douze semaines, six mois et un an après le début du programme. Des mesures annuelles de suivi seront prévues, et le dernier suivi sera effectué un an après la date de fin du projet.

Les évaluateurs utiliseront des modèles à plusieurs niveaux faisant appel à deux approches statistiques : une approche axée sur les variables qui décrit les liens entre les variables, puis une approche centrée sur les personnes qui décrit les relations entre les personnes.

Dans le cadre de l'analyse des données découlant des mesures répétées, les différences individuelles dans les changements survenus au fil du temps sont habituellement repérées par effets aléatoires au moyen d'un modèle mixte (le modèle du changement à plusieurs niveaux). L'emploi des procédures statistiques du modèle mixte au lieu de la traditionnelle analyse de la variance faisant appel à des mesures répétées a pour avantage qu'il est possible d'utiliser tous les renseignements disponibles et de faire des prévisions lorsqu'il manque des données.

Résultats provisoires

Le tableau suivant présente les résultats d'une analyse propre à chacun des sites et d'une analyse comparative entre les sites effectués en juin 2012. Ces tendances et résultats préliminaires pourraient changer dans le rapport final (2014) lorsque les interventions seront complètement terminées pour toutes les cohortes, et lorsque le groupe expérimental comptera assez de jeunes pour produire une efficacité statistique. Le tableau suivant présente de l'information sur le nombre de questionnaires administrés avant le programme, après le programme et pendant la période de suivi. étant donné les résultats limités obtenus pour le groupe de référence de la Nation crie, les résultats quantitatifs seront communiqués en 2014. Toutefois, le présent sommaire contient l'information qualitative au sujet de la capacité d'offrir des interventions au groupe cible approprié et de la fidélité au programme pour la Nation crie.

Tableau 2 : Nombre de questionnaires administrés pour chaque site du début du projet à 24 mois après le programme

T1 (Nbre de questionnaires administrés avant le programme)

T2 (Nbre de questionnaires administrés après le programme)

T3 (6 mois après le programme) Nbre de questionnaires administrés

T4 (12 mois après le programme) Nbre de questionnaires administrés

T5 (24 mois après le programme) Nbre de questionnaires administrés

Toronto (site 1)

CBCL

110

60

26

11

3

TRF

84

46

12

4

0

Groupe de référence (GED)

19

16

S.O.

S.O.

S.O.

Edmonton (Site 2)

CBCL

86

60

52

37

17

TRF

78

54

44

40

9

Groupe de référence (GED)

18

9

S.O.

S.O.

S.O.

Nation crie (site 3)

CBCL

18

12

S.O. pour l'instant

S.O. pour l'instant

S.O. pour l'instant

TRF

27

2

S.O. pour l'instant

S.O. pour l'instant

S.O. pour l'instant

Groupe de référence (GED)

22

22 prévus après le programme

S.O.

S.O.

S.O.

Remarque : Le programme a commencé six mois plus tard dans la Nation crie qu'à Edmonton et Toronto.

Fidélité au programme (Edmonton et Toronto)

Un aspect important du programme SNAPMDconsiste à faire correspondre les niveaux de risque au degré d'intervention approprié. Une analyse de la variance a été effectuée, laquelle visait à examiner la différence dans l'intensité des services entre les trois groupes de risque (voir le tableau 1). La théorie de Spearman a permis d'examiner la corrélation entre le risque global et l'intensité des services du programme. L'hypothèse veut que le degré d'intervention ou l'intensité des services augmente plus pour les enfants qui présentent des niveaux de risque élevé.

Les conclusions donnent à penser qu'il existe une corrélation négative (-0,27) entre le jugement clinique global des enfants et le nombre de séances de groupe pour les enfants ou les familles. En effet, les familles et les enfants à risque élevé ont suivi moins de séances de groupe SNAPMDque leurs homologues présentant un risque plus faible.

Un test du « chi » au carré a été effectué, lequel visait à examiner l'association entre le jugement clinique et d'autres services du programme SNAPMDtels que le soutien individualisé, le counseling familial individualisé et la promotion de l'école. Les conclusions laissent entendre que les enfants à risque élevé étaient plus susceptibles de recevoir d'autres services comme le soutien individualisé (p = 0,04) et le counseling parental additionnel (p = 0,08). Il n'existait pas de corrélation statistique entre le niveau de risque de l'enfant et d'autres services liés à la promotion de l'école et au counseling familial individualisé. D'après cette dernière conclusion, les enfants présentant divers niveaux de risque avaient tous reçu la même quantité de services scolaires et d'autres services familiaux connexes.

Le sommaire d'évaluation final présentera des résultats qui détermineront dans quelle mesure la fidélité au programme a entraîné des changements dans les mesures mises à l'essai dans le cadre du programme SNAPMD. À ce jour, les intervenants des sites ont mis en œuvre le programme comme prévu auprès du groupe cible approprié, mais des améliorations sont nécessaires pour ce qui est de faire correspondre le niveau de risque de l'enfant au degré d'intervention approprié.

Edmonton : Uncles and Aunts at Large

Selon les résultats des modèles mixtes pour chaque échelle CBCL évaluée par les parents, les enfants présentaient des réductions marquées dans presque toutes les échelles après avoir suivi le programme SNAPMD. À Edmonton, la taille d'effet pour les comportements d'extériorisation et d'intériorisation illustrent que les participants au programme SNAPMDont réduit ces types de comportements à des degrés variant entre modéré et élevé. Les problèmes d'extériorisation, notamment la violation des règles (TE = 0,61), le trouble de l'attention (TE = 0,40) et l'agressivité (TE = 0,54) ont été réduits de façon modérée, la taille d'effet variant entre 0,40 et 0,61. Pour leur part, les comportements d'intériorisation, notamment l'anxiété (TE = 0,68), le retrait (TE = 0,27) et le trouble somatique (TE = 0,58) ont également été réduits de façon faible ou modérée, la taille d'effet variant entre 0,27 et 0,68. La réduction de ces comportements diminue les risques que l'enfant ait des démêlés avec la police et le système de justice pénale.

Selon un examen du Teacher Report Form (TRF), les enfants présentaient des réductions modérées pour deux sous-échelles, soit le trouble de l'attention et le retrait. Les résultats préliminaires du TRF indiquent que les enseignants n'ont pas constaté de réductions importantes dans la violation des règles, l'agressivité, l'anxiété et les mesures somatiques durant la phase initiale de l'intervention (12-16 semaines). Il est à noter que la documentation portant sur le programme SNAPMD indique que l'évaluation exacte des changements dans les comportements des enfants prend environ six mois de plus que l'évaluation effectuée par les parents (Pepler et coll., Prevention Science, 2010). Par conséquent, il convient de tirer des conclusions sur les évaluations de l'enseignant six et douze mois après le programme afin d'en accroître la pertinence.

Selon les résultats préliminaires comparant les participants au programme SNAPMDà un groupe de référence, il existait une grande différence statistique entre le groupe expérimental et le groupe de référence de la liste d'attente (taille d'effet modérée, soit 0,57) pour la mesure de la compétence totale. La compétence totale se mesure par l'information des parents sur la participation des enfants à des activités communautaires, leurs habiletés sociales et leur rendement scolaire. Les scores élevés indiquent que les enfants sont capables de fonctionner plus efficacement dans ces contextes. Lorsque les tests statistiques sont examinés selon d'autres sous-échelles comportementales, il n'existe pas de différence entre le groupe expérimental et le groupe de référence. étant donné la faible efficacité statistique (N = 9) du groupe post-intervention/groupe de la liste d'attente pré-intervention (T2), ces résultats devraient être considérés comme préliminaires jusqu'à ce qu'il soit possible d'utiliser une plus grande cohorte dans le groupe de référence.

Toronto : St. Leonard's Society

Selon les résultats de l'analyse du modèle mixte pour chaque échelle CBCL évaluée par les parents, les enfants présentaient des réductions considérables dans presque toutes les sous-échelles après avoir suivi le programme SNAPMD. À Toronto, la taille d'effet varie entre modérée (TE = 0,54) et élevée (TE = 1,17). Les problèmes d'extériorisation, notamment la violation des règles, le besoin d'attirer l'attention et l'agressivité, ont été réduits de façon modérée ou élevée, ce qui indique que le programme SNAPMDatteint ses objectifs ciblés. Les problèmes d'intériorisation, notamment l'anxiété (0,46) et les troubles somatiques (0,40), ont aussi été réduits de façon modérée ou élevée.

Selon un examen des données du TRF, l'agressivité a connu une réduction statistiquement significative.

Selon les résultats préliminaires des mesures du TRF et de la CBCL comparant les participants au programme SNAPMDà un groupe de référence, la plupart des échelles ne montraient pas de différences statistiquement significatives entre le groupe expérimental et le groupe de référence, mais la sous-échelle DMS Anxiety du TRF montrait une réduction statistiquement significative pour le groupe expérimental, la taille d'effet étant modérée à 0,57. étant donné la faible efficacité statistique de la mesure de trois mois après le programme (N = 16), ces résultats devraient être considérés comme préliminaires jusqu'à ce qu'il soit possible d'utiliser une plus grande cohorte pour le groupe de référence.

Québec : Administration régionale crie (ARC)

La mise en œuvre du programme a commencé plus tard dans l'ARC qu'à Toronto et à Edmonton. Les données quantitatives pour ce site seront donc disponibles au début 2013. Le présent sommaire contient de l'information sur l'évaluation des processus concernant le groupe cible, la fidélité ainsi que les difficultés et succès liés à la mise en œuvre du programme.

Les intervenants du projet ont fourni des services à 45 enfants de la Nation crie résidant dans les collectivités cries éloignées de Mistissini et de Waswanipi, sur le territoire cri du Québec. Une majorité d'enfants présentaient les caractéristiques du groupe cible, notamment l'âge (6 à 11 ans) et les niveaux cliniques d'extériorisation et d'intériorisation, et plusieurs enfants (garçons) avaient eu des démêlés avec la police avant de commencer à suivre le programme. La grande majorité des enfants (80 %) faisaient partie de la catégorie du risque élevé, ce qui indique que le projet est mis en œuvre auprès du bon groupe cible.

La fidélité au programme a été forte dans certains secteurs et faible dans d'autres. L'examen visuel des vidéos sur les séances des jeunes et leurs observations du programme montrent que la conformité au programme SNAPMDest plutôt bonne dans les deux collectivités. À ce jour, environ 50 % (20) des jeunes ont satisfait à l'exigence minimale de huit séances, ce qui indique que l'assiduité des enfants au programme est plus faible que prévu. En ce qui concerne la conformité au programme des parents, la fidélité est plus faible en raison de plusieurs facteurs comme le taux d'alphabétisation et la participation des parents. Au cours des séances, les parents dont la langue première est le cri ont trouvé difficile de comprendre les exercices. La participation et l'assiduité des parents ont aussi été faibles. Selon l'information fournie par des informateurs clés, les pratiques culturelles qui favorisent l'autosuffisance précoce des enfants peuvent contribuer à la mentalité selon laquelle les enfants sont les seuls à devoir participer au programme.

En plus des problèmes de participation et d'assiduité, les sites ont connu des difficultés logistiques. À Mistissini, les séances devaient originalement avoir lieu après les cours à l'école locale, mais à cause des rénovations de l'école, elles ont dû se tenir au palais de justice, à plus d'un mille de chez les enfants. Cette situation a créé des défis logistiques pour aller chercher les enfants, ce qui a fait baisser l'assiduité. Le problème a été réglé pour le semestre de l'automne 2012.

La collectivité de Waswanipi manque de personnel depuis un moment, ce qui entraîne des pressions du point de vue de l'exécution du programme. La capacité de trouver des intervenants qualifiés dans les petites collectivités cries pose un problème, surtout lorsque, par exemple, le conseil de santé cri offre à son personnel des salaires et des locaux semblables. Quelques ajustements ont été apportés, et le programme dispose maintenant d'un personnel complet.

Enfin, les collectivités cries ont de la difficulté à se charger des instruments normalisés, des EARL, des évaluations écosystémiques, des dossiers et de l'entrée fréquente des données. Des analyses des feuilles de temps montrent que certains employés passent 20 heures par semaine à remplir les formulaires et les instruments, conformément à la licence du CDI.

Certaines réussites du programme donnent à penser que les problèmes pourraient être réglés durant la dernière année du programme. Le soutien est fort chez les partenaires communautaires, comme les écoles (pour accueillir les programmes) et les partenaires qui dirigent les jeunes vers les programmes (écoles, services sociaux, parents, etc.). Aux premières étapes de la mise en œuvre, le programme SNAPMDa été stigmatisé comme étant un programme destiné aux « enfants méchants », mais cette stigmatisation a diminué considérablement, ce qui a entraîné une augmentation des inscriptions à l'automne 2012. Cette inscription accrue de 48 enfants permettra à l'équipe de l'évaluation de créer un autre GED pour renforcer l'analyse comparative entre les groupes.

Analyse coût-efficacité

Une analyse coût-efficacité (ACE) a été réalisée à Edmonton et à Toronto. Ce type d'analyse se sert du coût du programme et des résultats de l'évaluation d'impacts pour déterminer le coût lié à la création d'un effet sur des résultats particuliers. L'équipe de l'évaluation a procédé à une ACE provisoire des résultats liés à la taille d'effet de l'échelle de la compétence totale (puisqu'il existait une différence statistiquement significative entre les deux conditions) afin de déterminer s'il était viable sur le plan économique d'obtenir ces résultats positifs. Si la compétence peut être atteinte efficacement, il pourrait être possible pour d'autres programmes d'entraîner des changements dans la capacité des enfants de renforcer leur engagement social, leur rendement scolaire et leurs autres habiletés sociales. Les coûts totaux ont été obtenus prospectivement pour une période de 12 mois après le programme SNAPMD. Les coûts attendus ont été estimés en fonction des coûts de fonctionnement pour les enfants présentant différents niveaux de risque. Le tableau 3 présente le coût différentiel par unité d'écart standard sur l'échelle de compétence pour Toronto et Edmonton. Un projet déjà financé par le CNPC (Banyan Community Services, SNAP® Under 12 Outreach Project) a aussi été inclus comme site de référence à des fins de comparaison.

Le tableau 3 indique que l'économie de coût unitaire réalisée pour la compétence totale à Edmonton se chiffre à 22 031 $ par enfant. étant donné la petite taille d'effet (TE = 0,17), laquelle n'est pas statistiquement significative, il en coûte près de quatre fois plus (84 688 $) à Toronto pour produire un gain sur l'échelle de la compétence totale. Une analyse supplémentaire faisant appel à la technique du modèle mixte a permis de déterminer que le site de Toronto pourrait produire des gains suffisants sur l'échelle de la compétence totale un an après le programme, pour une taille d'effet supérieure de 0,60.

Il faut mener une analyse approfondie de l'incertitude pour évaluer comment la variabilité dans les coûts de programme, les niveaux de risque et l'efficacité statistique dans les groupes de référence peut entraîner des changements dans les résultats coût-efficacité. Le rapport final présentera les résultats de l'ACE pour toutes les échelles qui ont des tailles d'effet statistiquement significatives.

Tableau 3 : Analyse coût-efficacité fondée sur la mesure de la compétence totale

Coût total du programme (coûts d'évaluation non compris)

Nombre d'enfants

Coût par enfant

Compétence totale Taille d'effet

Coût unitaire Compétence acquise

Total

Par enfant

Banyan (site de référence)

1 611 378,00

151

10 671

0,30

5 371 260,00

35 570

Edmonton

929 289

74

12 558

0,57

1 630 331

22 031

Toronto

1 295 752

90

14 397

0,17

7 622 070

84 688

Toronto selon la taille d'effet un an après le programme (technique du modèle mixte)

1 295 752

90

14 397

0,60

2 159 587

23 995,00

Remarque : Le calcul de l'ACE a pris fin avant que le tableau 2 ne soit préparé. Le tableau 2 présente un compte courant des participants, dont les mesures d'évaluation étaient terminées en août 2012.

L'ACE indique que l'obtention d'une taille d'effet moyenne sur l'échelle de la compétence totale coûte environ 22 000 $ par enfant sur une période de six mois. Pour cerner la valeur potentielle globale, un ratio coûts-avantages peut être calculé pour exprimer le gain financier réalisé en ce qui concerne les coûts. Le tableau 4 présente les coûts possibles qui seront engagés en conséquence de la non-participation au programme SNAPMD. Ces économies annuelles potentielles (88 033 $) et les coûts de l'ACE pour Edmonton (22 031 $) ont servi à calculer le ratio coûts-avantages. Les résultats laissent entendre que pour chaque dollar dépensé sur la production d'un changement dans l'échelle de la compétence totale pour Edmonton, quatre dollars sont économisés chaque année. Un ratio coûts-avantages supérieur à 1 signifie que les avantages l'emportent sur les coûts, ce qui indique que l'investissement dans l'intervention est rentable dans ce cas ou, en d'autres termes, qu'il permet aux contribuables d'économiser un montant substantiel qui aurait autrement été utilisé pour les coûts ultérieurs du système de justice pénale.

Tableau 4 : Exemple d'ACE pour la mesure de la compétence totale

Coûts connexes pour les enfants à risque qui ne reçoivent pas une intervention efficace

Coût et description

Coûts à court terme (dans les six mois suivant la manifestation de niveaux cliniques de comportements d'extériorisation et d'intériorisation)

Démêlés avec la police

Description : Enquête policière

Coût : 1 912,00 $ par personne par année

Coûts des tribunaux

Description : Coûts des tribunaux pour les jeunes délinquants par incident. L'estimation se fonde sur une période de six mois et un incident par année par jeune.

Coût : 1 275,00 $ par personne par année

Aide juridique

Description : Aide juridique (84 $ l'heure X 24 heures). L'estimation se fonde sur une période de six mois et un incident par jeune par année.

Coût : 2 016,00 $ par personne pour six mois

Absentéisme de l'enseignant (coûts de suppléance)

Description : Cinq jours par année par enseignant X 200 $/jour en coûts de suppléance

Coût : 1 000,00 $

Coûts à moyen terme (dans l'année suivant la manifestation de niveaux cliniques de comportements d'extériorisation et d'intériorisation)

établissement de garde en milieu fermé

Description : Coût de l'incarcération de jeunes en milieu fermé en Ontario 600 $Note 3/jour X nombre moyen de jours d'incarcération, pour six mois ou 180 jours = 108 000 $ X 75 % des jeunes

Coût : 81 000,00 $ par année

Coûts à long terme (dans les deux ou trois ans suivant la manifestation de niveaux cliniques de comportements d'extériorisation

Agent de probation auprès des jeunes (après la libération)

Agent de probation auprès des jeunes (31,92 $ l'heure X 26 semaines). L'estimation se fonde sur la supervision après la libération pour un an.

Coût : 830,00 $ par année par jeune

Coûts totaux possibles par enfant par année : 88 033,00 $ Si la réalisation d'interventions permet de ne pas engager ces coûts, la somme devient une économie.

Ratio coûts-avantages : 1:4

Pour chaque dollar dépensé dans la production d'un changement dans l'échelle de la compétence totale à Edmonton sur une période d'intervention de trois à six mois, quatre dollars sont économisés chaque année. Un ratio coûts-avantages supérieur à 1 signifie que les avantages l'emportent sur les coûts, ce qui indique que l'investissement dans l'intervention est rentable dans ce cas.

Le calcul du ratio coûts-avantages se mesure comme suit : avantages/coûts. Le taux d'actualisation utilisé pour déterminer la valeur actualisée nette sera calculé en 2014, ce qui permettra de cerner le ratio coûts-avantages pour la durée du projet.

Remarque : Tous les coûts, à l'exception des estimations des coûts de la garde en milieu fermé en Ontario, sont les coûts canadiens standards selon les valeurs financières de remplacements du SiMPACT Strategy Group Inc.

Rapports

Les renseignements et les résultats provenant de l'évaluation seront communiqués dans les rapports suivants : un cadre d'évaluation achevé en septembre 2010, des rapports annuels à remettre en octobre 2011, 2012 et 2013, un rapport d'étape à livrer en juillet 2012 et un rapport final à présenter en 2014.

Pour de plus amples renseignements au sujet de ce projet, ou pour obtenir une copie du rapport final d'évaluation, veuillez contacter le Centre national de prévention du crime, par courriel, à ps.prevention-prevention.sp@canada.ca.

Pour recevoir des informations sur les activités du CNPC, nous vous invitons à vous inscrire à la liste d'envoi électronique du CNPC en visitant notre page d'enregistrement à : http://www.securitepublique.gc.ca/cnt/bt/mlng-lst-fra.aspx.

Notes

1Le présent sommaire ne fournit que la méthodologie. Il contient uniquement les résultats provisoires.

2évaluateurs : Astwood Strategy Corporation. Responsable technique et gestionnaire du contrat : Donna Smith-Moncrieffe, CNPC, Division des politiques, de la recherche et de l'évaluation.

3Selon l'estimation actuelle des coûts de garde en milieu fermé de l'Ontario qui, dans certains établissements, s'élèvent à 800 $ par jour, en plus des coûts signalés de la garde de jeunes en milieu fermé par jour dans d'autres provinces et territoires canadiens (p. ex., Kids, Crime and Care, Office of the Provincial Health Officer of British Columbia, février 2009), un montant de 600 $ a été choisi comme la valeur la plus basse de l'estimation des coûts liés à la garde d'un jeune en milieu fermé.

Date de modification :