Évaluation des projets de prévention du crime par le développement social : Manuel pour les organismes communautaires

Évaluation des projets de prévention du crime par le développement social : Manuel pour les organismes communautaires Version PDF (1 140 KB)

Remerciements

L'ouvrage Évaluation des projets de prévention du crime par le développement social a été élaboré dans le cadre d'un programme de formation des formateurs qui vise à transmettre aux employés responsables des programmes au Centre national de prévention du crime (CNPC) des connaissances de base en évaluation . Ainsi outillés, ces derniers sont alors en mesure de renforcer la capacité d'évaluation des groupes communautaires qui œuvrent à la prévention du crime au moyen de projets de développement social.

Le Guide du formateur et son compagnon, le Manuel pour les organismes financés par la Stratégie nationale pour la prévention du crime (SNPC), ont été écrits par Mary Sehl, analyste principale de l'évaluation au CNPC. Comme c'est souvent le cas, ce projet n'aurait pas vu le jour sans l'aide et le soutien de bien d'autres. Nous remercions chaleureusement Colleen Ryan, qui travaille maintenant à Santé Canada, pour avoir reconnu la nécessité de l'initiative, et les membres suivants du comité consultatif du projet de leur merveilleuse direction :

Linda Casson Hare, agente principale de programmes - Yukon Susan Howe, analyste principale de l'évaluation - Vancouver Dianne MacDonald, gestionnaire de programmes - Saskatchewan Monika Ochnik, agente de programmes - Ontario Wayne Stryde, directeur, Élaboration et mise en œuvre de programmes - Ottawa Michelle Woods, agente de programmes - Thunder Bay

Nous remercions aussi de tout cœur Brin Sharp, dont les connaissances et les conseils en matière de techniques d'éducation pour adultes se retrouvent dans le Guide du formateur, et Susan Howe pour sa vitalité, les contributions qu'elle a faites à l'initiative et l'aide qu'elle a apportée à la planification et à l'animation d'une séance de formation pilote à Vancouver. Sa créativité se fait sentir dans plusieurs des exercices qui composent les ateliers de formation.

Nous sommes reconnaissants aux membres de l'Unité d'évaluation du CNPC pour leurs commentaires et conseils concernant le programme de formation, et pour le dynamisme dont ils ont fait preuve lors de la formation des employés responsables des programmes du CNPC. Nous remercions aussi tout particulièrement Muguette Lemaire, analyste principale de l'évaluation à Montréal, pour son travail inestimable sur la version française du Guide du formateur et du Manuel pour les organismes financés par la Stratégie nationale pour la prévention du crime (SNPC), et Carolyn Scott pour avoir pris les devants en ce qui concerne la planification de l'évaluation de l'initiative. Tim Peters, Antoine Bourdages et Wayne Stryde méritent aussi d'être remerciés pour leur direction et le soutien continu qu'ils ont prêté au projet en tant que membres de l'équipe de gestion du CNPC.

Mary Sehl
Analyste principale de l'évaluation
CNPC

Quel est le but de la formation sur l'évaluation?

• Favoriser et améliorer la capacité d'évaluation des responsables de projet
• Fournir un soutien et des ressources pour faciliter l'évaluation
• Mettre en place des processus et des repères pour l'évaluation des projets financés

Le Centre national de prévention du crime (CNPC) voit l'évaluation comme un outil contribuant à la gestion des projets et à l'apprentissage. L'évaluation n'a pas pour seul but de prouver qu'un projet a donné des résultats positifs. Elle vise aussi à dégager des leçons et à améliorer le fonctionnement du projet.

On s'attend à ce que les groupes communautaires qui sont intéressés à faire une demande de fonds au CNPC pour appuyer leur projet de prévention du crime par le développement social jouent différents rôles dans le cadre de l'évaluation. Ces rôles dépendront du programme qui leur accorde le financement.

Les projets financés dans le cadre du Fonds d'action en prévention du crime (FAPC) ont pour but de trouver des façons novatrices de prévenir la criminalité. Le FAPC aide des personnes travaillant sur le terrain à entreprendre des activités qui s'attaquent aux causes profondes de la criminalité. Il vise à établir des partenariats entre différents secteurs, notamment les services de police, les services de santé communautaire ainsi que les secteurs bénévole et privé, afin de renforcer la capacité des collectivités de prévenir la criminalité par le développement social. Il aide les groupes communautaires à rendre leurs efforts de prévention de la criminalité plus durables, à sensibiliser davantage le public aux activités de prévention de la criminalité et à obtenir son soutien.

Dans le cadre des projets financés par le FAPC, les évaluations servent à :

• suivre le déroulement du projet au jour le jour (suivi continu);
• déterminer, à mi-parcours (évaluation de mi-mandat), si le projet est sur la bonne voie, s'il fournit les extrants prévus (résultats), si les délais sont respectés et si le projet utilise les ressources tel qu'il a été prévu;
• établir si les changements globaux que le projet vise à apporter se sont effectivement produits à la fin de celui-ci (évaluation finale).

Nota : Le masculin a été utilisé dans ce document dans le seul but d'alléger le texte.

Le Fonds pour la mobilisation communautaire des secteurs policier et correctionnel (FMCSPC) soutient la formation de partenariats avec les organisations d'application de la loi et des services correctionnels en vue de promouvoir la prévention du crime par le développement social. Ce fonds vise les communautés à risque et les groupes vulnérables, y compris les enfants, les adolescents et leurs familles, ainsi que les Autochtones.

Si vous avez reçu ou êtes intéressé à recevoir des fonds du FAPC ou du FMCSPC, la présente formation vous aidera à améliorer votre capacité d'élaborer un plan solide pour votre projet et à mener une évaluation crédible.

Le Fonds pour la recherche et le développement des connaissances (FRDC) appuie un large éventail de travaux de recherche, de projets de démonstration, d'initiatives de transfert des connaissances et d'évaluations qui : relèvent et analysent les lacunes dans le corpus actuel des connaissances liées à la prévention du crime au Canada; acquièrent de nouvelles connaissances dans les domaines où les lacunes ont été relevées; font la synthèse des résultats de la recherche existante; et, développent la compréhension et la reconnaissance des pratiques et des modèles prometteurs en matière de prévention du crime au niveau communautaire. Le FRDC finance des activités et des initiatives visant à identifier, soutenir et évaluer des modèles prometteurs de prévention de la criminalité, à faciliter le développement de ressources fondées sur le constat et à mettre au point des produits contribuant à informer le public sur les mesures qui permettent d'atténuer les facteurs de risque liés à la criminalité et à la victimisation. Le FRDC permet l'embauche d'évaluateurs externes pour effectuer des évaluations rigoureuses de ces projets afin d'en déterminer les coûts, les avantages et l'efficacité générale des activités novatrices de prévention du crime.

Les dirigeants et le personnel des projets collaboreront étroitement avec l'évaluateur externe et, dans la plupart des cas, participeront à la collecte de l'information qui sera soumise à l'évaluation. Si vous êtes intéressé à obtenir des fonds du FRDC, cette formation vous aidera énormément à améliorer votre compréhension de l'évaluation et votre capacité de collaborer avec un évaluateur de l'extérieur.

Pour obtenir de plus amples renseignements au sujet des programmes de financement du CNPC, vous êtes invité à consulter le site Web de la Stratégie nationale pour la prévention du crime à http://www.securitepublique.gc.ca/cnpc.

La structure du manuel

Le manuel se divise en sept chapitres qui correspondent aux sept modules de la trousse de formation sur l'évaluation des projets de prévention du crime par le développement social. À la fin de chaque chapitre, on retrouve un glossaire des termes employés dans le chapitre et une liste des ressources ayant un lien avec les sujets abordés. Les feuilles de travail utilisées dans les différents modules de formation sont fournies à la fin de chacun des chapitres.

Nous espérons que ce manuel constituera un outil de référence utile durant les séances de formation et longtemps après que vous aurez suivi ce cours. Nous vous encourageons à utiliser les ressources fournies à la fin de chaque chapitre lorsque vous planifierez l'évaluation de vos projets de prévention du crime.

Module 1 : Un aperçu de l'évaluation

Les objectifs d'apprentissage

• Comprendre certains des obstacles que pose l'évaluation pour les groupes communautaires
• Comprendre comment une évaluation peut améliorer la gestion et la mise en œuvre d'un projet
• Savoir ce qu'est l'évaluation...
  • Les principales approches
  • Les étapes fondamentales
• Savoir quand faire appel à des évaluateurs professionnels

Pourquoi se soucier de l'évaluation?

S'il est important pour nous de prévenir la criminalité et la victimisation dans les collectivités canadiennes, il est tout à fait normal de se soucier des activités qui permettent réellement d'atteindre cet objectif. La seule façon de s'en assurer est d'investir dans l'évaluation.

Le temps

Nous savons que le temps représente un problème, spécialement pour les groupes communautaires qui disposent de budgets très limités. Il faut du temps pour planifier une évaluation et la mettre en œuvre, pour analyser les données, pour transmettre les résultats et pour examiner les conséquences de l'évaluation sur les activités du projet. Heureusement, la plupart des éléments d'une évaluation font partie de la gestion efficace d'un projet et peuvent être intégrés aux activités quotidiennes.

L'argent

Vous avez peut-être le sentiment que les fonds consacrés à l'évaluation pourraient être mieux utilisés pour financer des activités liées au projet. Il est vrai qu'au minimum, une évaluation exige que le personnel affecté au projet y consacre du temps, ce qui représente un certain coût. Une évaluation rigoureuse effectuée par un tiers risque par contre de coûter beaucoup plus cher. Des professeurs ou des étudiants des collèges ou des universités peuvent parfois fournir de l'aide gratuitement dans le cadre de stages ou de projets.

L'expertise

Il se peut que votre groupe possède très peu d'expérience en matière de planification de projets admissibles à des fonds gouvernementaux. Nous espérons vous montrer que les connaissances et les compétences requises pour planifier des projets sont semblables à celles qui sont nécessaires à la planification des évaluations.

L'évaluation a la réputation d'être complexe et de nécessiter de l'expertise externe. Nous sommes d'accord qu'il est parfois nécessaire de faire appel à des experts pour effectuer des analyses statistiques ou pour aider à déterminer comment répondre aux questions d'évaluation. Par contre, des évaluations plus simples peuvent être faites à l'interne. Nous en parlerons plus loin dans cette section.

L'indiscrétion

Pour répondre à des questions d'évaluation comme « À qui nous adressons-nous? » ou « Le projet a-t-il modifié des attitudes ou des comportements? », on doit poser des questions touchant les expériences de vie, les attitudes et les comportements des personnes.

Nous avons souvent constaté que le personnel affecté à un projet s'inquiète davantage du caractère personnel des questions posées que ne le font les participants au projet. Il est important de se rappeler que la participation à une évaluation devrait toujours être volontaire. On devrait toujours informer les participants qu'ils peuvent refuser de répondre aux questions ou qu'ils peuvent cesser de participer à l'évaluation à n'importe quel moment, et que cela ne nuira pas à leur participation aux activités liées au projet.

Nous savons déjà que le projet est efficace

Vous avez probablement déjà pris connaissance de nombreux exemples ou anecdotes qui vous ont prouvé l'efficacité du projet que vous planifiez. Vous avez peut-être le sentiment que vous disposez de preuves suffisantes pour démontrer que les activités planifiées sont efficaces. Par ailleurs, l'évaluation servira à créer une série de données probantes qui vous permettront de convaincre les autres de l'efficacité de votre projet.

Bien comprendre la complexité

Vous avez peut-être le sentiment que le travail que vous faites ne peut être quantifié ou décrit sous une simple forme « linéaire ». Les projets ont souvent de nombreuses composantes et ils peuvent avoir des effets subtils et imprévus sur les participants. Il est vrai que les évaluations ne parviennent pas toujours à refléter la complexité des activités liées au projet ou à leur fonctionnement. En ajoutant des questions d'évaluation qui donnent aux participants et au personnel la possibilité de relater librement leurs expériences, vous pouvez inclure tous ces aspects dans votre évaluation.

Le changement à long terme par opposition au financement à court terme

Il semble y avoir une contradiction. D'un côté, le Centre national de prévention du crime (CNPC) fournit des fonds pendant une courte période seulement, et de l'autre, il reconnaît qu'il faut souvent attendre longtemps pour que le changement se produise. La situation idéale consisterait à pouvoir suivre les changements à long terme. Si vous pouviez présenter de solides arguments expliquant pourquoi les résultats à court terme de votre projet conduiront probablement à des changements à long terme, vous pourriez vous concentrer sur la mesure des changements à court terme. Par conséquent, vous n'auriez pas à assurer le suivi des changements à long terme.

Le Manuel pour les organismes financés par la SNCP et les séances de formation qui l'accompagnent vous indiqueront comment créer un modèle logique. Un modèle logique rigoureux précisant la façon dont les activités du projet entraîneront des résultats à court et à long terme ainsi que les liens entre ces résultats vous permettra de démontrer comment les changements à court terme découlant de votre projet peuvent mener à d'autres changements longtemps après la fin de celui-ci.

La crainte

Il est normal de craindre qu'une évaluation négative puisse empêcher votre groupe d'obtenir d'autres fonds. Il est par contre aussi fréquent de constater que les projets s'améliorent après une évaluation qui indique comment obtenir de meilleurs résultats. L'évaluation constitue une bonne façon de montrer à vos bailleurs de fonds que vous êtes intéressé à l'amélioration continue de votre projet.

Pourquoi effectuer une évaluation?

La prise de décisions, la gestion du projet

L'évaluation fait partie de la saine gestion. Il n'est pas nécessaire d'y consacrer beaucoup de temps ou d'argent, mais il faut y accorder un certain temps et une certaine somme d'argent si vous voulez bien gérer votre projet. L'étendue de votre évaluation dépendra probablement de la taille du projet et de son budget.

Vous effectuez probablement déjà une certaine forme d'évaluation, à tout le moins de façon officieuse. Vous posez peut-être des questions au sujet de la satisfaction des participants ou vous évaluez peut-être la nécessité d'ajouter des effectifs.

L'évaluation vous fournit l'occasion de poser les questions qui vous permettront d'obtenir les réponses nécessaires à une saine gestion de votre projet. Par exemple, vous pourriez poser les questions suivantes :

• Atteignons-nous les personnes que nous voulions atteindre, celles dont les besoins sont les plus criants?
• Avons-nous besoin d'augmenter les effectifs du projet?
• Le personnel du projet a-t-il besoin d'être mieux formé?
• Le projet assure-t-il la protection des employés et des participants?
• Le projet entraîne-t-il les changements comme nous l'avions prévu?
• Quels aspects du projet devraient être modifiés, prolongés, poursuivis ou interrompus?

L'amélioration du projet

Si votre groupe a déjà participé à des projets communautaires, vous avez probablement apporté à ces projets des changements visant à en améliorer certains aspects avec le temps. Vous avez peut-être, par exemple, changé l'endroit ou le moment où se déroule votre projet pour en améliorer l'accès. Vous avez peut-être fait appel à un nouveau partenaire pour augmenter le nombre de personnes référées à votre projet. Vous avez peut-être évalué l'utilité de ces changements. En tenant un registre des résultats qui ont eu des effets favorables, vous pouvez aider d'autres personnes à en tirer des leçons. Ces mesures peuvent aider à améliorer votre projet ainsi que d'autres projets dans votre collectivité ou ailleurs au Canada.

L'efficacité du projet

Lorsque la prévention du crime nous tient réellement à cœur, nous voulons connaître l'utilité de nos démarches. Sinon, pourquoi investir notre temps et notre argent dans une activité qui, au bout du compte, ne changera rien?

S'il est difficile de créer des documents répondant à la question de savoir si un projet donné empêche la criminalité ou réduit la victimisation, il est possible de montrer comment il réduit les facteurs associés à la criminalité et à la victimisation (facteurs de risque) ou augmente les facteurs qui aident à prévenir la criminalité ou à réduire la victimisation (facteurs de protection). Nous voulons également savoir comment le projet y parvient afin que d'autres puissent suivre son exemple.

Les résultats imprévus

Les projets ont parfois des effets que nous n'avions pas prévus. Ces effets peuvent êtrepositifs ou négatifs. À titre d'exemple :

• Effet positif. Il arrive que des projets de développement des compétences parentales, qui ont pour but d'améliorer les connaissances des participants du développement de l'enfant et des bonnes pratiques parentales, aient l'effet imprévu de renforcer le réseau de soutien social des participants. Grâce au projet, ils font la connaissance d'autres membres de leur collectivité dont les enfants ont le même âge. Ils s'entraident sur le plan émotif et parfois concrètement en gardant les enfants les uns des autres ou en fournissant de l'information au sujet des projets ponctuels dans le quartier.
• Effet négatif. Une évaluation d'un groupe de soutien d'intervention précoce avait pour but de réduire la consommation d'alcool et de drogues parmi des élèves (Deck et Einspruch, 1997, cités dans Einspruch et Deck, 1999), mais on a constaté que le programme avait quelques effets négatifs imprévus. On a invité des élèves qui consommaient de l'alcool ou des drogues à participer à un groupe de soutien censé les aider à examiner leur consommation de substances intoxicantes et les comportements associés à cette consommation, à améliorer leurs compétences de résolution des problèmes et de communication et à nouer des liens positifs avec d'autres personnes. L'évaluation a révélé que les élèves dont la participation au programme était jugée « satisfaisante » avaient une fois et demie plus de chances de consommer de l'alcool à la fin de l'année scolaire que ceux qui avaient été référés au programme, mais qui avaient refusé d'y participer ou qui n'y participaient pas activement.

  Il est important de se rappeler que les projets mis sur pied avec les meilleures intentions peuvent avoir des effets néfastes. Dans les cas comme celui que nous venons d'exposer, les projets peuvent en réalité empirer la situation des participants.

  Un autre type d'effet négatif pourrait être celui de faire perdre du temps aux gens dans des projets qui n'ont aucun impact, alors que nous pourrions utiliser leur temps et les deniers publics pour mettre en œuvre des projets qui ont une plus grande incidence.

L'imputabilité

Les contribuables veulent savoir si leur argent est dépensé judicieusement. Il est nécessaire pour le gouvernement de rendre des comptes en ce qui concerne l'argent investi dans des projets communautaires. Si les changements qu'apportent ces projets ne sont pas documentés, la vérificatrice générale, les politiciens et, au bout du compte, nos concitoyens pourraient nous poser des questions à ce sujet.

Nous oublions trop souvent que nous devons également rendre des comptes aux participants des projets communautaires. Ils méritent de pouvoir s'exprimer sur les mesures qui sont efficaces et celles qui ne le sont pas et d'être informés, par l'entremise de rapports d'évaluation, sur la capacité des programmes d'atteindre les résultats escomptés. Les employés de première ligne se disent souvent préoccupés par le grand nombre de questions posées aux participants lors d'évaluations et de l'aspect indiscret de ces questions. Ces préoccupations sont légitimes. Par contre, nous constatons souvent que lorsque nous abordons les participants de façon positive et que nous leur donnons un aperçu du but de l'évaluation et de leur rôle dans ce contexte, ils se montrent enthousiastes à l'idée de contribuer à la recherche. Ils veulent savoir « ce qui marche ».

Les relations publiques et le financement

Les résultats probants découlant d'un projet constituent le meilleur outil pour promouvoir le projet et pour susciter les dons d'argent ou de ressources qui assureront sa pérennité.

Qu'est-ce que l'évaluation?

• Il s'agit d'un processus qui consiste à déterminer si un projet atteint ses objectifs par les activités entreprises et de la façon prévue.
• L'évaluation décrit :
  • les raisons pour lesquelles nous avons mis sur pied le projet (buts et objectifs);
  • en quoi consiste le projet consiste (activités dans le cadre du projet);
  • ce qui, selon nous, se produira en raison des activités (résultats ou extrants prévus);
  • ce qui s'est réellement produit (résultats ou impacts réels);
  • ce que cette information nous révèle au sujet du projet (conclusions) (Services de police d'Ottawa, 2001, p. 14).

Les évaluations ne touchent pas nécessairement tous ces aspects. Certaines mettent davantage l'accent sur l'élaboration du projet et l'examen des activités liées à celui-ci pour établir s'il est offert de la manière prévue (évaluation du processus). D'autres se concentrent davantage sur les trois derniers points et cherchent à évaluer si le projet aboutit aux résultats anticipés (évaluation des résultats).

Les types d'évaluations

L'évaluation des besoins

Une évaluation des besoins permet de savoir ce dont les gens ou les collectivités que vous espérez atteindre ont besoin, de façon générale, ou pour combattre un problème précis. Vous pourriez, par exemple, souhaiter savoir quels sont les problèmes de sécurité dans votre collectivité, connaître les services auxquels vous avez accès ou dans quelle mesure votre collectivité s'attaque à un certain type de criminalité ou à une certaine forme de victimisation.

L'évaluation des ressources

Une évaluation des ressources sert à déterminer les ressources ou les habiletés existantes au sein de la collectivité dans laquelle vous souhaitez implanter votre projet. L'évaluation des ressources est souvent menée de concert avec l'évaluation des besoins. Ce type d'évaluation permet de déterminer les habiletés des membres d'une collectivité pouvant contribuer au projet ainsi que les ressources matérielles telles que les locaux, les dons en nature, le bénévolat, les ressources financières et autres pouvant faciliter la mise en œuvre du projet de prévention du crime.

L'évaluation de l'évaluabilité

On effectue une évaluation de l'évaluabilité pour savoir si un projet peut faire l'objet d'une évaluation officielle. Une telle évaluation peut suggérer quelles approches ou méthodes d'évaluation conviendraient le mieux au projet.

Le suivi du projet

Le suivi d'un projet prend en compte les activités et opérations précises liées au projet. Il s'agit d'une évaluation très limitée qui aide à suivre, et non pas à évaluer le projet.

L'évaluation formative

Connue également sous le nom d'évaluation du processus, une évaluation formative nous renseigne sur le déroulement du projet, et nous permet de savoir s'il est mis en œuvre de la manière prévue et si des problèmes sont survenus dans ce contexte (par exemple, elle peut montrer qu'un projet atteint un groupe qui est moins à risque que prévu, que les employés ne possèdent pas la formation requise, que les locaux du projet ne sont pas accessibles ou que les heures du projet ne correspondent pas aux besoins des participants).

L'évaluation des résultats

Une évaluation des résultats examine la mesure dans laquelle un projet a permis d'obtenir les résultats définis au départ.

L'évaluation sommative

L'évaluation sommative examine l'efficacité et l'incidence globales d'un projet, sa qualité, et la possibilité d'un financement continu.

L'évaluation coût-efficacité

Une étude coût-efficacité examine le lien entre les coûts d'un projet et les résultats de celui-ci. Elle évalue le coût que représente chaque degré d'amélioration dans les résultats.

L'évaluation coûts-avantages

Une analyse coûts-avantages est comme l'analyse coût-efficacité en ce sens qu'elle examine la relation entre les coûts et les résultats (ou avantages) du projet. Une étude des coûts-avantages attribue par contre une valeur financière aux résultats ou aux avantages, de sorte à fournir un coefficient montrant le rapport entre la quantité d'argent dépensée et les économies réalisées. Une analyse coûts-avantages bien connue est celle à laquelle a été soumis le Perry Preschool Project aux États-Unis. On a conclu que pour chaque dollar dépensé, on économisait plus de 7 $ (Barnett, 1993, cité dans Schweinhart, 2002).

Quelques-unes des principales méthodes

L'évaluation externe

Cette approche consiste à faire appel à un évaluateur externe (un tiers ou une personne/organisation qui n'a jamais été associée au projet faisant l'objet de l'évaluation), qui se chargera d'effectuer l'évaluation. Le fait d'utiliser un évaluateur extérieur à l'organisation faisant l'objet d'une évaluation accroît l'objectivité des résultats. On peut faire appel à des évaluateurs de l'extérieur dans le cadre de toutes les méthodes décrites ci-dessous. On engage souvent des consultants de l'extérieur afin de faciliter les évaluations participatives ou d'habilitation.

L'évaluation axée sur l'application concrète

Cette approche met l'accent sur ce que les gestionnaires et les employés affectés au projet ont besoin de savoir pour prendre des décisions concernant le projet et pour améliorer son déroulement.

L'évaluation participative

Il s'agit d'une méthode qui inclut les participants à toutes les étapes de l'évaluation, de la formulation des questions d'évaluation au choix des données à colliger, à la méthode à suivre et à l'interprétation des résultats.

La méthode d'habilitation

Il s'agit d'une approche qui consiste à utiliser des concepts et des techniques d'évaluation et à se fonder sur les résultats pour aider les groupes communautaires à améliorer leurs programmes et leurs services. L'évaluateur fait fonction de coach ou d'animateur pour aider les employés et les participants au projet à mettre en place un processus d'autoévaluation et de réflexion. L'évaluation d'habilitation comporte trois étapes : a) formuler un énoncé de mission ou une vision, b) repérer et classer par ordre de priorité les principales activités faisant partie du programme et coter le rendement du programme par rapport à chacune de ces activités et c) planifier des stratégies pouratteindre les futurs objectifs d'amélioration du projet (Fetterman, 2002).

La méthode d'évaluation que vous choisirez dépendra du but de l'évaluation. Si vous souhaitez découvrir des façons d'améliorer les services que vous offrez, il est peut-être conseillé d'adopter une méthode mettant l'accent sur l'amélioration des connaissances ou l'habilitation. Si vous souhaitez convaincre des organisations externes que vous avez un impact positif sur les participants, un évaluateur externe pourra aider à assurer l'objectivité de l'évaluation.

Quand faire appel à des spécialistes de l'évaluation

Il arrive souvent que les groupes communautaires pensent qu'il est nécessaire, pour effectuer une évaluation, de faire appel à un expert de l'extérieur. Il est vrai que l'on a parfois besoin d'une aide spécialisée, mais ce n'est pas toujours nécessaire. Dans le cas des projets financés par le Fonds d'action en prévention du crime (FAPC), les évaluations sont souvent effectuées sans aide externe. Certains responsables de projets décident de conclure une entente avec un évaluateur externe pendant une courte période pour effectuer certaines activités clés. Ils peuvent, par exemple, recruter un évaluateur pour les aider à identifier ou à créer des instruments appropriés pour collecter des données, pour créer une base de données ou pour analyser des données d'évaluation.

Par contre, dans le cas des projets financés par le Fonds pour la recherche et le développement des connaissances, on fait toujours appel à des évaluateurs de l'extérieur pour qu'ils effectuent une évaluation rigoureuse et objective de l'efficacité du projet.

Cette série d'ateliers a pour but de vous aider à mieux comprendre les étapes fondamentales de l'évaluation. Nous espérons que vous considérerez l'évaluation comme une partie intégrante de la gestion de projet efficace.

Il peut évidemment arriver que vous ne possédiez pas les connaissances nécessaires ni le temps ou les ressources pour effectuer vos propres évaluations. Voici quelques situations où le recours à un évaluateur externe pourrait vous être utile :

• lorsque des statistiques complexes sont requises pour analyser les résultats de votre évaluation;
• lorsque vous avez l'intention d'utiliser une grande variété de méthodes de collecte d'information nécessitant une comparaison et une analyse détaillées;
• lorsque les données d'évaluation sont obtenues à différents moments et que vous souhaitez les analyser pour connaître la nature et les raisons des changements qui se sont produits;
• lorsque vous n'êtes pas sûr des renseignements dont vous avez besoin pour répondre à vos questions d'évaluation;
• lorsque votre évaluation nécessite la mise sur pied de groupes expérimentaux et témoins qui exigent des comparaisons statistiques à différents niveaux;
• lorsque vous souhaitez obtenir un point de vue objectif (Services de police de la ville d'Ottawa, 2001, p. 21)

Si vous décidez de faire appel à un évaluateur externe, considérez le temps que vous passerez avec l'évaluateur comme une occasion d'apprentissage. Envisagez d'ajouter au contrat de l'évaluateur une clause selon laquelle il ou elle s'engagera à vous aider à intégrer l'évaluation à vos pratiques courantes de gestion efficace de projet.

Glossaire

Analyse des données

L'analyse des données consiste à donner un sens à l'information recueillie. Dans le cas de l'analyse qualitative, il pourrait s'agir de classer l'information par thèmes qui résument ce qui a été dit. Dans le cas de l'analyse quantitative, les statistiques descriptives ou encore les tests statistiques sont utilisés pour donner un sens aux nombres. Ce genre d'analyse peut servir par exemple à déterminer la réponse moyenne, la réponse centrale se situant entre la plus élevée et la plus basse, ou encore la probabilité statistique qu'un changement dans les résultats à un test soit dû avec le temps à plus que le simple hasard. L'information relative à l'analyse des données est contenue dans le module 6 de ce manuel.

Données

Le terme « données » a le même sens qu'information et il désigne les renseignements qui sont recueillis et qui nous fournissent des connaissances ou nous aident à mieux comprendre une question particulière.

Échantillon

Un échantillon est un sous-groupe à l'intérieur d'une population plus vaste. On l'étudie pour obtenir de l'information au sujet d'une population entière.

Échantillon aléatoire

Un échantillon aléatoire est constitué de personnes qui ont des chances égales d'être sélectionnées dans une population plus vaste. Le choix des personnes dans cette population plus vaste en vue de faire partie de l'échantillon relève entièrement du hasard.

Évaluation de l'évaluabilité

Une évaluation de l'évaluabilité est une façon d'évaluer si un projet est prêt à subir une évaluation officielle. Une telle évaluation peut proposer les approches ou les méthodes d'évaluation qui conviennent le mieux au projet.

Évaluation des besoins

Une évaluation des besoins permet de réunir et d'analyser de l'information concernant les besoins de collectivités ou de groupes, de façon générale ou dans le contexte d'enjeux particuliers.

Évaluation des ressources

Une évaluation des ressources consiste à analyser les ressources et les habiletés existantes dans une collectivité où le projet vise à s'implanter.

Évaluation du processus

Une évaluation des processus consiste à étudier l'élaboration du projet et les activités qui y sont associées pour déterminer si le projet se déroule de la façon prévue et pour relever les aspects de l'administration et de la mise en œuvre qui pourraient être améliorés.

Évaluation des résultats

Une évaluation des résultats analyse les résultats à court et à long terme qui découlent de la participation à un projet ou un programme.

Évaluation formative

Une évaluation formative sert à évaluer le concept, le plan et le fonctionnement d'un programme. Elle indique si le projet est mis en œuvre de la façon prévue et si des problèmes sont survenus durant cette mise en œuvre.

Évaluation sommative

Une évaluation sommative examine l'efficacité et l'incidence globales d'un projet ainsi que sa qualité. Elle répond en outre à la question de savoir s'il peut être maintenu, compte tenu de son coût.

Groupe expérimental

Un groupe expérimental est un groupe de personnes qui participent à une intervention (ou à un programme). Les résultats obtenus pour ce groupe expérimental peuvent être comparés à ceux d'un groupe témoin qui n'a pas fait l'objet de l'intervention. Le groupe témoin devrait avoir des caractéristiques similaires à celles du groupe expérimental, sauf que les personnes qui en font partie ne bénéficient pas de l'intervention à l'étude. On mesure ensuite les écarts dans les résultats obtenus auprès des deux groupes.

Groupe témoin (ou contrôle)

Dans le domaine de la recherche sociale, on parle d'un groupe témoin par opposition à un groupe contrôle, un terme utilisé plus souvent en recherche expérimentale. Un groupe témoin est un groupe de participants qui ont des caractéristiques similaires à celles des participants au programme ou au projet évalué, mais qui ne bénéficient pas des activités du projet.

Modèle logique

Un modèle logique sert à décrire un projet ou un programme. Il s'agit d'un outil qui aide à planifier et à évaluer le projet. Un modèle logique décrit les ressources et les activités qui contribuent à un projet et les liens logiques qui relient les activités du projet aux résultats prévus.Les modèles logiques sont souvent représentés par un diagramme qui inclut les intrants, les activités, les extrants et les résultats du projet.

Prétest et post-test

Un même instrument est administré avant et après une intervention ou un programme.

Références

Einspruch, E.L., & Deck, D.D. (1999, novembre). Outcomes of peer support groups. Téléchargé le 16 mars 2004 du site
http://www.rmccorp.com/Project/PIeval/Peer.pdf

Fetterman, D. (2002). Collaborative, participatory, and empowerment evaluation, 2002. Téléchargé le 16 mars 2004 du site
http://www.stanford.edu/~davidf/empowermentevaluation.html

Schweinhart, L.J. (2002, juin). How the High/Scope Perry Preschool study grew: A researcher's tale. Phi Delta Kappa Center for Evaluation, Development, and Research, Research Bulletin N^o 32. Téléchargé le 16 mars 2004 du site
http://www.highscope.org

Services de police de la ville d'Ottawa. (2001, août). Vous pouvez y arriver : Une trousse d'outils pratiques pour l'évaluation des programmes d'intervention policière et de prévention de la criminalité dans la collectivité. Téléchargé le 16 mars 2004 du site
http://dsp-psd.communication.gc.ca/Collection/J2180-2001F.pdf

Ressources suggérées

Sites Web

Bureau of Justice Assistance Evaluation
Evaluation Strategies for Human Services Programs
http://www.bja.evaluationwebsite.org/html/documents/evaluation_strat

Ce site Web fournit une « carte routière » qui répond aux questions suivantes : Qu'est-ce que l'évaluation? Pourquoi effectuons-nous une évaluation? Quels types de programmes sont évalués? Quand évaluons-nous?

Centre for Substance Abuse Prevention
Prevention Pathways
http://pathwayscourses.samhsa.gov/samhsa_pathways/courses/index.htm

Ce site Web offre des didacticiels tutoriels sur différents sujets d'évaluation. Le cours « Evaluation for the Unevaluated 101 » est un excellent cours d'introduction à l'évaluation qui en décrit les principaux éléments et explique pourquoi l'évaluation est importante.

United Way of America
Outcome Measurement Resource Network
http://www.unitedway.com

Ce site Web est un point de départ pour apprendre les rudiments de la mesure des résultats. Il inclut une introduction à la mesure des résultats et explique pourquoi ce genre d'évaluation est important.

Guides et manuels

Annie E. Casey Foundation
When and How to use External Evaluators
http://www.aecf.org/publications/data/using_external_evaluators.pdf

Cette publication décrit les différentes questions liées au recrutement d'un évaluateur externe. Elle inclut un certain nombre de questions à poser durant l'entrevue avec des évaluateurs externes ainsi que des suggestions concernant la gestion des contrats d'évaluation.

Santé Canada
Guide d'évaluation de projet : Une démarche participative
http://www.phac-aspc.gc.ca/ph-sp/ddsp/ressources/guide/presentation.htm

Les deux premiers chapitres de ce guide présentent une introduction de base à l'évaluation. Dans le reste du guide, on trouve des conseils utiles concernant la collecte, l'analyse et la présentation des données.

U.S. Department of Health and Human Services - Administration for Children and Families
The Program Manager's Guide to Evaluation
http://www.acf.hhs.gov/programs/opre/other_resrch/pm_guide_eval/reports/pmguide/pmguide_toc.html

Ce guide s'adressant aux gestionnaires de programmes comporte neuf chapitres qui décrivent le but de l'évaluation et ses principaux éléments. Le guide comprend en plus une description des pratiques de recrutement et de gestion des évaluateurs externes.

W.K. Kellogg Foundation
Evaluation Handbook
http://www.wkkf.org/Pubs/Tools/Evaluation/Pub770.pdf

Ce guide présente l'évaluation comme un outil pratique et utile et aide l'utilisateur à dresser un plan d'évaluation.

Traités

Research Methods Knowledge Base
Introduction to Evaluation
http://www.socialresearchmethods.net/

Ce traité en ligne initie l'utilisateur à l'évaluation et renferme des définitions de base, des objectifs, des méthodes et des descriptions du processus d'évaluation globale. Il inclut des réponses à des questions fréquemment posées au sujet de l'évaluation.

Bulletins

Centre for Community Enterprise
Making Waves, "The 'Who' Of Evaluation", vol. 11, n^o 2.
http://www.cedworks.com/waves03.html

Cet article porte sur les questions qui entourent le recours à un évaluateur de l'extérieur et recommande que l'on combine de l'expertise interne et de l'expertise externe.

Module 1 - Feuilles de travail

Feuille de travail 1 Que de lettres! Combien de termes ayant trait à l'évaluation réussirez-vous à trouver?

Feuille de travail 2

Pourquoi devrions-nous nous en préoccuper?

Pourquoi devrions-nous nous préoccuper de la prévention du crime dans votre collectivité?

Module 2 : Préparation du terrain - Élaboration d'un modèle logique

Les objectifs d'apprentissage

• Apprendre à concevoir de bons projets
• Apprendre à concevoir des projets qui peuvent être soumis à une évaluation
• Apprendre à formuler pour le projet des objectifs ou des résultats pertinents
• Comprendre les éléments d'un modèle logique
• Apprendre à élaborer un modèle logique

Étape 1 : Définir les objectifs ou résultats du projet et les destinataires

Un bon plan de projet précise clairement vos objectifs ou résultats et la population qu'il est censé servir. C'est une façon de montrer aux autres l'orientation que vous avez choisie. (Nous utilisons les termes « objectifs » et « résultats » de façon interchangeable, comme on le fait dans les outils de planification mentionnés dans le guide de présentation d'une demande au Fonds d'action en prévention du crime.)

La définition des objectifs ou résultats prévus représente la première étape de l'élaboration d'un modèle logique sur lequel reposera votre projet.

Le deuxième module de formation vous enseigne comment préparer un plan de projet qui constitue aussi le premier élément du plan d'évaluation. Ces deux composantes vont de pair. Dans le prochain module de formation, nous vous expliquerons comment préparer le reste du plan d'évaluation.

Votre connaissance des besoins et des ressources de la collectivité vous aidera à définir les objectifs de votre projet et le public auquel il s'adresse. Il est préférable d'utiliser une approche objective pour évaluer les besoins et les ressources de la collectivité. Vous connaissez peut-être déjà l'évaluation des besoins et l'évaluation des ressources. Il s'agit d'outils de recherche et de gestion de projet qui peuvent vous aider à planifier votre projet. Vous trouverez, à la fin de ce chapitre, quelques ressources portant sur l'évaluation des besoins.

Si vous représentez un organisme ou un service chargé de la planification d'un projet, assurez-vous d'inclure, au moment de l'étape de planification du projet, des membres de la collectivité auxquels s'adresse votre projet. Vous devrez répondre aux questions suivantes :

• Quels sont leurs objectifs en matière de prévention du crime?
• Quels changements aimeraient-ils apporter?
• À qui, selon eux, le projet devrait-il s'adresser?

En permettant aux organismes de services sociaux et aux membres de la collectivité de partager leurs perspectives uniques, vous augmenterez vos chances de mettre sur pied un projet équilibré.

Lorsque vous réunirez tous les intéressés, nous vous recommandons de leur donner des conseils sur la façon de formuler des objectifs de projet pertinents. Vous en trouverez quelques exemples ci-dessous.

Conseils pratiques sur la façon de définir des objectifs de projet pertinents

• Utiliser des verbes d'action comme augmenter, réduire, améliorer
• Éviter des verbes comme fournir, développer, créer

En affirmant qu'un projet vise à « fournir des possibilités de loisirs », on ne précise pas quel est l'objectif de ces activités de loisirs ni les changements qu'elles sont censées apporter. On met sur pied des programmes pour apporter des changements. On ne les crée pas dans l'unique but de fournir des produits ou des services.

En précisant que ces possibilités de loisirs renforceront le travail en équipe et les compétences de leadership ou qu'elles réduiront le vandalisme après les heures d'école, on formule des objectifs conformes à la règle SMART (au sens anglais du terme - intelligent).

La règle SMART

Spécifique

L'objectif/résultat est-il spécifique? Est-il clair? Si vous voulez renforcer la sécurité communautaire, il faut préciser les changements précis que vous voulez apporter pour y arriver. Mentionnez le groupe particulier que vous ciblez, les personnes âgées, les enfants ou les jeunes par exemple, et les problèmes particuliers à l'égard desquels vous souhaitez opérer un changement. Voici quelques exemples d'objectifs reliés à la sécurité communautaire :

• Augmenter le nombre de « déplacements en groupe surveillés » pour les enfants qui font le trajet à pied entre leur domicile et l'école primaire.
• Augmenter le nombre des programmes après l'école pour les enfants « à clé », c'est-à-dire dont les parents sont absents quand les enfants rentrent chez eux.
• Accroître la participation des jeunes à des activités de loisirs organisées dans les régions rurales.

Mesurable

Pouvez-vous mesurer ou constater le changement? Pouvez-vous répondre à la question de savoir si vous avez réalisé ou non votre objectif? À titre d'exemple, comment mesureriez-vous l'« amélioration des partenariats »? Envisagez de reformuler cet objectif afin de préciser quels changements surviendront. Voici quelques exemples d'objectifs plus faciles à mesurer :

• Accroître les occasions de partager des ressources;
• Réduire le chevauchement des services;
• Améliorer la connaissance des ressources communautaires en prévention du crime.

Atteignable

Le projet vous permettra-t-il d'obtenir les résultats prévus au départ? Il se peut qu'il ne soit pas réaliste d'établir comme objectif ou résultat la « réduction de la criminalité », si les activités liées au projet mettent l'accent sur une coordination accrue des services ou sur la sensibilisation à une question particulière.

Réaliste

L'objectif a-t-il une signification pour les personnes qui participent au projet? Soyez réaliste quant à vos capacités, tout en gardant à l'esprit les ressources dont vous disposez.

dans le Temps

Ne fixez pas des objectifs à long terme pour un projet à court terme. Concentrez-vous sur quelque chose qui peut être réalisé pendant la durée du projet.

Les objectifs ou résultats : La direction des changements

Voici quelques exemples de verbes que les objectifs ou résultats devraient inclure. Il s'agit de mots d'action qui montrent la direction du changement - c'est-à-dire si quelque chose diminuera ou augmentera.

• Affaiblir
• Améliorer
• Atténuer
• Augmenter
• Baisser
• Diminuer
• Écourter
• Élargir
• Étendre
• Hausser
• Lever
• Prévenir
• Prolonger
• Réduire
• Renforcer

Et puis? Composantes, intrants, activités et extrants du projet

Maintenant que vous avez terminé l'étape 1, vous pouvez inscrire les étapes suivantes qui mèneront à la réalisation de votre plan de projet. Les prochaines étapes sont celles qui se situent entre l'identification du groupe prioritaire et les résultats finaux. Elles vous montrent comment vous atteindrez les objectifs que vous avez fixés. L'ensemble des étapes forme les composantes clés du modèle logique de votre projet. Chaque étape mène naturellement à la suivante. Bien que les résultats se trouvent à la toute fin du modèle logique, ils sont précisés dès le début afin que l'on voie l'orientation de votre projet.

Faire des ronds dans l'eau

Jetez un coup d'œil à l'image au début du document :
http://www.ucgf.ca/English/Downloads/RBMSept2003.pdf (PLAN:NET Ltd., 2003).

Il s'agit d'une excellente métaphore pour vous aider à vous rappeler des éléments clés d'un modèle logique et de la manière dont ils s'imbriquent.

Dans l'illustration, on voit une personne qui se trouve debout à côté d'un étang et qui tient une pierre à la main. Lorsqu'elle laisse tomber la pierre dans l'eau, cela crée un éclaboussement puis une série d'ondulations ou de cercles concentriques. Si nous comparons cette image aux étapes à franchir dans l'élaboration d'un plan de projet ou d'un modèle logique :

• La pierre qui tombe dans l'étang représente l'intrant.
• L'éclaboussement représente l'extrant.
• À mesure que les cercles concentriques s'étendent, ils deviennent des résultats à court terme, puis des résultats à moyen terme et finalement des résultats à long terme.

Le contrôle diminue à mesure que les cercles concentriques s'éloignent, tout comme c'est le cas lorsque les résultats deviennent à plus long terme. Il est plus que probable que des influences autres que le projet se fassent sentir à mesure que le temps passe. Nous pouvons contribuer aux résultats à plus long terme, mais il est rare que nous puissions les contrôler.

Qu'est-ce qu'un modèle logique?

Un modèle logique est une manière de décrire un projet. Il décrit ce qui est inclus dans notre projet et ce qui en émane. Il répond à des questions dans cinq domaines :

• Les intrants - Quelles sont les ressources dont vous avez besoin pour faire fonctionner votre projet (p. ex. équipement, matériel, fonds pour le transport, ressources humaines)?
• Les activités - Quelles sont les activités accomplies dans le cadre du projet?
• Les extrants - Quel genre et combien de produits ou de services découlent de ces activités (p. ex. le nombre de participants, le nombre de séances ou d'ateliers, le nombre de documents promotionnels distribués)?
• Les résultats - Dans quelle mesure les activités ont elles été bien menées et ont-elles fourni les résultats escomptés? Les résultats se produisent à court, à moyen et à long terme. Les résultats à long terme sont parfois appelés des « effets ».
• L'effet (ou résultat à long terme) - Le projet a-t-il eu un effet et dans l'affirmative, était-il positif, négatif ou entre les deux? Il s'agit là des changements « globaux » que le projet vise à apporter; ils correspondent à l'énoncé original des objectifs du projet.

Voici certains exemples de résultats :

À court terme

• Augmentation du nombre d'activités après l'école
• Meilleure coordination des services pour les jeunes
• Plus grande participation des jeunes à des activités de planification

À moyen term

• Meilleur accès à des activités de loisirs
• Amélioration des compétences de leadership
• Participation accrue à des événements communautaires

À long terme (effet)

• Augmentation de l'intensité du sentiment d'appartenance communautaire
• Réduction du vandalisme et des infractions

Pourquoi élaborer un modèle logique?

• La planification du projet - Les modèles logiques constituent un outil utile pour formuler une vision et établir des priorités. C'est une bonne façon d'amener le personnel, les gestionnaires et les partenaires d'un projet à décider ensemble ce qu'ils espèrent accomplir et des activités qu'ils entreprendront.
• Le suivi et l'évaluation - Les modèles logiques aident les évaluateurs à déterminer l'évaluabilité d'un projet (la mesure dans laquelle les activités du projet sont reliées logiquement aux objectifs originaux, la solidité de la logique qui sous-tend le projet et la mesure dans laquelle les résultats escomptés sont réalistes et mesurables). Le modèle logique fournit un point de départ pour la création de mesures du rendement du projet et le suivi continu.
• La communication et la promotion - Les modèles logiques fournissent une image simple de ce que les programmes font et de ce qu'ils sont censés accomplir. Grâce à eux, tous les intervenants transmettent le même message lorsqu'ils décrivent le projet et sa raison d'être à des cadres supérieurs, aux organismes qui réfèrent des personnes au projet, aux participants et aux médias.
• L'orientation et la formation - Les modèles logiques donnent aux nouveaux employés ou bénévoles une vue d'ensemble du projet.
• Les demandes de subvention - Les modèles logiques représentent d'excellents outils pour décrire des programmes à des bailleurs de fonds potentiels. Leur inclusion dans une demande de subvention montre aux bailleurs de fonds que l'on a amorcé la création d'une structure de responsabilisation pour le projet.

Parce qu'une variété de facteurs transformeront probablement votre projet, vous devriez réviser régulièrement votre modèle logique afin de vous assurer qu'il correspond toujours aux objectifs, aux activités et aux résultats escomptés de votre projet.

Éléments du projet

Le modèle logique

Le modèle logique de la page précédente n'est qu'un exemple de modèle logique. Ces modèles peuvent se présenter sous la forme d'un diagramme, comme on peut le voir dans la Feuille de travail n^o 3, ou d'un organigramme, comme c'est le cas dans l'exemple de page précédente.

L'organigramme aide à montrer comment les différents éléments du modèle logique sont reliés entre eux. Ces liens constituent un aspect important du modèle logique. Ils montrent la logique entre les différents éléments du projet. Vous devriez pouvoir expliquer pourquoi chaque activité que vous planifiez aboutira vraisemblablement à un résultat ou à plusieurs résultats précis. Si une combinaison d'activités aboutit à un résultat précis, les lignes dans l'organigramme devraient refléter cette logique.

La liste de contrôle qui suit peut vous aider à évaluer vos activités d'élaboration d'un modèle logique.

La liste de contrôle d'un modèle logique

• Les résultats correspondent-ils à des changements, des avantages, des retombées ou des effets de votre projet?
• Les résultats incluent-ils des verbes d'action et témoignent-ils de la direction du changement?
• Chacun des résultats à long terme est-il relié à des résultats à court ou à moyen terme qui le précèdent?
• Les résultats à court terme et à moyen terme relèvent-ils du contrôle du projet et respectent-ils l'échéancier habituel de l'évaluation?
• Est-il raisonnable de s'attendre à ce que ces résultats à moyen terme aboutissent aux résultats à long terme précisés, si l'on se fonde sur l'expérience ou sur les recherches antérieures (données probantes)?
• Y a-t-il au moins une activité qui correspond tout particulièrement à chacun des résultats à court terme?
• Est-il réaliste de s'attendre à atteindre les résultats indiqués au moyen des activités proposées? Y aurait-il lieu d'ajouter d'autres activités? Devrait-on changer l'intensité, la durée ou la nature des activités? Ou devrait-on repenser les résultats?
• Toutes les activités prévues dans le programme sont-elles nécessaires? Par exemple, y a-t-il des activités qui ne mènent pas à des résultats? Y a-t-il certains résultats pour lesquels il y a trop d'activités?

Glossaire

Évaluation de l'évaluabilité

Une évaluation de l'évaluabilité est une façon d'évaluer si un projet est prêt à subir une évaluation officielle. Une telle évaluation peut suggérer les approches ou les méthodes d'évaluation qui conviennent le mieux au projet.

Évaluation des besoins

Une évaluation des besoins permet de réunir et d'analyser de l'information concernant les besoins de collectivités ou de groupes, de façon générale ou dans le contexte de questions spécifiques.

Évaluation des ressources

Une évaluation des ressources permet de réunir et d'analyser de l'information à propos des ressources que l'on trouve dans une collectivité ou un groupe particulier. Les ressources peuvent inclure des personnes ou des choses qui peuvent apporter un soutien à la collectivité qui est évaluée (p. ex., ressources financières, compétences et aptitudes des membres de la collectivité, espace dans la collectivité, programmes ou activités communautaires).

Extrant

Par extrant, on entend les résultats concrets qu'est censée fournir la réalisation d'un projet ou d'une activité. On pense par exemple au nombre de dépliants ou de documents distribués, au nombre de personnes référées à un programme ou d'ateliers offerts ou au nombre de participants qui ont bénéficié de certaines activités ou de certains services.

Intrant

Les intrants sont les ressources investies dans la mise en œuvre d'un programme ou d'un projet. On pense par exemple à des fonds, à des ressources humaines (rémunérées et bénévoles), à de l'équipement ou à des services. Les intrants peuvent être financés à partir d'un budget établi pour le projet ou être fournis en nature par des partenaires au projet ou par des bénévoles.

Modèle logique

Un modèle logique sert à décrire un projet ou un programme. Il s'agit d'un outil qui aide à planifier et à évaluer le projet. Un tel modèle décrit les ressources et les activités qui contribuent à un projet et les liens logiques qui relient les activités aux résultats escomptés du projet. Les modèles logiques sont souvent représentés par un diagramme qui inclut les intrants, les activités, les extrants et les résultats du projet.

Références

PLAN:NET Ltd. (2003, septembre). Splash and ripple: Planning and managing for results. Téléchargé le 18 mars 2004 du site
http://www.ucgf.ca/English/Downloads/RBMSept2003.pdf

Ressources suggérées

Sites Web

Canadian Outcomes Research Institute
http://hmrp.net/canadianoutcomesinstitute/

Sur ce site Web, on trouve des documents généraux sur la mesure des résultats et une variété de documents portant sur les modèles logiques.

Innovation Network Online
http://www.innonet.org/

On peut s'inscrire gratuitement à ce réseau. Il fournit des guides généraux dans le domaine de l'évaluation et un éventail de ressources ayant trait aux modèles logiques. Innovation Network Online offre également un Logic Model Builder, un outil interactif qui aide l'utilisateur à créer un modèle logique.

University of Wisconsin
Program Development and Evaluation
http://www.uwex.edu/ces/pdande/evaluation/evallogicmodel.html

Ce site Web renferme des ressources, des feuilles de travail et des exemples de modèles logiques pour les programmes.

W.K. Kellogg Foundation
Trousse d'outils d'évaluation
http://www.wkkf.org/Programming/Resources.aspx?CID=281

Ce site Web propose des ressources pour la création de modèles logiques et des ressources générales facilitant l'évaluation des programmes.

Manuels et guides

Innovation Network Online
Logic Model Workbook
http://www.innonetdev.org/

On peut se procurer ce cahier de travail chez Innovation Network Online. Il fournit un processus très détaillé pour la création d'un modèle logique. Les aspects décrits dans le cahier de travail incluent les objectifs, les ressources, les activités, les extrants et les résultats. On fournit aussi des ressources additionnelles facilitant l'établissement de modèles logiques.

Western Centre for Substance Abuse and Prevention
Building a Successful Prevention Program
http://casat.unr.edu/westcapt/bestpractices/eval.htm

Ce guide complet illustre la façon d'évaluer les programmes en utilisant un modèle logique. Les sujets abordés incluent la façon de planifier une évaluation, de bâtir un modèle logique et d'effectuer une évaluation à l'aide d'un modèle logique.

W.K. Kellogg Foundation
Logic Model Development Guide
http://www.wkkf.org/Pubs/Tools/Evaluation/Pub3669.pdf

Il s'agit d'un guide complet qui vous permet de bâtir votre propre modèle logique et qui inclut des exemples et des feuilles de travail.

Module 2 - Feuilles de travail

Feuille de travail 1 Étape 1 : Élaboration d'un plan de projet/d'évaluation

Titre du Projet de prévention du crime :

Groupe prioritaire :

Objectifs/Résultats du projet :

Feuille de travail 2 Quelles lacunes ces résultats présentent-ils?

1. Examinez les exemples de résultats proposés.
2. Énumérez les lacunes que présentent ces résultats.
3. Reformulez les résultats pour éliminer les lacunes que vous avez repérées.

Feuille de travail 3 Intrants

Feuille de travail 4a Étude de cas : Enseigner à des jeunes comment réagir aux relations de violence

• Le problème : Violence perpétrée par des hommes contre des femmes dans une collectivité rurale isolée
• Les partenaires : Les Grands Frères, les enseignants des écoles secondaires, les écoles locales, un club philanthropique, deux entreprises locales
• Les objectifs :
  • Réduire l'incidence de relations de violence chez les jeunes
  • Augmenter la capacité des élèves du secondaire I au secondaire III de reconnaître les signes avant-coureurs de la violence dans les relations intimes
  • Améliorer la capacité des élèves de résoudre les problèmes avant qu'ils ne mènent à la violence
• Les ressources : deux employés affectés gratuitement au projet par l'organisation des Grands Frères; des locaux et de l'équipement fournis par des écoles locales, des subventions du club philanthropique et six animateurs bénévoles
• Le plan de travail :
  • Deux intervenants collaboreront avec les enseignants afin de produire les documents destinés à des ateliers sur les relations saines qui se tiendront pendant 12 semaines et qui seront offerts aux filles du secondaire I au secondaire III
  • Deux intervenants collaboreront avec des enseignants pour mettre sur pied un projet d'une durée de six semaines destinés aux garçons du secondaire I au secondaire III
  • Un intervenant formera trois animateurs qui offriront le programme de 12 semaines aux filles
  • Un intervenant formera trois animateurs qui offriront le programme de mentorat aux garçons
  • Trois animateurs offriront le programme de 12 semaines aux filles
  • Trois animateurs offriront le programme de mentorat aux garçons

Étape 1 : Les objectifs et les priorités

Les objectifs

• Réduire l'incidence des relations empreintes de violence chez les jeunes
• Augmenter la capacité des élèves du secondaire I au secondaire III de reconnaître les signes avant-coureurs de la violence dans les relations intimes
• Améliorer la capacité des élèves de résoudre les problèmes avant qu'ils ne mènent à la violence

Les groupes prioritaires

• Les garçons du secondaire I au secondaire III
• Les filles du secondaire I au secondaire III

Les objectifs énumérés ci-dessus ont été établis pour le projet à l'étape de la planification. La prochaine étape consiste à créer un modèle logique pour le projet. Au cours de la création du modèle, vous arriverez peut-être à formuler des résultats plus précis que les objectifs énumérés ci-dessus.

La liste de contrôle du modèle logique

• Les résultats correspondent-ils à des changements, des avantages, des résultats ou des effets de votre projet?
• Les résultats incluent-ils des verbes puissants et montrent-ils la direction du changement?
• Chacun des résultats à long terme est-il relié à des résultats à court ou à moyen terme qui les précèdent?
• Les résultats à court terme et à moyen terme relèvent-ils du contrôle du projet et respectent-ils l'échéancier habituel de l'évaluation?
• Est-il raisonnable de s'attendre à ce que ces résultats à moyen terme aboutissent aux résultats à long terme précisés, si l'on se fonde sur l'expérience ou les recherches antérieures (données probantes)?
• Y a-t-il au moins une activité qui correspond tout particulièrement à chacun des résultats à court terme?
• Est-il réaliste de s'attendre à obtenir les résultats indiqués au moyen des activités proposées? Y aurait-il lieu d'ajouter d'autres activités? Devrait-on changer l'intensité, la durée ou la nature des activités? Ou devrait-on repenser les résultats?
• Toutes les activités prévues dans le programme sontelles nécessaires? Par exemple, y a-t-il des activités qui ne mènent pas à des résultats? Y a-t-il certains résultats pour lesquels il y a trop d'activités?

Feuille de travail 4 b Étude de cas : Projet de développement pour jeunes autochtones à risque

• Le problème : Les jeunes autochtones vivant en milieu urbain se sentent déconnectés de leur culture et de leur infrastructure scolaire. Ils sont à risque de s'engager dans des activités de gang néfastes.
• Les partenaires : Centre d'amitié autochtone, YMCA, camps d'été, aînés de la communauté autochtone
• Les objectifs :
  • Favoriser la fierté et le respect de la culture traditionnelle chez les jeunes autochtones vivant en milieu urbain
  • Augmenter le sentiment d'appartenance à la grande communauté autochtone
  • Favoriser le développement de moyens sains pour exprimer des sentiments d'agressivité et d'aliénation Réduire chez les jeunes autochtones vivant en milieu urbain l'adhésion à des gangs
• Les ressources : Quatre personnes engagées pour l'été au Centre d'amitié autochtone grâce au financement du Centre national de prévention du crime, la participation d'un superviseur de ce centre, un local communautaire au YMCA, une période de huit semaines à un camp de vacances, le soutien de deux aînés autochtones, l'utilisation de deux autobus scolaires, quatre parents bénévoles, une subvention de $7500 pour couvrir les fournitures nécessaires au programme et l'utilisation des autobus.
• Le plan de travail :
  • Deux employés d'été d'expérience embauchés pour 14 semaines recruteront les jeunes et ils seront chargés du développement et de l'animation des activités pour les deux volets du programme. Le programme comprendra deux groupes participant en alternance à des activités urbaines d'une durée de quatre semaines et à un camp d'été d'une durée de quatre semaines.
  • Deux assistants seront engagés pour 11 semaines en vue d'aider les personnes d'expérience dans la préparation, l'animation et le suivi des activités.
  • Les activités urbaines comprendront l'enseignement de la culture autochtone, l'exploration de l'art et du théâtre, le basketball et d'autres activités sportives au YMCA, des groupes de discussion avec les aînés et un projet commun planifié avec les jeunes qui sera couronné par un projet communautaire tel une murale, une pièce de théâtre ou une randonnée dans la nature destinée aux membres de la communauté et dirigé par les jeunes.
  • Les activités du camp seront similaires à celles offertes en milieu urbain. Celles-ci devront cependant mettre l'accent sur la culture traditionnelle et les aptitudes à la vie quotidienne, les groupes de discussion et les activités sportives extérieures.
  • Une personne d'expérience et un assistant animeront les 12 à 15 jeunes à risque dans le programme de quatre semaines en milieu urbain avec l'aide d'un aîné et de deux parents bénévoles. Une équipe équivalente animera le groupe du camp d'été. Les deux groupes changeront de programme à la fin des quatre semaines.

Étape 1: Objectifs et groupe prioritaire

Objectifs

• Favoriser la fierté et le respect de la culture traditionnelle chez les jeunes autochtones vivant en milieu urbain
• Augmenter le sentiment d'appartenance à la grande communauté autochtone
• Favoriser le développement de moyens sains pour exprimer des sentiments d'agressivité et d'aliénation
• Réduire chez les jeunes autochtones vivant en milieu urbain l'adhésion à des gangs

Groupe prioritaire

• Des jeunes autochtones à risque âgés de 14 à 17 ans vivant en milieu urbain

Les objectifs énumérés ci-dessus ont été établis pour le projet à l'étape de la planification. La prochaine étape consiste à créer un modèle logique pour le projet. Au cours de la création du modèle, vous arriverez peut-être à formuler des résultats plus précis que les objectifs énumérés ci-dessus.

La liste de contrôle du modèle logique

• Les résultats correspondent-ils à des changements, des avantages, des résultats ou des effets de votre projet?
• Les résultats incluent-ils des verbes puissants et montrent-ils la direction du changement?
• Chacun des résultats à long terme est-il relié à des résultats à court ou à moyen terme qui les précèdent?
• Les résultats à court terme et à moyen terme relèvent-ils du contrôle du projet et respectent-ils l'échéancier habituel de l'évaluation?
• Est-il raisonnable de s'attendre à ce que ces résultats à moyen terme aboutissent aux résultats à long terme précisés, si l'on se fonde sur l'expérience ou les recherches antérieures (données probantes)?
• Y a-t-il au moins une activité qui correspond tout particulièrement à chacun des résultats à court terme?
• Est-il réaliste de s'attendre à obtenir les résultats indiqués au moyen des activités proposées? Y aurait-il lieu d'ajouter d'autres activités? Devrait-on changer l'intensité, la durée ou la nature des activités? Ou devrait-on repenser les résultats?
• Toutes les activités prévues dans le programme sontelles nécessaires? Par exemple, y a-t-il des activités qui ne mènent pas à des résultats? Y a-t-il certains résultats pour lesquels il y a trop d'activités?

Feuille de travail 4 c Étude de cas : Constitution d'un réseau et de partenariats

• Le problème : L'absence d'infrastructure et de moyens ciblés pour travailler sur les causes profondes de la criminalité dans une communauté de taille moyenne.
• Les partenaires : La commission scolaire, quatre centres communautaires, trois églises locales, les citoyens, un organisme de jeunes, la police, un centre d'aide à l'emploi, la direction du centre commercial.
• Les objectifs :
  • Augmenter la création de grands partenariats communautaires s'intéressant aux enjeux de prévention du crime.
  • Accroître la sensibilisation des organismes communautaires et des ONG aux causes profondes de la criminalité
  • Augmenter les connaissances des organismes communautaires et des ONG en ce qui concerne les moyens de faire échec aux causes profondes de la criminalité et demander leur soutien.
  • Améliorer la coordination et la capacité communautaire en prévention du crime
• Les ressources : Un coordonnateur à temps partiel, des représentants des organismes partenaires, dix membres engagés de la communauté, un don de $1000 de la direction du centre commercial, l'utilisation d'un local et de l'équipement du centre communautaire.
• Le plan de travail :
  • Les principaux partenaires formeront un comité directeur.
  • Les membres du comité et le coordonnateur recruteront d'autres membres qui possèdent des habiletés de leadership.
  • Trois sous-comités seront constitués : un sous-comité de sensibilisation du public, un sous-comité de développement professionnel et un sous-comité de levée de fonds.
  • Le comité directeur organisera une journée de planification de la prévention du crime engageant la participation des comités et réseaux communautaires existants dont l'objectif sera d'identifier des programmes prometteurs qui pourront être implantés dans la communauté.
  • Le sous-comité de sensibilisation du public organisera et mettra en oeuvre une vaste campagne de sensibilisation du public durant la première année.
  • Le sous-comité de développement professionnel créera et proposera aux membres des organisations des activités de formation professionnelle portant sur les moyens de réduire les causes profondes du crime.
  • Le sous-comité de levée de fonds établira des contacts avec les fondations locales et préparera des demandes de financement d'activités répertoriées lors de la journée de planification.

Étape 1: Objectifs et groupes prioritaires

Objectifs

• Augmenter la création de grands partenariats communautaires s'intéressant aux enjeux de prévention du crime.
• Accroître la sensibilisation des organismes communautaires et des ONG aux causes profondes de la criminalité
• Augmenter les connaissances des organismes communautaires et des ONG en ce qui concerne 61 les moyens de faire échec aux causes profondes de la criminalité et demander leur soutien.
• Améliorer le réseautage et les partenariats chez les membres.

Groupe prioritaire

• La communauté au sens large
• ONG/églises/commerces

Les objectifs énumérés ci-dessus ont été établis pour le projet à l'étape de la planification. La prochaine étape consiste à créer un modèle logique pour le projet. Au cours de la création du modèle, vous arriverez peut-être à formuler des résultats plus précis que les objectifs énumérés ci-dessus.

La liste de contrôle du modèle logique

• Les résultats correspondent-ils à des changements, des avantages, des résultats ou des effets de votre projet?
• Les résultats incluent-ils des verbes puissants et montrent-ils la direction du changement?
• Chacun des résultats à long terme est-il relié à des résultats à court ou à moyen terme qui les précèdent?
• Les résultats à court terme et à moyen terme relèvent-ils du contrôle du projet et respectent-ils l'échéancier habituel de l'évaluation?
• Est-il raisonnable de s'attendre à ce que ces résultats à moyen terme aboutissent aux résultats à long terme précisés, si l'on se fonde sur l'expérience ou les recherches antérieures (données probantes)?
• Y a-t-il au moins une activité qui correspond tout particulièrement à chacun des résultats à court terme?
• Est-il réaliste de s'attendre à obtenir les résultats indiqués au moyen des activités proposées? Y aurait-il lieu d'ajouter d'autres activités? Devrait-on changer 62 l'intensité, la durée ou la nature des activités? Ou devrait-on repenser les résultats?
• Toutes les activités prévues dans le programme sontelles nécessaires? Par exemple, y a-t-il des activités qui ne mènent pas à des résultats? Y a-t-il certains résultats pour lesquels il y a trop d'activités?

Module 3 : Élaboration d'un plan d'évaluation

Les objectifs d'apprentissage

Apprendre à élaborer un plan d'évaluation, notamment :

• Définir les questions d'évaluation Choisir les indicateurs
• Choisir les méthodes de collecte des données
• Établir des stratégies d'échantillonnage
• Effectuer une analyse des données
• Présenter les résultats

Qu'avons-nous appris jusqu'ici?

• Nous connaissons les objectifs et le groupe prioritaire que le projet désire atteindre.
• Nous avons défini les liens entre les buts du projet et les intrants, les activités, les extrants et les résultats.
• Nous comprenons les hypothèses avancées en relation avec ces liens ou relations.

Rappelez-vous le Module 2 dans lequel les relations entre les objectifs du projet et les intrants, les activités, les extrants et les résultats sont illustrés dans le modèle logique au moyen de lignes qui montrent les relations entre les divers éléments. Les hypothèses sur lesquelles reposent ces relations ne sont pas représentées dans le modèle, mais il serait utile de les décrire dans le plan d'évaluation. Pour chaque résultat défini, il faudrait fournir une justification expliquant pourquoi l'activité aboutira probablement à ce résultat particulier.

Dans le cadre des évaluations des projets financés par le Fonds pour la recherche et le développement des connaissances, on formule une théorie du changement qui consiste à vérifier les hypothèses avancées dans le modèle logique en les comparant aux connaissances décrites dans les ouvrages spécialisés.

Si vous souhaitez en apprendre davantage sur la formulation d'hypothèses sur lesquelles repose votre modèle logique ou vérifier la logique de votre programme, nous vous invitons à visiter le site Web http://www.theoryofchange.org/html/example.html

Et puis??

• Définissez le but de votre évaluation et les questions auxquelles vous souhaitez qu'elle réponde.
• Définissez les indicateurs qui montreront que votre projet atteint ses objectifs ou les résultats prévus.
• Définissez les sources d'information pour ces indicateurs.
• Décidez comment vous recueillerez l'information.

Quelles sont les étapes d'un plan d'évaluation?

Nous avons franchi les deux premières étapes (indiquées en noir) dans le Module 2. Dans le Module 3, nous examinerons les autres étapes de l'élaboration d'un plan d'évaluation.

Définir les questions d'évaluation

• Déterminez l'objectif de l'évaluation (et non du projet) - Cela vous donnera une idée des questions auxquelles vous souhaitez que l'évaluation réponde. Obtenez différents points de vue lorsque vous formulez les questions d'évaluation. Par exemple, consultez à ce sujet le bailleur de fonds, des employés, des participants, des partenaires et d'autres personnes.
• Voici quelques suggestions :
  • Le projet a-t-il été mis en œuvre tel que comme il a été prévu?
  • Le groupe prioritaire a-t-il eu accès au projet?
  • Le projet a-t-il atteint son but (résultats prévus)?
  • Le projet a-t-il eu des résultats imprévus (positifs ou négatifs)?

Choisir les indicateurs

Qu'est-ce qu'un « indicateur »?

• Une variable (ou une donnée) qui mesure un aspect d'un programme ou d'un projet.
• Il indique si un projet a atteint un objectif particulier.
• Il devrait y avoir au moins un indicateur pour chacun des éléments du projet (c'est-à-dire qu'il en faut un pour chaque résultat défini dans le modèle logique).
• Les indicateurs peuvent être compliqués!

Il y a deux types d'indicateurs :

• Un indicateur touchant le processus fournit des preuves qu'une activité s'est déroulée telle qu'elle a été prévue dans le cadre du projet.
• Un indicateur touchant un résultat fournit des preuves qu'une activité entreprise dans le cadre d'un projet a entraîné un changement ou une modification dans un comportement, une attitude, une collectivité, etc.

Un indicateur doit donc être un aspect que nous nous attendons à voir changer ou varier entre le début du projet (désigné comme le point de référence) et plus tard, au moment où les activités du projet sont terminées et ont probablement eu un effet.

Les indicateurs peuvent toucher des intrants, des extrants ou des résultats, mais il faut les définir étroitement et d'une manière qui décrit avec précision ce que vous tentez de mesurer. La création des indicateurs est probablement l'étape la plus délicate de la conception d'une évaluation. Les indicateurs devraient :

• fournir de l'information probante à la fois exacte et fiable,
• être faciles à utiliser,
• fournir de l'information utile permettant de prendre des décisions de gestion.

Les critères de sélection d'un indicateur

• La validité - Mesure-t-il les résultats?
• La fiabilité - Mesure-t-il uniformément les résultats au fil du temps (c'est-à-dire que les résultats ne varient pas en raison de légers changements dans l'humeur du répondant ou de circonstances propres à une journée particulière)?
• Le caractère opportun - Fournit-il de l'information en temps opportun en ce qui concerne les objectifs et les activités du projet?
• L'éthique - Peut-on recueillir l'information sans porter atteinte à la vie privée et en respectant les principes d'éthique en recherche sociale?
• L'utilité - Fournit-il de l'information utile aux gestionnaires du projet?
• La comparabilité - Permet-il de comparer les résultats entre différents groupes d'une population ou entre différentes méthodes?

Rappelez-vous la métaphore de l'éclaboussement (point d'impact) et des cercles concentriques (PLAN:NET Ltd., 2003) que nous avons utilisée dans le Module 2. Si nous voulions mesurer l'effet de la pierre qui tombe dans l'étang, quel serait un bon indicateur? (Indice : les cercles concentriques représentent les résultats.)

Convenons que la circonférence du cercle concentrique le plus éloigné du centre pourrait un indicateur de l'impact de la chute de la pierre.

• La validité - En mesurant la circonférence du cercle extérieur, pouvons-nous connaître l'importance du résultat final?
• La fiabilité - Le fait de mesurer la circonférence des cercles concentriques extérieurs pour 20 chutes de pierres différentes nous permettrait-il d'évaluer avec exactitude les résultats finals? Ou est-ce que ces résultats pourraient changer d'une mesure à une autre?
  • À noter qu'en cas de vent, il se peut qu'il soit difficile d'évaluer les ondulations. Comme nous l'avons dit lorsque nous avons utilisé cette métaphore dans le module précédent, nous avons moins de contrôle à mesure que les cercles s'étendent, tout comme les responsables des projets exercent moins de contrôle sur les résultats à plus long terme.
• Le caractère opportun - Comment le moment où l'indicateur a été mesuré peut-il influencer le résultat?
  • Il convient de noter que si nous mesurons le cercle extérieur trop rapidement, nous risquons d'examiner en fait un cercle concentrique intérieur, c'est-à-dire un résultat à court ou à moyen terme - plutôt que l'ondulation extérieure. Si nous attendons trop longtemps, l'ondulation risque de disparaître. Bien que nous soyons généralement optimistes quant à la permanence des résultats du projet, il peut arriver que nous ne puissions en être tout à fait certains. Les évaluations incluent parfois une mesure environ un an après le programme ou l'activité pour voir si les changements constatés immédiatement après le projet sont durables.
• L'éthique - Cette question ne se présente probablement pas lorsqu'il s'agit de la chute d'une pierre, à moins qu'elle soit lancée dans le bain de quelqu'un! Par contre, lorsque nous avons affaire à des êtres humains, nous voulons protéger leur vie privée et respecter les principes de l'éthique.
• L'utilité - Qu'apprendrons-nous en mesurant la circonférence de l'ondulation extérieure? Saurons-nous de quelle hauteur la pierre est tombée ou la hauteur du palmier d'où elle a été lancée?
  • Si nous ne savons pas quelle est la hauteur de l'arbre (c'est-à-dire, si nous ne disposons pas de quelques données sur la nature de l'« intervention »), l'information à propos de la taille du cercle concentrique extérieur (ou le résultat) ne sera pas très utile.
• La comparabilité - La circonférence des cercles concentriques sera-t-elle comparable entre les petits et les gros étangs? Sera-t-elle aussi comparable si la goutte tombe d'un robinet plutôt que d'un arbre?
  • On peut mettre en parallèle ces questions et le monde réel de l'évaluation des projets. La différence entre un grand étang et un petit étang, par exemple, est un peu comme la différence entre les projets dans les collectivités urbaines et ceux dans les collectivités rurales. La différence entre une goutte qui tombe d'un robinet et celle qui tombe d'un arbre est aussi évidente que la différence entre un projet réalisé par des intervenants formés et un projet réalisé par des intervenants n'ayant pas suivi une formation.

Quelques autres facteurs à prendre en considération lors de la sélection des indicateurs

• La disponibilité - Il peut arriver que l'information qui serait le meilleur indicateur du changement ne soit pas accessible. Par exemple, un projet visant à éviter que des élèves de l'école secondaire se retrouvent dans des relations de violence pourrait bénéficier de l'information provenant des constats de police dans les cas de viols survenus pendant les fréquentations ou d'incidents de violence signalés dans les relations entre les élèves des écoles secondaires participant au projet. Il se peut toutefois que l'information provenant des constats de police ne puisse être ventilée par district scolaire.
• Les ressources - Il serait idéal d'assurer un suivi à long terme auprès des participants au projet décrit dans l'exemple ci-dessus pour savoir s'ils se retrouvent dans des relations de violence, avec le temps. Cela risque d'être impossible à cause du coût élevé d'une telle étude. Les ressources constituent une préoccupation constante dans les projets qui disposent d'un budget limité.
• Les besoins liés au programme - Certaines données ne sont peut-être pas disponibles au moment où nous en avons besoin pour faire l'évaluation. Il se peut, par exemple, que l'information à propos des intrants financiers ne soit disponible que pour l'exercice financier du projet et non pour la période sur laquelle porte l'évaluation.
• Les exigences du bailleur de fonds - Les bailleurs de fonds exigent que l'information soit réunie d'une certaine manière. Si cette même information s'avère nécessaire à l'évaluation, il se peut que nous devions adapter le plan d'évaluation pour répondre à ces exigences.

Splash and Ripple: Planning and Managing for Results (PLAN:NET Ltd., 2003) est un bon document de référence qui vous aidera à sélectionner des indicateurs.

Déterminer les sources d'information

Une fois que vous avez élaboré vos indicateurs, vous pouvez déterminer les sources de renseignements dont vous avez besoin. Il est conseillé d'utiliser plusieurs sources d'information.

Les chercheurs parlent souvent de l'importance de la triangulation. Cette pratique consiste àréunir de l'information provenant de plus d'une source. À titre d'exemple, vous pourriez analyser les résultats d'un questionnaire administré avant et après l'intervention, ainsi que de l'information fournie par un groupe de discussion, et aussi examiner des dossiers liés au projet. Vous pourrez alors comparer les résultats obtenus de ces sources d'information distinctes pour confirmer si elles vous fournissent des renseignements similaires. Si plus d'une source vous fournit de l'information semblable, vous pourrez alors vous fier davantage à la validité des résultats dont vous rendrez compte.

Voici certaines sources d'information usuelles accompagnées de suggestions quant aux méthodes à utiliser pour en tirer de l'information :

• Les participants - formulaire à remplir à l'admission, entrevues, groupes de discussion, observation
• Le public - enquêtes, questionnaires, statistiques sur la communauté
• D'autres organismes - groupes de discussion, entrevues avec des détenteurs clés d'information, sondages
• Les employés affectés au projet - groupes de discussion, entrevues avec des informateurs clés, dossiers/notes concernant le projet
• Les médias - examens des rapports dans les médias

Choisir les méthodes de collecte des données

Comment pouvez-vous obtenir l'information?

• L'examen des dossiers/des documents liés au projet
• Les entrevues/les groupes de discussion
• Les sondages/les questionnaires
• L'observation des participants
• Données/statistiques concernant la population

Lorsque vous décidez de la nature, de la qualité et de l'origine des données à recueillir, évitez de vous disperser. Établissez des priorités et commencez par l'information que vous pouvez obtenir au sein de votre organisation, comme des renseignements au sujet des activités et des procédures faisant partie de votre projet. Si vous découvrez quelque chose d'étonnant qui nécessite une recherche plus approfondie, vous pouvez toujours modifier votre plan d'évaluation.

Malgré leurs ressources limitées, les projets financés par le Fonds d'action en prévention du crime devraient tenter de trouver des façons de mesurer l'effet du projet - C'est à dire qu'est-ce que le projet a apporté. - et non uniquement le processus. Au stade de l'élaboration de leur proposition, les groupes qui présentent une demande de fonds au FAPC devraient réfléchir aux façons d'incorporer la composante d'évaluation aux activités du projet. À titre d'exemple, les groupes de discussion peuvent parfois avoir un double objectif : aider à favoriser le développement communautaire tout en permettant de découvrir ce qui a bien fonctionné et ce qui n'a pas bien marché jusqu'à ce jour.

Dans tous les cas, il est important d'obtenir un consentement éclairé pour toute information recueillie. Si l'information réunie inclut des photographies ou des vidéos des participants, il faut toujours obtenir le consentement de ces personnes quelle que soit la façon dont vous utiliserez les documents. Lorsque vous obtenez de l'information ou que vous prenez des photographies d'enfants et d'adolescents, il est nécessaire d'obtenir d'abord le consentement de leurs parents.

Qui devrait obtenir l'information?

Les décisions concernant la ou les personnes qui se chargeront de recueillir l'information qui servira à l'évaluation dépendront d'un certain nombre de facteurs : la facilité d'accès, le besoin d'objectivité, les questions liées à la qualité de l'information et la protection de la confidentialité. Il est parfois plus pratique et plus facile de demander aux intervenants du projet d'obtenir l'information des participants. À titre d'exemple, lorsque les intervenants obtiennent déjà de l'information au moment de l'admission pour mieux comprendre les besoins des participants au début d'un projet, il serait facile d'adapter l'entrevue d'admission afin qu'elle inclue des questions qui serviront à l'évaluation. Dans d'autres situations, il serait préférable de demander à une tierce partie d'obtenir l'information afin de réduire la possibilité de partialité. Dans d'autres situations, les participants peuvent remplir eux-mêmes les questionnaires. Lorsque vous optez pour cette façon de procéder, il faut tenir compte des risques qui pourraient compromettre la qualité des données, l'analphabétisme ou un manque de connaissance du français ou de l'anglais comme langue seconde, par exemple.

La question de la confidentialité est aussi étroitement liée à l'identité de la ou des personnes qui réuniront l'information. Réfléchissez à la façon dont vous assurerez la confidentialité des renseignements personnels et, dans certains cas, comment vous protégerez l'anonymat des personnes qui les fournissent.

Quand obtenir l'information?

Voici quelques options :

• Fréquemment
• Après chaque événement/activité
• À intervalles réguliers
• Avant et après le programme

Lorsque vous réunissez de l'information sur un résultat, à tout le moins, vous devriez tenter de recueillir de l'information :

• avant le début du projet ou de l'activité (ou peu après) et
• après la fin du projet ou de l'activité.

L'information recueillie avant un projet ou une activité est ce qu'on appelle l'information de base. Elle montre la situation telle qu'elle était dans la collectivité, ou pour les participants individuels, avant le début du projet ou de l'activité ou avant que les participants individuels aient commencé à bénéficier du projet ou de l'activité.

En plus de recueillir de l'information après la fin du projet (ou après que les participants aient terminé une série d'activités dans le cadre du projet), il est conseillé de recueillir de l'information sur les résultats à un autre moment, c'est-à-dire de six mois à un an après l'intervention. Cela vous permettra de voir si les changements constatés immédiatement après l'intervention sont durables. Il se peut qu'il soit impossible d'assurer ce suivi à plus long terme dans le cas des projets financés par le FAPC, à cause des contraintes budgétaires ou du manque de temps.

Les facteurs à prendre en considération

La pertinence des outils

• Il faut s'assurer que les outils de collecte d'information correspondent à la nature de l'information que vous souhaitez obtenir. Si vous souhaitez par exemple obtenir une vue d'ensemble d'un sujet ou d'une question particulière, il pourrait être plus utile d'obtenir de l'information qualitative.
• Si votre projet s'adresse à des personnes appartenant à divers groupes ethniques ou religieux, vous devrez vous assurer que les outils de collecte des données que vous avez choisis conviennent sur le plan culturel. À titre d'exemple, les mesures de l'estime de soi sont souvent fondées sur le concept occidental de ce qui constitue une bonne opinion de soi.
• Assurez-vous que le langage utilisé dans l'instrument correspond au niveau de langage des répondants. Si les répondants sont plus ou moins alphabétisés, utilisez les outils verbalement.
• Assurez-vous de la valeur pratique des méthodes de collecte des données que vous sélectionnerez; elles devraient être à la fois abordables et permettre d'obtenir l'information dont vous avez besoin.

L'adaptation aux répondants

• Envisagez d'inclure des participants potentiels à la sélection et à l'élaboration des outils de collecte des données.
• Assurez-vous d'adapter les outils à la culture et à l'âge des répondants.
• Évitez les questions indiscrètes si elles ne sont pas essentielles à l'évaluation.
• Il faut se concentrer sur l'information qu'il est nécessaire de connaître afin d'éviter les questionnaires inutilement longs.

Les ressources nécessaires à l'analyse

• Les données quantitatives sont généralement moins longues à analyser, surtout lorsqu'on utilise des logiciels d'analyse de données. Rappelez-vous que les analyses plus sophistiquées nécessiteront des connaissances dans le domaine de la statistique.
• Les analyses qualitatives ne requièrent pas de connaissances en statistique, mais elles peuvent être très longues (et par conséquent coûteuses) et doivent être effectuées méthodiquement afin de réduire la subjectivité au minimum.

La crédibilité

• Les évaluations doivent pouvoir résister aux critiques des intervenants tels que les partenaires, les participants et les bailleurs de fonds. Consultez les personnes qui possèdent de l'expertise en méthodes d'évaluation et de recherche pour vous assurer que vous avez compensé pour ce qui pourrait compromettre l'intégrité de l'évaluation. Vous trouverez plus de renseignements sur ces risques dans le Module 5.
• En utilisant plus d'une méthode pour mesurer chacun des résultats, vous accroîtrez la crédibilité de votre analyse.

Les données qualitatives par opposition aux données quantitatives

1. Les données quantitatives

Les mesures quantitatives tendent à évaluer des aspects tels que :

• la fréquence
• l'intensité
• la durée

Les données quantitatives répondent à des questions comme : Combien? Quel nombre? On peut obtenir ces réponses par des questionnaires qui comportent des échelles graduées, des questions à choix multiples ou des questions vrai/faux. Ces outils sont souvent utilisés pour évaluer des changements d'attitudes ou de comportements.

Des données quantitatives peuvent être comparées entre différentes populations, études ou périodes. À titre d'exemple, le nouveau guide de présentation d'une demande de financement au FAPC comporte un certain nombre de questions à choix multiples. Le CNPC peut compiler les réponses à ces questions pour en apprendre davantage sur les types de projets proposés d'un bout à l'autre du Canada, dans des provinces ou des collectivités précises, ou à des moments différents.

Les mesures quantitatives sont souvent faciles à administrer, à noter et à interpréter. Par contre, selon le degré d'élaboration des données que vous souhaitez recueillir et des analyses que vous souhaitez effectuer, il se pourrait que vous deviez faire appel à un spécialiste en statistique pour analyser certaines données quantitatives.

Voici quelques exemples de questions qui fournissent des données quantitatives :

Échelle graduée :

1. Veuillez indiquer votre degré de satisfaction à l'égard du programme.

• 1 Très satisfait
• 2
• 3
• 4
• 5 Très insatisfait

Question fermée ou à choix multiples :

2. Quels services avez-vous obtenus? (Cochez toutes les réponses qui s'appliquent.)

• Instruction en salle de classe
• Mentorat/soutien individuel
• Acheminement à d'autres services

Question Vrai/Faux :

3. Indiquez si les affirmations suivantes sont vraies ou fausses :

1. La jalousie est un signe d'amour. V F
2. Lorsqu'une femme reçoit des coups de son partenaire, elle doit l'avoir provoqué d'une façon ou d'une autre V F

2. Les données qualitatives

Les mesures qualitatives fournissent de l'information descriptive qui explique comment et pourquoi certaines choses se sont produites. Combinées à des mesures quantitatives, les mesures qualitatives peuvent fournir un contexte pour les résultats d'une étude. À elles seules, elles fournissent de l'information détaillée qui peut servir à explorer différentes questions, notamment pourquoi et comment fonctionnent les projets.

Voici quelques exemples de questions qui fournissent des données qualitatives :

1. Comment décririez-vous la participation de votre organisme au projet de prévention des relations de violence?
2. D'après vous, dans quelle mesure la coalition communautaire a-t-elle réussi à sensibiliser les élèves aux signes avant-coureurs d'une relation de violence?

Les facteurs à prendre en considération lorsque vous choisissez les méthodes d'enquête

Le tableau ci-dessous peut vous aider à choisir la méthode de collecte des données qui correspond le mieux à votre évaluation. Lorsque vous lisez « Oui » dans une colonne à côté d'une option particulière, cela signifie qu'elle convient dans la situation indiquée dans la colonne de gauche.

Il est important de se rappeler que bien que les entrevues téléphoniques présentent de nombreux avantages, il est possible que cette méthode ne soit pas la meilleure lorsqu'un grand nombre des participants au projet ont un faible revenu et qu'ils n'ont peut-être pas le téléphone.

La décision de procéder par « échantillonnage »

L'échantillonnage désigne un processus consistant à choisir un sous-groupe ou un échantillon de personnes à étudier afin de pouvoir faire des généralisations au sujet de la population ou du groupe plus vaste dont ces personnes font partie.

Les évaluations ne requièrent pas nécessairement une stratégie d'échantillonnage, mais l'échantillonnage peut réduire le nombre des ressources nécessaires à la collecte et à l'analyse de l'information. Dans les cas où le nombre de participants est restreint (moins de 30 participants par exemple), obtenez de l'information de tous les participants. En règle générale, lorsqu'il est simple et peu coûteux d'inclure tous les participants à votre étude, il est conseillé de le faire. Si, par ailleurs, la population étudiée est importante, l'échantillonnage peut réduire les ressources devant être consacrées à la collecte et à l'analyse des données. Le choix d'un échantillon dans une population très importante peut même aider à réduire le taux d'erreur.

Lorsque vous décidez de la taille de votre échantillon, tenez compte des facteurs suivants :

• Les ressources disponibles (personnel, argent, temps) pouvant être consacrées à la collecte des données et à l'analyse.
• L'analyse prévue - Si vous recueillez de l'information qualitative, par exemple, vous devriez limiter le nombre des répondants. La transcription et l'analyse des données qualitatives peuvent prendre beaucoup de temps et coûter très cher.
  • Si vous avez l'intention d'analyser séparément l'information que vous obtenez de différents groupes (les personnes à faible revenu comparées à celles qui ont un revenu moyen, les hommes comparés aux femmes, les femmes ayant un faible revenu et celles qui ont un revenu moyen, par exemple), assurez-vous qu'il y aura un nombre suffisant de participants pour permettre l'analyse de ces sous-groupes.
• Le taux de réponse prévu
  • Certaines personnes sélectionnées aux fins de l'étude pourraient refuser d'y participer.
  • Si vous avez l'intention de recueillir de l'information à différents moments, il va sans dire qu'un certain nombre de personnes pourraient avoir abandonné avant que toutes les données aient été recueillies.
  • Certaines méthodes ont des taux de réponse moins élevés que d'autres. Par exemple, en général, les taux de réponse sont faibles lorsque des questionnaires de sondages sont envoyés par la poste, même si de fréquents rappels sont faits par la suite.
• L'importance de la crédibilité - Les échantillons devraient toujours être représentatifs du groupe entier dans lequel ils sont prélevés. Voici quelques exemples d'échantillons qui ne seraient pas considérés comme crédibles :
  • un groupe de discussion dont font partie uniquement les participants qui, d'après les employés, ont eu de bonnes expériences dans le cadre du projet;
  • des questionnaires d'enquête sur la satisfaction remis uniquement aux participants qui ont terminé les activités dans le cadre du projet;
  • des questionnaires d'enquête envoyés uniquement aux résidents du quartier qui vivent dans des maisons unifamiliales.

Le choix d'un échantillon

• Quantitatif - Choisissez un échantillon qui est représentatif de la population que vous étudiez. Des tables d'échantillonnage peuvent vous aider à déterminer la taille appropriée de votre échantillon.
  • Lorsque l'échantillon est aléatoire, tous les membres de la population ont une chance égale d'être sélectionnés. Un échantillon aléatoire peut inclure chaque nième personne dans la population étudiée, après la sélection de la première personne au hasard. Par exemple, vous pourriez sélectionner au hasard un moment de la semaine. La première personne choisie pour votre projet après ce moment-là serait la première personne sélectionnée pour votre échantillon. Vous pourriez ensuite sélectionner chaque cinquième personne après cette première personne.
  • Lorsque vous prélevez un échantillon aléatoire stratifié, vous commencez par diviser le groupe entier des participants en différents sous-groupes. Le terme « stratifié » désigne la répartition d'un groupe en différentes parties. Vous pourriez par exemple diviser la population examinée en différents groupes en fonction de caractéristiques comme le sexe, le niveau de scolarité ou l'appartenance culturelle. Ensuite, vous pourriez prélever un échantillon au hasard dans chacun des sousgroupes. Ainsi, vous disposerez de nombres représentatifs dans les différents sous-groupes à l'intérieur d'une population.
• Qualitatif - Pour faire de la recherche qualitative, vous pouvez utiliser un certain nombre de stratégies d'échantillonnage, y compris l'échantillon aléatoire. Dans le cadre des études qualitatives, on choisira plutôt des participants qui peuvent fournir de l'information approfondie et détaillée et différentes perspectives sur le sujet. L'étude qualitative repose généralement sur de plus petits échantillons.
  • Pensez à la façon dont vous couvririez tous les aspects de l'« événement » que vous voulez relater si vous étiez journaliste. Vous devriez couvrir tous les angles. Vos questions d'évaluation vous dirigeront vers les personnes à inclure : il peut s'agir de participants, de partenaires, d'employés, de membres d'un comité consultatif, de bailleurs de fonds, de membres de la collectivité ou encore de représentants de tous ces groupes.

La décision quant au nombre de personnes à inclure dans un échantillon

Il existe des tableaux qui vous aident à déterminer la taille appropriée d'un échantillon. Vous en trouverez un exemple dans le document intitulé Vous pouvez y arriver : Une trousse d'outils pratiques pour l'évaluation des programmes d'intervention policière et de prévention de la criminalité dans la collectivité (page 52). (Voir l'adresse du site Web à la fin de ce module.)

N'oubliez pas de tenir compte du taux de réponse prévu lorsque vous choisirez la taille de votre échantillon. Pensez au nombre idéal de réponses, déterminez le taux de réponse

prévu, et puis décidez de la taille de votre échantillon. Voici un exemple de la manière de procéder :

• La taille souhaitée de votre échantillon est de 50.
• Le taux de réponse prévu est de 80 %.
• La taille de l'échantillon requis = 50 ÷ 0,80 = 62,5 (ou 63).
• Si le taux de réponse est de 80 %, vous devriez commencer par un échantillon de 63 personnes pour vous assurer que le nombre des répondants de votre échantillon qui répondent est de 50.

L'analyse des résultats

Votre plan d'évaluation devrait préciser comment vous analyserez l'information que vous obtiendrez. Vous trouverez ci-dessous un certain nombre de méthodes de base dont vous pourriez vous servir pour analyser les données quantitatives et qualitatives.

Les données quantitatives

L'analyse consiste à déterminer la signification et la valeur des données que vous avez recueillies. Nous parlerons de la façon d'analyser les résultats dans le Module 6 du manuel, mais nous vous en donnons un très court aperçu maintenant.

D'abord et avant tout, ne paniquez pas! L'analyse n'est pas nécessairement difficile. Vous pouvez procéder à des analyses simples :

• La fréquence - À quelle fréquence certaines réponses ont été fournies (il suffit d'en compter le nombre).
• Le pourcentage - Le pourcentage des répondants qui ont répondu a plutôt que b ou c. Vous pouvez même faire une analyse plus poussée et montrer comment le pourcentage variait entre les sous-groupes par rapport au groupe entier.
• La moyenne - Il s'agit de la réponse moyenne. Cette donnée peut être influencée par des réponses extrêmes (c'est-à-dire nettement supérieures ou inférieures à la moyenne). S'il est probable que cela se produise, envisagez de fournir également une réponse médiane.
• La médiane - La réponse se trouvant au milieu lorsqu'on classe les réponses de la plus élevée à la plus faible.
• Le mode - La réponse la plus fréquente.

Voir les pages 4 à 8 du Module 6 pour obtenir de l'information sur la façon de calculer ces statistiques élémentaires.

Les données qualitatives

Vous pouvez résumer de petites quantités de données qualitatives pour donner une idée globale de ce qui a été dit. Par exemple, si vous avez quelques questions ouvertes dans votre questionnaire sur la satisfaction, vous pouvez simplement résumer les réponses. (Par une « question ouverte », on entend une question dont les réponses ne sont pas limitées, par exemple, à oui/non ou à vrai/faux ou qui ne comportent pas un nombre fixe de réponses parmi lesquelles le répondant doit faire un choix.) Lorsque vous résumez les réponses, si certaines se répètent souvent, inscrivez le nombre de fois que ces réponses ont été fournies. Cela vous donnera une idée de la fréquence à laquelle les répondants les ont données.

Si vous avez une plus grande quantité de données, vous pouvez effectuer une analyse du contenu. Il s'agit d'un processus consistant à repérer les tendances ou les thèmes dans les données, à leur attribuer un code ou un nom, et à les catégoriser. Lorsque vous menez un certain nombre d'entrevues comportant des questions ouvertes, il sera nécessaire pour vous de faire ce type d'analyse plus formelle. Lorsque vous présentez les résultats de l'analyse, énumérez et décrivez les grands thèmes repérés (les adolescents ayant répondu au sondage considéraient que la jalousie était un signe d'amour, par exemple), tout en résumant les affirmations faites au sujet de ce thème et en fournissant des citations représentatives des déclarations.

Un certain nombre d'analystes spécialisés dans ce type d'exercice préfèrent catégoriser manuellement l'information en lisant attentivement les transcriptions des entrevues, en inscrivant dans la marge les thèmes cernés et en mettant en évidence des citations qui représentent le mieux ces thèmes. Ils ont le sentiment qu'en procédant ainsi, ils comprendront mieux et plus en profondeur les données. D'autres préfèrent utiliser des logiciels (NVIVO/NUD*IST, par exemple) qui peuvent catégoriser les thèmes ou les tendances pour eux.

Vous trouverez plus d'information au sujet de l'analyse du contenu aux pages 9 à 11 du Module 6.

La communication des résultats

Votre plan d'évaluation devrait indiquer comment vous proposez de communiquer vos résultats. Voici certains des aspects dont il faut tenir compte lorsque vous décidez de la manière dont vous présenterez vos résultats (Services de police de la ville d'Ottawa, 2001) :

• Qu'est-ce qui a bien fonctionné? Quel aspect a-t-il fallu améliorer?
• Si des problèmes sont survenus, quels étaient-ils?
• Les problèmes peuvent-ils être réglés au moyen des ressources existantes?
• Quelles sont les forces qui ressortent et qui devraient être exploitées davantage?
• Le projet a-t-il permis d'atteindre efficacement les objectifs? Dans l'affirmative, comment?
• Dans l'ensemble, le projet est-il valable?

Vous devez aussi garder à l'esprit les destinataires de votre rapport. Des méthodes différentes de présentation conviendront aux différents groupes visés. Voici certaines méthodes que vous pouvez utiliser pour présenter les résultats de votre évaluation :

• le résumé d'une page,
• l'exposé de vive voix,
• le rapport comportant de nombreuses illustrations,
• le rapport qui inclut des détails techniques dans les annexes,
• la présentation dramatique ou la vidéo.

Pensez aux personnes à qui vous devez transmettre les résultats de votre évaluation. N'oubliez pas d'inclure les participants du projet à votre liste. Ils méritent de savoir ce que vous avez appris.

Lorsque vous planifiez votre stratégie de communication des résultats, assurez-vous d'aborder les questions qui d'après le lecteur ou l'utilisateur seront importantes. Vérifiez les exigences de votre bailleur de fonds. Que veulent savoir ces personnes?

Quel que soit le destinataire, utilisez un langage simple. Ainsi, vous n'exclurez pas les gens qui ne comprennent pas le jargon unique à votre projet ou à votre domaine de spécialisation. Rappelez-vous que les participants nécessiteront peut-être un style de présentation différent de celui que vous utiliserez pour les bailleurs de fonds et les autres partenaires.

Finalement, assurez-vous de présenter votre rapport à temps!

Glossaire

Analyse du contenu

L'analyse du contenu est un processus qui consiste à repérer des tendances ou thèmes dans des données qualitatives, à leur attribuer un code et à les catégoriser (Patton, 1990).

Consentement éclairé

Les participants à des études de recherche et d'évaluation ou leurs tuteurs devraient fournir un consentement éclairé de leur plein gré (volontairement). Ce consentement est généralement fourni par écrit, mais d'autres méthodes d'enregistrement du consentement peuvent convenir dans le cas de certains groupes. Les procédures de consentement éclairé devraient préciser toute l'information qui sera recueillie durant la recherche, l'identité du chercheur, la durée et la nature prévues de la participation, tous les risques et avantages associés à la participation à la recherche, la façon dont les résultats seront utilisés et à qui ils seront communiqués. Ces procédures devront de plus fournir l'assurance que les participants peuvent interrompre leur participation à la recherche ou refuser de participer à n'importe quel élément de celle-ci sans être pénalisé de quelque façon que ce soit. On peut obtenir de l'information additionnelle concernant la nature du consentement éclairé en consultant

l'Énoncé de politique des trois Conseils : Éthique de la recherche avec des êtres humains
(voir http://www.pre.ethics.gc.ca/francais/policystatement/policystatement.cfm).

Données qualitatives

Les données qualitatives sont obtenues à l'aide de questions ouvertes. Normalement, on les a recueillies de l'une des trois façons suivantes : a) les entrevues approfondies où l'on pose des questions ouvertes, b) les observations directes ou c) les documents écrits (Patton, 1990).

Données quantitatives

Les données quantitatives sont des mesures numériques qui indiquent la quantité, la fréquence, l'intensité et la durée.

Échantillon

Un échantillon est un sous-groupe prélevé dans une population plus étendue. On l'étudie pour obtenir de l'information au sujet d'une population entière.

Échantillon aléatoire

Un échantillon aléatoire est constitué de personnes qui ont des chances égales d'être sélectionnées dans une population plus vaste. Le choix des personnes dans cette population plus vaste en vue de faire partie de l'échantillon relève entièrement du hasard.

Entrevue en profondeur

Une entrevue en profondeur est une conversation guidée entre un intervieweur et un répondant. L'intervieweur pose une série de questions ouvertes. Normalement, l'intervieweur utilise un guide, mais il peut s'en écarter pour poser une série de questions à propos d'un sujet ou d'une idée particulière.

Groupe de discussion

La création de groupes de discussion est une méthode de collecte de données. Un tel groupe comporte généralement moins de 15 personnes. Un animateur pose aux divers membres du groupe une série de questions pour connaître leurs perceptions et opinions concernant un sujet particulier. Leurs réponses sont enregistrées.

Indicateur

Un indicateur est de l'information qui est recueillie au sujet d'un processus ou d'un résultat particulier. À titre d'exemple, le nombre de cas acheminés au projet par les partenaires, le nombre de réunions de partenariat auxquelles ils assistent ou encore, les réponses fournies par eux à un questionnaire sur la satisfaction peuvent être des indicateurs de la satisfaction d'un partenaire à l'égard d'un projet.

Information de base

L'information recueillie avant le début d'un projet ou d'une activité est ce qu'on appelle l'information de base. Elle montre quelle était la situation dans la collectivité ou celle d'un participant individuel avant le début du projet ou de l'activité.

Pertinence culturelle

Par pertinence culturelle, on entend le degré selon lequel une mesure est appropriée et adaptée aux différences culturelles. Si les membres d'un groupe culturel particulier ne sont pas inclus dans les études de validation et d'uniformatisation menées dans le but de mettre au point un outil d'évaluation, cet outil risque de ne pas convenir à ce groupe culturel (Ogden/Boyes Associates Ltd., 2001).

Questions fermées

Il s'agit de questions auxquelles le répondant répond en faisant un choix dans une liste de réponses possibles. Une question à choix multiples est un exemple d'une question fermée.

Questions ouvertes

Les questions ouvertes permettent aux répondants de répondre librement plutôt que d'être limités par une série de catégories de réponses prédéterminées.

Prétest et post-test

Le même instrument est administré avant et après l'intervention ou la participation à un programme.

Théorie du changement

Une théorie du changement est une façon de décrire les hypothèses à l'origine de l'observation selon laquelle un programme ou un ensemble d'activités de projet aboutira à des résultats particuliers. Elle décrit les étapes de chacune des activités et l'effet ultime de celles-ci et renvoie à des théories qui appuient les hypothèses faites au sujet des liens entre les activités et leurs résultats ou leur effet.

Triangulation

La triangulation est un processus qui consiste à obtenir de l'information au sujet de questions similaires à l'aide de différentes méthodes (p. ex., entrevues, sondage, groupes de discussion) ou de différentes sources (p. ex., personnel et participants). On compare ensuite les réponses obtenues de ces différentes sources et au moyen de ces différentes méthodes pour déterminer si elles convergent ou si elles se contredisent.

Références

The Aspen Institute Roundtable on Comprehensive Community Initiatives. (2003). Theory of change.org. Téléchargé le 18 octobre 2004 du site
http://www.theoryofchange.org/html/example.html

Groupe consultatif interagences en éthique de la recherche. (1998). Énoncé de politique des trois Conseils : Éthique de la recherche avec des êtres humains (avec les mises à jour de 2000 et 2002). Téléchargé le 18 octobre 2004 du site
http://www.pre.ethics.gc.ca/francais/policystatement/policystatement.cfm

Ogden/Boyes Associates Ltd. (2001). CAPC program evaluation tool kit: Tools and strategies for monitoring and evaluating programs involving children, families, and communities. Rapport non publié pour Santé Canada, Direction générale de la santé de la population et de la santé publique, région de l'Alberta et des Territoires du Nord-Ouest, Calgary (Alberta).

Patton, M. Q. (1990). Qualitative evaluation and research methods. Londres : Sage.

PLAN:NET Ltd. (2003, septembre). Splash and ripple: Planning and managing for results. Téléchargé le 18 octobre 2004 du site
http://www.ucgf.ca/English/Downloads/RBMSept2003.pdf

Services de police de la ville d'Ottawa. (2001, août). Vous pouvez y arriver : Une trousse d'outils pratiques pour l'évaluation des programmes d'intervention policière et de prévention de la criminalité dans la collectivité. Téléchargé le 13 avril 2005 du site
http://www.prevention.gc.ca/fr/library/publications/reports/toolkit/

Ressources suggérées

Sites Web

Centre for Substance Abuse Prevention
Prevention Pathways
http://pathwayscourses.samhsa.gov/

Le site Web offre des tutoriels portant sur différents éléments de l'évaluation. « Evaluated for the Unevaluated 102 » est un excellent cours qui fournit de l'information sur la façon d'élaborer un plan d'évaluation.

Community Toolbox
Developing an Evaluation Plan
http://ctb.ku.edu/tools/en/section_1352.htm

Ce site renferme de l'information de base sur les facteurs clés à prendre en considération lorsqu'on établit un plan d'évaluation.

Management Assistance Program for Non-Profits (MAP)
Basic Guide to Program Evaluation
http://www.managementhelp.org/evaluatn/fnl_eval.htm#anchor1581634

Ce site Web fournit de l'information qui aide à établir un plan d'évaluation. On y trouve aussi des facteurs clés à prendre en considération au moment de la planification d'une évaluation.

North Central Educational Regional Laboratory
Evaluation Design Matrix
http://www.ncrel.org/tech/tpd/res/matrix.htm

Cette grille aide à définir d'importants éléments au moment de la planification de l'évaluation et peut vous aider à créer votre propre plan d'évaluation.

United States Agency for International Development
Performance Monitoring and Evaluation Tips
http://www.dec.org/pdf_docs/pnaby215.pdf

Cette publication décrit l'importance des plans de surveillance du rendement et précise les secteurs clés à prendre en compte au moment de la planification d'une évaluation.

Traité

Trochim, William M. (2000).
The Research Methods Knowledge Base, 2nd Edition.
http://www.socialresearchmethods.net/

Il s'agit d'un excellent traité en ligne qui porte sur tous les sujets ayant un lien avec les méthodes de recherche, y compris la planification de l'évaluation et l'échantillonnage.

Module 3 - Feuilles de travail

Feuille de travail 1

Feuille de travail 2

Module 4 : Méthodes de collecte des données

Les objectifs d'apprentissage

• Connaître les méthodes de collecte des données, notamment :
  • L'utilisation des dossiers officiels
  • Les questionnaires d'enquête
  • Les instruments normalisés
  • Les entrevues en profondeur
  • Les groupes de discussion
  • L'observation
• Savoir quels sont les principaux facteurs à prendre en considération au moment de la conception de méthodes de collecte des données
• Apprendre à concevoir des questionnaires et des guides d'entrevue, à mettre sur pied des groupes de discussion et à utiliser des techniques d'observation

Qu'est-ce qu'une « donnée »?

Le mot donnée signifie un « renseignement », une « information ».

Ce terme semble technique, mais la collecte des données consiste simplement à obtenir de l'information auprès de certaines personnes. Il y a certaines règles à suivre pour bien recueillir des données. Vous en trouverez une description plus poussée dans ce module.

Commençons par examiner les différentes sources de données (ou d'information).

Les sources officielles

Les évaluateurs utilisent souvent des sources de données officielles pour déterminer si un changement survient dans une collectivité avec le temps. Voici quelques sources d'information pouvant être retenues pour les projets de prévention du crime, et certains des avantages et des inconvénients qu'elles présentent.

Les rapports sur la criminalité peuvent sous-estimer le nombre de crimes réellement commis, surtout en ce qui concerne la violence conjugale, les agressions sexuelles et même certains types de fraudes que les gens sont moins susceptibles de signaler parce qu'ils se sentent embarrassés ou parce qu'ils ont peur de ce qu'on va penser d'eux dans la collectivité.

Les dossiers judiciaires doivent être utilisés avec circonspection. L'information au sujet des accusations et des arrestations ne reflète pas nécessairement les taux réels de criminalité et peut être influencée par des changements qui surviennent dans la législation ou les politiques des services de police (p. ex., la prise de mesures de répression du trafic de la drogue). L'information au sujet des condamnations tend à être plus fiable, mais elle est influencée par d'autres facteurs comme la qualité des services de représentation par un avocat dont aurait bénéficié l'accusé. Malgré ces problèmes, les données concernant les arrestations sont quand même l'une des meilleures mesures que nous avons de la récidive.

Les dossiers scolaires peuvent inclure de l'information sur l'absentéisme, les suspensions, la réussite ou l'échec dans les études et les besoins spéciaux. Il faut obtenir la permission pour accéder au dossier d'un élève. Certaines provinces signalent le taux de réussite général des élèves dans chaque école. Par exemple, leministère de l'Éducation et de la Formation de l'Ontario fournit de l'information par école au sujet des résultats obtenus à des tests administrés aux élèves de certains niveaux à l'échelle de la province.

Les données du recensement peuvent servir à décrire les caractéristiques démographiques des Canadiens dans leur ensemble ou les citoyens d'une province ou d'un territoire en particulier ou d'un secteur de recensement (un petit secteur ayant une population de 2 500 à 8 000 personnes dans un grand centre urbain [Statistique Canada, aucune date]). Le recensement fournit de l'information comme le revenu familial, le niveau de scolarité, l'origine ethnique, l'appartenance religieuse, le type de logement occupé, l'état matrimonial et le nombre d'enfants dans un ménage. Cette information peut servir à créer un profil communautaire. Une mise en garde s'impose toutefois : les données détaillées provenant du recensement, particulièrement lorsqu'elles se rapportent aux secteurs de recensement, remontent souvent à plusieurs années au moment où elles sont rendues publiques.

Les services de santé publique et communautaire définissent la « santé » dans son sens le plus large en incluant la santé physique, émotive et spirituelle. Ils se préoccupent de la santé à l'échelle individuelle et communautaire. Par conséquent, ils s'intéressent à la sécurité communautaire et à la prévention du crime. Les services de santé ont des employés qui analysent les données du recensement s'appliquant à votre collectivité. Ils mènent aussi leurs propres recherches communautaires. Ils peuvent constituer une bonne source d'information sur votre collectivité. Demandez à vos services locaux de santé publique s'ils peuvent vous fournir des ressources ou se joindre à votre projet en tant que partenaire. Le personnel des services de santé publique sera peut-être disposé à vous aider à mener des évaluations des besoins ou d'autres recherches communautaires.

Les questionnaires d'enquête

• Les avantages : Les questionnaires sont assez faciles à administrer.
• Les inconvénients : Les questionnaires peuvent être difficiles à formuler.

Vous avez probablement participé à une enquête à un moment ou un autre dans votre vie. Vous l'avez peut-être fait dans le cadre du recensement, pour évaluer un produit ou dans le cadre de votre emploi. Il faut une certaine compétence pour élaborer un questionnaire d'enquête efficace.

Les questionnaires peuvent être administrés :

• Par la poste - Sachez par contre que les questionnaires envoyés par la poste obtiennent souvent un faible taux de réponse.
• Par téléphone - Les entrevues téléphoniques peuvent être coûteuses à cause du temps requis pour les mener.
• En personne (le répondant remplit lui-même le questionnaire ou le fait dans le cadre d'une entrevue) - Tenez compte du niveau d'alphabétisation des répondants potentiels lorsque vous vous attendez à ce que ces derniers remplissent les questionnaires eux-mêmes. Assurez-vous que votre questionnaire est simple à remplir. Évitez les instructions complexes demandant par exemple aux répondants de sauter certaines questions selon les réponses fournies. Tout comme les entrevues téléphoniques, les entrevues en personne sont plus coûteuses, à cause du temps que doivent y consacrer les intervieweurs.
• Par Internet ou courriel - Il s'agit des plus récentes techniques à venir s'ajouter aux méthodes d'enquête. Les temps de réponse sont souvent plus rapides que pour les autres méthodes d'enquête. Les sondages sur le Web et par courriel tendent à être peu coûteux à administrer. On ne peut toutefois les envoyer qu'aux gens qui ont accès à Internet et qui sont familiers avec l'utilisation d'un ordinateur. Les sondages sur le Web présentent souvent l'avantage de permettre une analyse automatique des données.

Les questionnaires d'enquête, qu'ils soient administrés au téléphone ou en personne, devraient être uniformes. Il en est de même de l'explication qui les accompagne. Il faut toujours expliquer aux répondants comment l'information sera utilisée et leur demander de signer un formulaire de consentement qui porte sur la confidentialité des renseignements personnels et la protection de l'anonymat des participants. Il faut former les intervieweurs pour qu'ils enregistrent les réponses avec exactitude. En incluant des cases à cocher et des catégories de réponses, on peut accroître l'exactitude de l'information recueillie par les questionnaires et faciliter la tâche aux répondants. Si l'on demande par exemple quel est le niveau de scolarité des répondants, le questionnaire peut contenir des catégories à cocher par l'intervieweur telles que :

• inférieur au niveau secondaire
• quelques années au niveau secondaire
• diplôme d'études secondaires
• quelques années au niveau postsecondaire
• diplôme postsecondaire

L'intervieweur peut alors cocher la catégorie pertinente plutôt que d'avoir à écrire la réponse au long.

Les questionnaires d'enquête sont plus difficiles à formuler qu'on peut le croire à première vue :

• La formulation et la construction des questions nécessitent mûre réflexion. À la page suivante, vous trouverez quelques problèmes typiques qui peuvent survenir au moment de l'élaboration du questionnaire d'enquête.
• Lorsque des options de réponse sont fournies, soit au répondant, soit à l'intervieweur, pour faciliter l'enregistrement des réponses, on devrait inclure toutes les réponses possibles. Incluez aussi une catégorie « autre » pour toute réponse que vous n'avez pas envisagée. Si vous utilisez une échelle, elle doit être équilibrée et inclure toute la gamme des options.
• L'ordre des questions est d'une grande importance. Ne commencez pas par poser des questions personnelles ou des questions qui nécessitent beaucoup de réflexion. Commencez par des questions simples et plus générales comme : Où avez-vous entendu parler de ce projet? Ou par de simples questions démographiques : Depuis combien de temps habitez-vous ce quartier? Depuis quand participez-vous au projet?

Quelques conseils concernant le questionnaire

• Interrogez les bonnes personnes et le bon nombre de personnes - À titre d'exemple, on ne demandera pas aux partenaires ce qu'ils pensent de la qualité de la mise en oeuvre du projet si leur participation directe au projet a été très limitée.
• Utilisez un langage simple - évitez le jargon. N'utilisez pas des mots comme aboutissements ou impacts, par exemple. Évitez les doubles négatifs (p. ex., êtes-vous d'accord ou pas d'accord avec la décision de ne pas fournir des services de police communautaires?). Envisagez de demander à un rédacteur dont le style de rédaction est simple de réviser votre questionnaire.
• Soyez précis - Exemples :
  • Si vous voulez connaître l'échelle salariale, précisez si vous désirez connaître le revenu mensuel ou annuel, net ou brut.
  • Lorsque vous obtenez de l'information sur les enfants au moment de leur admission, demandez les dates de naissance plutôt que l'âge, afin de pouvoir calculer leur âge exact à chaque moment du suivi. Vu la rapidité à laquelle les enfants se développent durant l'enfance, il est plus important de connaître l'âge exact des enfants que celui des adultes.
  • Lorque vous voulez savoir si les gens ont trouvé le contenu du projet intéressant et instructif, posez les questions séparément (c.-à-d., Était-ce intéressant? Était-ce instructif? ET NON PAS : Était-ce intéressant et instructif?)
• Mesurez l'intensité de l'opinion et ne cherchez pas uniquement à savoir quelle est la position de la personne - Ne vous contentez pas de seulement demander si les répondants sont d'accord ou pas d'accord, approuvent ou désapprouvent, etc. Mesurez l'intensité de leur opinion en fournissant toute une gamme d'options de réponse commeentièrement d'accord, d'accord, pas d'accord, pas d'accord du tout. Évitez de poser des questions auxquelles la réponse est oui/non, lorsqu'un éventail de réponses est plus pertinent.
  • Au lieu de demander :
    Est-ce que les voisins surveillent vos enfants dans le quartier?
    • Oui
    • Non
  • Demandez :
    Est-ce que les voisins surveillent vos enfants dans le quartier?
    • Toujours
    • Généralement
    • Parfois
    • Rarement
    • Jamais
• Test - Avant d'administrer un questionnaire d'enquête, envisagez de le tester auprès de quelques participants potentiels pour en vérifier la qualité. Un essai vous permettra de repérer des problèmes dans la formulation ou dans l'ordre des questions que vous n'auriez pas soupçonnés autrement. À titre d'exemple, la façon dont vous formulez une question au sujet du revenu devrait dépendre de la manière dont le répondant type gagne sa vie. Les personnes qui touchent un salaire savent souvent quel est leur revenu annuel, sans nécessairement connaître leur revenu hebdomadaire ou horaire. La plupart du temps, les assistés sociaux calculent leur revenu sur une base mensuelle. Adaptez la question à vos répondants. Vous pourriez également être surpris par les problèmes que causent certains mots dont vous croyez pourtant le sens clair. On a par exemple découvert lors d'un test que le mot « manque » (comme dans manque de responsabilité) causait des problèmes. Les auteurs du questionnaire ont été étonnés d'apprendre qu'un grand nombre de personnes ne savaient pas ce que ce mot voulait dire.

Trouvez l'erreur!

Essayez de repérer les problèmes que présentent les questions ci-dessous.

1. Sur une échelle de 1 à 5, quelle est votre opinion du projet?
   • 1
   • 2
   • 3
   • 4
   • 5
2. Je me sens en sécurité dans ma collectivité.
   • Généralement
   • Parfois
   • Presque jamais
   • Jamais
3. Veuillez indiquer quelle tranche d'âge représente le mieux votre âge.
   • 20-30 ans
   • 30-40 ans
   • 40-50 ans
   • 60 ans et plus
4. Cochez la réponse qui décrit le mieux votre situation
   • Pas d'enfants
   • Femme enceinte
   • Parent ayant des enfants
5. Avez-vous appris quelque chose en ce qui concerne l'évaluation et la mise sur pied de votre projet de prévention du crime?
   • Oui
   • Non
6. Quels sont les endroits du complexe d'habitations dans lesquels vous ne vous sentez pas en sécurité?
   • Aires de stationnement
   • Ascenseurs
   • Terrains de jeux
   • Cages d'escalier
   • Couloirs
   • Autres (précisez)
7. Ce projet est offert aux familles qui ont des enfants âgés de 7 à 10 ans dans le quartier de St-Albert. Veuillez inclure lesquels des groupes suivants devraient être inclus également au projet :
   • Familles ayant de jeunes enfants
   • Familles ayant des enfants plus âgés
   • Familles dans d'autres quartiers

Les tests normalisés

Ne vous laissez pas impressionner par le mot « test ». Il n'y a pas de bonnes ou de mauvaises réponses à des tests normalisés. Ces tests sont utilisés typiquement pour évaluer les attitudes et les comportements individuels. Les évaluateurs s'en servent souvent pour évaluer les changements qui surviennent chez les participants au programme avec le temps. On peut également utiliser des tests de connaissances pour évaluer les changements qui sont survenus dans les connaissances grâce à l'intervention.

Vous êtes peut-être déjà familiarisé avec certaines mesures normalisées comme l'Échelle de l'estime de soi Rosenberg (Rosenberg, 1989), une mesure que le répondant remplit lui-même et qui a été traduite dans plusieurs langues. On trouve une référence pour la version française de l'Échelle de l'estime de soi Rosenberg à l'adresse :
http://benhur.teluq.uquebec.ca/~evallier/echelles.htm

Le questionnaire d'évaluation du comportement social (QECS) est un autre test normalisé parmi ceux que vous connaissez peut-être. Vous pouvez le télécharger à partir du site du Groupe de recherche sur l'inadaptation psychosociale chez l'enfant (GRIP) dont l'adresse est : http://benhur.teluq.uquebec.ca/~evallier/echelles.htm.

Des tests normalisés peuvent également servir à évaluer des attributs communautaires. Le Sense of Community Index (Indice de sentiment d'appartenance communautaire) (Chavis, Hogge, McMillan et Wandersman, 1986), par exemple, peut fournir de l'information à propos de la cohésion d'une collectivité. On peut obtenir cet indice à http://www.capablecommunity.com/pubs/SCIndex.PDF.

On « normalise » les tests en les administrant à d'importants groupes de personnes qui, idéalement, sont semblables aux personnes auxquelles les tests seront administrés à des fins d'évaluation. Les données recueillies dans le cadre de la normalisation du test fournissent de l'information sur la manière dont la personne moyenne remplit le test. Ces « normes » aident ceux qui administrent le test à interpréter les résultats. Ainsi, l'administrateur peut déterminer si le résultat d'une personne est élevé, moyen ou faible comparé à la « moyenne ».

Les tests normalisés sont généralement protégés par des droits d'auteur. Il peut arriver, comme c'est le cas pour l'échelle Rosenberg, que le détenteur des droits d'auteur autorise l'utilisation gratuite du test dans certaines circonstances. Dans d'autres cas, comme celui de la Child Behavior Checklist (Liste de contrôle - comportement de l'enfant), il faut acheter le test chez l'éditeur. Certains tests peuvent être administrés uniquement par des professionnels ayant suivi une formation.

La validité et la fiabilité

Vous vous souvenez peut-être que nous avons parlé de validité et de fiabilité dans le Module 3. Il s'agit de critères particulièrement importants lorsque vous utilisez des mesures d'évaluation.

La validité désigne la capacité d'une mesure d'évaluer ce qu'elle est censée évaluer. Normalement, la « validation » d'un instrument ou d'une échelle consiste à administrer le test ainsi que d'autres tests mesurant des attitudes ou des comportements similaires à un grand nombre de personnes. On compare ensuite les résultats pour déterminer s'il y a une corrélation entre les résultats de la mesure mise à l'essai et les autres mesures dont on a prouvé qu'elles mesurent des caractéristiques connexes. À titre d'exemple, l'Échelle de l'estime de soi Rosenberg a été évaluée par rapport à des autodéclarations et des cotes fournies par des infirmières et des pairs, pour des constructions mentales associées à l'estime de soi, comme la dépression, l'anxiété et la réputation au sein d'un groupe de pairs. Lorsque les résultats de la mesure faisant l'objet du test ont une corrélation avec les résultats de mesures connexes, la mesure est considérée comme étant « valide ». Par fiabilité, on entend la capacité d'une mesure de fournir de l'information uniforme avec le temps et lorsqu'elle est remplie par différents groupes. On mesure normalement cet aspect en examinant les résultats obtenus au moyen de tests remplis par les mêmes répondants à plusieurs occasions. On compare ensuite les résultats fournis à ces différents moments. Lorsque les tests sont considérés comme fiables, il y a peu de variations au fil du temps. Cela signifie qu'il est peu probable que le test soit vulnérable à des changements d'humeur ou à des changements dans les circonstances, ce qui est un aspect positif. Il existe cependant un certain degré de risque lorsque ces tests sont utilisés à des fins d'évaluation de programmes. En effet, tandis que la fiabilité est considérée comme une caractéristique favorable, les échelles qui sont considérées comme fiables risquent d'être moins sensibles aux changements, même après une intervention.

Une fois qu'un test a été validé et que sa fiabilité a été confirmée, il est généralement recommandé aux chercheurs de ne pas modifier le libellé ou les items du test. De tels changements pourraient modifier la validité et la fiabilité de l'instrument. Par contre, il est important de reconnaître que la mise à l'essai des mesures d'évaluation se fait souvent auprès d'importants groupes d'étudiants du premier cycle qui sont relativement bien éduqués, qui appartiennent généralement à la classe moyenne et qui sont de race blanche et Américains. Par conséquent, ces tests risquent d'utiliser un langage trop sophistiqué ou d'inclure des items à caractère culturel qui, par conséquent, risquent de ne pas convenir à certains participants de la collectivité. Lorsque c'est possible, il vaut mieux utiliser des échelles qui ont été mises à l'essai auprès d'un grand nombre de cultures et de classes socioéconomiques. Si vous n'avez pas accès à de telles échelles, essayez de mettre à l'essai, auprès des membres de votre population de participants, les échelles que vous espérez utiliser. Cela vous donnera une idée de la mesure dans laquelle le test convient à vos participants.

Quelques conseils concernant les tests

1. J'étais mieux informé au sujet des projets qui pouvaient m'apporter quelque chose.
   • Entièrement d'accord
   • D'accord
   • En désaccord
   • Entièrement en désaccord
2. J'étais mieux en mesure d'obtenir de l'aide d'autres organisations ou organismes.
   • Entièrement d'accord
   • D'accord
   • En désaccord
   • Entièrement en désaccord
3. J'avais davantage l'impression de faire partie de la collectivité où je vis.
   • Entièrement d'accord
   • D'accord
   • En désaccord
   • Entièrement en désaccord

Nombre de personnes considèrent les tests normalisés comme la façon la plus objective de mesurer les connaissances, les attitudes et les comportements. Le fait que les instruments normalisés aient fait l'objet de nombreux essais et de recherches approfondies confirme ce point de vue. Certains facteurs importants peuvent toutefois influencer la crédibilité des résultats obtenus à l'aide de tests normalisés.

• Les conventions sociales - Les répondants aux tests fournissent parfois aux questions des réponses qui sont « désirables sur le plan social » pour plaire aux chercheurs ou pour donner l'impression qu'ils ont des attitudes ou des comportements qui d'après eux sont « désirables ». Par exemple, les parents peuvent répondre à des instruments de mesure des compétences parentales en affirmant ne jamais frapper leurs enfants ou crier après eux. Les jeunes peuvent fournir des réponses aux questionnaires qui semblent indiquer qu'ils ont des comportements moins risqués que ce n'est le cas en réalité.

  Une façon de surmonter ce problème est d'inclure dans le test des items provenant d'une échelle sur la « désirabilité sociale ». Il existe de telles échelles à la fois pour les adultes et les enfants. Elles incluent des items qui, lorsqu'on y répond d'une certaine manière, montrent clairement si la personne souhaite se présenter sous un jour favorable (p. ex., « Je ne me fâche jamais. » ou « À l'occasion, je me sens abattu ou j'ai le cafard. »). Parce que tout le monde se fâche parfois et parce que tout le monde se sent découragé à l'occasion, si un répondant affirme que cela n'est pas le cas, il est probable qu'il répond d'une manière socialement désirable. Si l'ensemble des réponses fournies à l'échelle sur la désirabilité sociale laisse supposer qu'un répondant répond ainsi, vous pouvez éliminer sa réponse de votre échantillon.

• Les réponses identiques - Les répondants peuvent parfois devenir un peu paresseux lorsqu'il leur semble que tous les items évaluent la même chose. Ils finissent par cocher la même réponse chaque fois. Voici un exemple d'une série de questions qui risquent fortement de causer ce problème :

  Il peut aussi arriver qu'un répondant répond toujours oui, qu'il est simplement d'accord avec tout. Il y a aussi des répondants qui répondent non à tout, qui s'opposent à tout.

  On peut éviter les réponses identiques en inversant l'ordre de certains items. Ou bien, dans l'exemple fourni ci-dessus, vous pourriez changer l'item du milieu comme suit : Je n'ai pas réussi à obtenir de l'aide d'autres organisations et organismes. Rappelez-vous cependant qu'en passant d'une formulation positive à une formulation négative, certaines personnes dont la connaissance de la langue est limitée risquent d'avoir de la difficulté à répondre aux questionnaires.
• L'alphabétisation, la langue et la culture - Ces facteurs importants sont souvent négligés. Sachez quelles sont les caractéristiques de la population auprès de laquelle vous intervenez lorsque vous choisissez des tests normalisés ou n'importe quelle autre méthode de collecte de données.

  Les répondants qui ne savent pas bien lire ou écrire auront de la difficulté à remplir des questionnaires écrits. Les personnes dont la langue maternelle n'est pas le français ni l'anglais risquent d'avoir de la difficulté à répondre à des questions écrites et verbales. Pour éviter toute situation embarrassante, ces répondants feront peut-être semblant de comprendre alors qu'ils ne saisissent pas le sens de la question. Évitez d'utiliser un langage sophistiqué ou du jargon. Il est également conseillé d'éviter des expressions idiomatiques (p. ex., « je me sens abattu » ou « j'ai le cafard », dans notre exemple précédent). Il n'est pas rare que les nouveaux Canadiens ne connaissent pas ces expressions, qui sont parfois uniques à des régions ou des générations particulières.

  Mettez à l'essai les échelles que vous avez l'intention d'utiliser pour déterminer si elles fournissent de bons résultats auprès de la population que vous desservez.

Les entrevues en profondeur

Les entrevues en profondeur ont tendance à fournir plus de données qualitatives que les sondages, mais les règles de formulation des questions sont les mêmes.

L'intervieweur peut se servir d'un guide d'entrevue. Le guide d'entrevue ressemble un peu à un questionnaire, puisqu'il présente les questions que posera l'intervieweur dans l'ordre prévu. Certains guides d'entrevue sont plus souples que d'autres. Ils fournissent des directives générales à l'intervieweur qui est libre d'ajouter des questions à la liste ou de développer un commentaire particulier du répondant ou une anecdote relatée par ce dernier. D'autres guides d'entrevue sont plus restrictifs et limitent l'intervieweur aux questions qu'ils contiennent.

Selon la nature de l'entrevue, le guide d'entrevue peut inclure des espaces vierges où l'intervieweur inscrit les réponses directement. Le guide renferme parfois des questions avec un choix limité de réponses. Dans ce cas, l'intervieweur peut simplement cocher la réponse fournie. On demande parfois à l'intervieweur de lire une liste de réponses possibles aurépondant. À d'autres moments, on ne demande pas à l'intervieweur de lire les réponses, mais de cocher la catégorie qui correspond le plus à la réponse fournie par le répondant. Certains guides demandent à l'intervieweur de poser des questions exploratoires lorsque les répondants ont de la difficulté à fournir une réponse.

Qu'est-ce qu'une question exploratoire?

Une question exploratoire encourage le répondant à fournir plus d'information. Voici certaines des techniques utilisées :

• Répéter la question
• Demander plus de renseignements
• Hocher la tête en attendant de recevoir la réponse
• Répéter la réponse
• Demander quand, quoi, où, lequel et comment
• Poser des questions neutres comme « Avez-vous quelque chose à ajouter? »

En vous exerçant avec d'autres intervieweurs, vous pouvez vous assurer que vous interprétez tous les questions de la même manière. Nous recommandons que vous mettiez à l'essai le guide d'entrevue auprès d'un petit groupe de personnes pour repérer les problèmes éventuels. Cela vous aidera à cerner les problèmes d'interprétation, d'ordre ou de libellé des questions. Cela vous permettra également d'estimer le temps dont vous aurez besoin pour mener l'entrevue.

Quelques conseils concernant l'entrevue

Les conseils qui suivent ont été formulés par Prairie Research Consultants (2001). Vous êtes invité à lire leur document sur les entrevues à http://www.pra.ca/resources/indepth.pdf.

Avant :

• Obtenez le consentement écrit de la personne qui participera à l'entrevue. Assurez-vous de l'informer du but et de la nature de l'entrevue et de l'utilisation qui sera faite de l'information qu'elle fournira.
• Fournissez aux répondants un aperçu des questions dont vous discuterez. L'idéal c'est de le faire quelques jours avant l'entrevue ou au moment où vous demandez le consentement de la personne qui sera interviewée.
• Veillez à ce que l'endroit où l'entrevue se déroulera soit exempt de distractions comme du bruit venant de l'extérieur, des appels téléphoniques ou d'autres interruptions. Si vous interviewez un parent ayant de jeunes enfants, prenez des dispositions pour faire garder les enfants. Choisissez une pièce où vous ne serez pas dérangés.
• Si vous souhaitez enregistrer l'entrevue, demandez le consentement de la personne. Prévoyez des options autres que l'utilisation d'un magnétophone, au cas où la personne interviewée refuse cette méthode d'enregistrement.

Pendant :

• Précisez le but général de la recherche et de l'entrevue, le temps requis et les règles établies pour assurer la confidentialité de l'entretien. Servez-vous de l'introduction pour établir de bons rapports avec la personne et pour réduire la tension. Souriez!
• Prenez des notes même si vous enregistrez l'entrevue. Nous avons fait cette mise en garde dans la section précédente, mais nous la répétons ici parce qu'elle est très importante. Il arrive que les magnétophones ne fonctionnent pas. Même s'ils fonctionnent, vos notes vous rappelleront où se trouvent certains renseignements sur la cassette.
• Laissez les répondants parler pendant 90 % du temps. Vous posez les questions, ils répondent.
• Reformulez les questions qui ne sont pas bien comprises ou auxquelles le répondant nerépond pas entièrement. Il suffit parfois de répéter la question. À d'autres moments, il se peut qu'il soit nécessaire de reformuler la question lorsqu'elle contient un mot ou un segment de phrase que le répondant ne comprend pas.
• Demandez : « Y a-t-il autre chose que vous aimeriez ajouter? » En posant ainsi une question générale à la fin, vous vous assurez que le répondant a l'occasion de faire des observations additionnelles. Ces observations peuvent indiquer le besoin d'ajouter une nouvelle série de questions. Soyez souple afin d'obtenir toute l'information.

Après :

• Vérifiez le magnétophone. Vous savez sans doute pourquoi c'est important.
• Prenez des notes additionnelles.
• Promettez au répondant que vous lui transmettrez de l'information sur les résultats de l'évaluation et n'oubliez pas de le faire!

Les groupes de discussion

Quand les groupes de discussion sont-ils utiles?

• Au moment de la planification d'un projet, pour savoir ce qu'il devrait inclure
• Pour interroger des intervenants clés (partenaires, participants, personnel) sur ce qui fonctionne et ce qui ne fonctionne pas
• Quand sont-ils inutiles?
  • Lorsque les intervenants clés ne se font pas confiance ou ne s'entendent pas
  • Lorsqu'il s'agit d'information délicate

Les entrevues en profondeur ou les questionnaires autoadministrés sont plus indiqués lorsqu'il s'agit d'information délicate ou lorsqu'il y a de la tension entre les intervenants clés. Les groupes de discussion servent à réunir des données et non pas à résoudre des problèmes.

Quelques conseils concernant les groupes de discussion

• La formation d'animateurs/de rapporteurs - Le rôle de l'animateur est de s'assurer que toutes les questions sont couvertes et que tout le monde a l'occasion de parler. Des problèmes de qualité de son peuvent limiter l'utilité d'un enregistrement audio. C'est pourquoi il peut être utile de demander à quelqu'un de faire fonction de rapporteur. Un chronométreur peut aider à faire en sorte que le groupe de discussion ne consacre pas plus de temps que prévu à chacune des questions.
• Le guide de discussion - Un guide de discussion renferme des lignes directrices qui vous indiquent les questions, y compris les questions exploratrices, à utiliser. Prévoyez suffisamment de temps pour couvrir le contenu du guide en entier tout en montrant la souplesse qui permettra d'explorer de nouveaux sujets.
• Le nombre de participants - Un nombre inférieur à 6 et supérieur à 12 peut gêner la discussion.
• La création de groupes distincts – Assurez-vous de séparer les différents intervenants clés afin d'isoler les perspectives différentes. Lorsque des groupes possèdent différents types d'expertise (p. ex., les partenaires du projet par opposition aux participants au projet, les bénévoles comparés aux employés, ou les personnes habitant des logements sociaux comparées à des personnes habitant des maisons unifamiliales), un groupe risque de dominer, ce qui vous empêchera d'obtenir tous les points de vue.
• La durée – Si la discussion se poursuit nettement au-delà de deux heures, les participants au groupe de discussion pourraient avoir de la difficulté à se concentrer.
• L'intimité – Une pièce exempte de distractions aidera les participants à se concentrer et à se sentir à l'aise. Cela aidera également à protéger la confidentialité des réponses.
• Le guide de discussion – Un guide de discussion renferme des lignes directrices qui vous indiquent les questions, y compris les questions exploratrices, à utiliser. Prévoyez suffisamment de temps pour couvrir le contenu du guide en entier tout en montrant la souplesse qui permettra d'explorer de nouveaux sujets.
• L'établissement d'un bon rapport - Tout comme dans le cas des entrevues en profondeur, commencez par décrire pour les membres du groupe de discussion ce que vous souhaitez apprendre de votre évaluation ou analyse des besoins, l'objectif du groupe de discussion et les directives que vous suivrez pour assurer la confidentialité de l'information fournie. Demandez aux participants de ne pas parler en dehors de la séance des sujets discutés pendant le groupe de discussion. Rappelez-leur que vous pouvez uniquement assurer la confidentialité de la discussion si tout le monde accepte cette règle.
• Les questions ouvertes et les questions exploratoires - Ces questions permettent aux personnes de relater des situations et de fournir des exemples. Posez des questions exploratoires pour obtenir des détails lorsque les réponses sont vagues.
• L'animation du groupe - Au début de la discussion, demandez aux participants de respecter les sentiments des autres et de permettre à chacun de parler. Il peut arriver qu'un dirigeant naturel dans le groupe soit porté à diriger la discussion sur chaque sujet. Évitez que le point de vue de cette personne n'influence les autres.
• La nourriture/la pause - La nourriture peut être un moyen d'attirer des gens au groupe de discussion et de redonner de la vigueur aux participants. L'accès au gardiennage et le remboursement des frais de transport peuvent aussi inciter à la participation.
• Le test - Servez-vous de votre premier groupe de discussion pour vérifier la pertinence de vos questions. Vous pouvez quand même utiliser les résultats si la discussion se déroule bien. Sinon, il se pourrait qu'il soit nécessaire de réviser vos questions ou de modifier d'autres facteurs avant de former d'autres groupes de discussion.

• Formation d'animateurs et de rapporteurs
• Environ de 6 à 12 participants
• Séparation des intervenants clés en groupes distincts
• Durée maximale de deux heures
• Intimité
• Élaboration d'un guide de discussion, prévoyant toutefois une marge de manoeuvre 􀀹 Établissement d'un bon rapport/protection de la confidentialité
• Utilisation de questions ouvertes et de questions exploratoires
• Nécessité d'éviter qu'une ou plusieurs personnes dominen
• Nourriture/pause à mi-chemin
• Mise à l'essai des questions qui seront posées au groupe de discussion

L'observation

L'observation représente souvent une bonne façon de réunir de l'information sur la façon dont des collectivités ou des participants à des programmes réagissent à un projet particulier. Il est conseillé de fournir des directives aux observateurs pour les aider à enregistrer leurs observations. Ces observations peuvent fournir une précieuse information qui rendra un rapport d'évaluation plus intéressant. Les observateurs devraient toutefois commencer par obtenir le consentement d'enregistrer ce qu'ils observent.

Dans le cadre de projets

Les observateurs devraient obtenir le consentement des participants à un projet qui font partie, par exemple, d'un groupe ponctuel ou d'un groupe de soutien. Si les participants sont trop jeunes pour donner leur consentement, il faut obtenir le consentement de leur gardien.

Dans la collectivité :

• Il n'est pas toujours pratique ou nécessaire d'obtenir la permission dans la collectivité, mais cela dépend de ce que vous observez.
• On peut, par exemple, observer dans une collectivité la quantité de graffitis ou de déchets, le nombre de personnes qui se trouvent dans la rue la nuit ou le nombre de personnes qui utilisent un parc.

Quelques conseils concernant l'observation

• L'importance des listes de contrôle/des guides - Les guides précisent ce que vous devriez surveiller durant vos observations. Les listes de contrôle vous aident à noter rapidement vos observations.
• L'aspect systématique – Il est important de vous assurer que vos observations sont systématiques. Vous devez être à la recherche d'éléments précis définis à l'avance et vous devez les enregistrer chaque fois que vous les observez.
• La comparaison de la fiabilité des différents observateurs – Faites un essai préalable des listes de contrôle et des guides qui seront utilisés par les observateurs. Envisagez d'organiser une séance d'observation simulée qui sera surveillée par plusieurs observateurs se servant du guide et de la liste de contrôle pour enregistrer leurs observations. Comparez les résultats. Là où il y a des différences entre les observations, discutez de ces différences et de la manière dont les observations devraient être enregistrées dans le cadre des observations futures.
• L'enregistrement des observations –
  • Si vous enregistrez sur vidéocassette les activités ou les événements, vous pourrez examiner la cassette plus tard et utiliser une liste de contrôle pour enregistrer des observations précises. Rappelez-vous que l'enregistrement sur vidéocassette coûte cher et qu'il faut toujours obtenir un consentement écrit des personnes enregistrées.
  • La photographie est une excellente façon d'enregistrer des changements dans des
  • éléments comme la quantité de graffitis à un endroit donné, l'entretien des aires publiques ou l'utilisation des espaces publics. Il peut s'agir d'une manière amusante et efficace de présenter les résultats d'une évaluation.
  • Les feuilles de pointage ou les listes de contrôle se prêtent bien à certains types d'observations (p. ex., le nombre de personnes qui utilisent un espace public, la proportion des différents groupes d'utilisateurs comme les enfants, les adolescents, les adultes et les personnes âgées ou le nombre de places où il y a des graffitis).
• Les différents moments - Si vous faites des observations pour repérer des changements au fil du temps (p. ex., des changements dans l'utilisation d'un espace public), faites des observations avant, durant et immédiatement après le projet, et puis quelques mois plus tard, après la fin du projet. Même lorsqu'on fait des observations pour évaluer l'efficacité du déroulement d'un programme ou d'une activité, il est bon de le faire plus d'une fois.

• Fournissez aux rapporteurs des listes de contrôle et des guides
• Soyez systématique
• Vérifiez la fiabilité des observateurs entre eux
• Envisagez d'utiliser une variété de méthodes d'enregistrement : vidéo, photographies, prise de notes
• Observez à différents moments

La multiplication des méthodes

Vous pouvez améliorer votre évaluation en réunissant de l'information au sujet de la même question auprès des différents groupes qui participent à votre projet (p. ex., partenaires, participants, personnel, gestionnaires) et en utilisant différentes méthodes (p. ex., groupes de discussion, observations, questionnaires d'enquête etc.). Lorsque toutes les données ont été recueillies, comparez l'information que vous avez obtenue de différentes sources et au moyen de différentes méthodes pour déterminer si les données s'appuient mutuellement ou se contredisent. C'est ce qu'on appelle la triangulation. Vous ferez davantage confiance à vos constatations si vous savez que différents intervenants ont fait les mêmes affirmations ou que différentes méthodes ont produit les mêmes résultats.

Si, par exemple, vous vous intéressez aux changements qui sont survenus dans le vandalisme, il peut être conseillé de comparer des résultats obtenus de différentes sources et au moyen de différentes méthodes :

• Constats de police concernant le vandalisme;
• Sondage parmi les habitants, les entreprises et le personnel qui travaille dans les écoles dans le quartier examiné;
• Photographies prises d'endroits dans le quartier qui sont souvent la cible de vandalisme.

Idéalement, vous devriez réunir cette information à différents moments (c.-à-d., avant, durant et après le projet de prévention du vandalisme).

Si toutes ces sources d'information vous disent la même chose, vous pouvez dans une grande mesure faire confiance aux résultats que vous avez obtenus. S'il y a des contradictions importantes dans vos résultats, vous en connaissez peut-être la cause. Ou, il se peut que vous deviez retourner aux intervenants clés pour obtenir leurs opinons sur la signification éventuelle de ces contradictions.

Glossaire

Désirabilité sociale

Les répondants répondent parfois aux questions d'une façon qui, d'après eux, plaira au chercheur ou qui présentera leurs attitudes, opinions ou comportements sous un jour favorable. Ces personnes fournissent ce qui, à leurs yeux, constituent des réponses socialement désirables. On a créé des échelles normalisées pour établir si les répondants répondent ainsi aux questions plutôt que de dire la vérité. Ces échelles sont connues sous le nom d'« échelles sur la désirabilité sociale ».

Groupe de discussion

Un groupe de discussion est un groupe de personnes sélectionnées que vous invitez à discuter d'une question particulière afin de mieux comprendre celle-ci ou d'obtenir des commentaires, des recommandations ou des observations à ce sujet. Un groupe de discussion vous permet de réunir de l'information et peut vous aider à évaluer un programme particulier.

Guide d'entrevue

Un guide d'entrevue vous permet de structurer vos entrevues de recherche ou d'évaluation. Il renferme des instructions sur la façon dont l'intervieweur devrait présenter l'entrevue et, s'il ne l'a pas déjà fait, d'informer le répondant sur les procédures d'obtention du consentement pour obtenir ensuite son consentement par écrit. Le guide présente les questions de l'entrevue dans l'ordre dans lequel elles devraient être posées. Les guides d'entrevue peuvent inclure des directives générales destinées à l'intervieweur ou des instructions précises sur la façon de présenter les questions de l'entrevue.

Normalisation

Une mesure normalisée en est une qui a été administrée à un groupe très important de personnes semblables à celles auprès desquelles la mesure sera utilisée. Les données obtenues de ce groupe servent de données de comparaison aux fins d'interprétation des résultats obtenus des participants dans le cadre de l'évaluation d'un programme ou d'une étude de recherche. Les tests normalisés vous permettent de déterminer si la note obtenue au test par une personne est élevée, moyenne ou faible comparativement à la norme (Ogden/Boyes Associated Ltd., 2001).

Question exploratoire

Une question exploratoire est une question qui permet d'obtenir une réponse plus détaillée ou des détails additionnels suite à la réponse originale du répondant.

Test

Un test consiste à effectuer une mise à l'essai des instruments d'évaluation auprès de quelques personnes représentatives de celles qui rempliront les instruments d'évaluation. Les problèmes que présentent les instruments sont notés, afin que ceux-ci puissent être révisés avant le début de l'évaluation.

Triangulation

La triangulation est un processus qui consiste à obtenir de l'information au sujet de questions similaires à l'aide de différentes méthodes (p. ex., entrevues, questionnaires, groupes de discussion) ou de différentes sources (p. ex., personnel et participants). On compare ensuite les réponses obtenues de ces différentes sources et au moyen de ces différentes méthodes pour déterminer si elles convergent ou se contredisent.

Références

Achenbach, T.M., & Edelbrock, C. (1983). Manual for the child behavior checklist and revised child behavior profile. Burlington, VT: Queen City Printers.

Chavis, D.M., Hogge, J.H., McMillan, D.W., & Wandersman, A. (1986). Sense of community through Brunswick's lens: A first look. Journal of Community Psychology, 14(1), 24-40.

Ogden/Boyes Associates Ltd. (2001). CAPC program evaluation tool kit: Tools and strategies for monitoring and evaluating programs involving children, families, and communities. Rapport non publié dressé pour Santé Canada, Direction de la santé de la population et de la santé publique, région de l'Alberta et des Territoires du Nord-Ouest, Calgary, Alberta.

Prairie Research Associates, Inc. (2001). The in-depth interview. Téléchargé le 2 septembre 2004 du site http://www.pra.ca/resources/indepth.pdf.

Rosenberg, M. (1989). Society and the adolescent self-image (édition révisée), Middletown, CT: Wesleyan University Press.

Statistique Canada. Dictionnaire du Recensement de 2001, sans date. Téléchargé le 19 octobre 2004 du site
http://www12.statcan.ca/francais/census01/Products/Reference/dict/geo013_f.htm

Ressources suggérées

Sites Web

American Statistical Association
What is a Survey?
http://www.amstat.org/sections/srms/whatsurvey.html

Cette brochure électronique porte sur des questions ayant trait à la recherche effectuée à l'aide de sondages, comme la planification, la collecte des données et la qualité des sondages.

Bureau of Justice Assistance Center for Program Evaluation
Data Collection
http://www.ojp.usdoj.gov/BJA/evaluation/guide/dc1.htm

On trouve sur ce site l'information et des liens vers diverses stratégies de collecte de données.

Innovation Network Online Evaluation Resource Center
http://www.innonet.org/index.php?section_id=62&content_id=142

Ce site Web renferme de l'information et des suggestions utiles sur la recherche au moyen de sondages. On y trouve également un document au sujet des instruments de collecte des données.

Management Assistance Program for Non-Profits
Basic Guide to Program Evaluation
http://www.managementhelp.org/evaluatn/fnl_eval.htm#anchor1585345

Ce site Web renferme de l'information utile sur les méthodes de collecte des données, y compris les questionnaires, les groupes de discussion et les sondages.

University of Wisconsin
Program Development and Evaluation
http://www.uwex.edu/ces/pdande/evaluation/evaldocs.html

Ce site Web convivial comporte de nombreux liens qui donnent accès à de l'information au sujet de tous les aspects de la collecte des données.

Manuels et guides

Duval County Health Department
Essentials for Survey Research and Analysis: A Workbook for Community Researchers
http://www.tfn.net/%7epolland/quest.htm

Ce cahier de travail comporte 12 leçons qui vont de la manière de définir les différents niveaux de données à la collecte et à la présentation de celles-ci. Il met l'accent sur la recherche au moyen de sondages.

National Science Foundation
User Friendly Handbook for Project Evaluation
http://www.nsf.gov/pubs/2002/nsf02057/nsf02057.pdf

Ce guide présente de l'information détaillée sur différentes méthodes de collecte de données, en plus de fournir des conseils et des exemples utiles.

National Science Foundation
User-Friendly Handbook for Mixed Method Evaluations
http://www.ehr.nsf.gov/EHR/REC/pubs/NSF97-153/pdf/mm_eval.pdf

Ce guide facile à utiliser renferme de l'information à propos des modèles d'évaluation qualitatifs et quantitatifs et à propos des méthodes de collecte des données associées à chacun.

Horizon Research Inc.
Taking Stock: A practical guide to evaluating your own programs.
http://www.horizon-research.com/reports/1997/stock.pdf

Ce guide pratique représente une excellente source d'information sur la façon de recueillir des données qualitatives et quantitatives. Il propose plusieurs stratégies de collecte des données.

Traité

Trochim, W. M. (2000).
The Research Methods Knowledge Base, 2^e édition.
http://www.socialresearchmethods.net/

Ce traité décrit des méthodes de recherche.

Trouvez l'erreur! (Voir p. 5)

1. Formulation vague, ambiguë
   • Évaluer le projet de quel point de vue? - Satisfaction, qualité, accessibilité?
   • Évaluer quel aspect du projet? - Contenu, personnel, emplacement, service, éléments précis?
   • À quoi correspondent les chiffres? Est-ce que 1 correspond à extrêmement satisfait et 5 à extrêmement insatisfait?
   • Certains chercheurs préfèrent éviter des échelles ayant un chiffre moyen comme celle qui apparaît sous cette question (c.-à-d. des échelles ayant un nombre impair de réponses par opposition à un nombre pair). Lorsqu'il y a réellement une option au milieu, les répondants qui sont incertains de leur point de vue choisiront souvent le chiffre au milieu. Malheureusement, cela ne fournira pas beaucoup d'information au chercheur. En utilisant une échelle à quatre points, on peut forcer le répondant à sélectionner une réponse qui va dans un sens ou dans l'autre.
2. L'échelle comportant un choix limité de réponses n'est pas bien équilibrée
   • Les options sont mal équilibrées parce qu'il y en a une qui est positive, une qui est neutre et deux qui sont négatives.
3. Les catégories de réponse ne sont pas exclusives
   • Il y a un chevauchement entre les tranches d'âge (p. ex., si vous avez 30 ans, vous pourriez cocher la première ou la deuxième catégorie).
4. Les catégories de réponse ne sont pas exclusives
   • Il pourrait s'agir d'une personne enceinte mais également d'un parent avec des enfants OU d'une personne n'ayant pas d'enfants. Comment décide-t-on quelle option cocher?
5. Double question
   • Posez les questions séparément : Avez-vous appris quelque chose de nouveau au sujet de l'évaluation? Avez-vous appris quelque chose de nouveau depuis le début de votre projet de prévention du crime? Vous pourriez également remplacer les réponses Oui/Non par des réponses qui ressemblent à ceci : J'ai beaucoup appris, J'ai appris quelque chose et J'ai appris très peu/Je n'ai rien appris du tout. Ce qui serait encore mieux, c'est de remplacer cette question par une question qualitative
6. Question tendancieuse
   • La question part du principe qu'il y a des secteurs où l'on ne se sent pas en sécurité. Cette question devrait être précédée d'une question qui demande au répondant s'il se sent en danger dans le complexe domiciliaire. S'il se sent en sécurité, une note devrait l'inviter à sauter cette question et à passer à la prochaine.
7. Question tendancieuse
   • Cette question part du principe que le projet devrait être étendu.

Module 4 - Feuilles de travail

Feuille de travail 1 Questionnaire - rédaction et entrevue

Instructions :

1. Passez en revue les pages 2 à 10 du manuel.
2. Choisissez un animateur, un rapporteur et un chronométreur.
3. Élaborez un questionnaire ou un guide d'entrevue pour le sujet assigné. Si vous faites partie du groupe 1, vous aiderez à élaborer un questionnaire. Si vous faites partie du groupe 2, vous préparerez un guide d'entrevue.
4. Photocopiez le questionnaire/guide d'entrevue, en faisant suffisamment de copies pour tous les membres de votre groupe.
5. Le groupe 1 administre un questionnaire au groupe 2.
6. Le groupe 2 mène une entrevue auprès du groupe 1.

Rapporteurs : Vous élaborez le questionnaire ou le guide d'entrevue pour tous les membres du groupe; veillez conséquemment à ce que tout le monde puisse lire votre écriture.

Auteurs du sondage : Incluez dans vos questionnaires des questions vrai/faux, des échelles nominales, des questions à choix multiples et des questions ouvertes.

Intervieweurs : Incluez dans vos entrevues des questions ouvertes (celles qui permettent au répondant de répondre librement) ainsi que des questions fermées (celles qui comportent un choix limité de réponses).

Conseils pour le sondage

• Posez vos questions aux personnes appropriées et au bon nombre de personnes
• Utilisez un langage simple
• Soyez précis
• Mesurez l'intensité de l'opinion; ne cherchez pas seulement à connaître la position des répondants
• Effectuez un test
• Évitez une formulation vague et ambiguë, les échelles qui ne sont pas équilibrées, les réponses limitées qui se chevauchent, les questions doubles ou les questions tendancieuses

Servez-vous de l'espace ci-dessous et de la page suivante pour élaborer votre questionnaire ou guide d'entrevue. Continuez au verso si vous avez besoin de plus d'espace.

Conseils pour l'entrevue

Avant :

• Fournissez aux répondants un aperçu des questions dont vous discuterez
• Veillez à ce que l'endroit de l'entrevue soit exempt de distractions
• Demandez un consentement si vous souhaitez enregistrer l'entrevue

Pendant :

• Décrivez le but général de la recherche et de l'entrevue, le temps requis, et les règles de confidentialité
• Prenez des notes même si vous enregistrez l'entrevue
• Laissez la parole au répondant pendant 90 % du temps
• Reformulez les questions non comprises ou auxquelles le répondant ne répond pas entièrement
• Demandez : « Y a-t-il autre chose que vous aimeriez ajouter? »

Feuille de travail 2 Groupes de discussion et observation

Suivez les instructions figurant sur le tableau à feuilles volantes.

Servez-vous de l'espace ci-dessous pour créer le guide destiné au groupe de discussion ou le guide d'observation. Lorsque vous avez terminé, photocopiez le guide en produisant suffisamment de copies pour tous les membres de votre groupe.

Conseils pour le groupe de discussion

• Formation d'animateurs et de rapporteurs
• Environ de 6 à 12 participants
• Séparation des participants en groupes distincts
• Pas plus de deux heures
• Intimité
• Élaboration d'un guide de discussion en prévoyant toutefois une marge de manœuvre
• Établissement d'un bon rapport/protection de la confidentialité
• Utilisation de questions ouvertes et de questions exploratoires
• Nécessité d'éviter qu'une ou plusieurs personnes dominent
• Nourriture/pause à mi-chemin
• Test des questions qui seront posées au groupe de discussion

Conseils pour l'observation

• Fournissez aux rapporteurs des listes de contrôle et des feuilles de pointage
• Soyez systématique
• Vérifiez la fiabilité des observations entre elles
• Envisager d'utiliser une variété de méthodes d'enregistrement : vidéo, photographie, prise de notes
• Observez à différents moments

Module 5 : Modèles d'évaluation

Les objectifs d'apprentissage

• Savoir ce que signifie « modèle d'évaluation »
• Comprendre les divers niveaux d'évaluation :
  • Le suivi des programmes ou des projets
  • L'évaluation des processus
  • L'évaluation des résultats
• Comprendre les points forts et les faiblesses des principaux modèles utilisés dans l'évaluation des résultats :
  • Le modèle avec mesure après le programme seulement avec un seul groupe et avec un groupe témoin
  • Le modèle avec mesure avant et après le programme avec un seul groupe et avec un groupe témoin
  • Le modèle chronologique avec un seul groupe et avec un groupe témoin

Dans les modules précédents, nous avons examiné différentes méthodes de collecte de mesures quantitatives et qualitatives du rendement d'un projet. Dans le module 6, nous étudierons de manière plus exhaustive les analyses de ces mesures. Le présent module porte essentiellement sur les modèles d'évaluation ou sur les façons dont nous évaluons les effets des activités du projet.

Qu'est-ce qu'un modèle d'évaluation?

Un modèle d'évaluation suppose :

1. Un ensemble de mesures quantitatives ou qualitatives du rendement du projet.
2. Un ensemble d'analyses qui utilisent ces mesures pour répondre à des questions clés concernant le rendement du projet.

Les modèles d'évaluation comprennent des façons de décrire les ressources, les activités et les résultats du projet et des méthodes d'évaluation des effets des activités de projet (Wholey, Hatry et Newcomer, 1995).

Les niveaux d'évaluation

Avant d'aborder de manière plus exhaustive les modèles d'évaluation, nous examinerons les différents niveaux d'évaluation.

Le suivi du projet consiste à faire le décompte de certaines activités et opérations du projet. Ilpermet de déterminer ce que fait le projet et sa façon de procéder. À titre d'exemple, vous pourriez assurer le suivi du nombre d'activités que vous offrez, du nombre d'employés, du nombre d'heures travaillées par ces employés, du nombre de participants aux activités, du nombre de partenaires en cause et de l'évolution possible de ces données au fil du temps. Vous le faites probablement déjà!

L'évaluation du processus permet d'examiner les processus et les procédures et les liens entre les activités du projet. Les évaluations de processus sont généralement effectuées en vue d'améliorer le déroulement du projet. À titre d'exemple, vous voudriez peut-être savoir si votre projet atteint les personnes qu'il est censé atteindre. Si les activités se déroulent de la manière initialement prévue. Si le nombre de participants a un effet sur la charge de travail du personnel ou sur la quantité de services auxquels les participants ont accès.

L'évaluation des résultats examine les effets et l'efficacité du projet. À titre d'exemple, un projet qui se consacre aux jeunes susceptibles de prendre part à un crime ou d'en être victimes pourrait poser des questions comme les suivantes : Les participants sont-ils restés à l'école plus longtemps? Ont-ils eu moins de démêlés avec la justice ou étaient-ils moins souvent des victimes? Comment le programme peut-il être amélioré pour mieux atteindre ses objectifs? Une évaluation efficace des résultats englobera le suivi du projet et l'évaluation des processus.

La plupart des évaluations comprennent des composantes de chaque niveau. Nous allons nous concentrer sur les modèles d'évaluation des résultats.

Les obstacles à la validité des résultats des évaluations

Dans le module 3, nous avons traité de l'importance de choisir des indicateurs valides. La validité du modèle d'évaluation dans son ensemble est tout aussi importante que la validité des indicateurs particuliers que vous choisissez. Il existe des catégories de validité (voir l'encadré de la page suivante), mais nous allons nous concentrer sur la validité interne.

La validité interne désigne la mesure dans laquelle nous pouvons être certains que les changements touchant la collectivité ou les participants au projet que vise l'évaluation résultent, dans les faits, du projet. Le choix d'un modèle d'évaluation qui exclut d'autres explications de vos résultats garantit mieux sa validité interne.

Nous vous montrerons certaines des obstacles types à la validité interne que posent les résultats d'évaluation. Un modèle d'évaluation solide viendra contrer ces obstacles. Il accroîtra votre confiance que vos résultats sont imputables à votre projet et non à des facteurs extérieurs.

Les événements historiques - Vous souvenezvous de Sir John A.^{Note de bas de page 1}? Il fait partie de l'histoire au sens de connaissance et récit des événements du passé. Les événements historiques dont il s'agit ici sont plutôt des événements extérieurs qui ne sont pas liés à votre projet et qui exercent une influence sur les changements que votre évaluation est en mesure de suivre au fil du temps. Il peut y avoir eu certains événements historiques dans la collectivité qui ont influé sur les changements que vous avez détectés, mais ils ne sont pas liés à votre projet.

À titre d'exemple, un projet axé sur la diminution de la toxicomanie peut choisir d'utiliser les accusations portées par des policiers comme indicateur de changement. Si des changements aux politiques de la police concernant le dépôt d'accusations de possession simple ont eu lieu au cours du calendrier du projet, l'utilisation de cet indicateur pourrait mener à une fausse interprétation des effets du projet. Une augmentation ou une diminution du nombre d'accusations pourrait être interprétée comme un changement à la toxicomanie alors que dans les faits, l'augmentation ou la diminution est le résultat d'une modification des politiques de la police.

La maturation - La maturation désigne des changements survenus naturellement avecl'évolution du temps. À titre d'exemple, les enfants changent au fur et à mesure qu'ils grandissent. Les changements dans leurs comportements ou leurs attitudes au fil du temps pourraient refléter le processus normal de maturation.

Les autres catégories de validité

Voici des définitions de trois autres catégories de validité :

• La validité externe - la mesure dans laquelle les conclusions d'une évaluation peuvent être généralisées - ou sont censées être établies - dans d'autres projets ou collectivités semblables à celle qui est étudiée.
• La validité de contenu - la mesure dans laquelle les activités du projet et l'endroit où elles sont offertes - ainsi que les mesures utilisées pour évaluer le changement et les participants-échantillons choisis à des fins d'évaluation - cadrent dans les théories sur les motifs pour lesquels certaines activités de prévention du crime sont censées produire certains résultats (Clark, 1999).
• La validité fondée sur les conclusions statistiques - la mesure dans laquelle l'analyse et la mesure des variables (comme les changements d'attitudes ou de comportements) sont faites de manière à limiter les erreurs qui soit : a) échouent dans l'évaluation des véritables effets du programme ou b) amènent à tort le chercheur à croire que des changements sont survenus alors que ce n'est pas le cas.

Trop de renseignements?

S'il vous semble y avoir tout simplement « trop de renseignements », ne vous inquiétez pas. Vous n'avez pas besoin de tous ces détails. (Nous pensions tout simplement que vous seriez intéressé(e)!) Il convient de se rappeler que les obstacles à la validité sont des facteurs autres que la participation à des activités de projet qui mènent à des changements apportés au groupe étudié. Les obstacles à la validité peuvent mener à de fausses conclusions au sujet de la capacité ou de l'échec de votre projet à obtenir les résultats que vous aviez prévus.

L'étude des changements touchant le développement chez les enfants et les adolescents peut être particulièrement difficile parce qu'ils vivent naturellement des changements au fur et à mesure qu'ils vieillissent, peu importe leur participation à des projets. Pour écarter cet obstacle, vous pourriez comparer les changements vécus par les participants au projet à ceux que vivent des membres d'un groupe témoin qui ne participe pas au projet. Si le groupe du projet a vécu des changements semblables à ceux du groupe témoin, cela laisse supposer que les changements en question pourraient tout simplement avoir été causés par la maturation. Si les changements vécus par le groupe du projet ont excédé ceux qui ont été vécus par le groupe témoin, vous pourriez être davantage convaincu que les changements ne résultaient pas de la seule maturation, mais qu'ils étaient plutôt le résultat des activités de projet.

La sélection – L'obstacle de la sélection découle du fait que les gens qui choisissent de se joindre aux activités du projet pourraient être différents de ceux qui ne le font pas.

À titre d'exemple, un projet qui offre des ateliers au sujet de la fraude commise contre les personnes âgées pourrait attirer des personnes âgées qui sont plus susceptibles de chercher de l'information, ce qui les rend d'ailleurs moins vulnérables à la fraude. Voilà une autre bonne raison d'utiliser un groupe témoin lorsque c'est possible. Si vous pouviez étudier les changements chez les personnes âgées qui ont participé à des ateliers du projet et les comparer à un groupe semblable de personnes âgées qui n'y ont pas participé, vous pourriez écarter l'obstacle que représente la sélection.

Vous voudrez par contre vous assurer que la sélection des membres des groupes de participants et des groupes témoins n'a pas fait l'objet d'une erreur systématique. Nous parlerons davantage des façons d'éviter les biais de sélection dans les projets et les groupes témoins à la fin du module lorsque nous traiterons de modèles expérimentaux et quasi expérimentaux.

L'attrition - L'attrition présente certaines similitudes avec l'obstacle de la sélection. Il y a attrition quand l'analyse du changement est centrée uniquement sur les participants qui terminent une activité. Ceux et celles qui terminent une activité pourraient être ceux et celles qui étaient les plus motivés à réussir, tandis que ceux et celles qui ont abandonné étaient peutêtre plus vulnérables au départ.

Supposons par exemple que dans le cadre d'un projet axé sur la gestion de la colère, on ait demandé aux participants de remplir un questionnaire portant sur la gestion de la colère avant et après le programme. Les menottes représentent les participants qui ont été accusés d'infractions et emprisonnés avant la fin du programme. Au stade de l'administration des post-tests, les participants en question n'étaient pas disponibles, ce qui fait que leurs résultats ne pouvaient pas être inclus dans la moyenne de ces post-tests. Ils étaient néanmoins probablement plus vulnérables au départ, tandis que ceux et celles qui ont achevé le programme étaient probablement plus susceptibles de réussir, même en l'absence du programme. C'est pourquoi il est souhaitable de recueillir de l'information additionnelle au sujet de l'histoire des participants et leurs données démographiques lors des prétests et des post-tests. Vous pouvez ensuite comparer ceux qui abandonnent à ceux qui sont restés dans le projet pour déterminer s'ils s'avéraient différents d'une manière ou d'une autre.

Les tests - Plus souvent vous mesurez un aspect, plus les participants seront familiarisés avec les tests. Leurs réponses pourraient être influencées par la réponse qu'ils ont fournie la première fois. Voilà une bonne raison d'éviter de faire des prétests et des post-tests dans une trop courte période de temps.

Les instruments - Il arrive que le test ou le questionnaire que vous utilisez comme indicateur pose lui-même un problème. Si par exemple votre évaluation avait recours à deux intervieweurs qui posaient la même série de questions de différentes façons ou qui consignaient les réponses différemment, les résultats de l'entrevue pourraient différer en raison de la façon dont l'entrevue a été menée plutôt qu'en raison de l'effet du projet.

La régression statistique - Il peut arriver que des facteurs tels qu'une forme physique affaiblie ou encore le manque de sommeil au cours de la nuit qui précède le test puissent influer sur les résultats de certains participants aux prétests. C'est souvent le cas lorsque le test a un faible taux de fiabilité. Dans le module 4, nous avons expliqué qu'un instrument fiable donne une information constante au fil du temps. Si ces mêmes participants qui ont eu des résultats moindres au prétest en raison de leur état complètent le post-test dans une forme normale, leurs résultats démontreront une nette amélioration que l'on ne pourra toutefois pas attribuer au projet. Il est démontré de façon générale, que les personnes qui ont des résultats très élevés ou très bas ont tendance, avec le temps, à se rapprocher de la moyenne. Ce phénomène s'appelle la régression statistique. Elle constitue un obstacle à la validité particulièrement lorsque les participants au groupe expérimental sont choisis en fonction de leurs résultats extrêmes au prétest.

Les modèles expérimentaux contribuent à faire diminuer les biais de sélection. Les participants se voient affecter de façon aléatoire à un projet ou à un groupe témoin.

Lorsque l'affectation aléatoire n'est pas possible, les modèles quasi expérimentaux peuvent être utilisés. Ils ont recours à d'autres façons de former un groupe témoin, tout en tentant de contrôler les biais de sélection. Un groupe témoin pourrait par exemple être constitué à partir d'une liste d'attente en vue du projet ou d'une collectivité semblable comptant des membres ayant des antécédents similaires à ceux des participants au projet.

Les modèles d'évaluation

Dans les modules de formation précédents, nous avons discuté des questions suivantes :

• Comment formuler des questions auxquelles vous voulez que votre évaluation réponde.
• Comment choisir des indicateurs qui vous aideront à répondre à ces questions.
• Comment décider auprès de qui vous recueillerez de l'information au sujet de ces indicateurs (sources de données) et comment vous procéderez (méthodes de collecte de données).

Lorsque vous choisissez vos méthodes de collecte de données, vous devez également tenir compte du modèle de votre évaluation :

1. Quel modèle conviendra le mieux au projet que vous désirez évaluer?
2. Comment le modèle contrera-t-il les obstacles éventuels à la validité?

Modèle 1 : Modèle avec mesure après le programme seulement avec un seul groupe

Supposons ce qui suit :

X = votre intervention dans le cadre du projet
O = le moment où vous mesurerez ou évaluerez le changement découlant du projet

Si les participants prennent part à vos activités de projet et si vous mesurez les résultats par la suite, voici à quoi ressemblerait votre modèle :

X : Ce que fait votre projet.
O : Le moment où vous mesurez les résultats.

Supposons que votre projet comportait des activités visant à accroître la fierté des jeunes à l'égard de leur patrimoine culturel. Ce volet est indiqué par X.

Après la fin de ces activités, le personnel du projet a demandé aux jeunes participants aux activités de répondre à certaines questions afin d'évaluer leurs connaissances, leur sentiment d'appartenance et leur fierté à l'égard de leur culture. 0 représente cette évaluation.

Votre évaluation comportait une mesure des résultats du projet à un seul moment : après la fin des activités.

Certains aspects à considérer :

Lorsque vous repensez à la liste des obstacles à la validité, à quels obstacles ce modèle pourrait-il être vulnérable, selon vous?

À quoi compareriez-vous les résultats?

Comment saurez-vous si les résultats découlent du projet et non de facteurs externes?

Que savez-vous sur les connaissances et les sentiments des jeunes à l'égard de leur culture AVANT leur participation au programme?

Que savez-vous sur l'intervention vécue par les participants ou sur les activités visant à atteindre les résultats? Quels changements recommanderiez-vous d'apporter au modèle afin d'aider à répondre à ces questions?

Modèle 2 : Modèle avec mesure avant et après le programme avec un seul groupe

Encore une fois, supposons ce qui suit :

X = votre intervention dans le cadre du projet
O = le moment où vous mesurerez ou évaluerez le changement découlant du projet

Si vous mesurez le changement avant et après le programme, voici à quoi ressemblerait le modèle :

O : Prétest
X : Intervention
O : Post-test

Supposons qu'il s'agisse du même projet dont nous avons traité précédemment. Cette fois, les connaissances, le sentiment d'appartenance et la fierté des jeunes à l'égard de leur culture ont été mesurés avant les activités du projet, puis une autre fois après les activités.

Voici certaines questions qui pourraient vous aider à réfléchir davantage sur ce modèle.

Questions :

Ce modèle est-il meilleur que le modèle avec post-test seulement?

À quels obstacles à la validité est-il vulnérable?

À quoi compareriez-vous les résultats?

Comment saurez-vous si les résultats découlent du programme et non de facteurs externes?

Que savez-vous sur les connaissances et les sentiments des jeunes à l'égard de leur culture AVANT leur participation au programme?

Que savez-vous sur l'intervention vécue par les participants ou sur les activités visant à atteindre les résultats?

Quels changements recommanderiez-vous d'apporter au modèle afin d'aider à répondre aux questions toujours sans réponse?

Modèle 3 : Modèle avec mesure après le programme seulement avec un groupe témoin

Dans ce modèle, vous mesurez les résultats des participants qui prennent part à votre projet après les activités de projet. Vous utilisez la même mesure avec un deuxième groupe qui ne participe pas à votre projet. Vous testez le deuxième groupe en même temps que vous testez les participants au projet.

01 = Évaluation du groupe expérimental
02 = Évaluation du groupe témoin

Si vous deviez utiliser les symboles pour montrer comment ce modèle fonctionne, voici à quoi cela ressemblerait :

Il n'y a pas de X pour le groupe témoin parce que les membres de ce groupe n'ont pas participé à une intervention.

Si nous nous reportons à l'exemple précédent, dans ce modèle, les connaissances, le sentiment d'appartenance et la fierté des jeunes à l'égard de leur culture ont été mesurés après les activités du projet. EN OUTRE, un groupe témoin (dont les membres n'ont pas participé au projet) a été évalué au même moment.

Questions :

Que pensez-vous de ce modèle?

Est-il meilleur ou pire que les modèles précédents?

À quels obstacles à la validité est-il vulnérable?

À quoi compareriez-vous les résultats?

Comment saurez-vous si les résultats découlent du projet et non de facteurs externes?

Que savez-vous sur les connaissances et les sentiments des jeunes à l'égard de leur culture AVANT leur participation au projet?

Comment saurez-vous si le groupe témoin a été traité différemment du groupe du projet?

Quels changements recommanderiez-vous d'apporter au modèle afin d'aider à répondre aux questions toujours sans réponse?

Modèle 4 : Modèle avec mesure avant et après le programme avec groupe témoin

Dans ce modèle, vous mesurez les résultats des participants qui prennent part à votre projet avant et après les activités de projet. Vous utilisez les mêmes mesures avec un deuxième groupe qui ne participait pas à votre projet. Vous testez le deuxième groupe en même temps que vous testez les participants au projet.

Si vous deviez utiliser les symboles requis pour illustrer comment fonctionne ce modèle, voici à quoi cela ressemblerait :

Prétest des participants au projet Post-test des participants au projet

Comme dans le modèle 3, il n'y a pas de X pour le groupe témoin parce qu'il n'a pas participé à une intervention.

Revenons au même exemple de projet visant à accroître la fierté des jeunes à l'égard de leur patrimoine culturel. Dans ce cas-ci, les connaissances, le sentiment d'appartenance et la fierté des jeunes à l'égard de leur culture sont mesurés avant et après les activités du projet. Un groupe témoin dont les membres n'ont pas participé au projet est testé en même temps.

Questions :

Que pensez-vous de ce modèle? Est-il meilleur que les modèles précédents?

À quels obstacles à la validité est-il vulnérable?

À quoi compareriez-vous les résultats?

Comment saurez-vous si les résultats découlent du projet et non de facteurs externes?

Que savez-vous sur les connaissances et les sentiments des jeunes à l'égard de leur culture AVANT leur participation au programme?

Comment savez-vous si le groupe témoin a été traité différemment du groupe expérimental?

Modèle 5 : Modèle chronologique

La plupart des groupes communautaires qui prennent part à la prévention du crime par le développement social ne disposent probablement pas des ressources ou du temps requis pour utiliser un modèle chronologique. Dans le cas où ce serait possible, nous donnons un bref aperçu de ce type de modèle. Le modèle chronologique est semblable aux modèles à mesure avant et après le programme, sauf qu'il prend des mesures à quelques reprises avant que le projet n'ait lieu et le même nombre de fois après qu'il a eu lieu.

Le modèle chronologique peut comporter un seul groupe ou aussi un groupe témoin. Au moyen des mêmes symboles dont nous nous sommes servis pour illustrer les modèles aux pages précédentes, nous vous donnons des exemples de quelques modèles chronologiques.

Un modèle chronologique avec un seul groupe pourrait ressembler à ceci :

Dans ce cas, des évaluations sont effectuées à trois moments différents avant l'intervention et à trois moments après l'intervention.

Un modèle chronologique avec groupe témoin pourrait ressembler à ceci :

Comme dans l'exemple du modèle avec un seul groupe, le schéma illustré ici inclut des mesures avant le programme à trois moments différents, qui visent cette fois autant le groupe du projet que le groupe témoin, et des mesures après le programme à trois occasions différentes après la fin de l'intervention.

Un modèle chronologique interrompu avec un seul groupe ressemblerait à ceci :

Le modèle chronologique interrompu prend des mesures entre les étapes d'une intervention ou d'un projet pour favoriser une meilleure compréhension de la façon dont les différentes parties de l'intervention fonctionnent ensemble afin de produire des résultats. Dans ce cas, les mesures sont effectuées à deux reprises avant qu'une activité du projet ou qu'un ensemble d'activités du projet n'aient lieu. Les évaluations sont effectuées de nouveau à deux occasions après l'activité ou l'ensemble d'activités. Une autre activité ou un autre ensemble d'activités du projet a ensuite lieu et des évaluations sont faites ultérieurement à deux reprises.

Un modèle chronologique interrompu avec groupe témoin ressemblerait à ceci :

Le schéma qui est présenté ici est le même que celui du modèle avec un seul groupe. Un groupe témoin qui fait l'objet d'évaluations en même temps que le groupe du projet est ajouté à ce modèle.

En règle générale, les modèles chronologiques peuvent être plus efficaces que les modèles avec mesure avant et après le programme. L'analyse des résultats générés par les modèles chronologiques peut donner une meilleure idée des tendances. À titre d'exemple, si vous preniez des mesures tous les trois mois, trois fois avant la réalisation du projet et trois fois après celui-ci, vous pourriez constater si un changement clair dans les résultats s'est produit pendant la période durant laquelle le projet s'est déroulé. Un modèle chronologique avec groupe témoin renforcera la possibilité d'attribuer ces résultats au projet et non à d'autres facteurs externes.

Ces modèles sont confrontés à des obstacles à la validité semblables à ceux qui touchent les modèles équivalents avec mesure avant et après le programme. Les tests peuvent présenter des obstacles plus sérieux aux modèles chronologiques, lorsque des mesures telles que des questionnaires sont administrées directement aux participants, parce qu'elles sont souvent prises tout au long de la période d'évaluation. Ce ne sera pas le cas si les mesures utilisées sont des registres de présence à l'école, des notes ou des rapports de police qui ne touchent pas directement les participants. En ce qui concerne les modèles chronologiques, il convient de garder à l'esprit que les analyses statistiques de ces modèles peuvent être très complexes.

Quelques mots au sujet des groupes témoins

L'expérience nous a enseigné que l'utilisation d'un groupe témoin dans une évaluation renforcera votre capacité de tirer des conclusions au sujet de l'efficacité. Par contre, nous savons tous que cet idéal n'est pas facile à atteindre. Il est souvent très difficile, lors de l'évaluation de programmes communautaires, d'obtenir un groupe témoin raisonnable. Par conséquent, que pouvons-nous faire pour généraliser nos conclusions en l'absence d'un groupe témoin? Voici quelques suggestions :

• Recueillir de l'information narrative sur des événements extérieurs éventuels qui pourraient affecter les résultats constatés dans un modèle avec un seul groupe.
• Comparer les résultats relevés dans le groupe du projet à ceux que l'on trouve dans des études publiées.
• Utiliser des tests uniformisés pour comparer les résultats des participants aux normes pour le test.

Faites appel à votre imagination pour trouver d'autres moyens de renforcer vos conclusions.

Mise en garde...

Si vous pouvez trouver un groupe témoin pour renforcer votre modèle d'évaluation, il importe de reconnaître que certains groupes témoins sont meilleurs que d'autres. Premièrement, voici une règle d'or en matière de modèle d'évaluation :

La sélection aléatoire est utilisée dans ce qu'il est convenu d'appeler le modèle expérimental. Les participants sont affectés au hasard au groupe témoin ou au groupe expérimental (d'intervention). À titre d'exemple, des jeunes qui ont eu des démêlés avec la justice pourraient être affectés soit à un programme visant à faire diminuer les démêlés éventuels avec la justice, soit à un groupe qui n'est pas associé au programme et duquel on peut obtenir de l'information comparable. Ils sont affectés au groupe de projet ou au groupe témoin de manière aléatoire (p. ex., un jeune sur deux est assigné à l'autre groupe). Ainsi, il est plus facile de s'assurer qu'il n'existe pas de différences systématiques entre les deux groupes.

Il arrive fréquemment que la sélection aléatoire soit impossible. Il est préférable dans ces cas de tenter de former un groupe témoin à partir de personnes ayant des caractéristiques semblables. À titre d'exemple, dans le cas du programme des jeunes ayant eu des démêlés avec la justice, nous pourrions demander à des jeunes figurant sur une liste d'attente ou à des jeunes d'un milieu semblable de participer au groupe témoin. Il s'agit alors d'un modèle quasi expérimental. Dans de tels modèles, il importe de veiller à ce que les deux groupes soient comparables. Les données démographiques comme les renseignements portant sur l'âge, l'origine ethnique, le niveau d'éducation, le revenu et les démêlés antérieurs avec la justice sont recueillies auprès des deux groupes pour nous aider à établir si le groupe témoin est comparable au groupe d'intervention.

Glossaire

Échantillon

Un échantillon est un sous-groupe à l'intérieur d'une population plus vaste. On l'étudie pour obtenir de l'information au sujet d'une population entière.

Groupe expérimental

Un groupe expérimental est un groupe de personnes qui participent à une intervention (ou à un programme). Les résultats obtenus par le groupe expérimental peuvent être comparés à ceux d'un groupe témoin qui ne participe pas à l'intervention. Le groupe témoin devrait présenter des caractéristiques semblables à celles du groupe expérimental, sauf qu'il ne participe pas l'intervention à l'étude. On mesure ensuite les écarts dans les résultats obtenus auprès des deux groupes.

Groupe témoin (ou de contrôle)

Un groupe témoin est appelé groupe de contrôle dans des laboratoires. Comme les chercheurs exercent beaucoup moins de contrôle sur les milieux communautaires, le groupe est alors appelé groupe témoin. Le groupe témoin est formé de personnes qui présentent des caractéristiques semblables à celles des participants au projet évalué, mais qui ne sont pas exposées à l'intervention.

Prétest et post-test

Le même instrument est utilisé avant et après une intervention ou un programme.

Sélection aléatoire

La sélection aléatoire signifie que les personnes (ou les collectivités) ont une chance égale d'être choisies comme membres d'un groupe témoin ou d'un groupe d'intervention. C'est le hasard qui détermine si une personne ou une collectivité sera sélectionnée dans un groupe ou un autre.

Références

Clark, A. (1999). Evaluation research: An introduction to principles, methods and practice. Thousand Oaks, CA: Sage.

Wholey, J.S., Hatry, H.P., & Newcomer, K.E. (1995). Handbook of practical program evaluation. San Francisco: Jossey-Bass.

Ressources suggérées

Sites Web

North Central Educational Regional Laboratory (NCREL)
Modèle et outils d'évaluation
http://www.ncrel.org/tandl/eval2.htm

Ce site Web fournit de l'information au sujet du modèle d'évaluation. Il répond à trois questions principales : Pourquoi devriez-vous évaluer votre projet? Que devriez-vous évaluer? Comment devriez-vous évaluer? Il est question des obstacles communs à la validité.

Northwest Regional Educational Laboratory
Évaluation de l'impact
http://www.nwrac.org/whole-school/impact_c.html

Ce site Web offre de l'information utile portant sur divers modèles d'évaluation.

Manuels et Guides

Fondation nationale des sciences
User-Friendly Handbook for Mixed Method Evaluations
http://www.ehr.nsf.gov/EHR/REC/pubs/NSF97-153/start.htm

Ce guide convivial fournit des renseignements concernant les modèles de recherche qualitative et quantitative.

Conseil du Trésor du Canada
Méthodes d'évaluation des programmes : Mesure et attribution des résultats des programmes, vol. 3
http://www.tbs-sct.gc.ca/eval/pubs/meth/pem-mep_f.pdf

Ce guide traite de différentes considérations d'ordre méthodologique. Il comprend un long chapitre sur les modèles et les stratégies d'évaluation.

The Urban Institute
Evaluation Strategies for Human Services Programs
http://www.urban.org/url.cfm?ID=306619

Ce guide comporte des réflexions sur les différentes questions d'évaluation, y compris une section exhaustive sur l'élaboration d'un modèle d'évaluation.

Livres

Trochim, William M., (2000).
The Research Methods Knowledge Base, 2^e édition.
http://www.socialresearchmethods.net/

Ce manuel en ligne guide l'utilisateur dans le modèle d'évaluation et dans les points forts et les faiblesses associés aux divers modèles.

Questions concernant les modèles d'évaluation (p. 6 - 10)

Modèle 1

À quels obstacles ce modèle pourrait-il être vulnérable, selon vous?
Il peut être vulnérable à tous les obstacles sauf ceux qui sont liés aux tests (à moins que les participants aient effectué les tests auparavant). Il est difficile de savoir avec certitude si le modèle est vulnérable aux problèmes liés aux instruments ou à la régression statistique, parce que nous ne savons pas si le test constituait une bonne mesure du résultat ou s'il avait été administré de manière cohérente ou encore quel aurait été le résultat des tests si les participants avaient été testés avant le programme.

À quoi compareriez-vous les résultats?
On ne peut comparer les résultats à quoi que ce soit.

Comment saurez-vous si les résultats découlent du projet et non de facteurs externes?
Il est impossible de le savoir avec certitude.

Que savez-vous sur les connaissances et les sentiments des jeunes à l'égard de leur culture AVANT leur participation au programme?
Il est impossible de savoir quoi que ce soit avec certitude.

Que savez-vous sur l'intervention vécue par les participants ou sur les activités visant à atteindre les résultats?
On ne peut rien savoir à ce sujet sans suivre un processus d'évaluation ou effectuer un suivi de projet à un niveau quelconque. Si l'information sur les processus permettant de savoir comment l'intervention a été faite n'est pas recueillie, il est difficile de tirer des conclusions sur ce qui a fonctionné ou non.

Modèle 2

À quels obstacles de validité est-il vulnérable?
Il peut être vulnérable à tous les obstacles de validité. Il est difficile de savoir avec certitude si le modèle est vulnérable aux problèmes liés aux instruments parce que nous ne savons pas si le test constituait une bonne mesure du résultat ou s'il avait été administré de manière cohérente.

À quoi compareriez-vous les résultats?
Cette fois, vous pouvez les comparer aux résultats des tests antérieurs.

Comment saurez-vous si les résultats découlent du programme et non de facteurs externes?
Une fois de plus, il est impossible de le savoir avec certitude.

Que savez-vous sur les connaissances et les sentiments des jeunes à l'égard de leur culture AVANT leur participation au programme?
Le test antérieur vous apprendra quelque chose sur les connaissances et les sentiments des jeunes avant leur participation au programme.

Que savez-vous sur l'intervention vécue par les participants ou sur les activités visant à atteindre les résultats?
Une fois de plus, vous ne le saurez pas sans suivre un processus d'évaluation ou sans effectuer un suivi de projet quelconque.

Modèle 3

À quels obstacles de validité est-il vulnérable?
Il est moins vulnérable aux obstacles liés à l'histoire, à la maturation, à la sélection et à l'attrition que les modèles avec un seul groupe. Il pourrait toutefois y avoir un biais en ce qui concerne la sélection pour déterminer qui se trouve dans le groupe témoin et qui se trouve dans le groupe exposé au programme. La sélection aléatoire de ces deux groupes atténuerait cette préoccupation. Il est susceptible d'être vulnérable aux obstacles liés aux tests uniquement lorsque les participants ont effectué les tests auparavant. Il est difficile de déterminer s'il est vulnérable aux instruments, ou à la régression statistique, parce que nous ignorons si le test constituait une bonne mesure du résultat ou s'il avait été administré de manière cohérente.

À quoi compareriez-vous les résultats?
Vous pouvez comparer les résultats du groupe exposé au programme à ceux du groupe témoin. Si les résultats sont meilleurs pour le groupe exposé au programme que pour le groupe témoin, cela indique que le programme a eu un effet.

Comment saurez-vous si les résultats découlent du programme et non de facteurs externes?
Si les participants au projet obtiennent une meilleure note que ceux du groupe témoin, cela implique que le programme a fait une différence. Vous ne pouvez toutefois pas le déterminer avec certitude sans savoir s'il y avait des différences entre le groupe témoin et le groupe exposé au programme au départ. Il serait aussi utile de connaître quelque peu les influences exercées sur le groupe témoin.

Que savez-vous sur les connaissances et les sentiments des jeunes à l'égard de leur culture AVANT leur participation au projet?
Ce modèle ne permet pas de savoir quoi que ce soit.

Comment saurez-vous si le groupe témoin a été traité différemment du groupe du projet?
Il faudrait consigner les activités du projet et mieux connaître toutes les activités avec lesquelles le groupe témoin a été en contact.

Modèle 4

À quels obstacles de la validité est-il vulnérable?
Il est moins vulnérable à tous les obstacles de la validité. Toutefois, il pourrait y avoir un biais de sélection lorsqu'on décide qui se trouve dans le groupe témoin et qui se trouve dans le groupe exposé au programme. La sélection aléatoire de ces deux groupes atténuerait cette préoccupation. Le modèle peut être vulnérable aux obstacles liés aux tests si les mesures avant et après le programme sont administrées trop près au fil du temps. Il est difficile de déterminer s'il est vulnérable aux instruments parce que nous ignorons si le test constituait une bonne mesure du résultat ou s'il avait été administré de manière cohérente.

À quoi compareriez-vous les résultats?
Vous pouvez comparer le changement survenu au fil du temps entre le groupe exposé au programme et le groupe témoin. Ce procédé aide à éliminer la plupart des obstacles à la validité, à condition que les deux groupes soient comparables dès le départ.

Comment saurez-vous si les résultats découlent du programme et non de facteurs externes?
Si les participants au programme obtiennent de meilleurs résultats que le groupe témoin, cela implique que le projet a fait une différence. Il peut toutefois subsister un doute si nous ne connaissons rien des influences exercées sur le groupe témoin et la mesure dans laquelle le groupe du programme et le groupe témoin étaient comparables au départ.

Que savez-vous sur les connaissances et les sentiments des jeunes à l'égard de leur culture AVANT leur participation au projet?
Vous obtiendrez cette information grâce à la mesure avant le programme.

Comment saurez-vous si le groupe témoin a été traité différemment du groupe du programme?
Il faudrait consigner les activités du programme et mieux connaître toutes les activités avec lesquelles le groupe témoin a été en contact.

Module 5 - Feuilles de travail

Feuille de travail 1 Modèle d'évaluation

Modèle :

Mesures proposées, moment et personne responsable de leur administration :

Stratégies/justifications du traitement des obstacles à la validité :

1 - Événements historiques

2 - Maturation

3 - Attrition

4 - Tests

5 - Instruments

Module 6 : Analyse des données et communication des résultats^{Note de bas de page 2}

Les objectifs d'apprentissage

• Comprendre le rôle que peuvent jouer l'art et la science dans l'analyse
• Connaître les principales étapes de l'analyse
• Comprendre l'analyse quantitative simple et les principales méthodes d'analyse qualitative
• Savoir quand utiliser divers types de graphiques
• Connaître les principales exigences touchant la production des rapports et les points sur lesquels axer les rapports d'évaluation

L'art d'interpréter les données

L'évaluation relève à la fois de l'art et de la science. Si vous analysez des données numériques, il importe de garder à l'esprit que les nombres que vous obtenez ne sont pas des résultats comme tels, mais plutôt des indicateurs des résultats. Voici un rappel de ce qu'est un indicateur?

Un indicateur est une variable (ou une information) qui mesure un aspect d'un programme ou d'un projet. Il révèle si un projet a atteint un objectif en particulier.

Les indicateurs ne révèlent cependant pas tout. On devrait les considérer dans un contexte plus vaste et tenir compte des multiples facteurs pouvant les influencer. Voilà en quoi consiste l'art de communiquer des résultats. Parmi les facteurs qui peuvent influencer les résultats, citons :

• Les facteurs touchant les participants - Les caractéristiques des participants au projet - ou des collectivités desservies par un projet - peuvent influer sur les résultats du projet. Elles peuvent comprendre :
  • les caractéristiques démographiques des participants comme l'âge, le sexe ou l'éducation;
  • les facteurs qui reflètent les difficultés que vivent les participants dans leur vie personnelle. En voici quelques exemples : les participants ont peut-être un revenu limité, un logement inadéquat, des antécédents de mauvais traitements, des problèmes médicaux ou des ennuis de santé ou encore des antécédents liés à la criminalité ou à la victimisation;
  • les caractéristiques des résidents qui prennent part à un projet de développement communautaire ou le type de collectivité desservie, qu'elle soit urbaine ou rurale, une collectivité éloignée géographiquement ou un milieu à densité élevée.
• Les facteurs touchant les programmes - Les caractéristiques du programme ou du projet englobent :
  • le type d'intervention ou d'activités;
  • la durée et l'intensité de l'intervention;
  • les facteurs circonstanciels comme l'ampleur du roulement du personnel, l'accessibilité du lieu du projet, voire les intempéries ayant empêché des gens de prendre part à des activités du projet.
• Les facteurs touchant les processus – Ce sont des facteurs liés à l'évaluation elle-même :
  • la taille de l'échantillon;
  • l'exhaustivité des données obtenues;
  • la cohérence de la collecte des données –quant à savoir si, par exemple, le degré de fiabilité des différents observateurs était élevé (nous avons traité de cette notion dans le Module 4);
  • le moment de la collecte des données – quant à savoir si des données ont effectivement été obtenues au moment de l'entrée des participants dans le projet et de leur sortie du projet;
  • les méthodes de collecte des données – quant à savoir si l'information recueillie a été communiquée par les participants eux-mêmes, si elle résultait des observations du personnel, etc.;
  • la mesure dans laquelle les questions posées au cours de l'évaluation ont été bien comprises;
  • la pertinence des questions posées par rapport à ce que l'évaluation entendait mesurer.

L'art d'interpréter les données

• Garder à l'esprit que les données numériques ne constituent pas des résultats en soi, mais plutôt des indicateurs de résultats.
• Inclure le contexte multifactoriel englobant les participants, le programme et les processus.
• Tenir compte de différentes méthodes d'analyse
• Consulter d'autres personnes pour :
  • Les méthodes d'analyse les plus appropriées.
  • L'interprétation/les explications possibles des résultats.

Il est préférable de tenir compte du mode d'analyse de vos données avant de commencer à les recueillir. Votre plan d'analyse devrait faire partie de votre plan d'évaluation. Soyez ouverts à diverses méthodes d'analyse. Il est toujours bon de consulter d'autres personnes qui peuvent vous conseiller au sujet de la meilleure façon d'analyser les données que vous souhaitez obtenir. Lorsque vous planifierez votre évaluation, communiquez avec des universitaires, des consultants ou d'autres spécialistes du domaine de la prévention du crime par le développement social pour obtenir des opinions sur les méthodes d'analyse les plus appropriées. Une fois que vous aurez analysé les données, les participants, les partenaires et le personnel pourraient être en mesure de vous éclairer sur les explications possibles des résultats obtenus. Il conviendrait de les inclure dans vos consultations au sujet de la façon d'interpréter les résultats de votre évaluation.

La science de l'analyse des données

Même si l'interprétation et la communication des données relèvent aussi de l'art, il ne peut y avoir de place que pour la science dans la consignation et l'analyse des résultats. L'exactitude et la minutie sont essentielles.

Imaginez les conséquences d'une inscription par mégarde dans la mauvaise colonne d'une base de données des réponses obtenues des participants au projet quant aux mesures de comportements ou d'attitudes. Cette erreur vous amènerait à tirer des conclusions fondées sur des renseignements inexacts. Ou alors pensez aux conséquences de formuler des conclusions basées sur les réponses de participants à des questions qu'ils ont toujours mal interprétées. Ces exemples vous donnent une idée de l'importance qu'il faut accorder à tous les aspects de la mise en œuvre de votre évaluation.

Voici quelques éléments à surveiller :

• Les questions mal interprétées – Testez les questionnaires ou les guides d'entrevue pour vous assurer que les questions sont claires, en particulier lorsque le français ou l'anglais est la langue seconde des participants ou qu'ils n'ont pas terminé leurs études secondaires.
• Si vous avez donné des instructions du type « passez à » dans vos questionnaires (c.-à-d. des questions comme « si le participant n'a pas d'enfants, passez à la question X »), assurez-vous qu'elles ont été suivies correctement.
• La saisie des données – Effectuez une vérification exhaustive de la qualité de vos données pour veiller à ce que toutes les données numériques soient correctement saisies dans les bases de données. Cherchez des réponses qui s'écartent de la norme. Si par exemple vous constatez que de l'information concernant un enfant de huit ans a été entrée dans votre base de données alors que votre projet s'adresse à des personnes de 16 à 18 ans, vous pouvez supposer une erreur dans la saisie des données. Assurez-vous que les réponses n'ont pas été entrées dans la mauvaise colonne d'une base de données.
• La vérification de la fiabilité - Si deux personnes ou plus font de l'observation, vérifiez leurs notes pour vous assurer que des observateurs indépendants noteraient les mêmes observations de la même manière.
• Le contrôle de la qualité - Assurez-vous de la logique de vos données. Si par exemple des employés rattachés au programme consignent l'origine ethnique des participants au projet et qu'il semble y avoir un nombre exceptionnellement élevé de participants anglais ou espagnols, servez-vous de vos connaissances de votre collectivité pour vérifier l'information. Y a-t-il un grand nombre d'immigrants du Royaume-Uni ou de l'Espagne ou ont-ils été mal identifiés et auraient-ils dû être légitimement consignés comme des Canadiens anglophones ou des Latino-Américains?

La science de l'analyse des données

Assurez-vous que les données qualitatives et quantitatives sont exactes et complètes :

• Les questions ont été comprises et les formulaires remplis de façon cohérente.
• Les données ont été saisies correctement.
• La vérification de la fiabilité a été effectuée.
• Le contrôle de la qualité est en place.

Les étapes clés de l'analyse des données

• Vérifiez l'exactitude et l'exhaustivité des données.
• Structurez les données. Essayez différentes façons de les structurer et de les décrire.
• Posez les jalons de la réussite. Qu'espérez-vous ou qu'attendez-vous?
• Réfléchissez aux résultats. Les résultats comblaient-ils vos attentes? Étaient-ils positifs ou négatifs?
• Tentez d'expliquer les résultats. Qu'est-ce qui pourrait expliquer les résultats? Demandez aux employés, aux participants ou aux partenaires de vous faire part de leurs réflexions. Comparez avec d'autres projets si l'information est accessible. Tentez de dégager des tendances si vous recueillez des données au fil du temps

L'analyse des résultats

Comme nous l'avons mentionné dans le Module 3, l'analyse suppose l'étude de la signification et de la valeur des données que vous avez collectées. Dans ce module, nous vous avons proposé une description des termes de base utilisés dans l'analyse de données. Nous les avons de nouveau inclus dans l'encadré ci-contre.

La fréquence et le pourcentage

Supposons que nous avons demandé à 472 personnes si elles étaient d'accord, en désaccord ou sans opinion quant à la question de savoir si elles se sentaient davantage en sécurité dans leur quartier après qu'un animateur communautaire a organisé une série d'ateliers ayant réuni les résidents du quartier pour discuter de questions de préoccupations communes et pour mieux se connaître.

Les résultats sont présentés dans le tableau ci-après.

Vous savez probablement déjà comment calculer un pourcentage. Nous nous servirons du nombre de personnes d'accord avec l'énoncé pour illustrer comment il est calculé.

Le nombre de répondants qui ont dit qu'ils étaient d'accord avec l'énoncé (288) est divisé par le nombre total de répondants (472), puis multiplié par 100 pour donner le pourcentage de répondants qui convenaient qu'ils se sentaient davantage en sécurité dans leur voisinage (61 %).

288 ÷ 472 x 100 = 61 %
% du total des réponses = fréquence de réponse ÷ nombre total de réponses x 100

• La fréquence – à quelle fréquence certaines réponses ont-elles été fournies (compter simplement le nombre).
• Le pourcentage – Quel pourcentage de répondants ont dit a plutôt que b ou c. Vous pouvez même faire une analyse plus poussée et montrer comment le pourcentage variait entre les sous-groupes par rapport au groupe entier.
• La moyenne – Il s'agit de la réponse moyenne. Cette donnée peut être influencée par des réponses extrêmes (c'est-à-dire nettement supérieures ou inférieures à la moyenne). S'il est probable que cela se produise, envisagez de fournir aussi une réponse médiane.
• La médiane – La réponse se trouvant au milieu lorsqu'on classe les réponses de la plus élevée à la plus faible.
• Le mode – la réponse la plus souvent fournie.

Vous pouvez fournir davantage d'information en ventilant de manière plus poussée les fréquences et les pourcentages suivant les différentes catégories de répondants. Vous pourriez par exemple répartir les résidents d'un quartier en fonction de l'âge, du sexe, du niveau de revenu, du type d'habitation ou de tout autre facteur susceptible d'influer sur les perceptions des gens.

Dans le tableau qui précède, nous avons classé les réponses du groupe d'un quartier en fonction de l'âge. Le tableau illustre le pourcentage et la fréquence (entre parenthèses) des réponses pour chaque groupe d'âge. Le nombre souligné montre le pourcentage des résidents de 18 à 29 ans qui affirment avoir l'impression que le quartier est plus sûr. Ce groupe d'âge représente 26 % du groupe total des répondants. La rangée et la colonne appelées TOTAL devraient toujours atteindre 100 %.

La signification statistique

Si vous aviez recueilli les opinions des résidents du quartier avant le début de la série d'ateliers, vous auriez pu ventiler les réponses en fonction de celles que vous auriez obtenues avant le projet et après le projet, ce qui vous aurait permis de déterminer si les opinions des résidents avaient évolué entre le début et la fin du projet. Comme nous l'avons appris dans le module 5, il va sans dire qu'il vous faudrait être prudent en attribuant ce changement à la série d'ateliers lorsque nous ne disposons pas de renseignements semblables d'un quartier témoin qui n'aurait pas été exposé aux ateliers. Il est possible d'effectuer des calculs statistiques encore plus poussés qui pourraient vous indiquer si les divergences d'opinions avant et après un programme ou une intervention sont « statistiquement significatives » et si elles sont peu susceptibles de s'être produites en raison du hasard.

Plus le seuil de signification est élevé, plus la probabilité que le résultat soit imputable au hasard est faible. Si un résultat est significatif à 0,01, il existe une probabilité de une sur 100 qu'il soit imputable au hasard.

Pourquoi 0,01? Parce que 1 ÷ 100 = 0,01. Par conséquent, 0,01 représente une probabilité de une sur 100 d'imputation au hasard.

1 ÷ 1000 = 0,001 ou une probabilité de 1 sur 1 000 d'imputation au hasard.

1 ÷ 20 = 0,05 ou une probabilité de 1 sur 20 d'imputation au hasard.

Vous verrez souvent un certain seuil de signification associé aux résultats d'une étude de recherche ou d'une évaluation. Vous pourriez par exemple voir : p < 0,01. Ce résultat signifie que la probabilité d'un résultat découlant du hasard est inférieure à une sur cent.

Dans les revues professionnelles, on a adopté comme pratique générale de communiquer les conclusions avec un coefficient de probabilité d'au moins 0,05. Toute personne qui possède des compétences en statistiques pourra vous conseiller quant au coefficient de probabilité recommandé pour votre analyse. Si la taille de votre échantillon est très grande, il est davantage probable que les résultats soient imputables au hasard. Des seuils de signification plus élevés sont donc généralement nécessaires.

La plupart des tests statistiques exigent que certaines hypothèses concernant les données analysées soient vérifiées. Lorsque vous comparez par exemple les moyennes de deux groupes distincts à l'aide d'un test t, nous présumons que les échantillons sont prélevés auprès de populations présentant une distribution normale et des écarts types équivalents. Une distribution normale signifie que la plupart des scores se trouvent vers le centre et qu'une proportion plus petite, mais égale, est située vers les extrémités de la distribution des scores. Le graphique d'une distribution normale ressemble un peu à une cloche. Il est parfois appelé « courbe en forme de cloche ».

Distribution normale ou « courbe en forme de cloche »

Nous n'entrerons pas dans les détails de ce qu'est un écart type. Défini simplement, l'écart type est une mesure de l'ampleur de la répartition des scores entre les plus élevés et les plus bas et de leur écart du score moyen. L'écart type augmente en proportion de la répartition des scores.

Plutôt que de rendre le texte trop complexe, nous avons inclus des ressources à la fin du présent chapitre pour vous aider à en apprendre davantage au sujet des variances et des écarts types. Nous avons également inclus une définition plus technique d'un écart type dans le glossaire. Les ressources recommandées dans ce chapitre vous seront utiles si vous êtes intéressé(e) à effectuer des tests de signification. L'utilisation de tests de signification requiert un certain savoir-faire afin que vous fassiez les calculs appropriés et que vous utilisiez les données qui suivent les hypothèses nécessaires à certains tests. Un consultant peut vous aider à cet égard.

Les trois « M »

Les trois « M » : le mode, la médiane et la moyenne sont officiellement connus sous le nom de Mesures de tendance centrale. Vous connaissez probablement ces mesures. Nous les avons présentées dans le module 3. Les trois « M » ou mesures de tendance centrale, constituent trois façons différentes de résumer où se situent la plupart des réponses d'un groupe de personnes. Le tableau ci-après illustre le niveau de satisfaction de 51 personnes qui ont indiqué sur une échelle à cinq points dans quelle mesure elles étaient satisfaites d'un atelier de formation sur l'évaluation de projets communautaires. La valeur 1 indiquait que ces personnes n'étaient pas satisfaites du tout et la valeur 5, qu'elles étaient très satisfaites.

La moyenne représente la réponse « moyenne ». Elle est calculée en additionnant toutes les réponses, puis en divisant par le nombre total de réponses. Pour calculer la moyenne de l'exemple du tableau qui précède, nous établissons la valeur totale de l'ensemble des réponses indiquées par les répondants, puis nous divisons par le nombre total de réponses (51) pour obtenir une valeur moyenne de 3,22 :

Moyenne = (5 x 5 + 4 x 15 + 3 x 19 + 2 x 10 + 1 x 2) ÷ 51 = 3,22

La médiane vous dit où se trouve le point milieu des réponses. Vous obtenez la médiane en classant toutes les réponses, de la plus élevée à la plus basse, puis en trouvant la réponse du milieu (dans ce cas, la 26e réponse). Si le nombre de cas est pair, la médiane est le point qui se trouve à mi-chemin entre les deux cas du milieu. Par exemple, s'il y avait 52 réponses dans l'échelle de la satisfaction, le point médian se trouverait à mi-chemin entre la réponse des 26^e et des 27^e cas, s'ils étaient différents.

Médiane = la 26^e réponse (le point milieu) du plus élevé au plus bas = 3

Le mode est la réponse la plus souvent donnée. Dans ce cas, la plupart des gens (soit 19 répondants sur 51) ont donné la réponse 3 à leur degré de satisfaction.

Mode (réponse la plus fréquente) = 3

Quelle mesure utiliser? La moyenne, la médiane ou le mode?

Voici quelques conseils sur les circonstances dans lesquelles il convient d'utiliser chaque mesure :

• Utiliser le mode lorsque vous communiquez des catégories d'information (p. ex., homme/femme, origine ethnique, etc.). Quelle était la catégorie la plus fréquente?
• Utiliser la médiane pour illustrer la réponse la plus typique.
• Utiliser la moyenne pour refléter la valeur de chaque réponse et non seulement le nombre de réponses. Contrairement aux autres mesures de tendance centrale, la moyenne peut être encore manipulée. Par exemple, les moyennes de deux groupes peuvent être additionnées, puis divisées par deux pour obtenir la moyenne du groupe combiné.

Parmi les trois mesures de tendance centrale, la moyenne est surtout touchée par les réponses se démarquant de la distribution. Dans l'exemple sur la satisfaction dont nous nous sommes servis, les réponses se rangent dans ce que l'on connaît sous le nom de distribution normale ou de courbe en forme de cloche (en d'autres termes, la plupart des réponses se trouvent dans le milieu et un nombre relativement égal, mais plus petit, se trouve aux extrémités supérieure et inférieure). Par conséquent, les trois mesures, le mode, la moyenne et la médiane, sont proches l'une de l'autre. Il arrive que quelques réponses qui sont à l'extrême supérieure ou inférieure puissent influencer la moyenne, ce qui fait que la médiane est alors une meilleure mesure du point central. Dans le cas présenté, le nombre plus élevé de répondants qui indiquent leur satisfaction à 5 exerce une légère influence sur la moyenne. Par conséquent, la moyenne s'établit à 3,22 tandis que la médiane et le mode se situent à 3.

Conseils en matière d'analyse

• Évitez les tests statistiques aléatoires! Les « tests statistiques aléatoires » désignent la réalisation de toutes sortes de tests statistiques sur les données que vous avez recueillies jusqu'à ce que vous trouviez des résultats significatifs. Plus vous effectuez de tests, plus il est probable qu'un test soit statistiquement significatif. Plutôt que de réaliser des tests statistiques aléatoires, vous devriez avoir établi un plan d'analyse clair avant de recueillir vos données. Votre plan devrait s'appuyer sur vos hypothèses au sujet de la population que vous étudiez et sur vos attentes relatives aux résultats du projet susceptibles d'être obtenus. Tenez-vous en à l'analyse prévue à moins qu'il existe de nouvelles preuves qu'une forme différente d'analyse soit plus pertinente.
• Assurez-vous que les seuils de signification reflètent la taille de l'échantillon. Dans notre exposé sur la signification statistique, nous avons mentionné que de très grands échantillons semblent parfois montrer des résultats statistiquement significatifs qui peuvent effectivement être imputables au hasard. En règle générale, il est bon de maintenir un seuil élevé de signification pour analyser des données d'un très grand échantillon.

  Par ailleurs, il est souvent difficile de repérer des changements significatifs dans de petits échantillons, ce qui fait que des seuils de signification moins élevés peuvent être utilisés. Si vous travaillez avec un très petit groupe de participants (30 ou moins), il est préférable de recueillir des données auprès de tous les participants plutôt que de constituer un échantillon à même votre population de participants. Il est très difficile de tirer des conclusions d'aussi petits échantillons.

Quand demander de l'aide?

Nous avons mentionné que les consultants peuvent vous aider à effectuer votre analyse. Vous vous demandez peut-être quand vous pouvez faire le travail vous-même et quand vous devriez faire appel à une personne qui vous aiderait à le faire. Nous vous recommandons de choisir quelqu'un qui comprend les statistiques pour vous aider à effectuer les analyses plus poussées telles que les tests de signification statistique. Un consultant peut également vous aider à déterminer le type de données dont vous avez besoin, la taille de l'échantillon requise, et les autres éléments à considérer avant la cueillette des données.

Dans le cadre d'analyses statistiques plus poussées, des consultants peuvent vous aider à vous assurer :

• que les hypothèses requises sont vérifiées,
• que des tests statistiques appropriés sont utilisés,
• que le seuil le plus approprié de signification est appliqué, et
• que l'interprétation des résultats est raisonnable.

Les tests normalisés

Dans le module 4, nous avons traité des tests normalisés. Les tests normalisés sont souvent utilisés pour évaluer les connaissances, les attitudes et les comportements des individus. Ils comportent habituellement un certain nombre d'énoncés suivis d'une échelle (p. ex. une échelle à quatre points qui va de tout à fait d'accord à entièrement en désaccord) sur laquelle le répondant indique le point de vue qui s'applique le mieux à lui. Le processus de normalisation d'un test consiste à l'administrer à un grand nombre de personnes qui, idéalement, sont semblables à celles qui compléteront la mesure lorsqu'elle sera utilisée dans son contexte. Les données recueillies de ce grand groupe tiennent lieu d'élément comparatif pour vous aider à interpréter les réponses des répondants. La normalisation vous permet de déterminer si le score d'une personne est élevé, moyen ou bas comparativement à la « norme ».

• Quand un test a été normalisé, les résultats obtenus peuvent être comparés aux résultats normalisés. Ces résultats représentent les « normes » du test.
• Utiliser le score total ou, s'il existe des sous-échelles, classer les réponses en sous-échelles à des fins d'analyse.
• Une analyse basée sur les réponses à certains éléments peut entraîner une fausse interprétation.

Comme les échelles normalisées sont établies de manière à ce qu'un certain nombre d'éléments contribuent à l'évaluation d'une caractéristique ou d'un concept, les résultats de chacun des éléments ne devraient généralement pas être communiqués seuls. Dans le module 5, nous avons traité de la validité, la capacité d'une mesure d'évaluer ce qu'elle est censée mesurer. Nous avons également abordé la fiabilité, soit la capacité d'une mesure de fournir des données cohérentes au fil du temps et lorsqu'elles sont complétées par divers groupes. Un élément seul sur une échelle normalisée est susceptible de présenter une validité et une fiabilité faibles lorsqu'il est utilisé par lui-même. Il pourrait faire l'objet d'une fausse interprétation de la part du répondant ou pourrait plus vraisemblablement entraîner des réponses socialement désirables de la part de certains répondants. L'utilisation d'un score total sur une échelle ou une sous-échelle est moins susceptible d'être vulnérable à ces types de biais. Pour cette raison, il est préférable de communiquer des résultats à partir d'échelles normalisées basées sur le résultat total d'une échelle ou d'une sous-échelle.

Données qualitatives^{Note de bas de page 3}

Vous pouvez analyser de petites quantités de données qualitatives en résumant les réponses pour fournir un portrait global de ce qui a été dit.

Lorsque vous disposez de grandes quantités de données qualitatives, vous devriez utiliser une méthode d'analyse plus systématique. L'analyse du contenu est un procédé par lequel les tendances en matière de données qualitatives sont repérées, codifiées ou nommées et ensuite classées (Patton, 1990).

• De petites quantités de données peuvent être résumées pour fournir un portrait global de ce qui a été dit.
• Faites le compte de la fréquence des réponses semblables (p. ex., ceux qui croyaient que le projet devrait être plus long, que l'endroit devrait être plus rapproché, etc.)

L'analyse des données qualitatives constitue généralement un processus fastidieux, mais des logiciels comme NUD*IST et NVIVO (voir http://www.qsrinternational.com/) ont été élaborés pour faciliter le codage des données qualitatives.

Si vous analysez vos données qualitatives à la main en utilisant des copies papier des données (p. ex., des transcriptions d'entrevues ou de réponses ouvertes à des questions écrites), faites en au moins quatre copies avant de commencer vos analyses (Patton, 1980). Si vous analysez des transcriptions d'entrevues, demandez au transcripteur de laisser de grandes marges pour le codage. Les transcriptions d'entrevues devraient toujours être faites textuellement. Elles ne devraient jamais être résumées avant l'étape de l'analyse.

Conseils sur la préparation des copies papier des transcriptions d'entrevues aux fins de l'analyse du contenu :

• Laisser sur les pages une très grande marge à droite aux fins du codage.
• S'assurer que les transcriptions rapportent textuellement ce qui a été dit.
• Faire quatre copies de chaque transcription.

Les quatre copies de vos données seront utilisées de la façon suivante :

1. Entreposage sûr
2. Pour s'y reporter tout au long de l'analyse
3. Pour coder dans les marges
4. (ou davantage de copies) Pour couper-coller sur des notes écrites ou mémos.

Une fois les données recueillies, transcrites et copiées, vous êtes prêt pour l'analyse. Voici un court résumé des étapes à suivre pour analyser le contenu :

1. L'examen et l'organisation des données - Examiner les transcriptions (ou les réponses écrites aux questions). Noter les thèmes qui émergent et les catégories principales dans lesquelles les données semblent s'inscrire.
2. Le codage des données - Examiner minutieusement les transcriptions (ou les réponses écrites). Chercher de l'information pertinente aux questions d'évaluation définies au début du processus d'évaluation, aux catégories et aux thèmes émergents. « Coder » les données en écrivant le sujet, la catégorie ou le thème dans la marge de droite de la page.

   Exemple

   Supposons que vous codez les réponses des participants à un projet de jeunes à une question portant sur ce qu'ils ont appris au sujet de la résolution de problèmes. Vous pourriez coder les réponses à la question de savoir s'ils se rangent dans les catégories générales suivantes : faire fin du problème, demander le soutien d'autrui, fuir ou éviter le problème ou chercher activement une solution au problème.
3. La rédaction des mémos - Maintenant que toutes les données ont été codées, utilisez les codes que vous avez placés dans la marge de droite des transcriptions ou des réponses aux entrevues pour étudier vos données par catégorie. Vous devriez être à l'affût des contradictions, de la constance des thèmes dans les catégories ou des liens entre les catégories. Résumez ensuite cette information dans des notes écrites ou mémos.

   Exemple

   Supposons que vous avez interviewé le personnel du projet et celui d'organisations partenaires. L'une des questions d'entrevue demandait aux répondants comment ils percevaient le fonctionnement du partenariat. Vous auriez pu coder ces perceptions sous le grand titre « perceptions du partenariat ». Dans cette catégorie, vous pourriez relever des contradictions dans les perceptions qu'ont les divers groupes du partenariat. Vous pourriez ensuite préparer un mémo qui décrit les contradictions relevées. Un autre mémo pourrait décrire toute autre tendance relative aux perceptions qu'ont les répondants du partenariat.

   Miles et Huberman (1984) constatent que les mémos « ne font pas que communiquer des données, elles regroupent également différentes données ou montrent que des données en particulier illustrent un concept général » (p. 69). Les mémos aident à établir le mode de présentation des résultats de vos analyses. Ils décrivent les principaux thèmes, liens, contradictions et catégories de données.
4. L'opération « couper-coller » - Couper et coller directement sur les mémos des citations tirées des données brutes qui se rapportent aux thèmes ou aux concepts que présentent ces mémos. Ces citations tiendront lieu d'exemples des concepts ou des thèmes que vous identifiez. Souvenez-vous de toujours coder la citation au moyen de renseignements quant à sa source (non pas le nom de la personne, mais la catégorie de répondant -participant, partenaire, membre du personnel, etc.) et un numéro de page.
5. La vérification des conclusions - Lorsque c'est possible, utilisez les questions découlant des notes que vous avez rédigées pour préparer d'autres entrevues avec des participants. Ces entrevues seront plus réussies si vous fournissez aux participants un résumé de vos conclusions préliminaires avant l'entrevue. Miles et Huberman (1984) et Guba et Lincoln (1985) recommandent ces vérifications comme méthode de correction et de vérification des données.
6. La révision de vos affirmations initiales - Transcrivez et analysez les données de l'entrevue de suivi en suivant les étapes 1 à 4 qui précèdent et utilisez l'information qui en résulte pour réviser vos affirmations initiales.

La communication des résultats

Votre façon de présenter vos données est, dans une certaine mesure, une question de préférence. Certaines personnes préfèrent les tableaux et d'autres privilégient les graphiques. Il arrive qu'une méthode soit mieux adaptée qu'une autre à la présentation d'un type de renseignements en particulier. Voici des renseignements généraux concernant les avantages des différentes méthodes de présentation :

• Les graphiques et les diagrammes illustrent les tendances mieux que les tableaux.
• Les diagrammes à bandes sont faciles à lire et constituent une bonne façon de comparer les différences entre des renseignements semblables.
• Les graphiques linéaires simples peuvent illustrer des séries de données différentes en même temps.
• Les diagrammes circulaires montrent des parties d'un tout et sont faciles à lire.
• Les tableaux sont plus efficaces lorsque nous ne présentons que quelques éléments d'information.

Étudions de manière plus exhaustive ces différentes méthodes de communication des résultats.

Les diagrammes à bandes

Les diagrammes à bandes sont utiles pour comparer deux ensembles de données. À titre d'exemple, le diagramme qui figure ci-dessous présente des valeurs par catégories (p. ex. toujours, parfois, jamais) et au fil du temps (p. ex. en 2001 et en 2003). Les diagrammes à bandes sont également utiles pour comparer des données de prétests et de post-tests. L'axe horizontal représente les catégories (toujours, généralement, etc.), alors que l'axe vertical représente la fréquence des réponses (dans ce cas, en pourcentages).

Sentiment de sécurité rapporté par les participants en 2001 (n=90) et en 2003 (n=88)

Lorsque vous préparez un diagramme à bandes, n'oubliez pas d'inclure une « légende ». La légende est l'encadré à droite qui explique comment les couleurs ou les motifs utilisés sur les bandes se rapportent à l'année de collecte des données. Identifiez les deux axes et donnez au diagramme un titre qui explique bien son contenu. Indiquez la taille de l'échantillon. Dans ce cas, la taille de l'échantillon diffère d'une fois à l'autre; les deux cas sont donc illustrés.

Les diagrammes à bandes peuvent être trompeurs

Le diagramme à bandes ci-après présente les mêmes données que celles du diagramme cidessus. Le premier illustre un axe vertical coupé à 50 % plutôt qu'à 100 %. Les proportions entre les bandes demeurent les mêmes, mais la taille réduite de l'axe vertical fait en sorte que les bandes remplissent mieux le diagramme. Cette présentation peut tromper l'œil et amener le lecteur à penser que davantage de personnes se sentent généralement ou parfois en sécurité que ce qui se produit réellement. Il n'est toutefois pas incorrect de présenter les données ainsi. Le lecteur devrait toujours jeter un coup d'œil sur l'axe vertical pour déterminer s'il présente une échelle complète ou seulement une partie de celle-ci. Bien que vous puissiez vous en tirer sans présenter la partie supérieure de l'axe vertical qui montre les pourcentages, vous devriez toujours faire démarrer l'échelle à zéro.

La valeur la plus élevée sur l'axe vertical du diagramme figurant ci-dessous est de 100 %. Elle est moins susceptible de tromper l'œil que le précédent. Cependant, le diagramme ne remplit pas aussi bien la page! Jetez un coup d'oeil à l'axe vertical. Ne laissez pas cette illusion visuelle vous faire croire que davantage de personnes ont répondu d'une certaine manière qu'elles ne l'ont réellement fait.

Sentiment de sécurité rapporté par les participants en 2001 (n=90) et en 2003 (n=88)

Les graphiques linéaires simples

Les graphiques linéaires simples constituent une bonne façon d'illustrer des changements continus comme les augmentations et les diminutions du sentiment de sécurité au fil du temps. Les graphiques linéaires simples sont particulièrement utiles pour communiquer des tendances. Ils peuvent être utilisés pour comparer les changements vécus par plus d'un groupe ou dans plus d'un secteur à l'aide de différentes lignes dans le graphique.

L'axe horizontal du graphique linéaire de la page suivante représente les dates de la collecte de données. L'axe vertical illustre la fréquence des réponses (dans ce cas, le pourcentage des personnes ayant perçu le lieu comme sûr).

N'oubliez pas d'inclure un titre descriptif et une légende et d'identifier les axes de votre graphique linéaire. Utilisez des espaces égaux sur l'échelle.

Perceptions qu'ont les résidents de la sécurité dans les lieux du complexe d'habitation : 1998 (n=200), 2000 (n=192), 2002 (n=216) et 2003 (n=230)

Nous montrons ci-dessous un autre exemple de manipulation de l'axe vertical. Dans ce cas, nous avons présenté les mêmes données que dans le graphique précédent, mais nous avons limité l'échelle de l'axe vertical de manière à ce qu'il commence à 30 et se termine à 90. Comme nous l'avons mentionné précédemment, ce n'est pas une bonne idée de faire commencer l'axe vertical au dessus de zéro. Comme vous pouvez le voir dans le graphique cidessous, cette façon de faire trompe l'œil en exagérant la mesure dans laquelle il y a eu un changement dans la perception de la sécurité sur la période de six ans.

Perceptions qu'ont les résidents de la sécurité dans les différents

Les diagrammes circulaires

Les diagrammes circulaires constituent une bonne façon d'illustrer les différentes parties d'un plus grand ensemble. Ils devraient être utilisés lorsque les données sont représentées en pourcentage de l'ensemble. Si, par exemple, vous décrivez les données démographiques qui forment votre population de participants, le diagramme circulaire présente bien la population par niveau d'éducation, par groupe de revenu ou par état matrimonial.

Les diagrammes circulaires devraient être accompagnés d'une légende. Chaque partie devrait être identifiée par une valeur qui illustre le pourcentage de l'ensemble représenté.

Les tableaux

Les tableaux sont une bonne façon de présenter les liens entre les informations. Ils peuvent également être utilisés pour présenter des plans de travail et les progrès réalisés dans les activités.

Donnez au tableau un titre complet. Désignez toutes les rangées et les colonnes dans le tableau. Si des symboles sont utilisés, ajoutez une légende pour les expliquer. Le tableau ci-après présente les différences dans les caractéristiques démographiques d'un groupe de traitement (ou d'intervention) et d'un groupe témoin.

Un conseil supplémentaire...

Ne pas confondre corrélation et causalité

Il s'agit de l'un des aspects les plus importants à retenir lorsque vous communiquez les résultats de votre analyse. Le fait qu'il y ait une corrélation entre deux éléments ne signifie pas nécessairement que l'un soit la cause de l'autre.

Si par exemple des adolescents qui fument présentent également un niveau plus élevé de décrochage scolaire, cela ne signifie pas qu'ils sont plus susceptibles de décrocher de l'école parce qu'ils fument. Qu'est-ce que cela signifie? Réponse : Que ceux qui fument sont plus susceptibles de décrocher. Rien de plus.

Dans le même sens, même s'il existe une corrélation entre la participation réduite à des actes criminels et la participation aux programmes, nous ne pouvons pas affirmer avec une certitude absolue que les participants au programme ont moins pris part à des crimes en raison de ce programme. Nous pouvons dire que les participants à un programme en particulier étaient moins susceptibles d'être impliqués dans des actes criminels. Si vous avez bien fait votre travail et que vous avez éliminé les autres explications possibles d'une implication réduite des participants au projet dans des actes criminels, vous pouvez affirmer que vos résultats sont prometteurs. Vous pouvez suggérer que le programme peut avoir un effet.

Questions à considérer dans votre rapport

Lorsque vous communiquez les résultats de votre évaluation, tentez de fournir aux principaux intervenants les réponses aux questions que ces derniers voudront connaître. Voici certaines questions à considérer :

• Qu'est-ce qui a bien fonctionné? Qu'est-ce qui devait être amélioré?
• S'il y a eu des problèmes, quels étaient-ils?
• Les problèmes peuvent-ils être corrigés avec les ressources existantes?
• Quels sont les points forts qui ressortent et qui devraient être davantage soulignés?
• Le projet a-t-il atteint ses objectifs avec efficacité et dans l'affirmative, par quels moyens?
• Globalement, le projet est-il valable? (Services de police d'Ottawa, 2001)

Choisissez le style de votre présentation en fonction de votre auditoire

• Pensez à votre auditoire - Est-ce que ce sont les participants au programme? Ceux qui le subventionnent? D'autres responsables de projets communautaires? Des analystes des politiques? Le gouvernement?
• Incluez un sommaire.
• Incluez des exemplaires de vos outils d'évaluation dans les annexes.
• Faites part de vos observations sur les répercussions des résultats - Que signifient- elles en ce qui concerne les changements apportés par le projet?

La rédaction d'un rapport peut constituer une bonne façon de résumer les résultats de votre évaluation, mais ce n'est pas la seule. Le mode de communication de vos résultats sera fonction de l'auditoire que vous tentez d'atteindre. Votre bailleur de fonds pourrait préférer un rapport écrit. Une fiche de renseignements rédigée en langue courante ou une tribune communautaire pourrait par contre mieux fonctionner pour les participants au projet.

Si vous fournissez un rapport écrit, assurez-vous qu'il comporte un sommaire. Le sommaire peut être plus accessible qu'un rapport complet. Il s'agit d'une bonne manière de joindre les lecteurs intéressés qui n'ont pas le temps de lire un long rapport.

Les vidéos ou les photographies qui illustrent certains aspects des changements apportés à la collectivité sont efficaces pour communiquer les résultats. Supposons que vous vouliez montrer dans quelle mesure votre projet a entraîné des changements à la quantité de graffitis dans votre collectivité. Une série de photographies montrant les changements survenus au fil du temps serait une façon idéale de présenter les résultats de votre projet. Un autre projet pourrait avoir pour objectif de montrer comment l'action communautaire a entraîné une plus grande circulation pédestre dans un secteur qui était auparavant évité par les résidents du quartier. Une série de photographies ou de vidéos réalisées au fil du temps constituerait un exposé convaincant.

Glossaire

Corrélation

La corrélation désigne un lien entre deux variables. Cela ne signifie pas qu'une variable cause l'autre, mais tout simplement qu'une variable est liée à l'autre. D'un point de vue statistique, la corrélation est mesurée au moyen d'un coefficient de corrélation (r). Il mesure la similitude ou le degré d'association entre deux variables. Les corrélations statistiques vont de moins un à plus un. Plus la valeur est loin de zéro, plus les deux variables sont liées (Worsley, Hoen, Thelander et Women's Health Centre au St. Joseph's Health Centre, 2002).

Distribution normale

Une distribution normale signifie que les réponses ou les scores d'une population en particulier sont distribués de façon telle que la plupart des réponses se trouvent au centre, une proportion plus petite, mais égale, étant située à chaque extrémité de l'échelle des scores. Un graphique linéaire montrant une distribution normale ressemble un peu à une cloche, ce qui fait qu'il est parfois appelé « courbe en forme de cloche ».

Écart type

Un écart type consiste en la mesure dans laquelle les scores sont variables ou étalés autour du score moyen. La définition statistique d'un écart type est la racine carrée de la variance des scores. La variance correspond à la mesure dans laquelle chaque score d'un ensemble s'écarte de la moyenne de cet ensemble de scores. Plus l'écart type est élevé, plus les scores sont étalés autour de la moyenne.

Échelle et sous-échelle

Une échelle est un test dans le cadre duquel des questions qui mesurent la même chose ou divers aspects de la même chose sont liées ensemble (Rittenhouse, Campbell et Dalto, 2002). Une sous-échelle mesure un aspect de l'échelle plus grande. Par exemple, si une échelle était utilisée pour mesurer des aptitudes en résolution de problèmes, une sous-échelle pourrait évaluer la capacité de la personne à obtenir du soutien ou des conseils d'autrui lorsqu'elle est confrontée à un problème.

Fiabilité des différents observateurs

La fiabilité des différents observateurs est utilisée pour étudier la mesure dans laquelle divers observateurs s'entendent en ce qui concerne la mesure d'un même phénomène (Aspen Institute of Comprehensive Community Initiatives, 1999).

Indicateur

Un indicateur est une variable (ou une information) qui mesure un aspect d'un programme ou d'un projet. Il indique si un projet a atteint un objectif en particulier. Il devrait y avoir au moins un indicateur pour chaque élément du projet (c.-à-d. au moins un pour chaque résultat identifié dans le modèle logique).

Normalisation

Une mesure normalisée en est une qui a été administrée à un groupe très important de personnes semblables à celles auprès desquelles la mesure sera utilisée. Les données recueillies auprès de ce groupe tiennent lieu d'élément de comparaison en vue de l'interprétation des résultats de l'évaluation d'une personne, d'un petit groupe, d'un programme. Les tests normalisés vous permettent de déterminer si le score obtenu au test par une personne est élevé, moyen ou faible comparativement à la norme (Ogden/Boyes Associates Ltd., 2001).

Normes

Les normes indiquent les scores moyens aux questions d'un sondage. Les scores des répondants peuvent être comparés aux normes du sondage pour établir comment ceux-ci se comparent à la population moyenne ou à une population présentant des caractéristiques semblables aux leurs.

Signification statistique

Les tests de signification statistique sont effectués pour établir si les résultats sont imputables au hasard ou s'ils sont susceptibles de refléter une différence ou un changement véritable.

Socialement désirable

Il arrive que des répondants fournissent des réponses à un questionnaire ou à une mesure qu'ils croient être plus favorables à leur estime de soi, davantage en accord avec les normes sociales apparentes (Polland, 1998) ou que le chercheur souhaite entendre. Ces réponses sont considérées comme socialement désirables.

Test

Un test est une façon de mettre à l'essai un outil en particulier avant qu'il ne soit utilisé dans une étude ou une évaluation. Vous pourriez, par exemple, vouloir tester un questionnaire que vous avez élaboré auprès de quelques répondants potentiels pour savoir s'ils le comprennent et si les questions vous fournissent le type de renseignements que vous souhaitez obtenir.

Test t

Un test t est un test statistique utilisé pour vérifier la différence entre les moyennes obtenues de deux populations différentes ou de la même population, mais dans des conditions différentes. Un test t pourrait par exemple être utilisé pour établir si la différence dans les scores moyens obtenus à un test administré à des participants à un projet et ceux qui ont été obtenus par des membres d'un groupe témoin est statistiquement significative (peu susceptible d'être obtenue par hasard). Ce test pourrait également servir à vérifier la signification statistique de la différence dans les scores moyens obtenus à un test administré aux participants avant et après un projet.

Références

Aspen Institute Roundtable on Comprehensive Community Initiatives. (1999). Measures for community research. Extrait le 2 novembre 2004 de
http://www.aspenmeasures.org/html/glossary.htm

Guba, E.G., & Lincoln, Y.S. (1985). Naturalistic inquiry. Beverly Hills, CA: Sage.

Miles, M. B., & Huberman, M. A. (1984). Qualitative data analysis: A sourcebook of new methods. Beverly Hills, CA: Sage.

Ogden/Boyes Associates Ltd. (1991). CAPC program evaluation tool kit: Tools and strategies for monitoring and evaluating programs involving children, families and communities. Rapport inédit produit pour Santé Canada, Direction générale de la santé de la population et de la santé publique, région de l'Alberta et des Territoires du Nord-Ouest, Calgary (Alberta).

Patton, M. Q. (1980). Qualitative evaluation methods. Beverly Hills, CA: Sage

Patton, M. Q. (1990). Qualitative evaluation and research methods. Londres: Sage.

Polland, R.J. (1998). Essentials of survey research and analysis: A workbook for community researchers. Extrait le 4 novembre 2004 de
http://www.tfn.net/%7Epolland/quest.htm

Rittenhouse, T., Campbell, J., & Dalto, M. (2002, 15 février). Dressed-down research terms: A glossary for non-researchers. Extrait le 4 novembre 2004 du site Web du Missouri Institute of Mental Health :
http://www.cstprogram.org/PCS&T/Research%20Glossary/Dressed_Down_Glossary.pdf

Services de police d'Ottawa. (2001, août). Vous pouvez y arriver : Une trousse d'outils pratiques pour l'évaluation des programmes d'intervention policière et de prévention de la criminalité dans la collectivité.

Worsley, J., Hoen, B., Thelander, M., & Women's Health Centre au St. Joseph's Health Centre. (2002, septembre). Community Action Program for Children: Ontario regional evaluation final report. Toronto, ON : Santé Canada, Direction générale de la santé de la population et de la santé publique, région de l'Ontario.

Ressources suggérées

Sites Web

Centre for Substance Abuse Prevention
Prevention Pathways
http://pathwayscourses.samhsa.gov/courses.htm

Cette série de tutoriels en ligne fournit de l'information au sujet de l'analyse de données. Le cours en ligne intitulé « Wading through the Data Swamp » inclut des sujets comme les statistiques descriptives, les coefficients de corrélation, les tests t et l'analyse du Khi carré.

Corporation for National and Community Service
Project Star : AmeriCorps Program Applicant Performance Measurement Toolkit
http://www.projectstar.org/star/AmeriCorps/pmtoolkit.htm

Ce site Web comprend des outils progressifs et conviviaux d'analyse des données de mesure du rendement. Une liste de contrôle en matière de communication fournit des lignes directrices sur ce qu'il convient d'inclure dans un rapport d'évaluation.

Innovation Network Online
http://www.innonet.org/

L'inscription gratuite à ce site Web vous donne droit à un certain nombre d'excellentes ressources, y compris un tutoriel de statistiques et un échantillon en ligne d'un rapport d'évaluation final. Une fois que vous vous serez inscrit, passez à la section des ressources pour accéder à ces outils.

Microsoft Education
Analyzing Data with Excel 2002
http://www.microsoft.com/Education/Excel2002Tutorial.aspx

Un tutoriel en ligne illustre comment analyser des données au moyen du programme Excel.

Plain Language Network
« Plain Train » : le Programme de formation en ligne sur le style clair et simple
http://www.plainlanguagenetwork.org/plaintrain/Francais/

Ce réseau fournit de l'information sur l'utilisation du langage simple dans divers sujets. Également accessible en anglais à : http://www.plainlanguagenetwork.org/plaintrain/index.html

Robert Niles.com
Statistics Every Writer Should Know
http://nilesonline.com/stats/

Cet excellent site Web vise à aider les reporters à mieux comprendre les statistiques qu'ils utilisent à titre de journalistes. Le site est facile à utiliser et s'adresse au lecteur profane. Il comprend des leçons simples portant sur des statistiques de base et un tableau qui vous aide à déterminer la taille appropriée des échantillons. Il comporte également des liens vers des lectures recommandées sur les statistiques qui s'adressent encore une fois au lecteur profane.

University of Wisconsin Program Development and Evaluation
http://www.uwex.edu/ces/pdande/evaluation/evaldocs.html

Il s'agit d'un excellent site Web qui offre des outils d'apprentissage relatifs à l'analyse de données qualitatives et quantitatives et à la communication des résultats d'évaluation. Il comprend des conseils sur la préparation des graphiques et des diagrammes.

Western Centre for Substance Abuse Prevention
Étape 7 : Évaluation
http://casat.unr.edu/bestpractices/eval.htm

Ce site Web fournit de l'information sur les meilleures pratiques d'établissement d'un programme de prévention, y compris l'instauration d'une évaluation. Il comprend une section utile sur l'analyse, l'utilisation et l'interprétation de données, à la fois qualitatives et quantitatives.

Revues

Practical Assessment, Research and Evaluation
http://pareonline.net/

Cette revue en ligne inclut des articles sur l'analyse des données et sur l'interprétation des résultats.

Livres/Manuels

Crime Prevention is Everybody's Business: A Handbook for Working Together

Les pages 76 à 79 de ce manuel fournissent de l'information sur la manière de structurer votre rapport d'évaluation final.

Bigwood, S., & Spore, M. (2003).
Presenting numbers, tables and charts. New York: Oxford University Press.

Il s'agit d'un bon ouvrage de référence qui vous aidera à présenter vos données.

Trochim, W. (2000).
The Research Methods Knowledge Base, 2^e édition.

Ce document en ligne fournit beaucoup de renseignements au sujet de l'analyse des données et du processus de communication.

Services de police d'Ottawa. (2001, août). Vous pouvez y arriver : Une trousse d'outils pratiques pour l'évaluation des programmes d'intervention policière et de prévention de la criminalité dans la collectivité.

Les pages 78 et 79 de ce manuel fournissent de l'information sur la manière de structurer votre rapport d'évaluation final.

Module 6 - Feuilles de travail

Feuille de travail 1

Analyse des résultats

Feuille de travail 2

Communication des résultats^{Note de bas de page 4}

1. Préparez une présentation de trois minutes sur les résultats de votre analyse.
2. Avancez quelques hypothèses sur les facteurs qui ont pu influer sur les résultats (participants, projet, processus).
3. Utilisez au moins un graphique, diagramme ou tableau.
4. Tirez des conclusions : Par exemple, ces données montrent que ...
5. Si les résultats s'avéraient différents de vos attentes, quelles en seraient les raisons, selon vous?

Module 7 : Défis et solutions en matière d'évaluation

Les objectifs d'apprentissage

• Découvrir les défis associés à l'évaluation des projets communautaires :
  • L'engagement du personnel et des partenaires
  • La mobilisation des participants
  • La collecte des données
  • Les résultats réalistes
  • L'analyse des données
  • Le choix d'un évaluateur
  • Les questions d'ordre éthique
  • Les différences culturelles et communautaires
• Avoir en main des solutions potentielles
• Connaître les ressources de la collectivité

Ce module décrit certains des grands défis associés à l'évaluation des projets de prévention du crime par le développement social. La description de chacun des défis est suivie de certaines solutions possibles pour donner le coup d'envoi à votre évaluation.

Premier défi : L'engagement du personnel et des partenaires

Pour qu'une évaluation connaisse du succès, elle doit bénéficier de l'appui des partenaires, des gestionnaires de projet, du personnel de première ligne et des participants. Étudions d'abord certains des défis auxquels vous pourriez devoir faire face pour rallier le personnel et les partenaires au projet. Nous aborderons la mobilisation des participants dans le deuxième défi.

Le personnel chargé du projet

Le personnel chargé du projet peut être réticent à participer à l'évaluation du programme ou du projet pour lequel il travaille. Au fur et à mesure que vous examinerez les défis énumérés plus loin, n'oubliez pas qu'il est possible que le personnel qui se consacre à votre projet vous fasse part de certaines de ses inquiétudes. Il est aussi possible qu'il ne les communique pas du tout. Certains membres seront par ailleurs enthousiastes en raison de l'occasion qui s'offre à eux de participer à une évaluation, d'acquérir de nouvelles compétences et de montrer que les activités auxquelles ils prennent part font une différence dans la vie d'autres personnes.

• L'angoisse ou la peur - Pour de nombreuses personnes, le mot évaluation fait peur. Les membres du personnel de première ligne et les gestionnaires de projet peuvent avoir le sentiment que ce n'est pas le projet qui est évalué, mais plutôt eux.
• La préoccupation quant à l'avenir du projet - Les membres du personnel du projet craignent souvent que le projet ne puisse obtenir de fonds si les résultats de l'évaluation sont négatifs.
• Les exigences conflictuelles en matière de charge de travail - Il importe de reconnaître que les membres du personnel de projets communautaires ont souvent de lourdes charges de travail. S'ils sont contraints de choisir entre le service offert aux participants et les tâches d'évaluation, ils opteront généralement pour l'intervention.
• Le manque de compétences en évaluation ou le manque de confiance dans les compétences en évaluation - Les membres du personnel du projet sont embauchés pour offrir un programme et ne prévoient généralement pas se faire demander d'effectuer des entrevues d'évaluation, de remplir des instruments d'évaluation ou d'assurer le suivi concernant l'information portant sur les activités du projet. La possibilité de participer à une évaluation peut être intimidante pour les personnes qui n'ont jamais reçu de formation en recherche ou en évaluation.
• Les outils d'évaluation ne mesureront pas le changement - Il peut être très gratifiant de travailler à des projets communautaires. L'une des plus grandes récompenses consiste à assister à la concrétisation de changements dans des collectivités ou dans la vie des participants. Il n'est pas inhabituel pour les participants au projet et les membres de la collectivité de parler de l'impact qu'ont eu certains projets communautaires dans leur vie. Pour cette raison, il est possible que les membres du personnel du projet déclarent : « Nous savons déjà que cela fonctionne, alors pourquoi devons-nous l'évaluer? »
• Le sentiment d'être « surévalué » - Comme les bailleurs de fonds exigent de plus en plus que les projets effectuent une évaluation des résultats, les membres du personnel du projet peuvent se dire frustrés que leurs interventions subissent constamment des évaluations.

Les partenaires

Les projets communautaires de prévention du crime par le développement social fonctionnent généralement en partenariats ou en coalitions. Votre organisation peut exécuter conjointement des activités de projet avec d'autres groupes communautaires, des organismes de services, le système d'éducation, la police et des groupes de bénévoles. Vos partenaires pourraient recevoir des fonds de différentes sources pour appuyer ces activités. Par conséquent, tous vos partenaires et leurs bailleurs de fonds s'intéresseront probablement à l'évaluation de votre projet. Les partenaires sont parfois une source importante d'information au sujet des activités de projet et des résultats. Leur soutien et dans bien des cas leur participation active à l'évaluation sont essentiels.

• Les exigences conflictuelles de différents bailleurs de fonds - Vos partenaires sont susceptibles d'avoir des obligations d'évaluation ou des obligations administratives à l'égard d'autres bailleurs de fonds ou partenariats. S'ils luttent pour répondre à des exigences de leurs propres organisations, les demandes de renseignements de votre projet peuvent s'avérer lourdes.
• Des définitions divergentes du succès - Quand des groupes différents jouent un rôle dans un projet, ils sont parfois en désaccord sur la définition du succès. À titre d'exemple, dans un projet sur les compétences en leadership chez les jeunes, les écoles pourraient définir le succès comme la diminution de l'absentéisme à l'école et du décrochage alors qu'un organisme de services pourrait envisager le succès comme l'accroissement chez les jeunes de la résilience et des compétences de leadership. Pour sa part, une association de quartier pourrait voir la réussite comme le fait d'empêcher les jeunes de se tenir à certains endroits et les jeunes eux-mêmes pourraient la considérer comme la possibilité de modifier les stéréotypes sur les jeunes au sein de la police et de la collectivité.

Les solutions

• Amener le personnel, les partenaires et les participants à prendre part à la planification de l'évaluation
• Élaborer ensemble un modèle logique pour créer une vision et des objectifs communs
• Considérer l'évaluation comme de la recherche-développement
• Intégrer l'évaluation aux activités du projet
• Utiliser des modèles et des feuilles de suivi pour consigner les renseignements sur l'évaluation
• Donner de la formation et du soutien
• Consulter les bailleurs de fonds lorsqu'il existe des exigences conflictuelles en matière d'évaluation
• Reconnaître qu'il existe plus d'une façon de définir le succès

Créer une vision commune – Faire participer des membres du personnel, des partenaires et des participants à la planification de l'évaluation peut contribuer à faire diminuer l'angoisse et la peur. Si tous vos principaux intervenants prennent part à la définition des résultats et des indicateurs potentiels de succès, ils sont plus susceptibles de soutenir l'évaluation. Consulter les membres du personnel, les partenaires et les participants sur la façon de saisir les types de changements qu'ils constatent et qu'ils vivent.

Considérer l'évaluation comme de la recherche-développement – Les membres du personnel du projet se préoccupent souvent de la manière dont l'évaluation touchera les perspectives du projet à long terme. Il importe de prendre le temps de répondre aux questions concernant l'évaluation et d'éliminer les préoccupations. Expliquer que l'évaluation vise à montrer ce qui fonctionne et les améliorations qui peuvent être apportées. Nous ne devrions pas nous attendre à ce que tout ce que nous faisons dans le domaine des services à la collectivité et aux personnes connaisse du succès, en particulier lorsque nous travaillons dans le domaine complexe du comportement humain. Les entreprises qui réussissent investissent beaucoup de temps et de ressources en recherche et développement (ou « R-D ») avant que leurs produits soient au point. L'évaluation peut nous aider à apprendre de nos gestes et à les peaufiner. Elle ne vise pas à juger le travail de quiconque, mais plutôt à améliorer notre capacité de faire une différence dans la vie de la collectivité.

Intégrer l'évaluation aux activités du projet - Lorsque l'évaluation est considérée comme une façon d'améliorer notre capacité d'apporter des changements, nous avons tendance à voir pourquoi il faut qu'elle fasse partie intégrante des activités du projet. Elle ne devrait pas être considérée comme une responsabilité « ajoutée », mais plutôt comme une partie de notre travail quotidien. Intégrer les outils d'évaluation aux activités du projet peut aider à réduire les préoccupations concernant la charge de travail. Voici certaines façons de le faire :

• Créer des façons simples de soutenir la collecte de données comme :
  • les fiches d'information sur les participants aux activités;
  • les feuilles de suivi permettant aux bénévoles de consigner leur temps;
  • les feuilles de suivi permettant au personnel d'inscrire les références.
• Intégrer l'évaluation aux activités du programme :
  • Obtenir des données avant le programme dans le cadre d'une entrevue d'admission avec les participants, ce qui permet aux intervenants de mieux connaître les besoins et de s'y référer s'il y a lieu.
  • Obtenir des données après le programme dans le cadre d'une entrevue de sortie qui aide les membres du personnel à déterminer ce qui a fonctionné, pourquoi certains participants ont abandonné, et à obtenir d'autres renseignements précieux.
  • Faire en sorte que des participants filment ou photographient les changements survenus dans la collectivité, comme le nombre et la diversité des personnes qui se servent d'un parc local. Utiliser les résultats pour célébrer les changements ou pour tenir un forum communautaire afin de discuter des résultats.
  • Amener les membres du personnel à établir des façons d'intégrer l'évaluation aux activités du projet.

Donner de la formation et du soutien - Veiller à ce que les membres du personnel obtiennent la formation et le soutien dont ils ont besoin pour avoir confiance en leurs compétences et dans leurs capacités de s'acquitter de tous les aspects de leur travail, y compris l'évaluation. Déterminer quelles sont les personnes qui ont besoin d'aide. Employer des membres du personnel chevronnés ou compétents comme mentors pour ceux et celles qui ont besoin d'aide. Demander du soutien auprès des universités ou des collèges locaux pour mieux préparer les membres du personnel. Les services de santé locaux et les fondations peuvent également être en mesure d'apporter leur aide. Utiliser ce manuel et certains des exercices appris au cours des séances de formation pour former le personnel à l'interne.

Consulter les bailleurs de fonds - Les bailleurs de fonds peuvent faire preuve de souplesse. (Vraiment!) Si vos partenaires et vous-même avez de nombreux bailleurs de fonds, chacun ayant ses propres exigences en matière d'évaluation, vous pouvez trouver des façons imaginatives de concilier ces exigences. S'ils entrent vraiment en conflit, consultez votre bailleur de fonds à cet effet. Préparez quelques solutions pour montrer votre bonne volonté.

Définir le succès - Si les partenaires ont des points de vue différents sur ce que signifie le « succès », incluez des indicateurs de divers résultats positifs. Prenez toutefois garde de ne pas mesurer plus que ce que vous ne pouvez, d'une façon réaliste, recueillir et analyser.

Deuxième défi : La mobilisation des participants

Personne ne veut ressembler à ce type au moment du recrutement des participants pour une évaluation. Soutenir leur engagement peut toutefois constituer un défi. Bien qu'il soit en principe simple d'obtenir le consentement du participant, au fur et à mesure que le temps passe, il peut s'avérer difficile de maintenir sa participation à des sondages ou à des entrevues de suivi.

Les solutions

La planification de l'évaluation - Intégrer les participants à la planification de l'évaluation. Il serait bon de mobiliser d'abord les participants dans le cadre de l'élaboration d'un modèle logique. Utiliser des méthodes participatives, comme celles dont nous nous sommes servis dans le module 2, pour amener les participants à prendre part à l'identification de ce qu'ils considèrent comme les résultats du projet. Leur participation à la planification du projet et de l'évaluation fait en sorte que les participants ont un mot à dire dans les réalisations du projet. Après tout, si vous désirez encourager les changements dans la collectivité ou chez les personnes, vous voudrez savoir si ces changements cadrent avec ce que souhaitent les participants pour eux-mêmes. Leur apport à l'étape de la conception les ralliera davantage au projet et à l'évaluation.

Les formulaires de consentement et le plan de travail - L'obtention du consentement du participant constitue un volet important de la réalisation de l'évaluation. Nous traiterons davantage de cette question lorsque nous aborderons l'éthique en matière de recherche. Les responsables de projets peuvent fournir à leur personnel un scénario pour les aider à expliquer le but de l'évaluation et le rôle important des participants dans l'établissement de ce qui fonctionne dans les projets de développement social. Les formulaires de consentement devraient être libellés en langage simple. Les membres du personnel devraient lire le formulaire de consentement à haute voix dans les cas où les participants éprouvent des difficultés d'alphabétisation. En ce qui concerne les projets destinés aux personnes dont l'anglais ou le français est la langue seconde, on devrait faire traduire le formulaire de consentement.

Les incitatifs – Les bons-cadeaux, les incitatifs financiers ou les coupons-repas peuvent être offerts en reconnaissance du temps consacré par les participants à remplir des questionnaires ou à prendre part à des entrevues ou à des groupes de discussion. Si votre budget ne vous le permet pas, envisagez de demander des dons aux entreprises locales. Il s'agit d'une très bonne manière de faire connaître votre projet à ces entreprises et l'importance que vous accordez aux résultats. De plus, c'est une bonne 170 façon pour les entreprises d'informer les participants au projet de ce qu'elles ont à offrir.

La commodité - Prendre des dispositions pour que les participants remplissent des questionnaires ou prennent part à des entrevues à la maison ou juste avant ou après des activités du projet. Les entrevues téléphoniques peuvent fonctionner si le participant dispose d'un local privé pour parler. Il faudrait mettre l'accent sur ce que vous avez « besoin de savoir » et éviter l'information qu'il serait tout simplement « bien de savoir ». Ainsi, il sera plus facile de garder les questionnaires courts et d'éviter la fatigue des répondants.

De plus grands échantillons - Il y aura toujours un certain nombre de participants qui décrocheront du projet ou qui choisiront de ne pas participer à des entrevues de suivi ou de ne pas remplir des questionnaires. Choisir un échantillon assez important pour disposer de suffisamment de questionnaires remplis ou d'entrevues à la fin de votre période de collecte des données.

La rétroaction - On peut maintenir l'intérêt des participants en fournissant de l'information sur les résultats de l'évaluation. Les responsables de projets peuvent le faire de nombreuses façons. Les fiches d'information et les tribunes communautaires conviennent pour tenir les participants informés.

• Amener les participants à prendre part aux plans d'évaluation
• Utiliser des formulaires de consentement rédigés en langage simple
• Fournir au personnel un scénario pour mieux expliquer l'évaluation
• Utiliser des incitatifs ou des récompenses
• Faciliter la participation — aller vers les participants ou intégrer la période nécessaire pour remplir les questionnaires au temps consacré au programme; garder les questionnaires courts
• Choisir un échantillon assez grand en prévision des décrocheurs
• Communiquer les résultats de l'évaluation

Troisième défi : La collecte des données

Le succès d'une évaluation repose sur l'obtention de renseignements exacts et complets. Il est souvent trop tard pour revenir en arrière et recueillir de l'information lorsque vous vous rendez compte qu'il vous en manque. Bien que le rôle des données d'évaluation valables soit crucial, il est souvent difficile d'exercer un contrôle aussi rigoureux que vous le souhaiteriez sur cette facette de l'évaluation, car les intervenants qui participent à la collecte des données sont nombreux.

Envisagez une évaluation dans le cadre de laquelle le personnel de première ligne recueille de l'information sur les participants et consigne des notes au sujet des activités du projet. Les partenaires, pour leur part, peuvent fournir des renseignements concernant les personnes qu'ils dirigent vers le projet et, lorsqu'ils ont des contacts continus avec les participants, ils peuvent fournir une évaluation des changements que vivent ces participants. (Dans le cadre de certains projets de prévention du crime liés aux écoles, par exemple, on demande aux enseignants de communiquer tous les changements qu'ils ont constatés dans le comportement des élèves qui participent aux activités du projet.) Les travailleurs communautaires et les leaders du quartier sont sollicités pour prendre part à des entrevues et à des groupes de discussion dans le but de partager de l'information au sujet des perceptions de la collectivité concernant un projet. Comme vous pouvez le constater, l'évaluation s'en remet à divers intervenants pour fournir des renseignements exacts et complets.

Le contrôle exercé sur la collecte des données devient encore plus difficile quand les projets s'en remettent à des partenaires pour offrir des composantes de leurs activités de projet. Dans ces situations, le parrain du projet doit s'appuyer sur des organisations partenaires pour fournir de l'information sur les présences ou pour obtenir de l'information de base sur les participants au moment où ils s'inscrivent au programme et au moment d'un suivi.

Il va sans dire que le défi d'obtenir des données exactes et complètes est étroitement lié aux défis de rallier le personnel, les partenaires et les participants au processus d'évaluation.

Les solutions

Si des partenaires prennent part à la collecte des données, vous devez préparer des protocoles signés qui décrivent le mode d'obtention éventuelle du consentement des participants, les renseignements qui seront recueillis et le mode de stockage et d'échange de l'information. Mettez en place des systèmes et des ententes avant le début du projet et non en cours de projet.

Il va sans dire que même les plans les mieux élaborés peuvent échouer. L'un des problèmes les plus fréquents est que les évaluateurs ou les responsables de programmes reportent l'examen des données sur l'évaluation jusqu'au moment de l'analyse. À ce stade, il est trop tard pour remédier à des problèmes fréquents tels que des questions mal interprétées, des formulaires incomplets ou l'omission de fournir les renseignements de base qui relient les résultats des prétests et des post-tests. Assurez-vous de tester vos instruments de collecte des données auprès d'un petit groupe avant d'entreprendre la collecte des données officielle. Examinez régulièrement les instruments remplis pour vous assurer que les questions ont été bien interprétées et que l'information est complète. Vous éviterez ainsi les surprises au moment de l'analyse.

• Veiller à ce que les partenaires, le personnel et les participants soient au courant de l'information requise pour évaluer le projet.
• Lancer le projet avec les systèmes en place pour recueillir les données appropriées au moment opportun.
• Revoir l'exactitude et l'exhaustivité des données sur une base régulière.

Quatrième défi : Des résultats réalistes

Succès = réduction du crime et de la victimisation

Cette équation peut paraître évidente. La meilleure façon d'évaluer le succès des projets de prévention du crime consiste à examiner la mesure dans laquelle ils préviennent le crime et la victimisation dans leurs collectivités.

Il peut cependant être difficile d'établir un lien entre la réduction de la criminalité et de la victimisation et un projet particulier. De nombreux facteurs touchant les taux de criminalité et de victimisation échappent au contrôle d'un projet communautaire :

• Les facteurs sociaux - Les taux de chômage et de pauvreté et la mesure dans laquelle cohésion sociale existe dans une collectivité peuvent influencer l'ampleur de la criminalité.
• La législation - Il est possible que des activités qui sont des actes criminels à ce jour ne soient plus considérées comme tels à l'avenir. D'autres gestes qui ne font pas nécessairement l'objet de poursuites aujourd'hui peuvent être davantage ciblés à l'avenir. Vous avez peut-être entendu parler de la décriminalisation possible de la possession de la marijuana, par exemple. Bien qu'elle paraisse dans les statistiques sur la criminalité contemporaine, elle ne figurera peut-être pas dans ces statistiques à l'avenir. Par ailleurs, la négligence à l'égard des enfants est plus susceptible d'être signalée et soumise aux tribunaux de nos jours qu'elle ne l'était par le passé.

Vous pourriez trouver de nombreux autres exemples de la difficulté de relier la prévention du crime à certaines activités du projet.

Par conséquent, si les taux de criminalité et de victimisation dans la collectivité ne sont pas des résultats réalistes, comment définir ces derniers? Vous pourriez conclure que vous avez au moins davantage de contrôle sur la réduction du crime chez les gens directement impliqués dans vos activités de projet.

Donc, le succès = réduction du crime chez les participants au projet.

Vous pouvez demander l'accès aux dossiers du tribunal et de la police pour déterminer si l'implication des participants dans des actes criminels change au fil du temps (avec le consentement écrit des participants, bien sûr). De nombreux projets de prévention du crime par le développement social utilisent cette méthode comme résultat. Elle pourrait s'avérer être une façon très utile de déterminer quels changements résultent d'un projet. Encore une fois, la prudence est de rigueur. Examinons certaines des difficultés associées à différentes sources d'information portant sur l'implication des participants dans la criminalité.

• L'autoévaluation peut susciter des réponses socialement désirables.
• Les contacts avec la police - Il est peut-être plus probable que les participants connus des services policiers aient d'autres contacts avec ces derniers même s'ils n'ont pas récidivé. Et bien sûr, il peut y avoir de la criminalité et de la victimisation sans contact avec la police.
• Les arrestations et les accusations peuvent varier sous l'influence des politiques des services policiers (p. ex., la répression de certaines activités, l'accent mis sur certaines zones géographiques, etc.). Et, comme dans le cas du problème associé aux données sur le contact avec la police, la criminalité et la victimisation peuvent survenir sans nécessairement entraîner une arrestation.
• Les condamnations - Même les condamnations peuvent varier en fonction de facteurs non liés à la perpétration réelle de l'infraction. Vous pouvez trouver des exemples de condamnations injustes ou encore, à l'inverse, des cas d'acquittements injustifiés.

Les solutions

Premièrement, rappelez-vous que vous devez décider dès le début de votre projet de quels renseignements (indicateurs) vous vous servirez pour évaluer son succès. Si vous attendez que le projet soit en cours, vous pourriez conclure qu'il est trop tard pour obtenir certains des renseignements dont vous auriez eu besoin.

Si votre projet est fondé sur un modèle logique solide, vous n'aurez peut-être pas besoin de mesurer les changements réels à la criminalité ou à la victimisation. Vous pourriez plutôt mesurer les changements apportés à certains résultats à court terme qui, à la suggestion du modèle logique, mèneront à un moment donné à des changements à la criminalité et à la victimisation.

Voici des solutions de rechange aux mesures de lutte contre la criminalité et la victimisation, mais elles seront fonction du genre d'intervention que vous avez prévue. Nous avons également fourni des suggestions pour vous aider dans votre choix d'utiliser des mesures d'évaluation de la participation réduite à la criminalité et à la victimisation.

Considérez ce qui suit :

• Existe-t-il des solutions de rechange à l'utilisation de la participation à des actes criminels comme mesure du succès?
• Utiliser plus d'une mesure de participation au crime pour contrôler les problèmes avec n'importe quelle mesure
• Signaler le type d'infractions pour éviter un résultat de succès/d'échec basé sur la seule infraction.

Les mesures de rechange visant à évaluer les changements chez les participants ou dans la collectivité pourraient inclure :

• les attitudes envers l'autorité;
• les opinions au sujet de la responsabilité;
• les perceptions qu'ont les participants de leur rôle dans la collectivité;
• la gestion de la colère;
• l'emploi/le bénévolat;
• les perceptions au sujet de l'ampleur de la criminalité et de la crainte de la victimisation dans la collectivité;
• le nombre d'appels aux services policiers ou aux lignes d'écoute téléphonique;
• les changements apportés au système qui résultent des activités du projet (p. ex., la réceptivité des services locaux aux besoins des jeunes, les changements aux approches de maintien de l'ordre, etc.).

Plus d'une mesure - Imaginez que vous planifiez d'étudier les changements au nombre de contacts avec les services policiers chez les jeunes participant à votre programme sur la cessation de la fréquentation des gangs et dans un groupe témoin. Vous croyez que les jeunes de votre projet qui avaient précédemment des contacts avec les services policiers pourraient être plus susceptibles d'attiser l'intérêt de la police à plus long terme, ce qui pourrait mener à des contacts continus avec les services policiers, peu importe que ces jeunes aient perpétré des infractions ou non. La collecte d'information au sujet du nombre de condamnations et les contacts avec les services policiers aidera à déterminer si les jeunes participant au projet ont été jugés par un tribunal parce qu'ils étaient impliqués dans un acte criminel ou qu'ils suscitaient simplement l'intérêt continu des services policiers.

Autre exemple : vous craignez peut-être que des participants à un programme de lutte contre l'intimidation fournissent des réponses socialement désirables aux prétest et post-test concernant leur participation à des activités d'intimidation. Vous pourriez vous servir des registres scolaires traitant du comportement à l'école et des suspensions ou des expulsions de l'école pour confirmer les résultats du sondage.

Les mesures que vous choisissez n'ont pas à être liées directement à l'acte criminel, mais peuvent fournir de l'information au sujet des résultats comme la gestion de la colère ou les relations avec les pairs qui sont liées au progrès vers le résultat à plus long terme de la participation réduite à la criminalité ou de la réduction de la victimisation.

Recueillir de l'information au sujet du genre d'infraction - L'idée est particulièrement utile si vous voulez vous pencher sur la question de la récidive. Même si les participants récidivent, ces infractions ne sont peut-être pas aussi graves que les précédentes, ce qui suggère un certain progrès vers le changement.

Autres considérations importantes - Lorsque vous utilisez l'implication criminelle comme indicateur de succès, considérez les recommandations suivantes :

• Utiliser la même période de suivi pour tous les participants. Ainsi, vous vous assurerez que certains participants ne seront pas évalués, en ce qui concerne la récidive, sur une période plus courte que d'autres.
• Recueillir de l'information au sujet de l'incarcération pendant les périodes de suivi. Les contrevenants qui sont incarcérés sont évidemment moins en mesure de récidiver que ceux qui sont libres. C'est donc un facteur important lorsque l'on se penche sur les données relatives à la récidive.

Cinquième défi : L'analyse des données

L'analyse de l'information que vous recueillez dans votre évaluation pourrait sembler être une tâche insurmontable. Si tel est le cas, rassurez-vous, car vous n'êtes pas seul dans cette situation. Les travailleurs des services communautaires et des services sociaux ne possèdent souvent aucune formation ou expérience en analyse de données, qualitatives ou quantitatives. Qui ne serait pas intimidé lorsqu'on lui demande de faire une chose pour laquelle il ou elle ne se sent pas compétente?

Les solutions

En premier lieu, dès le début de votre projet, vous devriez décider quels indicateurs vous utiliserez pour en évaluer les résultats, tout comme vous déciderez, dès le début du projet, des méthodes d'analyse que vous utiliserez pour évaluer les données que vous planifiez obtenir.

Si vous avez choisi de recruter un évaluateur externe, vous pourriez lui demander d'analyser les données recueillies. Si vous effectuez votre évaluation vous-même, voici des ressources qui pourraient vous aider à analyser vos données.

• Les collèges et les universités ont peut-être un corps professoral ou des étudiants qui s'intéressent à la prévention du crime par le développement social et qui pourraient vous aider à planifier et à mettre en oeuvre votre projet d'évaluation. Les étudiants pourraient analyser les résultats dans le cadre d'un projet d'été ou de leurs travaux de cours. Communiquez avec des établissements d'enseignement locaux avant d'entreprendre votre évaluation pour voir comment ils pourraient vous aider. Ne reportez pas ce travail jusqu'à ce que vous ayez accumulé une grande quantité de données dont vous ne savez que faire!
• Le personnel du CNPC peut être en mesure de vous mettre en rapport avec d'autres responsables de projets qui font des travaux semblables. Il peut vous faire des suggestions au sujet des données qu'il convient de recueillir et de la façon de les analyser.
• Cette séance de formation fait partie d'une série. Le module 6 de la série traite de la manière d'effectuer une analyse de bases de données. Demandez aux employés régionaux du CNPC s'ils entendent offrir cette séance de formation à l'avenir. Dans la négative, demandez un exemplaire du manuel qui accompagne ce module. Vous obtiendrez ainsi des renseignements de base sur l'analyse de données et un guide des sites Web et d'autres ressources qui pourraient vous orienter tout au long de l'analyse.
• Enfin, un dernier conseil : Il peut être lourd de recueillir trop de données, en particulier une grande quantité de données qualitatives. Assurez-vous que vous avez la capacité d'analyser les données avant de les recueillir. Il importe de se montrer sélectif lorsque l'on décide des données à recueillir. Concentrez-vous sur ce que vous avez besoin de savoir par opposition à ce qu'il serait bien de savoir.

• N'oubliez pas de planifier dès le début du projet quelles données vous analyserez et comment vous le ferez.
• Demandez conseil au corps professoral ou aux étudiants des universités et des collèges locaux.
• Demandez l'aide d'autres projets qui font des évaluations.
• Participez à une séance de formation du CNPC sur l'analyse de données.
• Assurez-vous de ne pas recueillir plus de données que vous pouvez en réalité analyser.

Sixième défi : Le choix d'un évaluateur

Vous ne disposez peut-être pas des ressources financières pour payer un évaluateur externe. Mais, même si vous avez la chance d'avoir l'argent nécessaire pour recruter un évaluateur, vous conviendrez que le fait de trouver, pour votre projet d'évaluation, la bonne personne qui offrira de plus du travail de qualité peut constituer un réel défi. Cette situation est particulièrement problématique dans les collectivités rurales et éloignées.

Les solutions

Même si votre budget ne vous permet pas d'embaucher un évaluateur externe, ne baissez pas les bras. Les organisations partenaires et les universités ou les collèges locaux pourraient compter du personnel ou des étudiants qui sont intéressés au travail que vous faites et qui pourraient vous aider à effectuer l'évaluation.

Voici quelques pistes qui vous aideront à trouver des évaluateurs externes, rémunérés ou non rémunérés.

• Demandez à la Société canadienne d'évaluation une liste des évaluateurs de votre région (http://www.evaluationcanada.ca).
• Demandez des références auprès de groupes avec lesquels vous avez travaillé.
• Communiquez avec les départements de criminologie, de psychologie appliquée ou de sociologie des universités.
• Cherchez quelqu'un qui possède :
  • des compétences en méthodologie de la recherche, en collecte de données, en conception de bases de données et en analyse statistique;
  • une connaissance des normes juridiques et professionnelles de recherche;
  • une connaissance de la documentation pertinente aux travaux de votre projet;
  • de bonnes compétences en gestion, en relations publiques, en rédaction et en relations interpersonnelles;
  • et qui utilise une approche axée sur l'action.
• Les évaluateurs ayant une formation en recherche axée sur l'action seront plus susceptibles de proposer des solutions pratiques aux problèmes et aux défis que présente l'évaluation.

Septième défi : Les considérations d'ordre éthique

Des questions d'ordre éthique peuvent être soulevées au cours de la recherche. Nous avons relevé certaines d'entre elles. Vous en connaissez peut-être d'autres propres à la population que vous desservez.

• Les limites de la confidentialité - Il existe certaines limites à la confidentialité de l'information. Les tribunaux peuvent par exemple exiger une assignation à produire les dossiers du projet et le personnel du projet doit signaler aux bureaux de la protection de l'enfance toute information qui peut les amener à croire qu'un enfant risque de subir de mauvais traitements ou d'être victime de négligence.
• La vie privée - Certaines informations qui ne sont pas considérées comme étant privées pour une culture peuvent être estimées privées dans une autre. Dans certaines cultures, on pourrait considérer qu'il est inapproprié de discuter avec des étrangers de sujets ou de renseignements que d'autres cultures sont prêtes à aborder.
• L'observation des participants - Il arrive que des évaluateurs aient recours à l'observation des participants pour recueillir de l'information sur la manière dont un projet est mis en œuvre et sur les réactions des participants aux activités du projet. Le personnel du projet et les participants au projet ne sont peut-être pas à l'aise avec ce mode de collecte d'information.

  Dans la même veine, vous pourriez décider d'observer les participants sans les en informer pour que leur comportement ne soit pas influencé. Ces situations sont particulièrement préoccupantes d'un point de vue éthique.

• La sélection aléatoire - La sélection au hasard consiste à choisir des membres du groupe témoin et du groupe de « traitement » ou d'intervention de manière à garantir à tous une chance égale d'être référés vers un groupe ou l'autre. Les membres du personnel du projet s'inquiètent souvent du recours à la sélection aléatoire pour la constitution de groupes de « traitement » et de groupes « témoins ». Ils ne sont pas à l'aise de priver de services les participants d'un groupe témoin et préfèrent choisir les participants au projet en fonction des besoins ou sur la base du premier arrivé, premier servi.
• Le langage utilisé dans les rapports - Les évaluateurs et les membres du personnel du projet utilisent parfois des termes comme « vulnérable », « risque élevé », « défavorisé » et « pauvreté transgénérationnelle ». Ce langage peut offenser les participants au projet.
• Travailler avec des jeunes et des groupes marginalisés - Des précautions supplémentaires devraient être prises lorsque vous travaillez avec des jeunes ou des groupes marginalisés. Les parents doivent donner leur consentement pour que des jeunes puissent participer à des recherches évaluatives. Ce consentement est parfois difficile à obtenir lorsque les parents ne sont pas directement concernés par le projet. Lorsque les chercheurs travaillent avec des populations marginalisées, ils doivent accorder une attention spéciale à la protection des droits des répondants.

Les solutions

Il existe de nombreuses ressources qui peuvent vous aider à effectuer votre évaluation de manière à respecter les participants et les lignes directrices de l'éthique en matière de recherche. Assurez-vous de suivre les principes de base de l'éthique en recherche :

• la participation volontaire,
• le consentement éclairé,
• la confidentialité.

Des comités d'éthique de la recherche (CÉR) communautaire ont été créés dans certaines provinces pour aider les groupes communautaires à effectuer une évaluation éthique des projets de recherche. Le fait de vous assurer que votre projet ait été soumis à une évaluation éthique effectuée par un CÉR peut contribuer à éliminer les préoccupations en matière d'éthique. Par exemple, alors que le personnel chargé du projet peut avoir certaines préoccupations au sujet de la sélection aléatoire, les comités d'éthique ne partagent peut-être pas leurs préoccupations. Lorsque l'efficacité d'une intervention est inconnue, la sélection aléatoire peut être considérée comme la façon la plus respectueuse de l'éthique pour déterminer qui reçoit le service et qui est placé sur une liste d'attente ou dans un groupe témoin. Il convient de garder à l'esprit que puisque nous ne pouvons pas présumer que les activités du projet sont efficaces, il peut être moins préjudiciable de ne pas offrir le service que de l'offrir. Même dans le cadre de l'évaluation de nouveaux médicaments qui peuvent contribuer à sauver des vies, la sélection aléatoire est utilisée pour déterminer si le médicament est efficace.

Les comités d'éthique en matière de recherche respectent l'Énoncé de politique des trois Conseils : Éthique de la recherche avec des êtres humains dans leur examen des études de recherche. Cet énoncé inclut des lignes directrices sur le traitement de situations comme l'observation naturaliste, l'un des défis mentionnés précédemment. S'il n'y a pas de CÉR dans votre collectivité, vous devriez revoir votre plan d'évaluation à la lumière de l'Énoncé de politique des trois Conseils pour vous assurer que vous suivez les lignes directrices normalisées suivantes en matière d'éthique de recherche (voir http://www.pre.ethics.gc.ca/francais/policystatement/policystatement.cfm pour consulter l'Énoncé de politique des trois Conseils)

Les groupes de recherche des universités peuvent fournir des exemples de ressources liées à l'éthique en recherche telles que des formulaires de consentement et des scénarios de recrutement de participants à la recherche qui respectent l'éthique. Le site Web du bureau de la recherche de l'Université de Waterloo est un bon exemple (voir http://www.research.uwaterloo.ca).

La participation volontaire est l'une des pierres d'assise de la recherche en matière d'évaluation. Expliquez toujours aux participants qu'ils peuvent choisir de ne pas participer à l'évaluation, refuser de répondre à des questions auxquelles ils ne souhaitent pas répondre et retirer leur consentement de participer en tout temps. Rassurez les participants en leur disant que s'ils décident de ne pas participer à l'évaluation ou de cesser d'y participer à n'importe quel moment, cela n'aura aucune influence sur leur participation aux activités du projet.

Informez pleinement les participants quant à ce dont on s'attend d'eux dans le cadre de l'évaluation. Précisez si l'évaluation inclura des sondages, des observations, des demandes pour obtenir des relevés des établissements scolaires ou des tribunaux, des entrevues avec des sources de référence ou tout autre renseignement personnel. Dites-leur comment ces renseignements seront utilisés. Lorsque vous informez les participants au sujet des activités d'évaluation, soulignez le rôle de l'évaluation dans l'amélioration du projet. Assurez-vous que les participants comprennent que l'intention est d'évaluer le programme, et non eux.

• Obtenez un consentement écrit. Le consentement parental est exigé lorsque des enfants ou des adolescents de moins de 17 ans sont en cause.
• Faire étudier votre plan d'évaluation par un comité d'éthique en recherche.
• Utiliser les lignes directrices et les ressources existantes sur l'éthique en recherche pour orienter votre plan.
• Vous assurer que la participation à l'évaluation est volontaire.
• Obtenir des formulaires d'autorisation signés qui indiquent que les participants ont donné leur consentement éclairé.
• Garantir la confidentialité dans la mesure du possible.
• Respecter et connaître les différences culturelles.
• Rédiger des rapports en fonction des participants au projet.

Tous les renseignements personnels devraient demeurer confidentiels. Les conclusions quant à l'évaluation devraient toujours être communiquées de manière à ne pas révéler l'identité des personnes concernées. Soyez toutefois clair en ce qui concerne les limites à la confidentialité et expliquez ces limites aux participants du projet. Cette précaution s'applique non seulement à l'information obtenue au moyen d'une évaluation, mais également à l'information obtenue pendant les activités du projet. Les provinces et les territoires ont adopté une loi qui exige que les membres du personnel des services sociaux ou communautaires communiquent aux bureaux de protection de l'enfance toute information qui laisse croire qu'un enfant est vulnérable aux mauvais traitements et (ou) à la négligence. Examinez la législation sur la protection de l'enfance de votre province ou de votre territoire.

Lorsque des participants sont aux prises avec le système judiciaire, les tribunaux peuvent appliquer une assignation à produire des documents qui pourraient fournir d'autres renseignements au sujet de la situation personnelle du défendeur. Les participants à l'évaluation (et au projet) devraient être informés de ces limites à la confidentialité.

Assurez-vous que vous êtes informé des pratiques culturelles et des traditions qui devront être respectées tant dans l'évaluation que dans les activités du projet. L'Énoncé de politique des trois Conseils : Éthique de la recherche avec des êtres humains inclut un chapitre de pratiques recommandées en matière de recherche touchant les Autochtones (voir http://www.pre.ethics.gc.ca/francais/policystatement/section6.cfm).

Utilisez un langage qui est respectueux des participants au projet dans vos rapports d'évaluation. Les résultats d'évaluation devraient être rédigés ou présentés de manière à être accessibles aux participants au projet.

Huitième défi : Les différences culturelles et communautaires

Certaines collectivités ou certains groupes culturels ont une histoire ou une situation unique qui peut présenter des défis additionnels aux responsables de l'évaluation.

• La méfiance à l'égard de la tenue de dossiers par le gouvernement - Les collectivités autochtones ont longtemps été victimes d'abus et d'oppression de la part des fonctionnaires, y compris ceux qui sont associés aux pensionnats, au gouvernement et aux églises. Les immigrants et les réfugiés viennent parfois au Canada en provenance d'États totalitaires où les gouvernements font couramment un mauvais usage des renseignements personnels pour maintenir leur emprise sur le pouvoir. Ces groupes peuvent tout naturellement se méfier des demandes de renseignements personnels.
• Les traditions orales - Les peuples autochtones et certaines autres cultures ont des traditions orales plutôt que des traditions écrites. Ces traditions ont des répercussions sur l'utilisation de questionnaires autoadministrés en vue de la collecte des données et sur les rapports écrits pour le partage des résultats.
• Les différences culturelles - Des instruments normalisés ont généralement été testés auprès de populations de la classe moyenne d'origine européenne. Certains des concepts qu'ils évaluent pourraient être étrangers aux gens dont les antécédents sont différents, ce qui fait diminuer leur validité lorsqu'ils sont appliqués à ces groupes.
• Les petits groupes de participants - Les projets axés sur les petites collectivités ou sur les collectivités éloignées peuvent toucher de petits groupes de participants, ce qui fait qu'il est difficile de trouver des résultats statistiquement significatifs à l'aide de données quantitatives tirées des prétests et des post-tests.
• L'expérience en gestion de projets - Certains groupes locaux, en particulier ceux qui se trouvent dans des collectivités éloignées ou qui sont nouvellement arrivés au Canada, peuvent avoir acquis une certaine expérience de la planification de projets qui les rendrait aptes à effectuer l'évaluation des résultats.
• La confidentialité - Dans les petites collectivités, il importe d'accorder une attention spéciale à la confidentialité des renseignements personnels. Lorsque les membres du personnel du projet peuvent être des parents ou des voisins des participants au projet, ces derniers hésiteront peut-être à partager des renseignements personnels. Une telle situation peut se produire même quand les projets sont réalisés dans de grandes régions urbaines. À titre d'exemple, dans les groupes d'immigrants nouvellement arrivés au Canada, le nombre de personnes qui parlent l'anglais ou le français et la langue maternelle des participants est plutôt restreint. En raison de la petite taille de ces collectivités, les membres hésitent parfois à partager des renseignements personnels avec les traducteurs ou les interprètes.
• La langue - Les immigrants nouvellement arrivés au Canada peuvent avoir une connaissance limitée de l'anglais ou du français parlé ou écrit.

Les solutions

Les méthodes participatives - La participation des membres de la collectivité à la planification de l'évaluation peut contribuer largement à surmonter la résistance à l'évaluation. Si des participants prennent part à la planification du projet et à la détermination des indicateurs de succès, ils sont plus susceptibles de vouloir participer à la collecte des données. Les méthodes participatives ont l'avantage de solliciter l'apport des participants éventuels à la sélection des mesures d'évaluation.

Les mesures qualitatives - Les mesures qualitatives sont bien adaptées aux contes et à latradition orale. À ce titre, elles conviennent particulièrement aux cultures autochtones. Bien que des mesures quantitatives puissent encore être nécessaires pour raconter l'histoire complète de la capacité d'un projet d'obtenir ses résultats, l'utilisation de mesures qualitatives ajoutera de la profondeur et de la richesse au contexte de l'évaluation.

Les mesures multiples – Lorsque la taille des échantillons est petite, il convient d'utiliser plus d'une méthode de collecte des données. Vous pouvez utiliser les résultats de diverses méthodes à des fins de corroboration.

La formation – Les collectivités éloignées et les groupes nouvellement arrivés au Canada possèdent peut-être une certaine expérience, non seulement en matière d'évaluation, mais également dans le domaine de l'élaboration de projets communautaires. Dans de tels cas, il convient de chercher des façons d'obtenir de la formation en planification et en conception de projets. Les modules d'évaluation élaborés par le CNPC pourraient constituer un bon point de départ. Les modules 2 et 3 mettent l'accent sur des techniques qui sont utiles tant pour planifier les évaluations que les projets.

Mesures culturellement appropriées - Bien que de nombreuses mesures normalisées ne conviennent pas à certaines cultures, un certain nombre de mesures ont été testées auprès de diverses cultures. D'autres, comme celles qui ont été créées pour les programmes d'aide préscolaire aux autochtones (PAPA) au Canada et aux États-Unis, ont été mises en place en visant des groupes en particulier. Les programmes PAPA constitueraient de bons points de départ pour des mesures culturellement appropriées utilisées auprès des enfants autochtones. S'il est impossible de trouver des mesures spécialement élaborées pour une population en particulier, demandez aux représentants des groupes culturels que vous desservez de revoir les questions de sondage afin de vous assurer qu'elles sont culturellement appropriées.

Les interprètes - Si votre projet s'adresse aux nouveaux immigrants et (ou) à des réfugiés qui ont une connaissance limitée de l'anglais ou du français, réservez une partie de votre budget pour les services de traducteurs/interprètes ou prévoyez la participation de bénévoles qui peuvent aider à accomplir ces tâches. Cela est important non seulement pour votre évaluation, mais également pour les activités du projet. Comme il n'est pas toujours possible d'évaluer l'exactitude de la traduction lorsque des services d'interprétation sont utilisés, veillez à ce que les interprètes que vous recrutez aient une connaissance approfondie des deux langues.

La traduction - Les traductions utilisées à des fins d'évaluation devraient idéalement être effectuées dans la langue devant être utilisée, puis être retraduites dans la langue de départ. Ainsi, vous pourrez évaluer l'exactitude de la traduction. Nous savons toutefois que peu de projets disposent des ressources nécessaires pour effectuer ce travail. Il faudrait à tout le moins s'assurer que plus d'une personne revoit la traduction pour en établir l'exactitude.

• Utiliser des méthodes participatives d'évaluation
• Inclure des mesures qualitatives
• Utiliser des mesures culturellement appropriées
• Employer plusieurs mesures
• Former le personnel en gestion et en évaluation de projet au besoin
• Traduire des mesures d'évaluation dans la langue des participants ou recruter des traducteurs chargés des services d'interprétation.

D'autres défis en matière d'évaluation vous viennent-ils à l'esprit?

Vous pouvez imaginer ou vous avez peut-être même déjà dû faire face à d'autres défis en matière d'évaluation de projets communautaires de développement social. Prenez quelques minutes pour réfléchir à ce sujet. Y voyezvous des solutions possibles? Utilisez l'espace ci-dessous pour les décrire.

Ressources et appuis

• Les conseils de prévention du crime/de sécurité communautaire peuvent compiler de l'information sur des questions de criminalité et de sécurité et sur les perceptions du public quant à la criminalité dans votre collectivité.
• Les conseils de planification sociale font souvent des études sur les tendances dans la collectivité, les besoins en matière de services et d'autres sujets qui peuvent être utiles.
• Les départements de santé publique/communautaire disposent de personnel d'évaluation qui peut être en mesure de vous aider à élaborer un plan d'évaluation.
• Les détachements de la police locale, provinciale ou de la GRC disposent de renseignements au sujet du crime dans votre collectivité.
• Les fondations locales - Certains secteurs de Centraide et des fondations communautaires fournissent du soutien à l'évaluation.
• Les collèges et universités - Des membres du corps professoral et des étudiants des départements de criminologie, de psychologie appliquée, de travail social et de sociologie pourraient être en mesure de vous aider dans votre plan d'évaluation et dans vos méthodes de recherche.
• Les sites Web - Voir la liste de ressources fournie à la fin de cette partie de votre manuel.

Comme les ressources accessibles dans les différentes régions du Canada peuvent varier énormément, cette liste n'est pas exhaustive. Vous connaissez peut-être d'autres ressources propres à votre province ou à votre collectivité qui pourraient vous aider dans différents aspects de votre évaluation. Adressez-vous à vos partenaires et à d'autres intervenants pour en apprendre davantage au sujet des sources de soutien dans votre collectivité.

Glossaire

Fatigue du répondant

Il peut y avoir fatigue du répondant quand les participants à une évaluation se font demander de répondre à un trop grand nombre de questions à la fois. Le questionnaire d'enquête, l'entrevue ou le groupe de discussion devient fastidieux et les répondants accordent moins d'attention à leurs réponses parce qu'ils tentent de terminer le questionnaire ou de mettre fin à l'entrevue ou au groupe de discussion.

Indicateur

Un indicateur est une variable (ou une information) qui mesure un aspect d'un programme ou d'un projet. Il indique si un projet a atteint un objectif en particulier. Il devrait y avoir au moins un indicateur pour chaque élément du projet (c.-à-d. au moins un pour chaque résultat identifié dans le modèle logique).

Mesures normalisées

Une mesure normalisée est appliquée à un très grand groupe de gens semblables à ceux avec lesquels la mesure sera utilisée. Les données recueillies auprès de ce groupe tiennent lieu d'éléments de comparaison pour interpréter les résultats des mesures applicables aux personnes, aux petits groupes ou aux programmes. Les tests normalisés vous permettent de déterminer si le score d'une personne est élevé, moyen ou faible comparativement à la norme (Ogden/Boyes Associates Ltd., 2001).

Modèle logique

Un modèle logique sert à décrire un projet ou un programme. Il s'agit d'un outil qui aide à planifier et à évaluer le projet. Un modèle logique décrit les ressources et les activités qui contribuent à un projet et les liens logiques qui relient les activités du projet aux résultats prévus de celui-ci. Les modèles logiques sont souvent représentés par un diagramme qui inclut les intrants, les activités, les extrants et les résultats du projet.

Observation naturaliste

L'observation naturaliste est une méthode de collecte des données dans le cadre de laquelle le chercheur ou l'évaluateur observe les activités du projet et consigne l'information à leur sujet d'une manière structurée et systématique. L'observation en tant que méthode de collecte des données fait l'objet du module 4 du présent manuel.

Socialement désirable

Il arrive que des répondants fournissent des réponses à un questionnaire d'enquête ou à une mesure qu'ils croient être plus favorables à leur estime de soi, davantage en accord avec les normes sociales apparentes (Polland, 1998) ou que le chercheur souhaite entendre. Ces réponses sont considérées comme socialement désirables.

Références

Groupe consultatif interagences en éthique de la recherche. (1998). Énoncé de politique des trois Conseils :
Éthique de la recherche avec des êtres humains (Avec les mises à jour de 2000 et 2002). Extrait le 19 avril 2005 de
http://www.pre.ethics.gc.ca/francais/policystatement/policystatement.cfm

Ogden/Boyes Associates Ltd. (1991). CAPC program evaluation tool kit: Tools and strategies for monitoring and evaluating programs involving children, families and communities. Rapport inédit produit pour Santé Canada, Direction générale de la santé de la population et de la santé publique, région de l'Alberta et des Territoires du Nord-Ouest, Calgary (Alberta).

Polland, R.J. (1998). Essentials of survey research and analysis: A workbook for community researchers. Extrait le 4 novembre 2004 de
http://www.tfn.net/%7Epolland/quest.htm

Ressources suggérées

Sites Web

American Evaluation Society
Guiding Principles for Evaluators
http://www.eval.org/Guiding%20Principles.htm

Ce document a été élaboré par l'American Evaluation Society, un organisme professionnel qui représente les évaluateurs aux États-Unis. Il fournit de l'information sur l'éthique professionnelle dans l'évaluation de programmes.

Société canadienne d'évaluation
Lignes directrices de la SCÉ en matière d'éthique
http://www.evaluationcanada.ca//site.cgi?s=5&ss=4&_lang=fr

Ce document décrit les lignes directrices en matière d'éthique à l'intention des membres de la Société canadienne d'évaluation (SCÉ), l'organisme professionnel des évaluateurs au Canada.

Groupe consultatif interagences en éthique de la recherche
Énoncé de politique des trois Conseils : Éthique de la recherche avec des êtres humains
http://www.pre.ethics.gc.ca/francais/policystatement/policystatement.cfm

L'Énoncé de politique des trois Conseils donne des lignes directrices en matière d'éthique de la recherche subventionnée par trois organismes fédéraux de subvention : le Conseil de recherches en sciences naturelles et en génie, le Conseil de recherches en sciences humaines du Canada et les Instituts de recherche en santé du Canada.

Gouvernement du Canada - Évaluation et élaboration de données
Bulletin du forum sur l'évaluation
http://www11.hrdc-drhc.gc.ca/pls/edd/evalfornews.main_fr

Le Bulletin du forum sur l'évaluation traite de questions comme la sensibilité culturelle à l'évaluation et la réalisation d'évaluations avec les collectivités autochtones.

Conseil national d'éthique en recherche chez l'humain
http://www.ncehr.medical.org/francais/accueil.php

Ce site Web fournit différentes ressources sur les questions d'éthique en recherche.

University of Michigan
Program Evaluation Standards
http://www.eval.org/EvaluationDocuments/progeval.html

Les normes de déontologie des personnes qui font de la recherche en évaluation sont présentées sur ce site.

Manuel et Guides

Holt, J.D. (1993).
« Et si on faisait... une évaluation : Manuel sur l'autoévaluation des programmes à l'intention des collectivités des Premières nations et des collectivités inuites ». Ministère de la Santé nationale et du Bien-être social, Direction générale des services médicaux.

Ce guide est orienté vers les collectivités des Premières nations et les collectivités inuites qui évaluent les projets et les programmes.

Ministère du Solliciteur général du Canada. (1998). La prévention du crime dans les collectivités des Premières nations - Manuel d'autoévaluation

Ce manuel est utile non seulement pour les collectivités des Premières nations qui se consacrent à la recherche en évaluation, mais également pour toute personne qui souhaite évaluer un projet de prévention du crime. Le manuel d'autoévaluation mène le lecteur tout au long des étapes de l'évaluation.

National Evaluation of Sure Start
Conducting Ethical Research
http://www.ness.bbk.ac.uk/documents/GuidanceReports/165.pdf

Ce guide comporte des conseils sur la réalisation d'une recherche d'une façon qui reflète l'éthique en recherche.

University of Victoria
Protocols and Principles for Conducting Research in an Indigenous Context
http://web.uvic.ca/igov/programs/masters/igov_598/protocol.pdf

Ce guide fournit des renseignements sur l'éthique en matière de recherche concernant les collectivités autochtones.

Document

Trochim, W. (2000).
The Research Methods Knowledge Base, 2^e édition.
http://www.socialresearchmethods.net/

Ce document en ligne donne un aperçu simple des facteurs éthiques de la recherche en évaluation.

Module 7 - Feuilles de travail

Feuille de travail 1

Premier défi : L'engagement du personnel et des partenaires

Solutions :

Feuille de travail 2

Deuxième défi : La mobilisation des participants

Solutions :

Feuille de travail 3

Troisième défi : La collecte des données

Solutions :

Feuille de travail 4

Quatrième défi : Les résultats réalistes

Solutions :

Feuille de travail 5

Cinquième défi : L'analyse des données

Solutions :

Feuille de travail 6

Sixième défi : Le choix d'un évaluateur

Solutions :

Feuille de travail 7

Septième défi : Les considérations d'ordre éthique

Solutions :

Feuille de travail 8

Huitième défi : Les différences culturelles et communautaires

Solutions :

Liste de ressources générales

Sites Web

American Evaluation Association
http://www.eval.org/

Ce site est le site Web de l'American Evaluation Association dont l'équivalent au Canada est la Société canadienne d'évaluation. Il fournit de l'information, des liens utiles et différentes ressources sur l'évaluation.

Innovation Network Online
http://www.innonet.org/

Ce réseau présente des guides généraux dans le domaine de l'évaluation et un éventail de ressources ayant trait aux modèles logiques.

Management Assistance Program for Non-Profits (MAP)
Basic Guide to Program Evaluation
http://www.managementhelp.org/evaluatn/fnl_eval.htm#anchor1581634

Ce site Web fournit de l'information qui aide à établir un plan d'évaluation. On y trouve aussi des facteurs clés à prendre en considération au moment de la planification d'une évaluation.

Société canadienne d'évaluation
http://www.evaluationcanada.ca

Il s'agit du site Web de l'organisme national qui regroupe les évaluateurs canadiens.

United Way of America
Outcome Measurement Resource Network
http://www.unitedway.com

Ce site Web est un point de départ pour apprendre les rudiments de la mesure des résultats. Il inclut une introduction à la mesure des résultats et explique pourquoi ce genre d'évaluation est important.

United Way of Toronto
PEOD Evaluation Clearinghouse
http://www.unitedwaytoronto.com/PEOD/index.html

Ce site est fortement recommandé car il constitue un centre de ressources qui fournit des guides et autres outils utilisés en recherche évaluative.

University of Wisconsin Program Development and Evaluation
http://www.uwex.edu/ces/pdande/evaluation/evaldocs.html

Ce site Web convivial comporte de nombreux liens qui donnent accès à de l'information au sujet de tous les aspects de la collecte des données.

W.K. Kellogg Foundation
Trousse d'outils d'évaluation
http://www.wkkf.org/Programming/Resources.aspx?CID=281

Ce site Web propose des ressources pour la création de modèles logiques et des ressources générales facilitant l'évaluation des programmes.

Guides et manuels

Santé Canada
Guide d'évaluation de projet : Une démarche participative
http://www.phac-aspc.gc.ca/ph-sp/ddsp/ressources/guide/presentation.htm

Les deux premiers chapitres de ce guide présentent une introduction de base à l'évaluation. Dans le reste du guide, on trouve des conseils utiles concernant la collecte, l'analyse et la présentation des données.

Management Assistance Program for Non-Profits (MAP)
Basic Guide to Outcome Evaluation for Non-profit Organizations with Very Limited Resources
http://www.mapnp.org/library/evaluatn/outcomes.htm

Ce guide fournit une vue d'ensemble des étapes à franchir dans l'évaluation des résultats. Il est destiné aux organismes qui ont des moyens limités.

National Science Foundation
User Friendly Handbook for Project Evaluation
http://www.nsf.gov/pubs/2002/nsf02057/nsf02057.pdf

Ce guide présente de l'information détaillée sur différentes méthodes de collecte de données, en plus de fournir des conseils et des exemples utiles.

Horizon Research, Inc.
Taking Stock: A practical guide to evaluating your own programs.
http://www.horizon-research.com/reports/1997/stock.pdf

Ce guide pratique représente une excellente source d'information sur la façon de recueillir des données qualitatives et quantitatives. Il propose plusieurs stratégies de collecte des données.

Revues

Canadian Journal of Program Evaluation
c/o Canadian Evaluation Society,1485 Laperriere Ave., Ottawa, ON K1Z 7S8
http://www.evaluationcanada.ca/site.cgi?s=4&_lang=fr

Cette revue couvre un large éventail de sujets relatifs à l'évaluation. L'accès en ligne est limité aux membres de la Société canadienne d'évaluation (SCE). Les non-membres peuvent se procurer la revue dans les bibliothèques. Vous pouvez vous abonner via le site Web de la SCE.

Practical Assessment, Research and Evaluation (Pare)
http://pareonline.net

Cette revue spécialisée en ligne fournit des articles sur différentes recherches évaluatives.

Traités

Trochim, W.M. (2002). Research Methods Knowledge Base, 2^e édition
http://www.socialresearchmethods.net/

Ce traité en ligne initie l'utilisateur à l'évaluation et renferme des définitions de base, des objectifs, des méthodes et des descriptions du processus d'évaluation globale. Il inclut des réponses à des questions fréquemment posées au sujet de l'évaluation.

Bulletins

Harvard Family Research Project
The evaluation exchange: Emerging strategies in Evaluating Child and Family Services
http://gseweb.harvard.edu/

Ce bulletin gratuit fournit un aperçu des enjeux et des sujets relatifs à la recherche évaluative

Liste de ressources communautaires/prévention du crime

Sites Web

Stratégie nationale pour la prévention du crime
http://www.securitepublique.gc.ca/cnpc

Le site Web de la Stratégie nationale pour la prévention du crime offre de l'information qui a trait aux programmes de financement et à l'évaluation des projets financés, et présente des exemples de programmes de prévention qui ont fait l'objet d'une évaluation.

Guides et manuels

Centre International de prévention du crime
De la connaissance aux politiques de prévention de la criminalité et de sécurité collective : Quel rôle pour l'évaluation?
http://www.crime-prevention-intl.org/publications/pub_58_2.pdf

Ce document de réflexion explore l'évaluation dans le contexte de la prévention. Il présente de plus différents cadres de référence gouvernementaux en évaluation et en prévention.

Stratégie nationale sur la sécurité communautaire et la prévention du crime
Vous pouvez y arriver : Une trousse d'outils pratiques pour l'évaluation des programmes d'intervention policière et de prévention de la criminalité dans la collectivité
http://dsp-psd.pwgsc.gc.ca/Collection/J2-180-2001F.pdf

Cet outil élaboré par les Services de police d'Ottawa fournit une vue d'ensemble de l'évaluation et de l'information pour préparer et réaliser une évaluation et pour communiquer les résultats.

Northern Territory Department of Justice, Office of Crime Prevention
Guide for Community Crime Prevention Partnerships
http://www.nt.gov.au/justice/ocp/docs/guide.pdf

Ce guide nous donne un aperçu de la façon d'évaluer les besoins en prévention du crime, de créer des partenariats et de mettre en œuvre un plan d'action.

Date de modification :

2022-08-02