Évaluation des projets de prévention du crime par le développement social : Manuel pour les organismes communautaires

PDF (1 140 KB)
Table des matières

Remerciements

L'ouvrage Évaluation des projets de prévention du crime par le développement social a été élaboré dans le cadre d'un programme de formation des formateurs qui vise à transmettre aux employés responsables des programmes au Centre national de prévention du crime (CNPC) des connaissances de base en évaluation . Ainsi outillés, ces derniers sont alors en mesure de renforcer la capacité d'évaluation des groupes communautaires qui œuvrent à la prévention du crime au moyen de projets de développement social.

Le Guide du formateur et son compagnon, le Manuel pour les organismes financés par la Stratégie nationale pour la prévention du crime (SNPC), ont été écrits par Mary Sehl, analyste principale de l'évaluation au CNPC. Comme c'est souvent le cas, ce projet n'aurait pas vu le jour sans l'aide et le soutien de bien d'autres. Nous remercions chaleureusement Colleen Ryan, qui travaille maintenant à Santé Canada, pour avoir reconnu la nécessité de l'initiative, et les membres suivants du comité consultatif du projet de leur merveilleuse direction :

Linda Casson Hare, agente principale de programmes - Yukon Susan Howe, analyste principale de l'évaluation - Vancouver Dianne MacDonald, gestionnaire de programmes - Saskatchewan Monika Ochnik, agente de programmes - Ontario Wayne Stryde, directeur, Élaboration et mise en œuvre de programmes - Ottawa Michelle Woods, agente de programmes - Thunder Bay

Nous remercions aussi de tout cœur Brin Sharp, dont les connaissances et les conseils en matière de techniques d'éducation pour adultes se retrouvent dans le Guide du formateur, et Susan Howe pour sa vitalité, les contributions qu'elle a faites à l'initiative et l'aide qu'elle a apportée à la planification et à l'animation d'une séance de formation pilote à Vancouver. Sa créativité se fait sentir dans plusieurs des exercices qui composent les ateliers de formation.

Nous sommes reconnaissants aux membres de l'Unité d'évaluation du CNPC pour leurs commentaires et conseils concernant le programme de formation, et pour le dynamisme dont ils ont fait preuve lors de la formation des employés responsables des programmes du CNPC. Nous remercions aussi tout particulièrement Muguette Lemaire, analyste principale de l'évaluation à Montréal, pour son travail inestimable sur la version française du Guide du formateur et du Manuel pour les organismes financés par la Stratégie nationale pour la prévention du crime (SNPC), et Carolyn Scott pour avoir pris les devants en ce qui concerne la planification de l'évaluation de l'initiative. Tim Peters, Antoine Bourdages et Wayne Stryde méritent aussi d'être remerciés pour leur direction et le soutien continu qu'ils ont prêté au projet en tant que membres de l'équipe de gestion du CNPC.

Mary Sehl
Analyste principale de l'évaluation
CNPC

Quel est le but de la formation sur l'évaluation?

Le Centre national de prévention du crime (CNPC) voit l'évaluation comme un outil contribuant à la gestion des projets et à l'apprentissage. L'évaluation n'a pas pour seul but de prouver qu'un projet a donné des résultats positifs. Elle vise aussi à dégager des leçons et à améliorer le fonctionnement du projet.

On s'attend à ce que les groupes communautaires qui sont intéressés à faire une demande de fonds au CNPC pour appuyer leur projet de prévention du crime par le développement social jouent différents rôles dans le cadre de l'évaluation. Ces rôles dépendront du programme qui leur accorde le financement.

Les projets financés dans le cadre du Fonds d'action en prévention du crime (FAPC) ont pour but de trouver des façons novatrices de prévenir la criminalité. Le FAPC aide des personnes travaillant sur le terrain à entreprendre des activités qui s'attaquent aux causes profondes de la criminalité. Il vise à établir des partenariats entre différents secteurs, notamment les services de police, les services de santé communautaire ainsi que les secteurs bénévole et privé, afin de renforcer la capacité des collectivités de prévenir la criminalité par le développement social. Il aide les groupes communautaires à rendre leurs efforts de prévention de la criminalité plus durables, à sensibiliser davantage le public aux activités de prévention de la criminalité et à obtenir son soutien.

Dans le cadre des projets financés par le FAPC, les évaluations servent à :

Nota : Le masculin a été utilisé dans ce document dans le seul but d'alléger le texte.

Le Fonds pour la mobilisation communautaire des secteurs policier et correctionnel (FMCSPC) soutient la formation de partenariats avec les organisations d'application de la loi et des services correctionnels en vue de promouvoir la prévention du crime par le développement social. Ce fonds vise les communautés à risque et les groupes vulnérables, y compris les enfants, les adolescents et leurs familles, ainsi que les Autochtones.

Si vous avez reçu ou êtes intéressé à recevoir des fonds du FAPC ou du FMCSPC, la présente formation vous aidera à améliorer votre capacité d'élaborer un plan solide pour votre projet et à mener une évaluation crédible.

Le Fonds pour la recherche et le développement des connaissances (FRDC) appuie un large éventail de travaux de recherche, de projets de démonstration, d'initiatives de transfert des connaissances et d'évaluations qui : relèvent et analysent les lacunes dans le corpus actuel des connaissances liées à la prévention du crime au Canada; acquièrent de nouvelles connaissances dans les domaines où les lacunes ont été relevées; font la synthèse des résultats de la recherche existante; et, développent la compréhension et la reconnaissance des pratiques et des modèles prometteurs en matière de prévention du crime au niveau communautaire. Le FRDC finance des activités et des initiatives visant à identifier, soutenir et évaluer des modèles prometteurs de prévention de la criminalité, à faciliter le développement de ressources fondées sur le constat et à mettre au point des produits contribuant à informer le public sur les mesures qui permettent d'atténuer les facteurs de risque liés à la criminalité et à la victimisation. Le FRDC permet l'embauche d'évaluateurs externes pour effectuer des évaluations rigoureuses de ces projets afin d'en déterminer les coûts, les avantages et l'efficacité générale des activités novatrices de prévention du crime.

Les dirigeants et le personnel des projets collaboreront étroitement avec l'évaluateur externe et, dans la plupart des cas, participeront à la collecte de l'information qui sera soumise à l'évaluation. Si vous êtes intéressé à obtenir des fonds du FRDC, cette formation vous aidera énormément à améliorer votre compréhension de l'évaluation et votre capacité de collaborer avec un évaluateur de l'extérieur.

Pour obtenir de plus amples renseignements au sujet des programmes de financement du CNPC, vous êtes invité à consulter le site Web de la Stratégie nationale pour la prévention du crime à http://www.securitepublique.gc.ca/cnpc.

La structure du manuel

Le manuel se divise en sept chapitres qui correspondent aux sept modules de la trousse de formation sur l'évaluation des projets de prévention du crime par le développement social. À la fin de chaque chapitre, on retrouve un glossaire des termes employés dans le chapitre et une liste des ressources ayant un lien avec les sujets abordés. Les feuilles de travail utilisées dans les différents modules de formation sont fournies à la fin de chacun des chapitres.

Nous espérons que ce manuel constituera un outil de référence utile durant les séances de formation et longtemps après que vous aurez suivi ce cours. Nous vous encourageons à utiliser les ressources fournies à la fin de chaque chapitre lorsque vous planifierez l'évaluation de vos projets de prévention du crime.

Module 1 : Un aperçu de l'évaluation

Les objectifs d'apprentissage

Pourquoi se soucier de l'évaluation?

S'il est important pour nous de prévenir la criminalité et la victimisation dans les collectivités canadiennes, il est tout à fait normal de se soucier des activités qui permettent réellement d'atteindre cet objectif. La seule façon de s'en assurer est d'investir dans l'évaluation.

Le temps

Nous savons que le temps représente un problème, spécialement pour les groupes communautaires qui disposent de budgets très limités. Il faut du temps pour planifier une évaluation et la mettre en œuvre, pour analyser les données, pour transmettre les résultats et pour examiner les conséquences de l'évaluation sur les activités du projet. Heureusement, la plupart des éléments d'une évaluation font partie de la gestion efficace d'un projet et peuvent être intégrés aux activités quotidiennes.

L'argent

Vous avez peut-être le sentiment que les fonds consacrés à l'évaluation pourraient être mieux utilisés pour financer des activités liées au projet. Il est vrai qu'au minimum, une évaluation exige que le personnel affecté au projet y consacre du temps, ce qui représente un certain coût. Une évaluation rigoureuse effectuée par un tiers risque par contre de coûter beaucoup plus cher. Des professeurs ou des étudiants des collèges ou des universités peuvent parfois fournir de l'aide gratuitement dans le cadre de stages ou de projets.

L'expertise

Il se peut que votre groupe possède très peu d'expérience en matière de planification de projets admissibles à des fonds gouvernementaux. Nous espérons vous montrer que les connaissances et les compétences requises pour planifier des projets sont semblables à celles qui sont nécessaires à la planification des évaluations.

L'évaluation a la réputation d'être complexe et de nécessiter de l'expertise externe. Nous sommes d'accord qu'il est parfois nécessaire de faire appel à des experts pour effectuer des analyses statistiques ou pour aider à déterminer comment répondre aux questions d'évaluation. Par contre, des évaluations plus simples peuvent être faites à l'interne. Nous en parlerons plus loin dans cette section.

L'indiscrétion

Pour répondre à des questions d'évaluation comme « À qui nous adressons-nous? » ou « Le projet a-t-il modifié des attitudes ou des comportements? », on doit poser des questions touchant les expériences de vie, les attitudes et les comportements des personnes.

Nous avons souvent constaté que le personnel affecté à un projet s'inquiète davantage du caractère personnel des questions posées que ne le font les participants au projet. Il est important de se rappeler que la participation à une évaluation devrait toujours être volontaire. On devrait toujours informer les participants qu'ils peuvent refuser de répondre aux questions ou qu'ils peuvent cesser de participer à l'évaluation à n'importe quel moment, et que cela ne nuira pas à leur participation aux activités liées au projet.

Nous savons déjà que le projet est efficace

Vous avez probablement déjà pris connaissance de nombreux exemples ou anecdotes qui vous ont prouvé l'efficacité du projet que vous planifiez. Vous avez peut-être le sentiment que vous disposez de preuves suffisantes pour démontrer que les activités planifiées sont efficaces. Par ailleurs, l'évaluation servira à créer une série de données probantes qui vous permettront de convaincre les autres de l'efficacité de votre projet.

Bien comprendre la complexité

Vous avez peut-être le sentiment que le travail que vous faites ne peut être quantifié ou décrit sous une simple forme « linéaire ». Les projets ont souvent de nombreuses composantes et ils peuvent avoir des effets subtils et imprévus sur les participants. Il est vrai que les évaluations ne parviennent pas toujours à refléter la complexité des activités liées au projet ou à leur fonctionnement. En ajoutant des questions d'évaluation qui donnent aux participants et au personnel la possibilité de relater librement leurs expériences, vous pouvez inclure tous ces aspects dans votre évaluation.

Le changement à long terme par opposition au financement à court terme

Il semble y avoir une contradiction. D'un côté, le Centre national de prévention du crime (CNPC) fournit des fonds pendant une courte période seulement, et de l'autre, il reconnaît qu'il faut souvent attendre longtemps pour que le changement se produise. La situation idéale consisterait à pouvoir suivre les changements à long terme. Si vous pouviez présenter de solides arguments expliquant pourquoi les résultats à court terme de votre projet conduiront probablement à des changements à long terme, vous pourriez vous concentrer sur la mesure des changements à court terme. Par conséquent, vous n'auriez pas à assurer le suivi des changements à long terme.

Le Manuel pour les organismes financés par la SNCP et les séances de formation qui l'accompagnent vous indiqueront comment créer un modèle logique. Un modèle logique rigoureux précisant la façon dont les activités du projet entraîneront des résultats à court et à long terme ainsi que les liens entre ces résultats vous permettra de démontrer comment les changements à court terme découlant de votre projet peuvent mener à d'autres changements longtemps après la fin de celui-ci.

La crainte

Il est normal de craindre qu'une évaluation négative puisse empêcher votre groupe d'obtenir d'autres fonds. Il est par contre aussi fréquent de constater que les projets s'améliorent après une évaluation qui indique comment obtenir de meilleurs résultats. L'évaluation constitue une bonne façon de montrer à vos bailleurs de fonds que vous êtes intéressé à l'amélioration continue de votre projet.

Pourquoi effectuer une évaluation?

La prise de décisions, la gestion du projet

L'évaluation fait partie de la saine gestion. Il n'est pas nécessaire d'y consacrer beaucoup de temps ou d'argent, mais il faut y accorder un certain temps et une certaine somme d'argent si vous voulez bien gérer votre projet. L'étendue de votre évaluation dépendra probablement de la taille du projet et de son budget.

Vous effectuez probablement déjà une certaine forme d'évaluation, à tout le moins de façon officieuse. Vous posez peut-être des questions au sujet de la satisfaction des participants ou vous évaluez peut-être la nécessité d'ajouter des effectifs.

L'évaluation vous fournit l'occasion de poser les questions qui vous permettront d'obtenir les réponses nécessaires à une saine gestion de votre projet. Par exemple, vous pourriez poser les questions suivantes :

L'amélioration du projet

Si votre groupe a déjà participé à des projets communautaires, vous avez probablement apporté à ces projets des changements visant à en améliorer certains aspects avec le temps. Vous avez peut-être, par exemple, changé l'endroit ou le moment où se déroule votre projet pour en améliorer l'accès. Vous avez peut-être fait appel à un nouveau partenaire pour augmenter le nombre de personnes référées à votre projet. Vous avez peut-être évalué l'utilité de ces changements. En tenant un registre des résultats qui ont eu des effets favorables, vous pouvez aider d'autres personnes à en tirer des leçons. Ces mesures peuvent aider à améliorer votre projet ainsi que d'autres projets dans votre collectivité ou ailleurs au Canada.

L'efficacité du projet

Lorsque la prévention du crime nous tient réellement à cœur, nous voulons connaître l'utilité de nos démarches. Sinon, pourquoi investir notre temps et notre argent dans une activité qui, au bout du compte, ne changera rien?

S'il est difficile de créer des documents répondant à la question de savoir si un projet donné empêche la criminalité ou réduit la victimisation, il est possible de montrer comment il réduit les facteurs associés à la criminalité et à la victimisation (facteurs de risque) ou augmente les facteurs qui aident à prévenir la criminalité ou à réduire la victimisation (facteurs de protection). Nous voulons également savoir comment le projet y parvient afin que d'autres puissent suivre son exemple.

Les résultats imprévus

Les projets ont parfois des effets que nous n'avions pas prévus. Ces effets peuvent êtrepositifs ou négatifs. À titre d'exemple :

L'imputabilité

Les contribuables veulent savoir si leur argent est dépensé judicieusement. Il est nécessaire pour le gouvernement de rendre des comptes en ce qui concerne l'argent investi dans des projets communautaires. Si les changements qu'apportent ces projets ne sont pas documentés, la vérificatrice générale, les politiciens et, au bout du compte, nos concitoyens pourraient nous poser des questions à ce sujet.

Nous oublions trop souvent que nous devons également rendre des comptes aux participants des projets communautaires. Ils méritent de pouvoir s'exprimer sur les mesures qui sont efficaces et celles qui ne le sont pas et d'être informés, par l'entremise de rapports d'évaluation, sur la capacité des programmes d'atteindre les résultats escomptés. Les employés de première ligne se disent souvent préoccupés par le grand nombre de questions posées aux participants lors d'évaluations et de l'aspect indiscret de ces questions. Ces préoccupations sont légitimes. Par contre, nous constatons souvent que lorsque nous abordons les participants de façon positive et que nous leur donnons un aperçu du but de l'évaluation et de leur rôle dans ce contexte, ils se montrent enthousiastes à l'idée de contribuer à la recherche. Ils veulent savoir « ce qui marche ».

Les relations publiques et le financement

Les résultats probants découlant d'un projet constituent le meilleur outil pour promouvoir le projet et pour susciter les dons d'argent ou de ressources qui assureront sa pérennité.

Qu'est-ce que l'évaluation?

Les évaluations ne touchent pas nécessairement tous ces aspects. Certaines mettent davantage l'accent sur l'élaboration du projet et l'examen des activités liées à celui-ci pour établir s'il est offert de la manière prévue (évaluation du processus). D'autres se concentrent davantage sur les trois derniers points et cherchent à évaluer si le projet aboutit aux résultats anticipés (évaluation des résultats).

Les types d'évaluations

L'évaluation des besoins

Une évaluation des besoins permet de savoir ce dont les gens ou les collectivités que vous espérez atteindre ont besoin, de façon générale, ou pour combattre un problème précis. Vous pourriez, par exemple, souhaiter savoir quels sont les problèmes de sécurité dans votre collectivité, connaître les services auxquels vous avez accès ou dans quelle mesure votre collectivité s'attaque à un certain type de criminalité ou à une certaine forme de victimisation.

L'évaluation des ressources

Une évaluation des ressources sert à déterminer les ressources ou les habiletés existantes au sein de la collectivité dans laquelle vous souhaitez implanter votre projet. L'évaluation des ressources est souvent menée de concert avec l'évaluation des besoins. Ce type d'évaluation permet de déterminer les habiletés des membres d'une collectivité pouvant contribuer au projet ainsi que les ressources matérielles telles que les locaux, les dons en nature, le bénévolat, les ressources financières et autres pouvant faciliter la mise en œuvre du projet de prévention du crime.

L'évaluation de l'évaluabilité

On effectue une évaluation de l'évaluabilité pour savoir si un projet peut faire l'objet d'une évaluation officielle. Une telle évaluation peut suggérer quelles approches ou méthodes d'évaluation conviendraient le mieux au projet.

Le suivi du projet

Le suivi d'un projet prend en compte les activités et opérations précises liées au projet. Il s'agit d'une évaluation très limitée qui aide à suivre, et non pas à évaluer le projet.

L'évaluation formative

Connue également sous le nom d'évaluation du processus, une évaluation formative nous renseigne sur le déroulement du projet, et nous permet de savoir s'il est mis en œuvre de la manière prévue et si des problèmes sont survenus dans ce contexte (par exemple, elle peut montrer qu'un projet atteint un groupe qui est moins à risque que prévu, que les employés ne possèdent pas la formation requise, que les locaux du projet ne sont pas accessibles ou que les heures du projet ne correspondent pas aux besoins des participants).

L'évaluation des résultats

Une évaluation des résultats examine la mesure dans laquelle un projet a permis d'obtenir les résultats définis au départ.

L'évaluation sommative

L'évaluation sommative examine l'efficacité et l'incidence globales d'un projet, sa qualité, et la possibilité d'un financement continu.

L'évaluation coût-efficacité

Une étude coût-efficacité examine le lien entre les coûts d'un projet et les résultats de celui-ci. Elle évalue le coût que représente chaque degré d'amélioration dans les résultats.

L'évaluation coûts-avantages

Une analyse coûts-avantages est comme l'analyse coût-efficacité en ce sens qu'elle examine la relation entre les coûts et les résultats (ou avantages) du projet. Une étude des coûts-avantages attribue par contre une valeur financière aux résultats ou aux avantages, de sorte à fournir un coefficient montrant le rapport entre la quantité d'argent dépensée et les économies réalisées. Une analyse coûts-avantages bien connue est celle à laquelle a été soumis le Perry Preschool Project aux États-Unis. On a conclu que pour chaque dollar dépensé, on économisait plus de 7 $ (Barnett, 1993, cité dans Schweinhart, 2002).

Quelques-unes des principales méthodes

L'évaluation externe

Cette approche consiste à faire appel à un évaluateur externe (un tiers ou une personne/organisation qui n'a jamais été associée au projet faisant l'objet de l'évaluation), qui se chargera d'effectuer l'évaluation. Le fait d'utiliser un évaluateur extérieur à l'organisation faisant l'objet d'une évaluation accroît l'objectivité des résultats. On peut faire appel à des évaluateurs de l'extérieur dans le cadre de toutes les méthodes décrites ci-dessous. On engage souvent des consultants de l'extérieur afin de faciliter les évaluations participatives ou d'habilitation.

L'évaluation axée sur l'application concrète

Cette approche met l'accent sur ce que les gestionnaires et les employés affectés au projet ont besoin de savoir pour prendre des décisions concernant le projet et pour améliorer son déroulement.

L'évaluation participative

Il s'agit d'une méthode qui inclut les participants à toutes les étapes de l'évaluation, de la formulation des questions d'évaluation au choix des données à colliger, à la méthode à suivre et à l'interprétation des résultats.

La méthode d'habilitation

Il s'agit d'une approche qui consiste à utiliser des concepts et des techniques d'évaluation et à se fonder sur les résultats pour aider les groupes communautaires à améliorer leurs programmes et leurs services. L'évaluateur fait fonction de coach ou d'animateur pour aider les employés et les participants au projet à mettre en place un processus d'autoévaluation et de réflexion. L'évaluation d'habilitation comporte trois étapes : a) formuler un énoncé de mission ou une vision, b) repérer et classer par ordre de priorité les principales activités faisant partie du programme et coter le rendement du programme par rapport à chacune de ces activités et c) planifier des stratégies pouratteindre les futurs objectifs d'amélioration du projet (Fetterman, 2002).

La méthode d'évaluation que vous choisirez dépendra du but de l'évaluation. Si vous souhaitez découvrir des façons d'améliorer les services que vous offrez, il est peut-être conseillé d'adopter une méthode mettant l'accent sur l'amélioration des connaissances ou l'habilitation. Si vous souhaitez convaincre des organisations externes que vous avez un impact positif sur les participants, un évaluateur externe pourra aider à assurer l'objectivité de l'évaluation.

Les étapes fondamentales de l'évaluation
Étapes Projet NON à la fraude contre les personnes âgées
Définir les objectifs (résultats prévus)
  • Réduire l'incidence de la fraude perpétré contre les personnes âgées
  • Augmenter le nombre de partenariats entre les organisations représentant les personnes âgées, la police, les organisations de prévention du crime et les associations de gens d'affaires
  • Sensibiliser davantage le public à la fraude contre les personnes âgées
  • Améliorer la connaissance chez les personnes âgées des pratiques qui réduisent la vulnérabilité à la fraude
  • Assurer la pérennité du projet à la fin de la période de financement
Décrire le projet
  • Activités du projet : Créer une coalition regroupant les organisations représentant les personnes âgées, la police, les groupes de quartier, les commerces locaux, les centres de loisirs municipaux, les logements pour personnes âgées
  • Offrir une série d'ateliers sur la fraude ciblant les personnes âgées et sur les stratégies de prévention de la victimisation
  • Former des participants bénévoles pour qu'ils donnent la série d'ateliers et créent un service de conférenciers
  • Mettre au point des activités de sensibilisation du public ciblant les personnes âgées et les membres de leur famille : messages d'intérêt public, site Web nonalafraudecontrelespersonnesagees.com, aimants pour le réfrigérateur, service de conférenciers
Formuler les questions d'évaluation
  • Le projet s'est-il déroulé tel qu'il a été prévu?
  • Le projet a-t-il atteint les personnes âgées les plus susceptibles de victimisation?
  • Le projet a-t-il réussi à atteindre ses objectifs?
Définir les sources de données et les outils de collecte des données
  • Mener un sondage auprès des partenaires pour connaître leur degré de satisfaction à l'égard du projet et de sa pertinence par rapport à leurs activités
  • Demander à un échantillon de 100 membres de la collectivité sélectionnés au hasard de participer à un sondage téléphonique avant et après la campagne de sensibilisation du public pour savoir dans quelle mesure ils sont sensibilisés à la fraude contre les personnes âgées
  • Demander aux participants aux ateliers, avant et après ceux-ci, de remplir des questionnaires au sujet des stratégies de réduction de la victimisation due à la fraude
  • Analyser les constats de police sur les incidents de fraude contre des personnes âgées
  • Faire le suivi du nombre de conférenciers bénévoles ainsi que du nombre d'ateliers et d'exposés présentés
Réunir l'information Demander à des étudiants stagiaires d'aider à la collecte des données
Organiser l'information Charger un consultant de la saisie des données dans une base de données
Analyser les données Charger le consultant de l'analyse des données visant à obtenir l'information suivante :
  • satisfaction des partenaires
  • changement, avant et après le projet, dans le degré de sensibilisation au problème dans la collectivité et parmi les personnes âgées et changement dans le nombre de constats de police
  • extrants du programme
Communiquer les résultats et définir les prochaines étapes
  • Présenter un rapport final aux bailleurs de fonds
  • Produire une fiche d'information sur les résultats de l'évaluation s'adressant aux partenaires et aux membres de la collectivité
  • Organiser une tribune communautaire avec les associations représentant les personnes âgées

Quand faire appel à des spécialistes de l'évaluation

Il arrive souvent que les groupes communautaires pensent qu'il est nécessaire, pour effectuer une évaluation, de faire appel à un expert de l'extérieur. Il est vrai que l'on a parfois besoin d'une aide spécialisée, mais ce n'est pas toujours nécessaire. Dans le cas des projets financés par le Fonds d'action en prévention du crime (FAPC), les évaluations sont souvent effectuées sans aide externe. Certains responsables de projets décident de conclure une entente avec un évaluateur externe pendant une courte période pour effectuer certaines activités clés. Ils peuvent, par exemple, recruter un évaluateur pour les aider à identifier ou à créer des instruments appropriés pour collecter des données, pour créer une base de données ou pour analyser des données d'évaluation.

Par contre, dans le cas des projets financés par le Fonds pour la recherche et le développement des connaissances, on fait toujours appel à des évaluateurs de l'extérieur pour qu'ils effectuent une évaluation rigoureuse et objective de l'efficacité du projet.

Cette série d'ateliers a pour but de vous aider à mieux comprendre les étapes fondamentales de l'évaluation. Nous espérons que vous considérerez l'évaluation comme une partie intégrante de la gestion de projet efficace.

Il peut évidemment arriver que vous ne possédiez pas les connaissances nécessaires ni le temps ou les ressources pour effectuer vos propres évaluations. Voici quelques situations où le recours à un évaluateur externe pourrait vous être utile :

Si vous décidez de faire appel à un évaluateur externe, considérez le temps que vous passerez avec l'évaluateur comme une occasion d'apprentissage. Envisagez d'ajouter au contrat de l'évaluateur une clause selon laquelle il ou elle s'engagera à vous aider à intégrer l'évaluation à vos pratiques courantes de gestion efficace de projet.

Glossaire

Analyse des données

L'analyse des données consiste à donner un sens à l'information recueillie. Dans le cas de l'analyse qualitative, il pourrait s'agir de classer l'information par thèmes qui résument ce qui a été dit. Dans le cas de l'analyse quantitative, les statistiques descriptives ou encore les tests statistiques sont utilisés pour donner un sens aux nombres. Ce genre d'analyse peut servir par exemple à déterminer la réponse moyenne, la réponse centrale se situant entre la plus élevée et la plus basse, ou encore la probabilité statistique qu'un changement dans les résultats à un test soit dû avec le temps à plus que le simple hasard. L'information relative à l'analyse des données est contenue dans le module 6 de ce manuel.

Données

Le terme « données » a le même sens qu'information et il désigne les renseignements qui sont recueillis et qui nous fournissent des connaissances ou nous aident à mieux comprendre une question particulière.

Échantillon

Un échantillon est un sous-groupe à l'intérieur d'une population plus vaste. On l'étudie pour obtenir de l'information au sujet d'une population entière.

Échantillon aléatoire

Un échantillon aléatoire est constitué de personnes qui ont des chances égales d'être sélectionnées dans une population plus vaste. Le choix des personnes dans cette population plus vaste en vue de faire partie de l'échantillon relève entièrement du hasard.

Évaluation de l'évaluabilité

Une évaluation de l'évaluabilité est une façon d'évaluer si un projet est prêt à subir une évaluation officielle. Une telle évaluation peut proposer les approches ou les méthodes d'évaluation qui conviennent le mieux au projet.

Évaluation des besoins

Une évaluation des besoins permet de réunir et d'analyser de l'information concernant les besoins de collectivités ou de groupes, de façon générale ou dans le contexte d'enjeux particuliers.

Évaluation des ressources

Une évaluation des ressources consiste à analyser les ressources et les habiletés existantes dans une collectivité où le projet vise à s'implanter.

Évaluation du processus

Une évaluation des processus consiste à étudier l'élaboration du projet et les activités qui y sont associées pour déterminer si le projet se déroule de la façon prévue et pour relever les aspects de l'administration et de la mise en œuvre qui pourraient être améliorés.

Évaluation des résultats

Une évaluation des résultats analyse les résultats à court et à long terme qui découlent de la participation à un projet ou un programme.

Évaluation formative

Une évaluation formative sert à évaluer le concept, le plan et le fonctionnement d'un programme. Elle indique si le projet est mis en œuvre de la façon prévue et si des problèmes sont survenus durant cette mise en œuvre.

Évaluation sommative

Une évaluation sommative examine l'efficacité et l'incidence globales d'un projet ainsi que sa qualité. Elle répond en outre à la question de savoir s'il peut être maintenu, compte tenu de son coût.

Groupe expérimental

Un groupe expérimental est un groupe de personnes qui participent à une intervention (ou à un programme). Les résultats obtenus pour ce groupe expérimental peuvent être comparés à ceux d'un groupe témoin qui n'a pas fait l'objet de l'intervention. Le groupe témoin devrait avoir des caractéristiques similaires à celles du groupe expérimental, sauf que les personnes qui en font partie ne bénéficient pas de l'intervention à l'étude. On mesure ensuite les écarts dans les résultats obtenus auprès des deux groupes.

Groupe témoin (ou contrôle)

Dans le domaine de la recherche sociale, on parle d'un groupe témoin par opposition à un groupe contrôle, un terme utilisé plus souvent en recherche expérimentale. Un groupe témoin est un groupe de participants qui ont des caractéristiques similaires à celles des participants au programme ou au projet évalué, mais qui ne bénéficient pas des activités du projet.

Modèle logique

Un modèle logique sert à décrire un projet ou un programme. Il s'agit d'un outil qui aide à planifier et à évaluer le projet. Un modèle logique décrit les ressources et les activités qui contribuent à un projet et les liens logiques qui relient les activités du projet aux résultats prévus.Les modèles logiques sont souvent représentés par un diagramme qui inclut les intrants, les activités, les extrants et les résultats du projet.

Prétest et post-test

Un même instrument est administré avant et après une intervention ou un programme.

Références

Einspruch, E.L., & Deck, D.D. (1999, novembre). Outcomes of peer support groups. Téléchargé le 16 mars 2004 du site
http://www.rmccorp.com/Project/PIeval/Peer.pdf

Fetterman, D. (2002). Collaborative, participatory, and empowerment evaluation, 2002. Téléchargé le 16 mars 2004 du site
http://www.stanford.edu/~davidf/empowermentevaluation.html

Schweinhart, L.J. (2002, juin). How the High/Scope Perry Preschool study grew: A researcher's tale. Phi Delta Kappa Center for Evaluation, Development, and Research, Research Bulletin No 32. Téléchargé le 16 mars 2004 du site
http://www.highscope.org

Services de police de la ville d'Ottawa. (2001, août). Vous pouvez y arriver : Une trousse d'outils pratiques pour l'évaluation des programmes d'intervention policière et de prévention de la criminalité dans la collectivité. Téléchargé le 16 mars 2004 du site
http://dsp-psd.communication.gc.ca/Collection/J2180-2001F.pdf

Ressources suggérées

Sites Web

Bureau of Justice Assistance Evaluation
Evaluation Strategies for Human Services Programs

http://www.bja.evaluationwebsite.org/html/documents/evaluation_strat

Ce site Web fournit une « carte routière » qui répond aux questions suivantes : Qu'est-ce que l'évaluation? Pourquoi effectuons-nous une évaluation? Quels types de programmes sont évalués? Quand évaluons-nous?

Centre for Substance Abuse Prevention
Prevention Pathways

http://pathwayscourses.samhsa.gov/samhsa_pathways/courses/index.htm

Ce site Web offre des didacticiels tutoriels sur différents sujets d'évaluation. Le cours « Evaluation for the Unevaluated 101 » est un excellent cours d'introduction à l'évaluation qui en décrit les principaux éléments et explique pourquoi l'évaluation est importante.

United Way of America
Outcome Measurement Resource Network

http://www.unitedway.com

Ce site Web est un point de départ pour apprendre les rudiments de la mesure des résultats. Il inclut une introduction à la mesure des résultats et explique pourquoi ce genre d'évaluation est important.

Guides et manuels

Annie E. Casey Foundation
When and How to use External Evaluators

http://www.aecf.org/publications/data/using_external_evaluators.pdf

Cette publication décrit les différentes questions liées au recrutement d'un évaluateur externe. Elle inclut un certain nombre de questions à poser durant l'entrevue avec des évaluateurs externes ainsi que des suggestions concernant la gestion des contrats d'évaluation.

Santé Canada
Guide d'évaluation de projet : Une démarche participative

http://www.phac-aspc.gc.ca/ph-sp/ddsp/ressources/guide/presentation.htm

Les deux premiers chapitres de ce guide présentent une introduction de base à l'évaluation. Dans le reste du guide, on trouve des conseils utiles concernant la collecte, l'analyse et la présentation des données.

U.S. Department of Health and Human Services - Administration for Children and Families
The Program Manager's Guide to Evaluation

http://www.acf.hhs.gov/programs/opre/other_resrch/pm_guide_eval/reports/pmguide/pmguide_toc.html

Ce guide s'adressant aux gestionnaires de programmes comporte neuf chapitres qui décrivent le but de l'évaluation et ses principaux éléments. Le guide comprend en plus une description des pratiques de recrutement et de gestion des évaluateurs externes.

W.K. Kellogg Foundation
Evaluation Handbook

http://www.wkkf.org/Pubs/Tools/Evaluation/Pub770.pdf

Ce guide présente l'évaluation comme un outil pratique et utile et aide l'utilisateur à dresser un plan d'évaluation.

Traités

Research Methods Knowledge Base
Introduction to Evaluation

http://www.socialresearchmethods.net/

Ce traité en ligne initie l'utilisateur à l'évaluation et renferme des définitions de base, des objectifs, des méthodes et des descriptions du processus d'évaluation globale. Il inclut des réponses à des questions fréquemment posées au sujet de l'évaluation.

Bulletins

Centre for Community Enterprise
Making Waves, "The 'Who' Of Evaluation", vol. 11, no 2.

http://www.cedworks.com/waves03.html

Cet article porte sur les questions qui entourent le recours à un évaluateur de l'extérieur et recommande que l'on combine de l'expertise interne et de l'expertise externe.

Module 1 - Feuilles de travail

Feuille de travail 1 Que de lettres! Combien de termes ayant trait à l'évaluation réussirez-vous à trouver?

Feuille de travail 2

Pourquoi devrions-nous nous en préoccuper?

Pourquoi devrions-nous nous préoccuper de la prévention du crime dans votre collectivité?

Module 2 : Préparation du terrain - Élaboration d'un modèle logique

Les objectifs d'apprentissage

Étape 1 : Définir les objectifs ou résultats du projet et les destinataires

Un bon plan de projet précise clairement vos objectifs ou résultats et la population qu'il est censé servir. C'est une façon de montrer aux autres l'orientation que vous avez choisie. (Nous utilisons les termes « objectifs » et « résultats » de façon interchangeable, comme on le fait dans les outils de planification mentionnés dans le guide de présentation d'une demande au Fonds d'action en prévention du crime.)

Plan de projet
Étape 1 Exemples
Objectifs (résultats prévus) - Ce que vous souhaitez accomplir ou changer à l'aide du projet
  • Réduire l'incidence du crime perpétré contre les personnes âgées
  • Réduire la vulnérabilité des personnes âgées à des fraudes et des escroqueries courantes
Groupe prioritaire - À qui votre projet s'adresse
  • Les personnes âgées qui habitent dans la collectivité « A »
  • Les personnes âgées appartenant à des groupes ethnoculturels précis

La définition des objectifs ou résultats prévus représente la première étape de l'élaboration d'un modèle logique sur lequel reposera votre projet.

Le deuxième module de formation vous enseigne comment préparer un plan de projet qui constitue aussi le premier élément du plan d'évaluation. Ces deux composantes vont de pair. Dans le prochain module de formation, nous vous expliquerons comment préparer le reste du plan d'évaluation.

Votre connaissance des besoins et des ressources de la collectivité vous aidera à définir les objectifs de votre projet et le public auquel il s'adresse. Il est préférable d'utiliser une approche objective pour évaluer les besoins et les ressources de la collectivité. Vous connaissez peut-être déjà l'évaluation des besoins et l'évaluation des ressources. Il s'agit d'outils de recherche et de gestion de projet qui peuvent vous aider à planifier votre projet. Vous trouverez, à la fin de ce chapitre, quelques ressources portant sur l'évaluation des besoins.

Si vous représentez un organisme ou un service chargé de la planification d'un projet, assurez-vous d'inclure, au moment de l'étape de planification du projet, des membres de la collectivité auxquels s'adresse votre projet. Vous devrez répondre aux questions suivantes :

En permettant aux organismes de services sociaux et aux membres de la collectivité de partager leurs perspectives uniques, vous augmenterez vos chances de mettre sur pied un projet équilibré.

Lorsque vous réunirez tous les intéressés, nous vous recommandons de leur donner des conseils sur la façon de formuler des objectifs de projet pertinents. Vous en trouverez quelques exemples ci-dessous.

Conseils pratiques sur la façon de définir des objectifs de projet pertinents

En affirmant qu'un projet vise à « fournir des possibilités de loisirs », on ne précise pas quel est l'objectif de ces activités de loisirs ni les changements qu'elles sont censées apporter. On met sur pied des programmes pour apporter des changements. On ne les crée pas dans l'unique but de fournir des produits ou des services.

En précisant que ces possibilités de loisirs renforceront le travail en équipe et les compétences de leadership ou qu'elles réduiront le vandalisme après les heures d'école, on formule des objectifs conformes à la règle SMART (au sens anglais du terme - intelligent).

La règle SMART

Spécifique

L'objectif/résultat est-il spécifique? Est-il clair? Si vous voulez renforcer la sécurité communautaire, il faut préciser les changements précis que vous voulez apporter pour y arriver. Mentionnez le groupe particulier que vous ciblez, les personnes âgées, les enfants ou les jeunes par exemple, et les problèmes particuliers à l'égard desquels vous souhaitez opérer un changement. Voici quelques exemples d'objectifs reliés à la sécurité communautaire :

Mesurable

Pouvez-vous mesurer ou constater le changement? Pouvez-vous répondre à la question de savoir si vous avez réalisé ou non votre objectif? À titre d'exemple, comment mesureriez-vous l'« amélioration des partenariats »? Envisagez de reformuler cet objectif afin de préciser quels changements surviendront. Voici quelques exemples d'objectifs plus faciles à mesurer :

Atteignable

Le projet vous permettra-t-il d'obtenir les résultats prévus au départ? Il se peut qu'il ne soit pas réaliste d'établir comme objectif ou résultat la « réduction de la criminalité », si les activités liées au projet mettent l'accent sur une coordination accrue des services ou sur la sensibilisation à une question particulière.

Réaliste

L'objectif a-t-il une signification pour les personnes qui participent au projet? Soyez réaliste quant à vos capacités, tout en gardant à l'esprit les ressources dont vous disposez.

dans le Temps

Ne fixez pas des objectifs à long terme pour un projet à court terme. Concentrez-vous sur quelque chose qui peut être réalisé pendant la durée du projet.

Les objectifs ou résultats : La direction des changements

Voici quelques exemples de verbes que les objectifs ou résultats devraient inclure. Il s'agit de mots d'action qui montrent la direction du changement - c'est-à-dire si quelque chose diminuera ou augmentera.

Et puis? Composantes, intrants, activités et extrants du projet

Maintenant que vous avez terminé l'étape 1, vous pouvez inscrire les étapes suivantes qui mèneront à la réalisation de votre plan de projet. Les prochaines étapes sont celles qui se situent entre l'identification du groupe prioritaire et les résultats finaux. Elles vous montrent comment vous atteindrez les objectifs que vous avez fixés. L'ensemble des étapes forme les composantes clés du modèle logique de votre projet. Chaque étape mène naturellement à la suivante. Bien que les résultats se trouvent à la toute fin du modèle logique, ils sont précisés dès le début afin que l'on voie l'orientation de votre projet.

Faire des ronds dans l'eau

Jetez un coup d'œil à l'image au début du document :
http://www.ucgf.ca/English/Downloads/RBMSept2003.pdf (PLAN:NET Ltd., 2003).

Il s'agit d'une excellente métaphore pour vous aider à vous rappeler des éléments clés d'un modèle logique et de la manière dont ils s'imbriquent.

Dans l'illustration, on voit une personne qui se trouve debout à côté d'un étang et qui tient une pierre à la main. Lorsqu'elle laisse tomber la pierre dans l'eau, cela crée un éclaboussement puis une série d'ondulations ou de cercles concentriques. Si nous comparons cette image aux étapes à franchir dans l'élaboration d'un plan de projet ou d'un modèle logique :

Le contrôle diminue à mesure que les cercles concentriques s'éloignent, tout comme c'est le cas lorsque les résultats deviennent à plus long terme. Il est plus que probable que des influences autres que le projet se fassent sentir à mesure que le temps passe. Nous pouvons contribuer aux résultats à plus long terme, mais il est rare que nous puissions les contrôler.

Qu'est-ce qu'un modèle logique?

Un modèle logique est une manière de décrire un projet. Il décrit ce qui est inclus dans notre projet et ce qui en émane. Il répond à des questions dans cinq domaines :

Voici certains exemples de résultats :

À court terme

À moyen term

À long terme (effet)

Pourquoi élaborer un modèle logique?

Parce qu'une variété de facteurs transformeront probablement votre projet, vous devriez réviser régulièrement votre modèle logique afin de vous assurer qu'il correspond toujours aux objectifs, aux activités et aux résultats escomptés de votre projet.

Éléments du projet

Le modèle logique

Le modèle logique de la page précédente n'est qu'un exemple de modèle logique. Ces modèles peuvent se présenter sous la forme d'un diagramme, comme on peut le voir dans la Feuille de travail no 3, ou d'un organigramme, comme c'est le cas dans l'exemple de page précédente.

L'organigramme aide à montrer comment les différents éléments du modèle logique sont reliés entre eux. Ces liens constituent un aspect important du modèle logique. Ils montrent la logique entre les différents éléments du projet. Vous devriez pouvoir expliquer pourquoi chaque activité que vous planifiez aboutira vraisemblablement à un résultat ou à plusieurs résultats précis. Si une combinaison d'activités aboutit à un résultat précis, les lignes dans l'organigramme devraient refléter cette logique.

La liste de contrôle qui suit peut vous aider à évaluer vos activités d'élaboration d'un modèle logique.

La liste de contrôle d'un modèle logique

Glossaire

Évaluation de l'évaluabilité

Une évaluation de l'évaluabilité est une façon d'évaluer si un projet est prêt à subir une évaluation officielle. Une telle évaluation peut suggérer les approches ou les méthodes d'évaluation qui conviennent le mieux au projet.

Évaluation des besoins

Une évaluation des besoins permet de réunir et d'analyser de l'information concernant les besoins de collectivités ou de groupes, de façon générale ou dans le contexte de questions spécifiques.

Évaluation des ressources

Une évaluation des ressources permet de réunir et d'analyser de l'information à propos des ressources que l'on trouve dans une collectivité ou un groupe particulier. Les ressources peuvent inclure des personnes ou des choses qui peuvent apporter un soutien à la collectivité qui est évaluée (p. ex., ressources financières, compétences et aptitudes des membres de la collectivité, espace dans la collectivité, programmes ou activités communautaires).

Extrant

Par extrant, on entend les résultats concrets qu'est censée fournir la réalisation d'un projet ou d'une activité. On pense par exemple au nombre de dépliants ou de documents distribués, au nombre de personnes référées à un programme ou d'ateliers offerts ou au nombre de participants qui ont bénéficié de certaines activités ou de certains services.

Intrant

Les intrants sont les ressources investies dans la mise en œuvre d'un programme ou d'un projet. On pense par exemple à des fonds, à des ressources humaines (rémunérées et bénévoles), à de l'équipement ou à des services. Les intrants peuvent être financés à partir d'un budget établi pour le projet ou être fournis en nature par des partenaires au projet ou par des bénévoles.

Modèle logique

Un modèle logique sert à décrire un projet ou un programme. Il s'agit d'un outil qui aide à planifier et à évaluer le projet. Un tel modèle décrit les ressources et les activités qui contribuent à un projet et les liens logiques qui relient les activités aux résultats escomptés du projet. Les modèles logiques sont souvent représentés par un diagramme qui inclut les intrants, les activités, les extrants et les résultats du projet.

Références

PLAN:NET Ltd. (2003, septembre). Splash and ripple: Planning and managing for results. Téléchargé le 18 mars 2004 du site
http://www.ucgf.ca/English/Downloads/RBMSept2003.pdf

Ressources suggérées

Sites Web

Canadian Outcomes Research Institute
http://hmrp.net/canadianoutcomesinstitute/

Sur ce site Web, on trouve des documents généraux sur la mesure des résultats et une variété de documents portant sur les modèles logiques.

Innovation Network Online
http://www.innonet.org/

On peut s'inscrire gratuitement à ce réseau. Il fournit des guides généraux dans le domaine de l'évaluation et un éventail de ressources ayant trait aux modèles logiques. Innovation Network Online offre également un Logic Model Builder, un outil interactif qui aide l'utilisateur à créer un modèle logique.

University of Wisconsin
Program Development and Evaluation

http://www.uwex.edu/ces/pdande/evaluation/evallogicmodel.html

Ce site Web renferme des ressources, des feuilles de travail et des exemples de modèles logiques pour les programmes.

W.K. Kellogg Foundation
Trousse d'outils d'évaluation

http://www.wkkf.org/Programming/Resources.aspx?CID=281

Ce site Web propose des ressources pour la création de modèles logiques et des ressources générales facilitant l'évaluation des programmes.

Manuels et guides

Innovation Network Online
Logic Model Workbook

http://www.innonetdev.org/

On peut se procurer ce cahier de travail chez Innovation Network Online. Il fournit un processus très détaillé pour la création d'un modèle logique. Les aspects décrits dans le cahier de travail incluent les objectifs, les ressources, les activités, les extrants et les résultats. On fournit aussi des ressources additionnelles facilitant l'établissement de modèles logiques.

Western Centre for Substance Abuse and Prevention
Building a Successful Prevention Program

http://casat.unr.edu/westcapt/bestpractices/eval.htm

Ce guide complet illustre la façon d'évaluer les programmes en utilisant un modèle logique. Les sujets abordés incluent la façon de planifier une évaluation, de bâtir un modèle logique et d'effectuer une évaluation à l'aide d'un modèle logique.

W.K. Kellogg Foundation
Logic Model Development Guide

http://www.wkkf.org/Pubs/Tools/Evaluation/Pub3669.pdf

Il s'agit d'un guide complet qui vous permet de bâtir votre propre modèle logique et qui inclut des exemples et des feuilles de travail.

Module 2 - Feuilles de travail

Feuille de travail 1 Étape 1 : Élaboration d'un plan de projet/d'évaluation

Titre du Projet de prévention du crime :

Groupe prioritaire :

Objectifs/Résultats du projet :

Feuille de travail 2 Quelles lacunes ces résultats présentent-ils?

  1. Examinez les exemples de résultats proposés.
  2. Énumérez les lacunes que présentent ces résultats.
  3. Reformulez les résultats pour éliminer les lacunes que vous avez repérées.

Feuille de travail 3 Intrants

Intrants → Activités → Extrants → Résultats → Effets
Intrants (Lancement de la pierre) Activités (Chute de la pierre dans l'étang) Extrants (Éclaboussement) Résultats (Cercles concentriques) Effets (Résultats à long terme) (Cercle extérieur)
À court terme À moyen terme
           

Feuille de travail 4a Étude de cas : Enseigner à des jeunes comment réagir aux relations de violence

Étape 1 : Les objectifs et les priorités

Les objectifs

Les groupes prioritaires

Les objectifs énumérés ci-dessus ont été établis pour le projet à l'étape de la planification. La prochaine étape consiste à créer un modèle logique pour le projet. Au cours de la création du modèle, vous arriverez peut-être à formuler des résultats plus précis que les objectifs énumérés ci-dessus.

La liste de contrôle du modèle logique

Feuille de travail 4 b Étude de cas : Projet de développement pour jeunes autochtones à risque

Étape 1: Objectifs et groupe prioritaire

Objectifs

Groupe prioritaire

Les objectifs énumérés ci-dessus ont été établis pour le projet à l'étape de la planification. La prochaine étape consiste à créer un modèle logique pour le projet. Au cours de la création du modèle, vous arriverez peut-être à formuler des résultats plus précis que les objectifs énumérés ci-dessus.

La liste de contrôle du modèle logique

Feuille de travail 4 c Étude de cas : Constitution d'un réseau et de partenariats

Étape 1: Objectifs et groupes prioritaires

Objectifs

Groupe prioritaire

Les objectifs énumérés ci-dessus ont été établis pour le projet à l'étape de la planification. La prochaine étape consiste à créer un modèle logique pour le projet. Au cours de la création du modèle, vous arriverez peut-être à formuler des résultats plus précis que les objectifs énumérés ci-dessus.

La liste de contrôle du modèle logique

Module 3 : Élaboration d'un plan d'évaluation

Les objectifs d'apprentissage

Apprendre à élaborer un plan d'évaluation, notamment :

Qu'avons-nous appris jusqu'ici?

Rappelez-vous le Module 2 dans lequel les relations entre les objectifs du projet et les intrants, les activités, les extrants et les résultats sont illustrés dans le modèle logique au moyen de lignes qui montrent les relations entre les divers éléments. Les hypothèses sur lesquelles reposent ces relations ne sont pas représentées dans le modèle, mais il serait utile de les décrire dans le plan d'évaluation. Pour chaque résultat défini, il faudrait fournir une justification expliquant pourquoi l'activité aboutira probablement à ce résultat particulier.

Dans le cadre des évaluations des projets financés par le Fonds pour la recherche et le développement des connaissances, on formule une théorie du changement qui consiste à vérifier les hypothèses avancées dans le modèle logique en les comparant aux connaissances décrites dans les ouvrages spécialisés.

Si vous souhaitez en apprendre davantage sur la formulation d'hypothèses sur lesquelles repose votre modèle logique ou vérifier la logique de votre programme, nous vous invitons à visiter le site Web http://www.theoryofchange.org/html/example.html

Et puis??

Quelles sont les étapes d'un plan d'évaluation?

Nous avons franchi les deux premières étapes (indiquées en noir) dans le Module 2. Dans le Module 3, nous examinerons les autres étapes de l'élaboration d'un plan d'évaluation.

Définir les questions d'évaluation

Choisir les indicateurs

Qu'est-ce qu'un « indicateur »?

Il y a deux types d'indicateurs :

Un indicateur doit donc être un aspect que nous nous attendons à voir changer ou varier entre le début du projet (désigné comme le point de référence) et plus tard, au moment où les activités du projet sont terminées et ont probablement eu un effet.

Les indicateurs peuvent toucher des intrants, des extrants ou des résultats, mais il faut les définir étroitement et d'une manière qui décrit avec précision ce que vous tentez de mesurer. La création des indicateurs est probablement l'étape la plus délicate de la conception d'une évaluation. Les indicateurs devraient :

Les critères de sélection d'un indicateur

Rappelez-vous la métaphore de l'éclaboussement (point d'impact) et des cercles concentriques (PLAN:NET Ltd., 2003) que nous avons utilisée dans le Module 2. Si nous voulions mesurer l'effet de la pierre qui tombe dans l'étang, quel serait un bon indicateur? (Indice : les cercles concentriques représentent les résultats.)

Convenons que la circonférence du cercle concentrique le plus éloigné du centre pourrait un indicateur de l'impact de la chute de la pierre.

Quelques autres facteurs à prendre en considération lors de la sélection des indicateurs

Splash and Ripple: Planning and Managing for Results (PLAN:NET Ltd., 2003) est un bon document de référence qui vous aidera à sélectionner des indicateurs.

Déterminer les sources d'information

Une fois que vous avez élaboré vos indicateurs, vous pouvez déterminer les sources de renseignements dont vous avez besoin. Il est conseillé d'utiliser plusieurs sources d'information.

Les chercheurs parlent souvent de l'importance de la triangulation. Cette pratique consiste àréunir de l'information provenant de plus d'une source. À titre d'exemple, vous pourriez analyser les résultats d'un questionnaire administré avant et après l'intervention, ainsi que de l'information fournie par un groupe de discussion, et aussi examiner des dossiers liés au projet. Vous pourrez alors comparer les résultats obtenus de ces sources d'information distinctes pour confirmer si elles vous fournissent des renseignements similaires. Si plus d'une source vous fournit de l'information semblable, vous pourrez alors vous fier davantage à la validité des résultats dont vous rendrez compte.

Voici certaines sources d'information usuelles accompagnées de suggestions quant aux méthodes à utiliser pour en tirer de l'information :

Choisir les méthodes de collecte des données

Comment pouvez-vous obtenir l'information?

Lorsque vous décidez de la nature, de la qualité et de l'origine des données à recueillir, évitez de vous disperser. Établissez des priorités et commencez par l'information que vous pouvez obtenir au sein de votre organisation, comme des renseignements au sujet des activités et des procédures faisant partie de votre projet. Si vous découvrez quelque chose d'étonnant qui nécessite une recherche plus approfondie, vous pouvez toujours modifier votre plan d'évaluation.

Malgré leurs ressources limitées, les projets financés par le Fonds d'action en prévention du crime devraient tenter de trouver des façons de mesurer l'effet du projet - C'est à dire qu'est-ce que le projet a apporté. - et non uniquement le processus. Au stade de l'élaboration de leur proposition, les groupes qui présentent une demande de fonds au FAPC devraient réfléchir aux façons d'incorporer la composante d'évaluation aux activités du projet. À titre d'exemple, les groupes de discussion peuvent parfois avoir un double objectif : aider à favoriser le développement communautaire tout en permettant de découvrir ce qui a bien fonctionné et ce qui n'a pas bien marché jusqu'à ce jour.

Dans tous les cas, il est important d'obtenir un consentement éclairé pour toute information recueillie. Si l'information réunie inclut des photographies ou des vidéos des participants, il faut toujours obtenir le consentement de ces personnes quelle que soit la façon dont vous utiliserez les documents. Lorsque vous obtenez de l'information ou que vous prenez des photographies d'enfants et d'adolescents, il est nécessaire d'obtenir d'abord le consentement de leurs parents.

Qui devrait obtenir l'information?

Les décisions concernant la ou les personnes qui se chargeront de recueillir l'information qui servira à l'évaluation dépendront d'un certain nombre de facteurs : la facilité d'accès, le besoin d'objectivité, les questions liées à la qualité de l'information et la protection de la confidentialité. Il est parfois plus pratique et plus facile de demander aux intervenants du projet d'obtenir l'information des participants. À titre d'exemple, lorsque les intervenants obtiennent déjà de l'information au moment de l'admission pour mieux comprendre les besoins des participants au début d'un projet, il serait facile d'adapter l'entrevue d'admission afin qu'elle inclue des questions qui serviront à l'évaluation. Dans d'autres situations, il serait préférable de demander à une tierce partie d'obtenir l'information afin de réduire la possibilité de partialité. Dans d'autres situations, les participants peuvent remplir eux-mêmes les questionnaires. Lorsque vous optez pour cette façon de procéder, il faut tenir compte des risques qui pourraient compromettre la qualité des données, l'analphabétisme ou un manque de connaissance du français ou de l'anglais comme langue seconde, par exemple.

La question de la confidentialité est aussi étroitement liée à l'identité de la ou des personnes qui réuniront l'information. Réfléchissez à la façon dont vous assurerez la confidentialité des renseignements personnels et, dans certains cas, comment vous protégerez l'anonymat des personnes qui les fournissent.

Quand obtenir l'information?

Voici quelques options :

Lorsque vous réunissez de l'information sur un résultat, à tout le moins, vous devriez tenter de recueillir de l'information :

L'information recueillie avant un projet ou une activité est ce qu'on appelle l'information de base. Elle montre la situation telle qu'elle était dans la collectivité, ou pour les participants individuels, avant le début du projet ou de l'activité ou avant que les participants individuels aient commencé à bénéficier du projet ou de l'activité.

En plus de recueillir de l'information après la fin du projet (ou après que les participants aient terminé une série d'activités dans le cadre du projet), il est conseillé de recueillir de l'information sur les résultats à un autre moment, c'est-à-dire de six mois à un an après l'intervention. Cela vous permettra de voir si les changements constatés immédiatement après l'intervention sont durables. Il se peut qu'il soit impossible d'assurer ce suivi à plus long terme dans le cas des projets financés par le FAPC, à cause des contraintes budgétaires ou du manque de temps.

Les facteurs à prendre en considération

La pertinence des outils

L'adaptation aux répondants

Les ressources nécessaires à l'analyse

La crédibilité

Les données qualitatives par opposition aux données quantitatives

1. Les données quantitatives

Les mesures quantitatives tendent à évaluer des aspects tels que :

Les données quantitatives répondent à des questions comme : Combien? Quel nombre? On peut obtenir ces réponses par des questionnaires qui comportent des échelles graduées, des questions à choix multiples ou des questions vrai/faux. Ces outils sont souvent utilisés pour évaluer des changements d'attitudes ou de comportements.

Des données quantitatives peuvent être comparées entre différentes populations, études ou périodes. À titre d'exemple, le nouveau guide de présentation d'une demande de financement au FAPC comporte un certain nombre de questions à choix multiples. Le CNPC peut compiler les réponses à ces questions pour en apprendre davantage sur les types de projets proposés d'un bout à l'autre du Canada, dans des provinces ou des collectivités précises, ou à des moments différents.

Les mesures quantitatives sont souvent faciles à administrer, à noter et à interpréter. Par contre, selon le degré d'élaboration des données que vous souhaitez recueillir et des analyses que vous souhaitez effectuer, il se pourrait que vous deviez faire appel à un spécialiste en statistique pour analyser certaines données quantitatives.

Voici quelques exemples de questions qui fournissent des données quantitatives :

Échelle graduée :

1. Veuillez indiquer votre degré de satisfaction à l'égard du programme.

Question fermée ou à choix multiples :

2. Quels services avez-vous obtenus? (Cochez toutes les réponses qui s'appliquent.)

Question Vrai/Faux :

3. Indiquez si les affirmations suivantes sont vraies ou fausses :

  1. La jalousie est un signe d'amour. V F
  2. Lorsqu'une femme reçoit des coups de son partenaire, elle doit l'avoir provoqué d'une façon ou d'une autre V F

2. Les données qualitatives

Les mesures qualitatives fournissent de l'information descriptive qui explique comment et pourquoi certaines choses se sont produites. Combinées à des mesures quantitatives, les mesures qualitatives peuvent fournir un contexte pour les résultats d'une étude. À elles seules, elles fournissent de l'information détaillée qui peut servir à explorer différentes questions, notamment pourquoi et comment fonctionnent les projets.

Voici quelques exemples de questions qui fournissent des données qualitatives :

  1. Comment décririez-vous la participation de votre organisme au projet de prévention des relations de violence?
  2. D'après vous, dans quelle mesure la coalition communautaire a-t-elle réussi à sensibiliser les élèves aux signes avant-coureurs d'une relation de violence?
Forces et faiblesses
Type de données Forces Faiblesses
Quantitatives
  • Plus facile de combiner les données pour obtenir des résultats
  • Perçues comme objectives
  • Rapidité de l'analyse
  • Difficile de formuler de bonnes questions
  • Ne fournissent pas de l'information détaillée
  • Moins personnelles
Qualitatives
  • Fournissent de l'information approfondie et « détaillée »
  • Plus facile de formuler des questions
  • S'inscrivent dans la tradition orale
  • L'analyse prend beaucoup de temps
  • Risquent de ne pas convenir aux grands échantillons
  • Il est difficile de combiner les données pour différents participants

Les facteurs à prendre en considération lorsque vous choisissez les méthodes d'enquête

Le tableau ci-dessous peut vous aider à choisir la méthode de collecte des données qui correspond le mieux à votre évaluation. Lorsque vous lisez « Oui » dans une colonne à côté d'une option particulière, cela signifie qu'elle convient dans la situation indiquée dans la colonne de gauche.

Il est important de se rappeler que bien que les entrevues téléphoniques présentent de nombreux avantages, il est possible que cette méthode ne soit pas la meilleure lorsqu'un grand nombre des participants au projet ont un faible revenu et qu'ils n'ont peut-être pas le téléphone.

Facteurs à prendre en considération
Facteur important Types d'enquêtes
Sondage postal Entrevue téléphonique Entrevue en personne Groupe de discussion
Échantillon important requis Oui Peut-être Non Non
Taux de réponse élevé requis Non Peut-être Oui Oui
Ciblage de groupes précis Non Peut-être Oui Oui
Enjeux complexes Peut-être Non Oui Oui
Questions ouvertes requises Non Peut-être Oui Oui
Besoin d'obtenir des détails Non Peut-être Oui Oui
Non-disponibilitété d'intervieweurs formés Oui Non Non Non
Besoin d'obtenir les résultats rapidement Non Peut-être Oui Oui
Budget limité Oui Peut-être Non Non

La décision de procéder par « échantillonnage »

L'échantillonnage désigne un processus consistant à choisir un sous-groupe ou un échantillon de personnes à étudier afin de pouvoir faire des généralisations au sujet de la population ou du groupe plus vaste dont ces personnes font partie.

Les évaluations ne requièrent pas nécessairement une stratégie d'échantillonnage, mais l'échantillonnage peut réduire le nombre des ressources nécessaires à la collecte et à l'analyse de l'information. Dans les cas où le nombre de participants est restreint (moins de 30 participants par exemple), obtenez de l'information de tous les participants. En règle générale, lorsqu'il est simple et peu coûteux d'inclure tous les participants à votre étude, il est conseillé de le faire. Si, par ailleurs, la population étudiée est importante, l'échantillonnage peut réduire les ressources devant être consacrées à la collecte et à l'analyse des données. Le choix d'un échantillon dans une population très importante peut même aider à réduire le taux d'erreur.

Lorsque vous décidez de la taille de votre échantillon, tenez compte des facteurs suivants :

Le choix d'un échantillon

La décision quant au nombre de personnes à inclure dans un échantillon

Il existe des tableaux qui vous aident à déterminer la taille appropriée d'un échantillon. Vous en trouverez un exemple dans le document intitulé Vous pouvez y arriver : Une trousse d'outils pratiques pour l'évaluation des programmes d'intervention policière et de prévention de la criminalité dans la collectivité (page 52). (Voir l'adresse du site Web à la fin de ce module.)

N'oubliez pas de tenir compte du taux de réponse prévu lorsque vous choisirez la taille de votre échantillon. Pensez au nombre idéal de réponses, déterminez le taux de réponse

prévu, et puis décidez de la taille de votre échantillon. Voici un exemple de la manière de procéder :

L'analyse des résultats

Votre plan d'évaluation devrait préciser comment vous analyserez l'information que vous obtiendrez. Vous trouverez ci-dessous un certain nombre de méthodes de base dont vous pourriez vous servir pour analyser les données quantitatives et qualitatives.

Les données quantitatives

L'analyse consiste à déterminer la signification et la valeur des données que vous avez recueillies. Nous parlerons de la façon d'analyser les résultats dans le Module 6 du manuel, mais nous vous en donnons un très court aperçu maintenant.

D'abord et avant tout, ne paniquez pas! L'analyse n'est pas nécessairement difficile. Vous pouvez procéder à des analyses simples :

Voir les pages 4 à 8 du Module 6 pour obtenir de l'information sur la façon de calculer ces statistiques élémentaires.

Les données qualitatives

Vous pouvez résumer de petites quantités de données qualitatives pour donner une idée globale de ce qui a été dit. Par exemple, si vous avez quelques questions ouvertes dans votre questionnaire sur la satisfaction, vous pouvez simplement résumer les réponses. (Par une « question ouverte », on entend une question dont les réponses ne sont pas limitées, par exemple, à oui/non ou à vrai/faux ou qui ne comportent pas un nombre fixe de réponses parmi lesquelles le répondant doit faire un choix.) Lorsque vous résumez les réponses, si certaines se répètent souvent, inscrivez le nombre de fois que ces réponses ont été fournies. Cela vous donnera une idée de la fréquence à laquelle les répondants les ont données.

Si vous avez une plus grande quantité de données, vous pouvez effectuer une analyse du contenu. Il s'agit d'un processus consistant à repérer les tendances ou les thèmes dans les données, à leur attribuer un code ou un nom, et à les catégoriser. Lorsque vous menez un certain nombre d'entrevues comportant des questions ouvertes, il sera nécessaire pour vous de faire ce type d'analyse plus formelle. Lorsque vous présentez les résultats de l'analyse, énumérez et décrivez les grands thèmes repérés (les adolescents ayant répondu au sondage considéraient que la jalousie était un signe d'amour, par exemple), tout en résumant les affirmations faites au sujet de ce thème et en fournissant des citations représentatives des déclarations.

Un certain nombre d'analystes spécialisés dans ce type d'exercice préfèrent catégoriser manuellement l'information en lisant attentivement les transcriptions des entrevues, en inscrivant dans la marge les thèmes cernés et en mettant en évidence des citations qui représentent le mieux ces thèmes. Ils ont le sentiment qu'en procédant ainsi, ils comprendront mieux et plus en profondeur les données. D'autres préfèrent utiliser des logiciels (NVIVO/NUD*IST, par exemple) qui peuvent catégoriser les thèmes ou les tendances pour eux.

Vous trouverez plus d'information au sujet de l'analyse du contenu aux pages 9 à 11 du Module 6.

La communication des résultats

Votre plan d'évaluation devrait indiquer comment vous proposez de communiquer vos résultats. Voici certains des aspects dont il faut tenir compte lorsque vous décidez de la manière dont vous présenterez vos résultats (Services de police de la ville d'Ottawa, 2001) :

Vous devez aussi garder à l'esprit les destinataires de votre rapport. Des méthodes différentes de présentation conviendront aux différents groupes visés. Voici certaines méthodes que vous pouvez utiliser pour présenter les résultats de votre évaluation :

Pensez aux personnes à qui vous devez transmettre les résultats de votre évaluation. N'oubliez pas d'inclure les participants du projet à votre liste. Ils méritent de savoir ce que vous avez appris.

Lorsque vous planifiez votre stratégie de communication des résultats, assurez-vous d'aborder les questions qui d'après le lecteur ou l'utilisateur seront importantes. Vérifiez les exigences de votre bailleur de fonds. Que veulent savoir ces personnes?

Quel que soit le destinataire, utilisez un langage simple. Ainsi, vous n'exclurez pas les gens qui ne comprennent pas le jargon unique à votre projet ou à votre domaine de spécialisation. Rappelez-vous que les participants nécessiteront peut-être un style de présentation différent de celui que vous utiliserez pour les bailleurs de fonds et les autres partenaires.

Finalement, assurez-vous de présenter votre rapport à temps!

Glossaire

Analyse du contenu

L'analyse du contenu est un processus qui consiste à repérer des tendances ou thèmes dans des données qualitatives, à leur attribuer un code et à les catégoriser (Patton, 1990).

Consentement éclairé

Les participants à des études de recherche et d'évaluation ou leurs tuteurs devraient fournir un consentement éclairé de leur plein gré (volontairement). Ce consentement est généralement fourni par écrit, mais d'autres méthodes d'enregistrement du consentement peuvent convenir dans le cas de certains groupes. Les procédures de consentement éclairé devraient préciser toute l'information qui sera recueillie durant la recherche, l'identité du chercheur, la durée et la nature prévues de la participation, tous les risques et avantages associés à la participation à la recherche, la façon dont les résultats seront utilisés et à qui ils seront communiqués. Ces procédures devront de plus fournir l'assurance que les participants peuvent interrompre leur participation à la recherche ou refuser de participer à n'importe quel élément de celle-ci sans être pénalisé de quelque façon que ce soit. On peut obtenir de l'information additionnelle concernant la nature du consentement éclairé en consultant

l'Énoncé de politique des trois Conseils : Éthique de la recherche avec des êtres humains
(voir http://www.pre.ethics.gc.ca/francais/policystatement/policystatement.cfm).

Données qualitatives

Les données qualitatives sont obtenues à l'aide de questions ouvertes. Normalement, on les a recueillies de l'une des trois façons suivantes : a) les entrevues approfondies où l'on pose des questions ouvertes, b) les observations directes ou c) les documents écrits (Patton, 1990).

Données quantitatives

Les données quantitatives sont des mesures numériques qui indiquent la quantité, la fréquence, l'intensité et la durée.

Échantillon

Un échantillon est un sous-groupe prélevé dans une population plus étendue. On l'étudie pour obtenir de l'information au sujet d'une population entière.

Échantillon aléatoire

Un échantillon aléatoire est constitué de personnes qui ont des chances égales d'être sélectionnées dans une population plus vaste. Le choix des personnes dans cette population plus vaste en vue de faire partie de l'échantillon relève entièrement du hasard.

Entrevue en profondeur

Une entrevue en profondeur est une conversation guidée entre un intervieweur et un répondant. L'intervieweur pose une série de questions ouvertes. Normalement, l'intervieweur utilise un guide, mais il peut s'en écarter pour poser une série de questions à propos d'un sujet ou d'une idée particulière.

Groupe de discussion

La création de groupes de discussion est une méthode de collecte de données. Un tel groupe comporte généralement moins de 15 personnes. Un animateur pose aux divers membres du groupe une série de questions pour connaître leurs perceptions et opinions concernant un sujet particulier. Leurs réponses sont enregistrées.

Indicateur

Un indicateur est de l'information qui est recueillie au sujet d'un processus ou d'un résultat particulier. À titre d'exemple, le nombre de cas acheminés au projet par les partenaires, le nombre de réunions de partenariat auxquelles ils assistent ou encore, les réponses fournies par eux à un questionnaire sur la satisfaction peuvent être des indicateurs de la satisfaction d'un partenaire à l'égard d'un projet.

Information de base

L'information recueillie avant le début d'un projet ou d'une activité est ce qu'on appelle l'information de base. Elle montre quelle était la situation dans la collectivité ou celle d'un participant individuel avant le début du projet ou de l'activité.

Pertinence culturelle

Par pertinence culturelle, on entend le degré selon lequel une mesure est appropriée et adaptée aux différences culturelles. Si les membres d'un groupe culturel particulier ne sont pas inclus dans les études de validation et d'uniformatisation menées dans le but de mettre au point un outil d'évaluation, cet outil risque de ne pas convenir à ce groupe culturel (Ogden/Boyes Associates Ltd., 2001).

Questions fermées

Il s'agit de questions auxquelles le répondant répond en faisant un choix dans une liste de réponses possibles. Une question à choix multiples est un exemple d'une question fermée.

Questions ouvertes

Les questions ouvertes permettent aux répondants de répondre librement plutôt que d'être limités par une série de catégories de réponses prédéterminées.

Prétest et post-test

Le même instrument est administré avant et après l'intervention ou la participation à un programme.

Théorie du changement

Une théorie du changement est une façon de décrire les hypothèses à l'origine de l'observation selon laquelle un programme ou un ensemble d'activités de projet aboutira à des résultats particuliers. Elle décrit les étapes de chacune des activités et l'effet ultime de celles-ci et renvoie à des théories qui appuient les hypothèses faites au sujet des liens entre les activités et leurs résultats ou leur effet.

Triangulation

La triangulation est un processus qui consiste à obtenir de l'information au sujet de questions similaires à l'aide de différentes méthodes (p. ex., entrevues, sondage, groupes de discussion) ou de différentes sources (p. ex., personnel et participants). On compare ensuite les réponses obtenues de ces différentes sources et au moyen de ces différentes méthodes pour déterminer si elles convergent ou si elles se contredisent.

Références

The Aspen Institute Roundtable on Comprehensive Community Initiatives. (2003). Theory of change.org. Téléchargé le 18 octobre 2004 du site
http://www.theoryofchange.org/html/example.html

Groupe consultatif interagences en éthique de la recherche. (1998). Énoncé de politique des trois Conseils : Éthique de la recherche avec des êtres humains (avec les mises à jour de 2000 et 2002). Téléchargé le 18 octobre 2004 du site
http://www.pre.ethics.gc.ca/francais/policystatement/policystatement.cfm

Ogden/Boyes Associates Ltd. (2001). CAPC program evaluation tool kit: Tools and strategies for monitoring and evaluating programs involving children, families, and communities. Rapport non publié pour Santé Canada, Direction générale de la santé de la population et de la santé publique, région de l'Alberta et des Territoires du Nord-Ouest, Calgary (Alberta).

Patton, M. Q. (1990). Qualitative evaluation and research methods. Londres : Sage.

PLAN:NET Ltd. (2003, septembre). Splash and ripple: Planning and managing for results. Téléchargé le 18 octobre 2004 du site
http://www.ucgf.ca/English/Downloads/RBMSept2003.pdf

Services de police de la ville d'Ottawa. (2001, août). Vous pouvez y arriver : Une trousse d'outils pratiques pour l'évaluation des programmes d'intervention policière et de prévention de la criminalité dans la collectivité. Téléchargé le 13 avril 2005 du site
http://www.prevention.gc.ca/fr/library/publications/reports/toolkit/

Ressources suggérées

Sites Web

Centre for Substance Abuse Prevention
Prevention Pathways

http://pathwayscourses.samhsa.gov/

Le site Web offre des tutoriels portant sur différents éléments de l'évaluation. « Evaluated for the Unevaluated 102 » est un excellent cours qui fournit de l'information sur la façon d'élaborer un plan d'évaluation.

Community Toolbox
Developing an Evaluation Plan

http://ctb.ku.edu/tools/en/section_1352.htm

Ce site renferme de l'information de base sur les facteurs clés à prendre en considération lorsqu'on établit un plan d'évaluation.

Management Assistance Program for Non-Profits (MAP)
Basic Guide to Program Evaluation

http://www.managementhelp.org/evaluatn/fnl_eval.htm#anchor1581634

Ce site Web fournit de l'information qui aide à établir un plan d'évaluation. On y trouve aussi des facteurs clés à prendre en considération au moment de la planification d'une évaluation.

North Central Educational Regional Laboratory
Evaluation Design Matrix

http://www.ncrel.org/tech/tpd/res/matrix.htm

Cette grille aide à définir d'importants éléments au moment de la planification de l'évaluation et peut vous aider à créer votre propre plan d'évaluation.

United States Agency for International Development
Performance Monitoring and Evaluation Tips

http://www.dec.org/pdf_docs/pnaby215.pdf

Cette publication décrit l'importance des plans de surveillance du rendement et précise les secteurs clés à prendre en compte au moment de la planification d'une évaluation.

Traité

Trochim, William M. (2000).
The Research Methods Knowledge Base, 2nd Edition.

http://www.socialresearchmethods.net/

Il s'agit d'un excellent traité en ligne qui porte sur tous les sujets ayant un lien avec les méthodes de recherche, y compris la planification de l'évaluation et l'échantillonnage.

Module 3 - Feuilles de travail

Feuille de travail 1

Choix des méthodes de collecte des données : Étude de cas
Indicateur Méthode de collecte des données Justification
Source de l'information Outil/instrument utilisé Fréquence de la collecte
         

Feuille de travail 2

Planification et organisation de la collecte des données
Questions d'évaluation Indicateurs Clés Sources d'information Ressources requises pour réunir l'information
Source Outils à utiliser Fréquence de la collecte Dates Personnes Temps
               

Module 4 : Méthodes de collecte des données

Les objectifs d'apprentissage

Qu'est-ce qu'une « donnée »?

Le mot donnée signifie un « renseignement », une « information ».

Ce terme semble technique, mais la collecte des données consiste simplement à obtenir de l'information auprès de certaines personnes. Il y a certaines règles à suivre pour bien recueillir des données. Vous en trouverez une description plus poussée dans ce module.

Commençons par examiner les différentes sources de données (ou d'information).

Les sources officielles

Les évaluateurs utilisent souvent des sources de données officielles pour déterminer si un changement survient dans une collectivité avec le temps. Voici quelques sources d'information pouvant être retenues pour les projets de prévention du crime, et certains des avantages et des inconvénients qu'elles présentent.

Les rapports sur la criminalité peuvent sous-estimer le nombre de crimes réellement commis, surtout en ce qui concerne la violence conjugale, les agressions sexuelles et même certains types de fraudes que les gens sont moins susceptibles de signaler parce qu'ils se sentent embarrassés ou parce qu'ils ont peur de ce qu'on va penser d'eux dans la collectivité.

Les dossiers judiciaires doivent être utilisés avec circonspection. L'information au sujet des accusations et des arrestations ne reflète pas nécessairement les taux réels de criminalité et peut être influencée par des changements qui surviennent dans la législation ou les politiques des services de police (p. ex., la prise de mesures de répression du trafic de la drogue). L'information au sujet des condamnations tend à être plus fiable, mais elle est influencée par d'autres facteurs comme la qualité des services de représentation par un avocat dont aurait bénéficié l'accusé. Malgré ces problèmes, les données concernant les arrestations sont quand même l'une des meilleures mesures que nous avons de la récidive.

Les dossiers scolaires peuvent inclure de l'information sur l'absentéisme, les suspensions, la réussite ou l'échec dans les études et les besoins spéciaux. Il faut obtenir la permission pour accéder au dossier d'un élève. Certaines provinces signalent le taux de réussite général des élèves dans chaque école. Par exemple, leministère de l'Éducation et de la Formation de l'Ontario fournit de l'information par école au sujet des résultats obtenus à des tests administrés aux élèves de certains niveaux à l'échelle de la province.

Les données du recensement peuvent servir à décrire les caractéristiques démographiques des Canadiens dans leur ensemble ou les citoyens d'une province ou d'un territoire en particulier ou d'un secteur de recensement (un petit secteur ayant une population de 2 500 à 8 000 personnes dans un grand centre urbain [Statistique Canada, aucune date]). Le recensement fournit de l'information comme le revenu familial, le niveau de scolarité, l'origine ethnique, l'appartenance religieuse, le type de logement occupé, l'état matrimonial et le nombre d'enfants dans un ménage. Cette information peut servir à créer un profil communautaire. Une mise en garde s'impose toutefois : les données détaillées provenant du recensement, particulièrement lorsqu'elles se rapportent aux secteurs de recensement, remontent souvent à plusieurs années au moment où elles sont rendues publiques.

Les services de santé publique et communautaire définissent la « santé » dans son sens le plus large en incluant la santé physique, émotive et spirituelle. Ils se préoccupent de la santé à l'échelle individuelle et communautaire. Par conséquent, ils s'intéressent à la sécurité communautaire et à la prévention du crime. Les services de santé ont des employés qui analysent les données du recensement s'appliquant à votre collectivité. Ils mènent aussi leurs propres recherches communautaires. Ils peuvent constituer une bonne source d'information sur votre collectivité. Demandez à vos services locaux de santé publique s'ils peuvent vous fournir des ressources ou se joindre à votre projet en tant que partenaire. Le personnel des services de santé publique sera peut-être disposé à vous aider à mener des évaluations des besoins ou d'autres recherches communautaires.

Les questionnaires d'enquête

Vous avez probablement participé à une enquête à un moment ou un autre dans votre vie. Vous l'avez peut-être fait dans le cadre du recensement, pour évaluer un produit ou dans le cadre de votre emploi. Il faut une certaine compétence pour élaborer un questionnaire d'enquête efficace.

Les questionnaires peuvent être administrés :

Les questionnaires d'enquête, qu'ils soient administrés au téléphone ou en personne, devraient être uniformes. Il en est de même de l'explication qui les accompagne. Il faut toujours expliquer aux répondants comment l'information sera utilisée et leur demander de signer un formulaire de consentement qui porte sur la confidentialité des renseignements personnels et la protection de l'anonymat des participants. Il faut former les intervieweurs pour qu'ils enregistrent les réponses avec exactitude. En incluant des cases à cocher et des catégories de réponses, on peut accroître l'exactitude de l'information recueillie par les questionnaires et faciliter la tâche aux répondants. Si l'on demande par exemple quel est le niveau de scolarité des répondants, le questionnaire peut contenir des catégories à cocher par l'intervieweur telles que :

L'intervieweur peut alors cocher la catégorie pertinente plutôt que d'avoir à écrire la réponse au long.

Les questionnaires d'enquête sont plus difficiles à formuler qu'on peut le croire à première vue :

Quelques conseils concernant le questionnaire

Trouvez l'erreur!

Essayez de repérer les problèmes que présentent les questions ci-dessous.

  1. Sur une échelle de 1 à 5, quelle est votre opinion du projet?
    • 1
    • 2
    • 3
    • 4
    • 5
  2. Je me sens en sécurité dans ma collectivité.
    • Généralement
    • Parfois
    • Presque jamais
    • Jamais
  3. Veuillez indiquer quelle tranche d'âge représente le mieux votre âge.
    • 20-30 ans
    • 30-40 ans
    • 40-50 ans
    • 60 ans et plus
  4. Cochez la réponse qui décrit le mieux votre situation
    • Pas d'enfants
    • Femme enceinte
    • Parent ayant des enfants
  5. Avez-vous appris quelque chose en ce qui concerne l'évaluation et la mise sur pied de votre projet de prévention du crime?
    • Oui
    • Non
  6. Quels sont les endroits du complexe d'habitations dans lesquels vous ne vous sentez pas en sécurité?
    • Aires de stationnement
    • Ascenseurs
    • Terrains de jeux
    • Cages d'escalier
    • Couloirs
    • Autres (précisez)
  7. Ce projet est offert aux familles qui ont des enfants âgés de 7 à 10 ans dans le quartier de St-Albert. Veuillez inclure lesquels des groupes suivants devraient être inclus également au projet :
    • Familles ayant de jeunes enfants
    • Familles ayant des enfants plus âgés
    • Familles dans d'autres quartiers

Les tests normalisés

Ne vous laissez pas impressionner par le mot « test ». Il n'y a pas de bonnes ou de mauvaises réponses à des tests normalisés. Ces tests sont utilisés typiquement pour évaluer les attitudes et les comportements individuels. Les évaluateurs s'en servent souvent pour évaluer les changements qui surviennent chez les participants au programme avec le temps. On peut également utiliser des tests de connaissances pour évaluer les changements qui sont survenus dans les connaissances grâce à l'intervention.

Vous êtes peut-être déjà familiarisé avec certaines mesures normalisées comme l'Échelle de l'estime de soi Rosenberg (Rosenberg, 1989), une mesure que le répondant remplit lui-même et qui a été traduite dans plusieurs langues. On trouve une référence pour la version française de l'Échelle de l'estime de soi Rosenberg à l'adresse :
http://benhur.teluq.uquebec.ca/~evallier/echelles.htm

Le questionnaire d'évaluation du comportement social (QECS) est un autre test normalisé parmi ceux que vous connaissez peut-être. Vous pouvez le télécharger à partir du site du Groupe de recherche sur l'inadaptation psychosociale chez l'enfant (GRIP) dont l'adresse est : http://benhur.teluq.uquebec.ca/~evallier/echelles.htm.

Des tests normalisés peuvent également servir à évaluer des attributs communautaires. Le Sense of Community Index (Indice de sentiment d'appartenance communautaire) (Chavis, Hogge, McMillan et Wandersman, 1986), par exemple, peut fournir de l'information à propos de la cohésion d'une collectivité. On peut obtenir cet indice à http://www.capablecommunity.com/pubs/SCIndex.PDF.

On « normalise » les tests en les administrant à d'importants groupes de personnes qui, idéalement, sont semblables aux personnes auxquelles les tests seront administrés à des fins d'évaluation. Les données recueillies dans le cadre de la normalisation du test fournissent de l'information sur la manière dont la personne moyenne remplit le test. Ces « normes » aident ceux qui administrent le test à interpréter les résultats. Ainsi, l'administrateur peut déterminer si le résultat d'une personne est élevé, moyen ou faible comparé à la « moyenne ».

Les tests normalisés sont généralement protégés par des droits d'auteur. Il peut arriver, comme c'est le cas pour l'échelle Rosenberg, que le détenteur des droits d'auteur autorise l'utilisation gratuite du test dans certaines circonstances. Dans d'autres cas, comme celui de la Child Behavior Checklist (Liste de contrôle - comportement de l'enfant), il faut acheter le test chez l'éditeur. Certains tests peuvent être administrés uniquement par des professionnels ayant suivi une formation.

La validité et la fiabilité

Vous vous souvenez peut-être que nous avons parlé de validité et de fiabilité dans le Module 3. Il s'agit de critères particulièrement importants lorsque vous utilisez des mesures d'évaluation.

La validité désigne la capacité d'une mesure d'évaluer ce qu'elle est censée évaluer. Normalement, la « validation » d'un instrument ou d'une échelle consiste à administrer le test ainsi que d'autres tests mesurant des attitudes ou des comportements similaires à un grand nombre de personnes. On compare ensuite les résultats pour déterminer s'il y a une corrélation entre les résultats de la mesure mise à l'essai et les autres mesures dont on a prouvé qu'elles mesurent des caractéristiques connexes. À titre d'exemple, l'Échelle de l'estime de soi Rosenberg a été évaluée par rapport à des autodéclarations et des cotes fournies par des infirmières et des pairs, pour des constructions mentales associées à l'estime de soi, comme la dépression, l'anxiété et la réputation au sein d'un groupe de pairs. Lorsque les résultats de la mesure faisant l'objet du test ont une corrélation avec les résultats de mesures connexes, la mesure est considérée comme étant « valide ». Par fiabilité, on entend la capacité d'une mesure de fournir de l'information uniforme avec le temps et lorsqu'elle est remplie par différents groupes. On mesure normalement cet aspect en examinant les résultats obtenus au moyen de tests remplis par les mêmes répondants à plusieurs occasions. On compare ensuite les résultats fournis à ces différents moments. Lorsque les tests sont considérés comme fiables, il y a peu de variations au fil du temps. Cela signifie qu'il est peu probable que le test soit vulnérable à des changements d'humeur ou à des changements dans les circonstances, ce qui est un aspect positif. Il existe cependant un certain degré de risque lorsque ces tests sont utilisés à des fins d'évaluation de programmes. En effet, tandis que la fiabilité est considérée comme une caractéristique favorable, les échelles qui sont considérées comme fiables risquent d'être moins sensibles aux changements, même après une intervention.

Une fois qu'un test a été validé et que sa fiabilité a été confirmée, il est généralement recommandé aux chercheurs de ne pas modifier le libellé ou les items du test. De tels changements pourraient modifier la validité et la fiabilité de l'instrument. Par contre, il est important de reconnaître que la mise à l'essai des mesures d'évaluation se fait souvent auprès d'importants groupes d'étudiants du premier cycle qui sont relativement bien éduqués, qui appartiennent généralement à la classe moyenne et qui sont de race blanche et Américains. Par conséquent, ces tests risquent d'utiliser un langage trop sophistiqué ou d'inclure des items à caractère culturel qui, par conséquent, risquent de ne pas convenir à certains participants de la collectivité. Lorsque c'est possible, il vaut mieux utiliser des échelles qui ont été mises à l'essai auprès d'un grand nombre de cultures et de classes socioéconomiques. Si vous n'avez pas accès à de telles échelles, essayez de mettre à l'essai, auprès des membres de votre population de participants, les échelles que vous espérez utiliser. Cela vous donnera une idée de la mesure dans laquelle le test convient à vos participants.

Quelques conseils concernant les tests

  1. J'étais mieux informé au sujet des projets qui pouvaient m'apporter quelque chose.
    • Entièrement d'accord
    • D'accord
    • En désaccord
    • Entièrement en désaccord
  2. J'étais mieux en mesure d'obtenir de l'aide d'autres organisations ou organismes.
    • Entièrement d'accord
    • D'accord
    • En désaccord
    • Entièrement en désaccord
  3. J'avais davantage l'impression de faire partie de la collectivité où je vis.
    • Entièrement d'accord
    • D'accord
    • En désaccord
    • Entièrement en désaccord

Nombre de personnes considèrent les tests normalisés comme la façon la plus objective de mesurer les connaissances, les attitudes et les comportements. Le fait que les instruments normalisés aient fait l'objet de nombreux essais et de recherches approfondies confirme ce point de vue. Certains facteurs importants peuvent toutefois influencer la crédibilité des résultats obtenus à l'aide de tests normalisés.

Les entrevues en profondeur

Les entrevues en profondeur ont tendance à fournir plus de données qualitatives que les sondages, mais les règles de formulation des questions sont les mêmes.

L'intervieweur peut se servir d'un guide d'entrevue. Le guide d'entrevue ressemble un peu à un questionnaire, puisqu'il présente les questions que posera l'intervieweur dans l'ordre prévu. Certains guides d'entrevue sont plus souples que d'autres. Ils fournissent des directives générales à l'intervieweur qui est libre d'ajouter des questions à la liste ou de développer un commentaire particulier du répondant ou une anecdote relatée par ce dernier. D'autres guides d'entrevue sont plus restrictifs et limitent l'intervieweur aux questions qu'ils contiennent.

Selon la nature de l'entrevue, le guide d'entrevue peut inclure des espaces vierges où l'intervieweur inscrit les réponses directement. Le guide renferme parfois des questions avec un choix limité de réponses. Dans ce cas, l'intervieweur peut simplement cocher la réponse fournie. On demande parfois à l'intervieweur de lire une liste de réponses possibles aurépondant. À d'autres moments, on ne demande pas à l'intervieweur de lire les réponses, mais de cocher la catégorie qui correspond le plus à la réponse fournie par le répondant. Certains guides demandent à l'intervieweur de poser des questions exploratoires lorsque les répondants ont de la difficulté à fournir une réponse.

Qu'est-ce qu'une question exploratoire?

Une question exploratoire encourage le répondant à fournir plus d'information. Voici certaines des techniques utilisées :

En vous exerçant avec d'autres intervieweurs, vous pouvez vous assurer que vous interprétez tous les questions de la même manière. Nous recommandons que vous mettiez à l'essai le guide d'entrevue auprès d'un petit groupe de personnes pour repérer les problèmes éventuels. Cela vous aidera à cerner les problèmes d'interprétation, d'ordre ou de libellé des questions. Cela vous permettra également d'estimer le temps dont vous aurez besoin pour mener l'entrevue.

Quelques conseils concernant l'entrevue

Les conseils qui suivent ont été formulés par Prairie Research Consultants (2001). Vous êtes invité à lire leur document sur les entrevues à http://www.pra.ca/resources/indepth.pdf.

Avant :

Pendant :

Après :

Les groupes de discussion

Quand les groupes de discussion sont-ils utiles?

Les entrevues en profondeur ou les questionnaires autoadministrés sont plus indiqués lorsqu'il s'agit d'information délicate ou lorsqu'il y a de la tension entre les intervenants clés. Les groupes de discussion servent à réunir des données et non pas à résoudre des problèmes.

Quelques conseils concernant les groupes de discussion

L'observation

L'observation représente souvent une bonne façon de réunir de l'information sur la façon dont des collectivités ou des participants à des programmes réagissent à un projet particulier. Il est conseillé de fournir des directives aux observateurs pour les aider à enregistrer leurs observations. Ces observations peuvent fournir une précieuse information qui rendra un rapport d'évaluation plus intéressant. Les observateurs devraient toutefois commencer par obtenir le consentement d'enregistrer ce qu'ils observent.

Dans le cadre de projets

Les observateurs devraient obtenir le consentement des participants à un projet qui font partie, par exemple, d'un groupe ponctuel ou d'un groupe de soutien. Si les participants sont trop jeunes pour donner leur consentement, il faut obtenir le consentement de leur gardien.

Dans la collectivité :

Quelques conseils concernant l'observation

La multiplication des méthodes

Vous pouvez améliorer votre évaluation en réunissant de l'information au sujet de la même question auprès des différents groupes qui participent à votre projet (p. ex., partenaires, participants, personnel, gestionnaires) et en utilisant différentes méthodes (p. ex., groupes de discussion, observations, questionnaires d'enquête etc.). Lorsque toutes les données ont été recueillies, comparez l'information que vous avez obtenue de différentes sources et au moyen de différentes méthodes pour déterminer si les données s'appuient mutuellement ou se contredisent. C'est ce qu'on appelle la triangulation. Vous ferez davantage confiance à vos constatations si vous savez que différents intervenants ont fait les mêmes affirmations ou que différentes méthodes ont produit les mêmes résultats.

Si, par exemple, vous vous intéressez aux changements qui sont survenus dans le vandalisme, il peut être conseillé de comparer des résultats obtenus de différentes sources et au moyen de différentes méthodes :

Idéalement, vous devriez réunir cette information à différents moments (c.-à-d., avant, durant et après le projet de prévention du vandalisme).

Si toutes ces sources d'information vous disent la même chose, vous pouvez dans une grande mesure faire confiance aux résultats que vous avez obtenus. S'il y a des contradictions importantes dans vos résultats, vous en connaissez peut-être la cause. Ou, il se peut que vous deviez retourner aux intervenants clés pour obtenir leurs opinons sur la signification éventuelle de ces contradictions.

Glossaire

Désirabilité sociale

Les répondants répondent parfois aux questions d'une façon qui, d'après eux, plaira au chercheur ou qui présentera leurs attitudes, opinions ou comportements sous un jour favorable. Ces personnes fournissent ce qui, à leurs yeux, constituent des réponses socialement désirables. On a créé des échelles normalisées pour établir si les répondants répondent ainsi aux questions plutôt que de dire la vérité. Ces échelles sont connues sous le nom d'« échelles sur la désirabilité sociale ».

Groupe de discussion

Un groupe de discussion est un groupe de personnes sélectionnées que vous invitez à discuter d'une question particulière afin de mieux comprendre celle-ci ou d'obtenir des commentaires, des recommandations ou des observations à ce sujet. Un groupe de discussion vous permet de réunir de l'information et peut vous aider à évaluer un programme particulier.

Guide d'entrevue

Un guide d'entrevue vous permet de structurer vos entrevues de recherche ou d'évaluation. Il renferme des instructions sur la façon dont l'intervieweur devrait présenter l'entrevue et, s'il ne l'a pas déjà fait, d'informer le répondant sur les procédures d'obtention du consentement pour obtenir ensuite son consentement par écrit. Le guide présente les questions de l'entrevue dans l'ordre dans lequel elles devraient être posées. Les guides d'entrevue peuvent inclure des directives générales destinées à l'intervieweur ou des instructions précises sur la façon de présenter les questions de l'entrevue.

Normalisation

Une mesure normalisée en est une qui a été administrée à un groupe très important de personnes semblables à celles auprès desquelles la mesure sera utilisée. Les données obtenues de ce groupe servent de données de comparaison aux fins d'interprétation des résultats obtenus des participants dans le cadre de l'évaluation d'un programme ou d'une étude de recherche. Les tests normalisés vous permettent de déterminer si la note obtenue au test par une personne est élevée, moyenne ou faible comparativement à la norme (Ogden/Boyes Associated Ltd., 2001).

Question exploratoire

Une question exploratoire est une question qui permet d'obtenir une réponse plus détaillée ou des détails additionnels suite à la réponse originale du répondant.

Test

Un test consiste à effectuer une mise à l'essai des instruments d'évaluation auprès de quelques personnes représentatives de celles qui rempliront les instruments d'évaluation. Les problèmes que présentent les instruments sont notés, afin que ceux-ci puissent être révisés avant le début de l'évaluation.

Triangulation

La triangulation est un processus qui consiste à obtenir de l'information au sujet de questions similaires à l'aide de différentes méthodes (p. ex., entrevues, questionnaires, groupes de discussion) ou de différentes sources (p. ex., personnel et participants). On compare ensuite les réponses obtenues de ces différentes sources et au moyen de ces différentes méthodes pour déterminer si elles convergent ou se contredisent.

Références

Achenbach, T.M., & Edelbrock, C. (1983). Manual for the child behavior checklist and revised child behavior profile. Burlington, VT: Queen City Printers.

Chavis, D.M., Hogge, J.H., McMillan, D.W., & Wandersman, A. (1986). Sense of community through Brunswick's lens: A first look. Journal of Community Psychology, 14(1), 24-40.

Ogden/Boyes Associates Ltd. (2001). CAPC program evaluation tool kit: Tools and strategies for monitoring and evaluating programs involving children, families, and communities. Rapport non publié dressé pour Santé Canada, Direction de la santé de la population et de la santé publique, région de l'Alberta et des Territoires du Nord-Ouest, Calgary, Alberta.

Prairie Research Associates, Inc. (2001). The in-depth interview. Téléchargé le 2 septembre 2004 du site http://www.pra.ca/resources/indepth.pdf.

Rosenberg, M. (1989). Society and the adolescent self-image (édition révisée), Middletown, CT: Wesleyan University Press.

Statistique Canada. Dictionnaire du Recensement de 2001, sans date. Téléchargé le 19 octobre 2004 du site
http://www12.statcan.ca/francais/census01/Products/Reference/dict/geo013_f.htm

Ressources suggérées

Sites Web

American Statistical Association
What is a Survey?

http://www.amstat.org/sections/srms/whatsurvey.html

Cette brochure électronique porte sur des questions ayant trait à la recherche effectuée à l'aide de sondages, comme la planification, la collecte des données et la qualité des sondages.

Bureau of Justice Assistance Center for Program Evaluation
Data Collection

http://www.ojp.usdoj.gov/BJA/evaluation/guide/dc1.htm

On trouve sur ce site l'information et des liens vers diverses stratégies de collecte de données.

Innovation Network Online Evaluation Resource Center
http://www.innonet.org/index.php?section_id=62&content_id=142

Ce site Web renferme de l'information et des suggestions utiles sur la recherche au moyen de sondages. On y trouve également un document au sujet des instruments de collecte des données.

Management Assistance Program for Non-Profits
Basic Guide to Program Evaluation

http://www.managementhelp.org/evaluatn/fnl_eval.htm#anchor1585345

Ce site Web renferme de l'information utile sur les méthodes de collecte des données, y compris les questionnaires, les groupes de discussion et les sondages.

University of Wisconsin
Program Development and Evaluation

http://www.uwex.edu/ces/pdande/evaluation/evaldocs.html

Ce site Web convivial comporte de nombreux liens qui donnent accès à de l'information au sujet de tous les aspects de la collecte des données.

Manuels et guides

Duval County Health Department
Essentials for Survey Research and Analysis: A Workbook for Community Researchers

http://www.tfn.net/%7epolland/quest.htm

Ce cahier de travail comporte 12 leçons qui vont de la manière de définir les différents niveaux de données à la collecte et à la présentation de celles-ci. Il met l'accent sur la recherche au moyen de sondages.

National Science Foundation
User Friendly Handbook for Project Evaluation

http://www.nsf.gov/pubs/2002/nsf02057/nsf02057.pdf

Ce guide présente de l'information détaillée sur différentes méthodes de collecte de données, en plus de fournir des conseils et des exemples utiles.

National Science Foundation
User-Friendly Handbook for Mixed Method Evaluations

http://www.ehr.nsf.gov/EHR/REC/pubs/NSF97-153/pdf/mm_eval.pdf

Ce guide facile à utiliser renferme de l'information à propos des modèles d'évaluation qualitatifs et quantitatifs et à propos des méthodes de collecte des données associées à chacun.

Horizon Research Inc.
Taking Stock: A practical guide to evaluating your own programs.

http://www.horizon-research.com/reports/1997/stock.pdf

Ce guide pratique représente une excellente source d'information sur la façon de recueillir des données qualitatives et quantitatives. Il propose plusieurs stratégies de collecte des données.

Traité

Trochim, W. M. (2000).
The Research Methods Knowledge Base, 2e édition.

http://www.socialresearchmethods.net/

Ce traité décrit des méthodes de recherche.

Trouvez l'erreur! (Voir p. 5)

  1. Formulation vague, ambiguë
    • Évaluer le projet de quel point de vue? - Satisfaction, qualité, accessibilité?
    • Évaluer quel aspect du projet? - Contenu, personnel, emplacement, service, éléments précis?
    • À quoi correspondent les chiffres? Est-ce que 1 correspond à extrêmement satisfait et 5 à extrêmement insatisfait?
    • Certains chercheurs préfèrent éviter des échelles ayant un chiffre moyen comme celle qui apparaît sous cette question (c.-à-d. des échelles ayant un nombre impair de réponses par opposition à un nombre pair). Lorsqu'il y a réellement une option au milieu, les répondants qui sont incertains de leur point de vue choisiront souvent le chiffre au milieu. Malheureusement, cela ne fournira pas beaucoup d'information au chercheur. En utilisant une échelle à quatre points, on peut forcer le répondant à sélectionner une réponse qui va dans un sens ou dans l'autre.
  2. L'échelle comportant un choix limité de réponses n'est pas bien équilibrée
    • Les options sont mal équilibrées parce qu'il y en a une qui est positive, une qui est neutre et deux qui sont négatives.
  3. Les catégories de réponse ne sont pas exclusives
    • Il y a un chevauchement entre les tranches d'âge (p. ex., si vous avez 30 ans, vous pourriez cocher la première ou la deuxième catégorie).
  4. Les catégories de réponse ne sont pas exclusives
    • Il pourrait s'agir d'une personne enceinte mais également d'un parent avec des enfants OU d'une personne n'ayant pas d'enfants. Comment décide-t-on quelle option cocher?
  5. Double question
    • Posez les questions séparément : Avez-vous appris quelque chose de nouveau au sujet de l'évaluation? Avez-vous appris quelque chose de nouveau depuis le début de votre projet de prévention du crime? Vous pourriez également remplacer les réponses Oui/Non par des réponses qui ressemblent à ceci : J'ai beaucoup appris, J'ai appris quelque chose et J'ai appris très peu/Je n'ai rien appris du tout. Ce qui serait encore mieux, c'est de remplacer cette question par une question qualitative
  6. Question tendancieuse
    • La question part du principe qu'il y a des secteurs où l'on ne se sent pas en sécurité. Cette question devrait être précédée d'une question qui demande au répondant s'il se sent en danger dans le complexe domiciliaire. S'il se sent en sécurité, une note devrait l'inviter à sauter cette question et à passer à la prochaine.
  7. Question tendancieuse
    • Cette question part du principe que le projet devrait être étendu.

Module 4 - Feuilles de travail

Feuille de travail 1 Questionnaire - rédaction et entrevue

Instructions :

  1. Passez en revue les pages 2 à 10 du manuel.
  2. Choisissez un animateur, un rapporteur et un chronométreur.
  3. Élaborez un questionnaire ou un guide d'entrevue pour le sujet assigné. Si vous faites partie du groupe 1, vous aiderez à élaborer un questionnaire. Si vous faites partie du groupe 2, vous préparerez un guide d'entrevue.
  4. Photocopiez le questionnaire/guide d'entrevue, en faisant suffisamment de copies pour tous les membres de votre groupe.
  5. Le groupe 1 administre un questionnaire au groupe 2.
  6. Le groupe 2 mène une entrevue auprès du groupe 1.

Rapporteurs : Vous élaborez le questionnaire ou le guide d'entrevue pour tous les membres du groupe; veillez conséquemment à ce que tout le monde puisse lire votre écriture.

Auteurs du sondage : Incluez dans vos questionnaires des questions vrai/faux, des échelles nominales, des questions à choix multiples et des questions ouvertes.

Intervieweurs : Incluez dans vos entrevues des questions ouvertes (celles qui permettent au répondant de répondre librement) ainsi que des questions fermées (celles qui comportent un choix limité de réponses).

Conseils pour le sondage

Servez-vous de l'espace ci-dessous et de la page suivante pour élaborer votre questionnaire ou guide d'entrevue. Continuez au verso si vous avez besoin de plus d'espace.

Conseils pour l'entrevue

Avant :
Pendant :

Feuille de travail 2 Groupes de discussion et observation

Suivez les instructions figurant sur le tableau à feuilles volantes.

Servez-vous de l'espace ci-dessous pour créer le guide destiné au groupe de discussion ou le guide d'observation. Lorsque vous avez terminé, photocopiez le guide en produisant suffisamment de copies pour tous les membres de votre groupe.

Conseils pour le groupe de discussion

Conseils pour l'observation

Module 5 : Modèles d'évaluation

Les objectifs d'apprentissage

Dans les modules précédents, nous avons examiné différentes méthodes de collecte de mesures quantitatives et qualitatives du rendement d'un projet. Dans le module 6, nous étudierons de manière plus exhaustive les analyses de ces mesures. Le présent module porte essentiellement sur les modèles d'évaluation ou sur les façons dont nous évaluons les effets des activités du projet.

Qu'est-ce qu'un modèle d'évaluation?

Un modèle d'évaluation suppose :

  1. Un ensemble de mesures quantitatives ou qualitatives du rendement du projet.
  2. Un ensemble d'analyses qui utilisent ces mesures pour répondre à des questions clés concernant le rendement du projet.

Les modèles d'évaluation comprennent des façons de décrire les ressources, les activités et les résultats du projet et des méthodes d'évaluation des effets des activités de projet (Wholey, Hatry et Newcomer, 1995).

Les niveaux d'évaluation

Avant d'aborder de manière plus exhaustive les modèles d'évaluation, nous examinerons les différents niveaux d'évaluation.

Le suivi du projet consiste à faire le décompte de certaines activités et opérations du projet. Ilpermet de déterminer ce que fait le projet et sa façon de procéder. À titre d'exemple, vous pourriez assurer le suivi du nombre d'activités que vous offrez, du nombre d'employés, du nombre d'heures travaillées par ces employés, du nombre de participants aux activités, du nombre de partenaires en cause et de l'évolution possible de ces données au fil du temps. Vous le faites probablement déjà!

L'évaluation du processus permet d'examiner les processus et les procédures et les liens entre les activités du projet. Les évaluations de processus sont généralement effectuées en vue d'améliorer le déroulement du projet. À titre d'exemple, vous voudriez peut-être savoir si votre projet atteint les personnes qu'il est censé atteindre. Si les activités se déroulent de la manière initialement prévue. Si le nombre de participants a un effet sur la charge de travail du personnel ou sur la quantité de services auxquels les participants ont accès.

L'évaluation des résultats examine les effets et l'efficacité du projet. À titre d'exemple, un projet qui se consacre aux jeunes susceptibles de prendre part à un crime ou d'en être victimes pourrait poser des questions comme les suivantes : Les participants sont-ils restés à l'école plus longtemps? Ont-ils eu moins de démêlés avec la justice ou étaient-ils moins souvent des victimes? Comment le programme peut-il être amélioré pour mieux atteindre ses objectifs? Une évaluation efficace des résultats englobera le suivi du projet et l'évaluation des processus.

La plupart des évaluations comprennent des composantes de chaque niveau. Nous allons nous concentrer sur les modèles d'évaluation des résultats.

Les obstacles à la validité des résultats des évaluations

Dans le module 3, nous avons traité de l'importance de choisir des indicateurs valides. La validité du modèle d'évaluation dans son ensemble est tout aussi importante que la validité des indicateurs particuliers que vous choisissez. Il existe des catégories de validité (voir l'encadré de la page suivante), mais nous allons nous concentrer sur la validité interne.

La validité interne désigne la mesure dans laquelle nous pouvons être certains que les changements touchant la collectivité ou les participants au projet que vise l'évaluation résultent, dans les faits, du projet. Le choix d'un modèle d'évaluation qui exclut d'autres explications de vos résultats garantit mieux sa validité interne.

Nous vous montrerons certaines des obstacles types à la validité interne que posent les résultats d'évaluation. Un modèle d'évaluation solide viendra contrer ces obstacles. Il accroîtra votre confiance que vos résultats sont imputables à votre projet et non à des facteurs extérieurs.

Les événements historiques - Vous souvenezvous de Sir John A.Note de bas de page 1? Il fait partie de l'histoire au sens de connaissance et récit des événements du passé. Les événements historiques dont il s'agit ici sont plutôt des événements extérieurs qui ne sont pas liés à votre projet et qui exercent une influence sur les changements que votre évaluation est en mesure de suivre au fil du temps. Il peut y avoir eu certains événements historiques dans la collectivité qui ont influé sur les changements que vous avez détectés, mais ils ne sont pas liés à votre projet.

À titre d'exemple, un projet axé sur la diminution de la toxicomanie peut choisir d'utiliser les accusations portées par des policiers comme indicateur de changement. Si des changements aux politiques de la police concernant le dépôt d'accusations de possession simple ont eu lieu au cours du calendrier du projet, l'utilisation de cet indicateur pourrait mener à une fausse interprétation des effets du projet. Une augmentation ou une diminution du nombre d'accusations pourrait être interprétée comme un changement à la toxicomanie alors que dans les faits, l'augmentation ou la diminution est le résultat d'une modification des politiques de la police.

La maturation - La maturation désigne des changements survenus naturellement avecl'évolution du temps. À titre d'exemple, les enfants changent au fur et à mesure qu'ils grandissent. Les changements dans leurs comportements ou leurs attitudes au fil du temps pourraient refléter le processus normal de maturation.

Les autres catégories de validité

Voici des définitions de trois autres catégories de validité :

Trop de renseignements?

S'il vous semble y avoir tout simplement « trop de renseignements », ne vous inquiétez pas. Vous n'avez pas besoin de tous ces détails. (Nous pensions tout simplement que vous seriez intéressé(e)!) Il convient de se rappeler que les obstacles à la validité sont des facteurs autres que la participation à des activités de projet qui mènent à des changements apportés au groupe étudié. Les obstacles à la validité peuvent mener à de fausses conclusions au sujet de la capacité ou de l'échec de votre projet à obtenir les résultats que vous aviez prévus.

L'étude des changements touchant le développement chez les enfants et les adolescents peut être particulièrement difficile parce qu'ils vivent naturellement des changements au fur et à mesure qu'ils vieillissent, peu importe leur participation à des projets. Pour écarter cet obstacle, vous pourriez comparer les changements vécus par les participants au projet à ceux que vivent des membres d'un groupe témoin qui ne participe pas au projet. Si le groupe du projet a vécu des changements semblables à ceux du groupe témoin, cela laisse supposer que les changements en question pourraient tout simplement avoir été causés par la maturation. Si les changements vécus par le groupe du projet ont excédé ceux qui ont été vécus par le groupe témoin, vous pourriez être davantage convaincu que les changements ne résultaient pas de la seule maturation, mais qu'ils étaient plutôt le résultat des activités de projet.

La sélection – L'obstacle de la sélection découle du fait que les gens qui choisissent de se joindre aux activités du projet pourraient être différents de ceux qui ne le font pas.

À titre d'exemple, un projet qui offre des ateliers au sujet de la fraude commise contre les personnes âgées pourrait attirer des personnes âgées qui sont plus susceptibles de chercher de l'information, ce qui les rend d'ailleurs moins vulnérables à la fraude. Voilà une autre bonne raison d'utiliser un groupe témoin lorsque c'est possible. Si vous pouviez étudier les changements chez les personnes âgées qui ont participé à des ateliers du projet et les comparer à un groupe semblable de personnes âgées qui n'y ont pas participé, vous pourriez écarter l'obstacle que représente la sélection.

Vous voudrez par contre vous assurer que la sélection des membres des groupes de participants et des groupes témoins n'a pas fait l'objet d'une erreur systématique. Nous parlerons davantage des façons d'éviter les biais de sélection dans les projets et les groupes témoins à la fin du module lorsque nous traiterons de modèles expérimentaux et quasi expérimentaux.

L'attrition - L'attrition présente certaines similitudes avec l'obstacle de la sélection. Il y a attrition quand l'analyse du changement est centrée uniquement sur les participants qui terminent une activité. Ceux et celles qui terminent une activité pourraient être ceux et celles qui étaient les plus motivés à réussir, tandis que ceux et celles qui ont abandonné étaient peutêtre plus vulnérables au départ.

Supposons par exemple que dans le cadre d'un projet axé sur la gestion de la colère, on ait demandé aux participants de remplir un questionnaire portant sur la gestion de la colère avant et après le programme. Les menottes représentent les participants qui ont été accusés d'infractions et emprisonnés avant la fin du programme. Au stade de l'administration des post-tests, les participants en question n'étaient pas disponibles, ce qui fait que leurs résultats ne pouvaient pas être inclus dans la moyenne de ces post-tests. Ils étaient néanmoins probablement plus vulnérables au départ, tandis que ceux et celles qui ont achevé le programme étaient probablement plus susceptibles de réussir, même en l'absence du programme. C'est pourquoi il est souhaitable de recueillir de l'information additionnelle au sujet de l'histoire des participants et leurs données démographiques lors des prétests et des post-tests. Vous pouvez ensuite comparer ceux qui abandonnent à ceux qui sont restés dans le projet pour déterminer s'ils s'avéraient différents d'une manière ou d'une autre.

Les tests - Plus souvent vous mesurez un aspect, plus les participants seront familiarisés avec les tests. Leurs réponses pourraient être influencées par la réponse qu'ils ont fournie la première fois. Voilà une bonne raison d'éviter de faire des prétests et des post-tests dans une trop courte période de temps.

Les instruments - Il arrive que le test ou le questionnaire que vous utilisez comme indicateur pose lui-même un problème. Si par exemple votre évaluation avait recours à deux intervieweurs qui posaient la même série de questions de différentes façons ou qui consignaient les réponses différemment, les résultats de l'entrevue pourraient différer en raison de la façon dont l'entrevue a été menée plutôt qu'en raison de l'effet du projet.

La régression statistique - Il peut arriver que des facteurs tels qu'une forme physique affaiblie ou encore le manque de sommeil au cours de la nuit qui précède le test puissent influer sur les résultats de certains participants aux prétests. C'est souvent le cas lorsque le test a un faible taux de fiabilité. Dans le module 4, nous avons expliqué qu'un instrument fiable donne une information constante au fil du temps. Si ces mêmes participants qui ont eu des résultats moindres au prétest en raison de leur état complètent le post-test dans une forme normale, leurs résultats démontreront une nette amélioration que l'on ne pourra toutefois pas attribuer au projet. Il est démontré de façon générale, que les personnes qui ont des résultats très élevés ou très bas ont tendance, avec le temps, à se rapprocher de la moyenne. Ce phénomène s'appelle la régression statistique. Elle constitue un obstacle à la validité particulièrement lorsque les participants au groupe expérimental sont choisis en fonction de leurs résultats extrêmes au prétest.

Les modèles expérimentaux contribuent à faire diminuer les biais de sélection. Les participants se voient affecter de façon aléatoire à un projet ou à un groupe témoin.

Lorsque l'affectation aléatoire n'est pas possible, les modèles quasi expérimentaux peuvent être utilisés. Ils ont recours à d'autres façons de former un groupe témoin, tout en tentant de contrôler les biais de sélection. Un groupe témoin pourrait par exemple être constitué à partir d'une liste d'attente en vue du projet ou d'une collectivité semblable comptant des membres ayant des antécédents similaires à ceux des participants au projet.

Les modèles d'évaluation

Dans les modules de formation précédents, nous avons discuté des questions suivantes :

Lorsque vous choisissez vos méthodes de collecte de données, vous devez également tenir compte du modèle de votre évaluation :

  1. Quel modèle conviendra le mieux au projet que vous désirez évaluer?
  2. Comment le modèle contrera-t-il les obstacles éventuels à la validité?

Modèle 1 : Modèle avec mesure après le programme seulement avec un seul groupe

Supposons ce qui suit :

X = votre intervention dans le cadre du projet
O = le moment où vous mesurerez ou évaluerez le changement découlant du projet

Si les participants prennent part à vos activités de projet et si vous mesurez les résultats par la suite, voici à quoi ressemblerait votre modèle :

X : Ce que fait votre projet.
O : Le moment où vous mesurez les résultats.

Supposons que votre projet comportait des activités visant à accroître la fierté des jeunes à l'égard de leur patrimoine culturel. Ce volet est indiqué par X.

Après la fin de ces activités, le personnel du projet a demandé aux jeunes participants aux activités de répondre à certaines questions afin d'évaluer leurs connaissances, leur sentiment d'appartenance et leur fierté à l'égard de leur culture. 0 représente cette évaluation.

Votre évaluation comportait une mesure des résultats du projet à un seul moment : après la fin des activités.

Certains aspects à considérer :

Lorsque vous repensez à la liste des obstacles à la validité, à quels obstacles ce modèle pourrait-il être vulnérable, selon vous?

À quoi compareriez-vous les résultats?

Comment saurez-vous si les résultats découlent du projet et non de facteurs externes?

Que savez-vous sur les connaissances et les sentiments des jeunes à l'égard de leur culture AVANT leur participation au programme?

Que savez-vous sur l'intervention vécue par les participants ou sur les activités visant à atteindre les résultats? Quels changements recommanderiez-vous d'apporter au modèle afin d'aider à répondre à ces questions?

Modèle 2 : Modèle avec mesure avant et après le programme avec un seul groupe

Encore une fois, supposons ce qui suit :

X = votre intervention dans le cadre du projet
O = le moment où vous mesurerez ou évaluerez le changement découlant du projet

Si vous mesurez le changement avant et après le programme, voici à quoi ressemblerait le modèle :

O : Prétest
X : Intervention
O : Post-test

Supposons qu'il s'agisse du même projet dont nous avons traité précédemment. Cette fois, les connaissances, le sentiment d'appartenance et la fierté des jeunes à l'égard de leur culture ont été mesurés avant les activités du projet, puis une autre fois après les activités.

Voici certaines questions qui pourraient vous aider à réfléchir davantage sur ce modèle.

Questions :

Ce modèle est-il meilleur que le modèle avec post-test seulement?

À quels obstacles à la validité est-il vulnérable?

À quoi compareriez-vous les résultats?

Comment saurez-vous si les résultats découlent du programme et non de facteurs externes?

Que savez-vous sur les connaissances et les sentiments des jeunes à l'égard de leur culture AVANT leur participation au programme?

Que savez-vous sur l'intervention vécue par les participants ou sur les activités visant à atteindre les résultats?

Quels changements recommanderiez-vous d'apporter au modèle afin d'aider à répondre aux questions toujours sans réponse?

Modèle 3 : Modèle avec mesure après le programme seulement avec un groupe témoin

Dans ce modèle, vous mesurez les résultats des participants qui prennent part à votre projet après les activités de projet. Vous utilisez la même mesure avec un deuxième groupe qui ne participe pas à votre projet. Vous testez le deuxième groupe en même temps que vous testez les participants au projet.

01 = Évaluation du groupe expérimental
02
= Évaluation du groupe témoin

Si vous deviez utiliser les symboles pour montrer comment ce modèle fonctionne, voici à quoi cela ressemblerait :

Il n'y a pas de X pour le groupe témoin parce que les membres de ce groupe n'ont pas participé à une intervention.

Si nous nous reportons à l'exemple précédent, dans ce modèle, les connaissances, le sentiment d'appartenance et la fierté des jeunes à l'égard de leur culture ont été mesurés après les activités du projet. EN OUTRE, un groupe témoin (dont les membres n'ont pas participé au projet) a été évalué au même moment.

Questions :

Que pensez-vous de ce modèle?

Est-il meilleur ou pire que les modèles précédents?

À quels obstacles à la validité est-il vulnérable?

À quoi compareriez-vous les résultats?

Comment saurez-vous si les résultats découlent du projet et non de facteurs externes?

Que savez-vous sur les connaissances et les sentiments des jeunes à l'égard de leur culture AVANT leur participation au projet?

Comment saurez-vous si le groupe témoin a été traité différemment du groupe du projet?

Quels changements recommanderiez-vous d'apporter au modèle afin d'aider à répondre aux questions toujours sans réponse?

Modèle 4 : Modèle avec mesure avant et après le programme avec groupe témoin

Dans ce modèle, vous mesurez les résultats des participants qui prennent part à votre projet avant et après les activités de projet. Vous utilisez les mêmes mesures avec un deuxième groupe qui ne participait pas à votre projet. Vous testez le deuxième groupe en même temps que vous testez les participants au projet.

Si vous deviez utiliser les symboles requis pour illustrer comment fonctionne ce modèle, voici à quoi cela ressemblerait :

Prétest des participants au projet Post-test des participants au projet

Comme dans le modèle 3, il n'y a pas de X pour le groupe témoin parce qu'il n'a pas participé à une intervention.

Revenons au même exemple de projet visant à accroître la fierté des jeunes à l'égard de leur patrimoine culturel. Dans ce cas-ci, les connaissances, le sentiment d'appartenance et la fierté des jeunes à l'égard de leur culture sont mesurés avant et après les activités du projet. Un groupe témoin dont les membres n'ont pas participé au projet est testé en même temps.

Questions :

Que pensez-vous de ce modèle? Est-il meilleur que les modèles précédents?

À quels obstacles à la validité est-il vulnérable?

À quoi compareriez-vous les résultats?

Comment saurez-vous si les résultats découlent du projet et non de facteurs externes?

Que savez-vous sur les connaissances et les sentiments des jeunes à l'égard de leur culture AVANT leur participation au programme?

Comment savez-vous si le groupe témoin a été traité différemment du groupe expérimental?

Modèle 5 : Modèle chronologique

La plupart des groupes communautaires qui prennent part à la prévention du crime par le développement social ne disposent probablement pas des ressources ou du temps requis pour utiliser un modèle chronologique. Dans le cas où ce serait possible, nous donnons un bref aperçu de ce type de modèle. Le modèle chronologique est semblable aux modèles à mesure avant et après le programme, sauf qu'il prend des mesures à quelques reprises avant que le projet n'ait lieu et le même nombre de fois après qu'il a eu lieu.

Le modèle chronologique peut comporter un seul groupe ou aussi un groupe témoin. Au moyen des mêmes symboles dont nous nous sommes servis pour illustrer les modèles aux pages précédentes, nous vous donnons des exemples de quelques modèles chronologiques.

Un modèle chronologique avec un seul groupe pourrait ressembler à ceci :

Dans ce cas, des évaluations sont effectuées à trois moments différents avant l'intervention et à trois moments après l'intervention.

Un modèle chronologique avec groupe témoin pourrait ressembler à ceci :

Comme dans l'exemple du modèle avec un seul groupe, le schéma illustré ici inclut des mesures avant le programme à trois moments différents, qui visent cette fois autant le groupe du projet que le groupe témoin, et des mesures après le programme à trois occasions différentes après la fin de l'intervention.

Un modèle chronologique interrompu avec un seul groupe ressemblerait à ceci :

Le modèle chronologique interrompu prend des mesures entre les étapes d'une intervention ou d'un projet pour favoriser une meilleure compréhension de la façon dont les différentes parties de l'intervention fonctionnent ensemble afin de produire des résultats. Dans ce cas, les mesures sont effectuées à deux reprises avant qu'une activité du projet ou qu'un ensemble d'activités du projet n'aient lieu. Les évaluations sont effectuées de nouveau à deux occasions après l'activité ou l'ensemble d'activités. Une autre activité ou un autre ensemble d'activités du projet a ensuite lieu et des évaluations sont faites ultérieurement à deux reprises.

Un modèle chronologique interrompu avec groupe témoin ressemblerait à ceci :

Le schéma qui est présenté ici est le même que celui du modèle avec un seul groupe. Un groupe témoin qui fait l'objet d'évaluations en même temps que le groupe du projet est ajouté à ce modèle.

En règle générale, les modèles chronologiques peuvent être plus efficaces que les modèles avec mesure avant et après le programme. L'analyse des résultats générés par les modèles chronologiques peut donner une meilleure idée des tendances. À titre d'exemple, si vous preniez des mesures tous les trois mois, trois fois avant la réalisation du projet et trois fois après celui-ci, vous pourriez constater si un changement clair dans les résultats s'est produit pendant la période durant laquelle le projet s'est déroulé. Un modèle chronologique avec groupe témoin renforcera la possibilité d'attribuer ces résultats au projet et non à d'autres facteurs externes.

Ces modèles sont confrontés à des obstacles à la validité semblables à ceux qui touchent les modèles équivalents avec mesure avant et après le programme. Les tests peuvent présenter des obstacles plus sérieux aux modèles chronologiques, lorsque des mesures telles que des questionnaires sont administrées directement aux participants, parce qu'elles sont souvent prises tout au long de la période d'évaluation. Ce ne sera pas le cas si les mesures utilisées sont des registres de présence à l'école, des notes ou des rapports de police qui ne touchent pas directement les participants. En ce qui concerne les modèles chronologiques, il convient de garder à l'esprit que les analyses statistiques de ces modèles peuvent être très complexes.

Quelques mots au sujet des groupes témoins

L'expérience nous a enseigné que l'utilisation d'un groupe témoin dans une évaluation renforcera votre capacité de tirer des conclusions au sujet de l'efficacité. Par contre, nous savons tous que cet idéal n'est pas facile à atteindre. Il est souvent très difficile, lors de l'évaluation de programmes communautaires, d'obtenir un groupe témoin raisonnable. Par conséquent, que pouvons-nous faire pour généraliser nos conclusions en l'absence d'un groupe témoin? Voici quelques suggestions :

Faites appel à votre imagination pour trouver d'autres moyens de renforcer vos conclusions.

Mise en garde...

Si vous pouvez trouver un groupe témoin pour renforcer votre modèle d'évaluation, il importe de reconnaître que certains groupes témoins sont meilleurs que d'autres. Premièrement, voici une règle d'or en matière de modèle d'évaluation :

La sélection aléatoire est utilisée dans ce qu'il est convenu d'appeler le modèle expérimental. Les participants sont affectés au hasard au groupe témoin ou au groupe expérimental (d'intervention). À titre d'exemple, des jeunes qui ont eu des démêlés avec la justice pourraient être affectés soit à un programme visant à faire diminuer les démêlés éventuels avec la justice, soit à un groupe qui n'est pas associé au programme et duquel on peut obtenir de l'information comparable. Ils sont affectés au groupe de projet ou au groupe témoin de manière aléatoire (p. ex., un jeune sur deux est assigné à l'autre groupe). Ainsi, il est plus facile de s'assurer qu'il n'existe pas de différences systématiques entre les deux groupes.

Il arrive fréquemment que la sélection aléatoire soit impossible. Il est préférable dans ces cas de tenter de former un groupe témoin à partir de personnes ayant des caractéristiques semblables. À titre d'exemple, dans le cas du programme des jeunes ayant eu des démêlés avec la justice, nous pourrions demander à des jeunes figurant sur une liste d'attente ou à des jeunes d'un milieu semblable de participer au groupe témoin. Il s'agit alors d'un modèle quasi expérimental. Dans de tels modèles, il importe de veiller à ce que les deux groupes soient comparables. Les données démographiques comme les renseignements portant sur l'âge, l'origine ethnique, le niveau d'éducation, le revenu et les démêlés antérieurs avec la justice sont recueillies auprès des deux groupes pour nous aider à établir si le groupe témoin est comparable au groupe d'intervention.

Glossaire

Échantillon

Un échantillon est un sous-groupe à l'intérieur d'une population plus vaste. On l'étudie pour obtenir de l'information au sujet d'une population entière.

Groupe expérimental

Un groupe expérimental est un groupe de personnes qui participent à une intervention (ou à un programme). Les résultats obtenus par le groupe expérimental peuvent être comparés à ceux d'un groupe témoin qui ne participe pas à l'intervention. Le groupe témoin devrait présenter des caractéristiques semblables à celles du groupe expérimental, sauf qu'il ne participe pas l'intervention à l'étude. On mesure ensuite les écarts dans les résultats obtenus auprès des deux groupes.

Groupe témoin (ou de contrôle)

Un groupe témoin est appelé groupe de contrôle dans des laboratoires. Comme les chercheurs exercent beaucoup moins de contrôle sur les milieux communautaires, le groupe est alors appelé groupe témoin. Le groupe témoin est formé de personnes qui présentent des caractéristiques semblables à celles des participants au projet évalué, mais qui ne sont pas exposées à l'intervention.

Prétest et post-test

Le même instrument est utilisé avant et après une intervention ou un programme.

Sélection aléatoire

La sélection aléatoire signifie que les personnes (ou les collectivités) ont une chance égale d'être choisies comme membres d'un groupe témoin ou d'un groupe d'intervention. C'est le hasard qui détermine si une personne ou une collectivité sera sélectionnée dans un groupe ou un autre.

Références

Clark, A. (1999). Evaluation research: An introduction to principles, methods and practice. Thousand Oaks, CA: Sage.

Wholey, J.S., Hatry, H.P., & Newcomer, K.E. (1995). Handbook of practical program evaluation. San Francisco: Jossey-Bass.

Ressources suggérées

Sites Web

North Central Educational Regional Laboratory (NCREL)
Modèle et outils d'évaluation

http://www.ncrel.org/tandl/eval2.htm

Ce site Web fournit de l'information au sujet du modèle d'évaluation. Il répond à trois questions principales : Pourquoi devriez-vous évaluer votre projet? Que devriez-vous évaluer? Comment devriez-vous évaluer? Il est question des obstacles communs à la validité.

Northwest Regional Educational Laboratory
Évaluation de l'impact

http://www.nwrac.org/whole-school/impact_c.html

Ce site Web offre de l'information utile portant sur divers modèles d'évaluation.

Manuels et Guides

Fondation nationale des sciences
User-Friendly Handbook for Mixed Method Evaluations

http://www.ehr.nsf.gov/EHR/REC/pubs/NSF97-153/start.htm

Ce guide convivial fournit des renseignements concernant les modèles de recherche qualitative et quantitative.

Conseil du Trésor du Canada
Méthodes d'évaluation des programmes : Mesure et attribution des résultats des programmes, vol. 3

http://www.tbs-sct.gc.ca/eval/pubs/meth/pem-mep_f.pdf

Ce guide traite de différentes considérations d'ordre méthodologique. Il comprend un long chapitre sur les modèles et les stratégies d'évaluation.

The Urban Institute
Evaluation Strategies for Human Services Programs

http://www.urban.org/url.cfm?ID=306619

Ce guide comporte des réflexions sur les différentes questions d'évaluation, y compris une section exhaustive sur l'élaboration d'un modèle d'évaluation.

Livres

Trochim, William M., (2000).
The Research Methods Knowledge Base, 2e édition.

http://www.socialresearchmethods.net/

Ce manuel en ligne guide l'utilisateur dans le modèle d'évaluation et dans les points forts et les faiblesses associés aux divers modèles.

Questions concernant les modèles d'évaluation (p. 6 - 10)

Modèle 1

À quels obstacles ce modèle pourrait-il être vulnérable, selon vous?
Il peut être vulnérable à tous les obstacles sauf ceux qui sont liés aux tests (à moins que les participants aient effectué les tests auparavant). Il est difficile de savoir avec certitude si le modèle est vulnérable aux problèmes liés aux instruments ou à la régression statistique, parce que nous ne savons pas si le test constituait une bonne mesure du résultat ou s'il avait été administré de manière cohérente ou encore quel aurait été le résultat des tests si les participants avaient été testés avant le programme.

À quoi compareriez-vous les résultats?
On ne peut comparer les résultats à quoi que ce soit.

Comment saurez-vous si les résultats découlent du projet et non de facteurs externes?
Il est impossible de le savoir avec certitude.

Que savez-vous sur les connaissances et les sentiments des jeunes à l'égard de leur culture AVANT leur participation au programme?
Il est impossible de savoir quoi que ce soit avec certitude.

Que savez-vous sur l'intervention vécue par les participants ou sur les activités visant à atteindre les résultats?
On ne peut rien savoir à ce sujet sans suivre un processus d'évaluation ou effectuer un suivi de projet à un niveau quelconque. Si l'information sur les processus permettant de savoir comment l'intervention a été faite n'est pas recueillie, il est difficile de tirer des conclusions sur ce qui a fonctionné ou non.

Modèle 2

À quels obstacles de validité est-il vulnérable?
Il peut être vulnérable à tous les obstacles de validité. Il est difficile de savoir avec certitude si le modèle est vulnérable aux problèmes liés aux instruments parce que nous ne savons pas si le test constituait une bonne mesure du résultat ou s'il avait été administré de manière cohérente.

À quoi compareriez-vous les résultats?
Cette fois, vous pouvez les comparer aux résultats des tests antérieurs.

Comment saurez-vous si les résultats découlent du programme et non de facteurs externes?
Une fois de plus, il est impossible de le savoir avec certitude.

Que savez-vous sur les connaissances et les sentiments des jeunes à l'égard de leur culture AVANT leur participation au programme?
Le test antérieur vous apprendra quelque chose sur les connaissances et les sentiments des jeunes avant leur participation au programme.

Que savez-vous sur l'intervention vécue par les participants ou sur les activités visant à atteindre les résultats?
Une fois de plus, vous ne le saurez pas sans suivre un processus d'évaluation ou sans effectuer un suivi de projet quelconque.

Modèle 3

À quels obstacles de validité est-il vulnérable?
Il est moins vulnérable aux obstacles liés à l'histoire, à la maturation, à la sélection et à l'attrition que les modèles avec un seul groupe. Il pourrait toutefois y avoir un biais en ce qui concerne la sélection pour déterminer qui se trouve dans le groupe témoin et qui se trouve dans le groupe exposé au programme. La sélection aléatoire de ces deux groupes atténuerait cette préoccupation. Il est susceptible d'être vulnérable aux obstacles liés aux tests uniquement lorsque les participants ont effectué les tests auparavant. Il est difficile de déterminer s'il est vulnérable aux instruments, ou à la régression statistique, parce que nous ignorons si le test constituait une bonne mesure du résultat ou s'il avait été administré de manière cohérente.

À quoi compareriez-vous les résultats?
Vous pouvez comparer les résultats du groupe exposé au programme à ceux du groupe témoin. Si les résultats sont meilleurs pour le groupe exposé au programme que pour le groupe témoin, cela indique que le programme a eu un effet.

Comment saurez-vous si les résultats découlent du programme et non de facteurs externes?
Si les participants au projet obtiennent une meilleure note que ceux du groupe témoin, cela implique que le programme a fait une différence. Vous ne pouvez toutefois pas le déterminer avec certitude sans savoir s'il y avait des différences entre le groupe témoin et le groupe exposé au programme au départ. Il serait aussi utile de connaître quelque peu les influences exercées sur le groupe témoin.

Que savez-vous sur les connaissances et les sentiments des jeunes à l'égard de leur culture AVANT leur participation au projet?
Ce modèle ne permet pas de savoir quoi que ce soit.

Comment saurez-vous si le groupe témoin a été traité différemment du groupe du projet?
Il faudrait consigner les activités du projet et mieux connaître toutes les activités avec lesquelles le groupe témoin a été en contact.

Modèle 4

À quels obstacles de la validité est-il vulnérable?
Il est moins vulnérable à tous les obstacles de la validité. Toutefois, il pourrait y avoir un biais de sélection lorsqu'on décide qui se trouve dans le groupe témoin et qui se trouve dans le groupe exposé au programme. La sélection aléatoire de ces deux groupes atténuerait cette préoccupation. Le modèle peut être vulnérable aux obstacles liés aux tests si les mesures avant et après le programme sont administrées trop près au fil du temps. Il est difficile de déterminer s'il est vulnérable aux instruments parce que nous ignorons si le test constituait une bonne mesure du résultat ou s'il avait été administré de manière cohérente.

À quoi compareriez-vous les résultats?
Vous pouvez comparer le changement survenu au fil du temps entre le groupe exposé au programme et le groupe témoin. Ce procédé aide à éliminer la plupart des obstacles à la validité, à condition que les deux groupes soient comparables dès le départ.

Comment saurez-vous si les résultats découlent du programme et non de facteurs externes?
Si les participants au programme obtiennent de meilleurs résultats que le groupe témoin, cela implique que le projet a fait une différence. Il peut toutefois subsister un doute si nous ne connaissons rien des influences exercées sur le groupe témoin et la mesure dans laquelle le groupe du programme et le groupe témoin étaient comparables au départ.

Que savez-vous sur les connaissances et les sentiments des jeunes à l'égard de leur culture AVANT leur participation au projet?
Vous obtiendrez cette information grâce à la mesure avant le programme.

Comment saurez-vous si le groupe témoin a été traité différemment du groupe du programme?
Il faudrait consigner les activités du programme et mieux connaître toutes les activités avec lesquelles le groupe témoin a été en contact.

Module 5 - Feuilles de travail

Feuille de travail 1 Modèle d'évaluation

Modèle :

Mesures proposées, moment et personne responsable de leur administration :

Stratégies/justifications du traitement des obstacles à la validité :

1 - Événements historiques

2 - Maturation

3 - Attrition

4 - Tests

5 - Instruments

Module 6 : Analyse des données et communication des résultatsNote de bas de page 2

Les objectifs d'apprentissage

L'art d'interpréter les données

L'évaluation relève à la fois de l'art et de la science. Si vous analysez des données numériques, il importe de garder à l'esprit que les nombres que vous obtenez ne sont pas des résultats comme tels, mais plutôt des indicateurs des résultats. Voici un rappel de ce qu'est un indicateur?

Un indicateur est une variable (ou une information) qui mesure un aspect d'un programme ou d'un projet. Il révèle si un projet a atteint un objectif en particulier.

Les indicateurs ne révèlent cependant pas tout. On devrait les considérer dans un contexte plus vaste et tenir compte des multiples facteurs pouvant les influencer. Voilà en quoi consiste l'art de communiquer des résultats. Parmi les facteurs qui peuvent influencer les résultats, citons :

L'art d'interpréter les données

Il est préférable de tenir compte du mode d'analyse de vos données avant de commencer à les recueillir. Votre plan d'analyse devrait faire partie de votre plan d'évaluation. Soyez ouverts à diverses méthodes d'analyse. Il est toujours bon de consulter d'autres personnes qui peuvent vous conseiller au sujet de la meilleure façon d'analyser les données que vous souhaitez obtenir. Lorsque vous planifierez votre évaluation, communiquez avec des universitaires, des consultants ou d'autres spécialistes du domaine de la prévention du crime par le développement social pour obtenir des opinions sur les méthodes d'analyse les plus appropriées. Une fois que vous aurez analysé les données, les participants, les partenaires et le personnel pourraient être en mesure de vous éclairer sur les explications possibles des résultats obtenus. Il conviendrait de les inclure dans vos consultations au sujet de la façon d'interpréter les résultats de votre évaluation.

La science de l'analyse des données

Même si l'interprétation et la communication des données relèvent aussi de l'art, il ne peut y avoir de place que pour la science dans la consignation et l'analyse des résultats. L'exactitude et la minutie sont essentielles.

Imaginez les conséquences d'une inscription par mégarde dans la mauvaise colonne d'une base de données des réponses obtenues des participants au projet quant aux mesures de comportements ou d'attitudes. Cette erreur vous amènerait à tirer des conclusions fondées sur des renseignements inexacts. Ou alors pensez aux conséquences de formuler des conclusions basées sur les réponses de participants à des questions qu'ils ont toujours mal interprétées. Ces exemples vous donnent une idée de l'importance qu'il faut accorder à tous les aspects de la mise en œuvre de votre évaluation.

Voici quelques éléments à surveiller :

La science de l'analyse des données

Assurez-vous que les données qualitatives et quantitatives sont exactes et complètes :

Les étapes clés de l'analyse des données

L'analyse des résultats

Comme nous l'avons mentionné dans le Module 3, l'analyse suppose l'étude de la signification et de la valeur des données que vous avez collectées. Dans ce module, nous vous avons proposé une description des termes de base utilisés dans l'analyse de données. Nous les avons de nouveau inclus dans l'encadré ci-contre.

La fréquence et le pourcentage

Supposons que nous avons demandé à 472 personnes si elles étaient d'accord, en désaccord ou sans opinion quant à la question de savoir si elles se sentaient davantage en sécurité dans leur quartier après qu'un animateur communautaire a organisé une série d'ateliers ayant réuni les résidents du quartier pour discuter de questions de préoccupations communes et pour mieux se connaître.

Les résultats sont présentés dans le tableau ci-après.

La fréquence et le pourcentage
Réponse Fréquence Pourcentage
D'accord 288 61 %
Sans opinion 112 24 %
En désaccord 72 15 %
TOTAL 472 100 %

Vous savez probablement déjà comment calculer un pourcentage. Nous nous servirons du nombre de personnes d'accord avec l'énoncé pour illustrer comment il est calculé.

Le nombre de répondants qui ont dit qu'ils étaient d'accord avec l'énoncé (288) est divisé par le nombre total de répondants (472), puis multiplié par 100 pour donner le pourcentage de répondants qui convenaient qu'ils se sentaient davantage en sécurité dans leur voisinage (61 %).

288 ÷ 472 x 100 = 61 %
% du total des réponses = fréquence de réponse ÷ nombre total de réponses x 100

Des calculs plus sophistiqués...
Âge D'accord % (fréq.) Neutre % (fréq.) En désaccord % (fréq.) Total % (fréq.)
Âge 18-29 31 % (38) 25 % (31) 44 % (55) 26 % (124)
Âge 30-59 58 % (114) 36 % (71) 6 % (12) 42 % (197)
Âge 60+ 90 % (136) 7 % (10) 3 % (5) 32 % (151)
TOTAL 61 % (288) 24 % (112) 15 % (72) 100 % (472)

Vous pouvez fournir davantage d'information en ventilant de manière plus poussée les fréquences et les pourcentages suivant les différentes catégories de répondants. Vous pourriez par exemple répartir les résidents d'un quartier en fonction de l'âge, du sexe, du niveau de revenu, du type d'habitation ou de tout autre facteur susceptible d'influer sur les perceptions des gens.

Dans le tableau qui précède, nous avons classé les réponses du groupe d'un quartier en fonction de l'âge. Le tableau illustre le pourcentage et la fréquence (entre parenthèses) des réponses pour chaque groupe d'âge. Le nombre souligné montre le pourcentage des résidents de 18 à 29 ans qui affirment avoir l'impression que le quartier est plus sûr. Ce groupe d'âge représente 26 % du groupe total des répondants. La rangée et la colonne appelées TOTAL devraient toujours atteindre 100 %.

La signification statistique

Si vous aviez recueilli les opinions des résidents du quartier avant le début de la série d'ateliers, vous auriez pu ventiler les réponses en fonction de celles que vous auriez obtenues avant le projet et après le projet, ce qui vous aurait permis de déterminer si les opinions des résidents avaient évolué entre le début et la fin du projet. Comme nous l'avons appris dans le module 5, il va sans dire qu'il vous faudrait être prudent en attribuant ce changement à la série d'ateliers lorsque nous ne disposons pas de renseignements semblables d'un quartier témoin qui n'aurait pas été exposé aux ateliers. Il est possible d'effectuer des calculs statistiques encore plus poussés qui pourraient vous indiquer si les divergences d'opinions avant et après un programme ou une intervention sont « statistiquement significatives » et si elles sont peu susceptibles de s'être produites en raison du hasard.

Plus le seuil de signification est élevé, plus la probabilité que le résultat soit imputable au hasard est faible. Si un résultat est significatif à 0,01, il existe une probabilité de une sur 100 qu'il soit imputable au hasard.

Pourquoi 0,01? Parce que 1 ÷ 100 = 0,01. Par conséquent, 0,01 représente une probabilité de une sur 100 d'imputation au hasard.

1 ÷ 1000 = 0,001 ou une probabilité de 1 sur 1 000 d'imputation au hasard.

1 ÷ 20 = 0,05 ou une probabilité de 1 sur 20 d'imputation au hasard.

Vous verrez souvent un certain seuil de signification associé aux résultats d'une étude de recherche ou d'une évaluation. Vous pourriez par exemple voir : p < 0,01. Ce résultat signifie que la probabilité d'un résultat découlant du hasard est inférieure à une sur cent.

Dans les revues professionnelles, on a adopté comme pratique générale de communiquer les conclusions avec un coefficient de probabilité d'au moins 0,05. Toute personne qui possède des compétences en statistiques pourra vous conseiller quant au coefficient de probabilité recommandé pour votre analyse. Si la taille de votre échantillon est très grande, il est davantage probable que les résultats soient imputables au hasard. Des seuils de signification plus élevés sont donc généralement nécessaires.

La plupart des tests statistiques exigent que certaines hypothèses concernant les données analysées soient vérifiées. Lorsque vous comparez par exemple les moyennes de deux groupes distincts à l'aide d'un test t, nous présumons que les échantillons sont prélevés auprès de populations présentant une distribution normale et des écarts types équivalents. Une distribution normale signifie que la plupart des scores se trouvent vers le centre et qu'une proportion plus petite, mais égale, est située vers les extrémités de la distribution des scores. Le graphique d'une distribution normale ressemble un peu à une cloche. Il est parfois appelé « courbe en forme de cloche ».

Distribution normale ou « courbe en forme de cloche »

Nous n'entrerons pas dans les détails de ce qu'est un écart type. Défini simplement, l'écart type est une mesure de l'ampleur de la répartition des scores entre les plus élevés et les plus bas et de leur écart du score moyen. L'écart type augmente en proportion de la répartition des scores.

Plutôt que de rendre le texte trop complexe, nous avons inclus des ressources à la fin du présent chapitre pour vous aider à en apprendre davantage au sujet des variances et des écarts types. Nous avons également inclus une définition plus technique d'un écart type dans le glossaire. Les ressources recommandées dans ce chapitre vous seront utiles si vous êtes intéressé(e) à effectuer des tests de signification. L'utilisation de tests de signification requiert un certain savoir-faire afin que vous fassiez les calculs appropriés et que vous utilisiez les données qui suivent les hypothèses nécessaires à certains tests. Un consultant peut vous aider à cet égard.

Les trois « M »

Les trois « M » : le mode, la médiane et la moyenne sont officiellement connus sous le nom de Mesures de tendance centrale. Vous connaissez probablement ces mesures. Nous les avons présentées dans le module 3. Les trois « M » ou mesures de tendance centrale, constituent trois façons différentes de résumer où se situent la plupart des réponses d'un groupe de personnes. Le tableau ci-après illustre le niveau de satisfaction de 51 personnes qui ont indiqué sur une échelle à cinq points dans quelle mesure elles étaient satisfaites d'un atelier de formation sur l'évaluation de projets communautaires. La valeur 1 indiquait que ces personnes n'étaient pas satisfaites du tout et la valeur 5, qu'elles étaient très satisfaites.

Le niveau de satisfaction de 51 personnes
Degré de satisfaction Fréquence Pourcentage
5 5 9,8 %
4 15 29,4 %
3 19 37,3 %
2 10 19,6 %
1 2 3,9 %
TOTAL 51 100 %

La moyenne représente la réponse « moyenne ». Elle est calculée en additionnant toutes les réponses, puis en divisant par le nombre total de réponses. Pour calculer la moyenne de l'exemple du tableau qui précède, nous établissons la valeur totale de l'ensemble des réponses indiquées par les répondants, puis nous divisons par le nombre total de réponses (51) pour obtenir une valeur moyenne de 3,22 :

Moyenne = (5 x 5 + 4 x 15 + 3 x 19 + 2 x 10 + 1 x 2) ÷ 51 = 3,22

La médiane vous dit où se trouve le point milieu des réponses. Vous obtenez la médiane en classant toutes les réponses, de la plus élevée à la plus basse, puis en trouvant la réponse du milieu (dans ce cas, la 26e réponse). Si le nombre de cas est pair, la médiane est le point qui se trouve à mi-chemin entre les deux cas du milieu. Par exemple, s'il y avait 52 réponses dans l'échelle de la satisfaction, le point médian se trouverait à mi-chemin entre la réponse des 26e et des 27e cas, s'ils étaient différents.

Médiane = la 26e réponse (le point milieu) du plus élevé au plus bas = 3

Le mode est la réponse la plus souvent donnée. Dans ce cas, la plupart des gens (soit 19 répondants sur 51) ont donné la réponse 3 à leur degré de satisfaction.

Mode (réponse la plus fréquente) = 3

Quelle mesure utiliser? La moyenne, la médiane ou le mode?

Voici quelques conseils sur les circonstances dans lesquelles il convient d'utiliser chaque mesure :

Parmi les trois mesures de tendance centrale, la moyenne est surtout touchée par les réponses se démarquant de la distribution. Dans l'exemple sur la satisfaction dont nous nous sommes servis, les réponses se rangent dans ce que l'on connaît sous le nom de distribution normale ou de courbe en forme de cloche (en d'autres termes, la plupart des réponses se trouvent dans le milieu et un nombre relativement égal, mais plus petit, se trouve aux extrémités supérieure et inférieure). Par conséquent, les trois mesures, le mode, la moyenne et la médiane, sont proches l'une de l'autre. Il arrive que quelques réponses qui sont à l'extrême supérieure ou inférieure puissent influencer la moyenne, ce qui fait que la médiane est alors une meilleure mesure du point central. Dans le cas présenté, le nombre plus élevé de répondants qui indiquent leur satisfaction à 5 exerce une légère influence sur la moyenne. Par conséquent, la moyenne s'établit à 3,22 tandis que la médiane et le mode se situent à 3.

Conseils en matière d'analyse

Quand demander de l'aide?

Nous avons mentionné que les consultants peuvent vous aider à effectuer votre analyse. Vous vous demandez peut-être quand vous pouvez faire le travail vous-même et quand vous devriez faire appel à une personne qui vous aiderait à le faire. Nous vous recommandons de choisir quelqu'un qui comprend les statistiques pour vous aider à effectuer les analyses plus poussées telles que les tests de signification statistique. Un consultant peut également vous aider à déterminer le type de données dont vous avez besoin, la taille de l'échantillon requise, et les autres éléments à considérer avant la cueillette des données.

Dans le cadre d'analyses statistiques plus poussées, des consultants peuvent vous aider à vous assurer :

Les tests normalisés

Dans le module 4, nous avons traité des tests normalisés. Les tests normalisés sont souvent utilisés pour évaluer les connaissances, les attitudes et les comportements des individus. Ils comportent habituellement un certain nombre d'énoncés suivis d'une échelle (p. ex. une échelle à quatre points qui va de tout à fait d'accord à entièrement en désaccord) sur laquelle le répondant indique le point de vue qui s'applique le mieux à lui. Le processus de normalisation d'un test consiste à l'administrer à un grand nombre de personnes qui, idéalement, sont semblables à celles qui compléteront la mesure lorsqu'elle sera utilisée dans son contexte. Les données recueillies de ce grand groupe tiennent lieu d'élément comparatif pour vous aider à interpréter les réponses des répondants. La normalisation vous permet de déterminer si le score d'une personne est élevé, moyen ou bas comparativement à la « norme ».

Comme les échelles normalisées sont établies de manière à ce qu'un certain nombre d'éléments contribuent à l'évaluation d'une caractéristique ou d'un concept, les résultats de chacun des éléments ne devraient généralement pas être communiqués seuls. Dans le module 5, nous avons traité de la validité, la capacité d'une mesure d'évaluer ce qu'elle est censée mesurer. Nous avons également abordé la fiabilité, soit la capacité d'une mesure de fournir des données cohérentes au fil du temps et lorsqu'elles sont complétées par divers groupes. Un élément seul sur une échelle normalisée est susceptible de présenter une validité et une fiabilité faibles lorsqu'il est utilisé par lui-même. Il pourrait faire l'objet d'une fausse interprétation de la part du répondant ou pourrait plus vraisemblablement entraîner des réponses socialement désirables de la part de certains répondants. L'utilisation d'un score total sur une échelle ou une sous-échelle est moins susceptible d'être vulnérable à ces types de biais. Pour cette raison, il est préférable de communiquer des résultats à partir d'échelles normalisées basées sur le résultat total d'une échelle ou d'une sous-échelle.

Données qualitativesNote de bas de page 3

Vous pouvez analyser de petites quantités de données qualitatives en résumant les réponses pour fournir un portrait global de ce qui a été dit.

Lorsque vous disposez de grandes quantités de données qualitatives, vous devriez utiliser une méthode d'analyse plus systématique. L'analyse du contenu est un procédé par lequel les tendances en matière de données qualitatives sont repérées, codifiées ou nommées et ensuite classées (Patton, 1990).

L'analyse des données qualitatives constitue généralement un processus fastidieux, mais des logiciels comme NUD*IST et NVIVO (voir http://www.qsrinternational.com/) ont été élaborés pour faciliter le codage des données qualitatives.

Si vous analysez vos données qualitatives à la main en utilisant des copies papier des données (p. ex., des transcriptions d'entrevues ou de réponses ouvertes à des questions écrites), faites en au moins quatre copies avant de commencer vos analyses (Patton, 1980). Si vous analysez des transcriptions d'entrevues, demandez au transcripteur de laisser de grandes marges pour le codage. Les transcriptions d'entrevues devraient toujours être faites textuellement. Elles ne devraient jamais être résumées avant l'étape de l'analyse.

Conseils sur la préparation des copies papier des transcriptions d'entrevues aux fins de l'analyse du contenu :

Les quatre copies de vos données seront utilisées de la façon suivante :

  1. Entreposage sûr
  2. Pour s'y reporter tout au long de l'analyse
  3. Pour coder dans les marges
  4. (ou davantage de copies) Pour couper-coller sur des notes écrites ou mémos.

Une fois les données recueillies, transcrites et copiées, vous êtes prêt pour l'analyse. Voici un court résumé des étapes à suivre pour analyser le contenu :

  1. L'examen et l'organisation des données - Examiner les transcriptions (ou les réponses écrites aux questions). Noter les thèmes qui émergent et les catégories principales dans lesquelles les données semblent s'inscrire.
  2. Le codage des données - Examiner minutieusement les transcriptions (ou les réponses écrites). Chercher de l'information pertinente aux questions d'évaluation définies au début du processus d'évaluation, aux catégories et aux thèmes émergents. « Coder » les données en écrivant le sujet, la catégorie ou le thème dans la marge de droite de la page.

    Exemple

    Supposons que vous codez les réponses des participants à un projet de jeunes à une question portant sur ce qu'ils ont appris au sujet de la résolution de problèmes. Vous pourriez coder les réponses à la question de savoir s'ils se rangent dans les catégories générales suivantes : faire fin du problème, demander le soutien d'autrui, fuir ou éviter le problème ou chercher activement une solution au problème.
  3. La rédaction des mémos - Maintenant que toutes les données ont été codées, utilisez les codes que vous avez placés dans la marge de droite des transcriptions ou des réponses aux entrevues pour étudier vos données par catégorie. Vous devriez être à l'affût des contradictions, de la constance des thèmes dans les catégories ou des liens entre les catégories. Résumez ensuite cette information dans des notes écrites ou mémos.

    Exemple

    Supposons que vous avez interviewé le personnel du projet et celui d'organisations partenaires. L'une des questions d'entrevue demandait aux répondants comment ils percevaient le fonctionnement du partenariat. Vous auriez pu coder ces perceptions sous le grand titre « perceptions du partenariat ». Dans cette catégorie, vous pourriez relever des contradictions dans les perceptions qu'ont les divers groupes du partenariat. Vous pourriez ensuite préparer un mémo qui décrit les contradictions relevées. Un autre mémo pourrait décrire toute autre tendance relative aux perceptions qu'ont les répondants du partenariat.

    Miles et Huberman (1984) constatent que les mémos « ne font pas que communiquer des données, elles regroupent également différentes données ou montrent que des données en particulier illustrent un concept général » (p. 69). Les mémos aident à établir le mode de présentation des résultats de vos analyses. Ils décrivent les principaux thèmes, liens, contradictions et catégories de données.
  4. L'opération « couper-coller » - Couper et coller directement sur les mémos des citations tirées des données brutes qui se rapportent aux thèmes ou aux concepts que présentent ces mémos. Ces citations tiendront lieu d'exemples des concepts ou des thèmes que vous identifiez. Souvenez-vous de toujours coder la citation au moyen de renseignements quant à sa source (non pas le nom de la personne, mais la catégorie de répondant -participant, partenaire, membre du personnel, etc.) et un numéro de page.
  5. La vérification des conclusions - Lorsque c'est possible, utilisez les questions découlant des notes que vous avez rédigées pour préparer d'autres entrevues avec des participants. Ces entrevues seront plus réussies si vous fournissez aux participants un résumé de vos conclusions préliminaires avant l'entrevue. Miles et Huberman (1984) et Guba et Lincoln (1985) recommandent ces vérifications comme méthode de correction et de vérification des données.
  6. La révision de vos affirmations initiales - Transcrivez et analysez les données de l'entrevue de suivi en suivant les étapes 1 à 4 qui précèdent et utilisez l'information qui en résulte pour réviser vos affirmations initiales.

La communication des résultats

Votre façon de présenter vos données est, dans une certaine mesure, une question de préférence. Certaines personnes préfèrent les tableaux et d'autres privilégient les graphiques. Il arrive qu'une méthode soit mieux adaptée qu'une autre à la présentation d'un type de renseignements en particulier. Voici des renseignements généraux concernant les avantages des différentes méthodes de présentation :

Étudions de manière plus exhaustive ces différentes méthodes de communication des résultats.

Les diagrammes à bandes

Les diagrammes à bandes sont utiles pour comparer deux ensembles de données. À titre d'exemple, le diagramme qui figure ci-dessous présente des valeurs par catégories (p. ex. toujours, parfois, jamais) et au fil du temps (p. ex. en 2001 et en 2003). Les diagrammes à bandes sont également utiles pour comparer des données de prétests et de post-tests. L'axe horizontal représente les catégories (toujours, généralement, etc.), alors que l'axe vertical représente la fréquence des réponses (dans ce cas, en pourcentages).

Sentiment de sécurité rapporté par les participants en 2001 (n=90) et en 2003 (n=88)

Lorsque vous préparez un diagramme à bandes, n'oubliez pas d'inclure une « légende ». La légende est l'encadré à droite qui explique comment les couleurs ou les motifs utilisés sur les bandes se rapportent à l'année de collecte des données. Identifiez les deux axes et donnez au diagramme un titre qui explique bien son contenu. Indiquez la taille de l'échantillon. Dans ce cas, la taille de l'échantillon diffère d'une fois à l'autre; les deux cas sont donc illustrés.

Les diagrammes à bandes peuvent être trompeurs

Le diagramme à bandes ci-après présente les mêmes données que celles du diagramme cidessus. Le premier illustre un axe vertical coupé à 50 % plutôt qu'à 100 %. Les proportions entre les bandes demeurent les mêmes, mais la taille réduite de l'axe vertical fait en sorte que les bandes remplissent mieux le diagramme. Cette présentation peut tromper l'œil et amener le lecteur à penser que davantage de personnes se sentent généralement ou parfois en sécurité que ce qui se produit réellement. Il n'est toutefois pas incorrect de présenter les données ainsi. Le lecteur devrait toujours jeter un coup d'œil sur l'axe vertical pour déterminer s'il présente une échelle complète ou seulement une partie de celle-ci. Bien que vous puissiez vous en tirer sans présenter la partie supérieure de l'axe vertical qui montre les pourcentages, vous devriez toujours faire démarrer l'échelle à zéro.

La valeur la plus élevée sur l'axe vertical du diagramme figurant ci-dessous est de 100 %. Elle est moins susceptible de tromper l'œil que le précédent. Cependant, le diagramme ne remplit pas aussi bien la page! Jetez un coup d'oeil à l'axe vertical. Ne laissez pas cette illusion visuelle vous faire croire que davantage de personnes ont répondu d'une certaine manière qu'elles ne l'ont réellement fait.

Sentiment de sécurité rapporté par les participants en 2001 (n=90) et en 2003 (n=88)

Les graphiques linéaires simples

Les graphiques linéaires simples constituent une bonne façon d'illustrer des changements continus comme les augmentations et les diminutions du sentiment de sécurité au fil du temps. Les graphiques linéaires simples sont particulièrement utiles pour communiquer des tendances. Ils peuvent être utilisés pour comparer les changements vécus par plus d'un groupe ou dans plus d'un secteur à l'aide de différentes lignes dans le graphique.

L'axe horizontal du graphique linéaire de la page suivante représente les dates de la collecte de données. L'axe vertical illustre la fréquence des réponses (dans ce cas, le pourcentage des personnes ayant perçu le lieu comme sûr).

N'oubliez pas d'inclure un titre descriptif et une légende et d'identifier les axes de votre graphique linéaire. Utilisez des espaces égaux sur l'échelle.

Perceptions qu'ont les résidents de la sécurité dans les lieux du complexe d'habitation : 1998 (n=200), 2000 (n=192), 2002 (n=216) et 2003 (n=230)

Nous montrons ci-dessous un autre exemple de manipulation de l'axe vertical. Dans ce cas, nous avons présenté les mêmes données que dans le graphique précédent, mais nous avons limité l'échelle de l'axe vertical de manière à ce qu'il commence à 30 et se termine à 90. Comme nous l'avons mentionné précédemment, ce n'est pas une bonne idée de faire commencer l'axe vertical au dessus de zéro. Comme vous pouvez le voir dans le graphique cidessous, cette façon de faire trompe l'œil en exagérant la mesure dans laquelle il y a eu un changement dans la perception de la sécurité sur la période de six ans.

Perceptions qu'ont les résidents de la sécurité dans les différents

Les diagrammes circulaires

Les diagrammes circulaires constituent une bonne façon d'illustrer les différentes parties d'un plus grand ensemble. Ils devraient être utilisés lorsque les données sont représentées en pourcentage de l'ensemble. Si, par exemple, vous décrivez les données démographiques qui forment votre population de participants, le diagramme circulaire présente bien la population par niveau d'éducation, par groupe de revenu ou par état matrimonial.

Les diagrammes circulaires devraient être accompagnés d'une légende. Chaque partie devrait être identifiée par une valeur qui illustre le pourcentage de l'ensemble représenté.

Les tableaux

Les tableaux sont une bonne façon de présenter les liens entre les informations. Ils peuvent également être utilisés pour présenter des plans de travail et les progrès réalisés dans les activités.

Donnez au tableau un titre complet. Désignez toutes les rangées et les colonnes dans le tableau. Si des symboles sont utilisés, ajoutez une légende pour les expliquer. Le tableau ci-après présente les différences dans les caractéristiques démographiques d'un groupe de traitement (ou d'intervention) et d'un groupe témoin.

Comparaison démographique entre un groupe de traitement et un groupe témoin
  Traitement (n =54) Témoin (n=47)
Âge moyen 27 24
Éducation moyenne (années) 14 12
Revenu moyen (mensuel) 1 400 $ 1 250 $
% de femmes 55 % 52 %

Un conseil supplémentaire...

Ne pas confondre corrélation et causalité

Il s'agit de l'un des aspects les plus importants à retenir lorsque vous communiquez les résultats de votre analyse. Le fait qu'il y ait une corrélation entre deux éléments ne signifie pas nécessairement que l'un soit la cause de l'autre.

Si par exemple des adolescents qui fument présentent également un niveau plus élevé de décrochage scolaire, cela ne signifie pas qu'ils sont plus susceptibles de décrocher de l'école parce qu'ils fument. Qu'est-ce que cela signifie? Réponse : Que ceux qui fument sont plus susceptibles de décrocher. Rien de plus.

Dans le même sens, même s'il existe une corrélation entre la participation réduite à des actes criminels et la participation aux programmes, nous ne pouvons pas affirmer avec une certitude absolue que les participants au programme ont moins pris part à des crimes en raison de ce programme. Nous pouvons dire que les participants à un programme en particulier étaient moins susceptibles d'être impliqués dans des actes criminels. Si vous avez bien fait votre travail et que vous avez éliminé les autres explications possibles d'une implication réduite des participants au projet dans des actes criminels, vous pouvez affirmer que vos résultats sont prometteurs. Vous pouvez suggérer que le programme peut avoir un effet.

Questions à considérer dans votre rapport

Lorsque vous communiquez les résultats de votre évaluation, tentez de fournir aux principaux intervenants les réponses aux questions que ces derniers voudront connaître. Voici certaines questions à considérer :

Choisissez le style de votre présentation en fonction de votre auditoire

La rédaction d'un rapport peut constituer une bonne façon de résumer les résultats de votre évaluation, mais ce n'est pas la seule. Le mode de communication de vos résultats sera fonction de l'auditoire que vous tentez d'atteindre. Votre bailleur de fonds pourrait préférer un rapport écrit. Une fiche de renseignements rédigée en langue courante ou une tribune communautaire pourrait par contre mieux fonctionner pour les participants au projet.

Si vous fournissez un rapport écrit, assurez-vous qu'il comporte un sommaire. Le sommaire peut être plus accessible qu'un rapport complet. Il s'agit d'une bonne manière de joindre les lecteurs intéressés qui n'ont pas le temps de lire un long rapport.

Les vidéos ou les photographies qui illustrent certains aspects des changements apportés à la collectivité sont efficaces pour communiquer les résultats. Supposons que vous vouliez montrer dans quelle mesure votre projet a entraîné des changements à la quantité de graffitis dans votre collectivité. Une série de photographies montrant les changements survenus au fil du temps serait une façon idéale de présenter les résultats de votre projet. Un autre projet pourrait avoir pour objectif de montrer comment l'action communautaire a entraîné une plus grande circulation pédestre dans un secteur qui était auparavant évité par les résidents du quartier. Une série de photographies ou de vidéos réalisées au fil du temps constituerait un exposé convaincant.

Glossaire

Corrélation

La corrélation désigne un lien entre deux variables. Cela ne signifie pas qu'une variable cause l'autre, mais tout simplement qu'une variable est liée à l'autre. D'un point de vue statistique, la corrélation est mesurée au moyen d'un coefficient de corrélation (r). Il mesure la similitude ou le degré d'association entre deux variables. Les corrélations statistiques vont de moins un à plus un. Plus la valeur est loin de zéro, plus les deux variables sont liées (Worsley, Hoen, Thelander et Women's Health Centre au St. Joseph's Health Centre, 2002).

Distribution normale

Une distribution normale signifie que les réponses ou les scores d'une population en particulier sont distribués de façon telle que la plupart des réponses se trouvent au centre, une proportion plus petite, mais égale, étant située à chaque extrémité de l'échelle des scores. Un graphique linéaire montrant une distribution normale ressemble un peu à une cloche, ce qui fait qu'il est parfois appelé « courbe en forme de cloche ».

Écart type

Un écart type consiste en la mesure dans laquelle les scores sont variables ou étalés autour du score moyen. La définition statistique d'un écart type est la racine carrée de la variance des scores. La variance correspond à la mesure dans laquelle chaque score d'un ensemble s'écarte de la moyenne de cet ensemble de scores. Plus l'écart type est élevé, plus les scores sont étalés autour de la moyenne.

Échelle et sous-échelle

Une échelle est un test dans le cadre duquel des questions qui mesurent la même chose ou divers aspects de la même chose sont liées ensemble (Rittenhouse, Campbell et Dalto, 2002). Une sous-échelle mesure un aspect de l'échelle plus grande. Par exemple, si une échelle était utilisée pour mesurer des aptitudes en résolution de problèmes, une sous-échelle pourrait évaluer la capacité de la personne à obtenir du soutien ou des conseils d'autrui lorsqu'elle est confrontée à un problème.

Fiabilité des différents observateurs

La fiabilité des différents observateurs est utilisée pour étudier la mesure dans laquelle divers observateurs s'entendent en ce qui concerne la mesure d'un même phénomène (Aspen Institute of Comprehensive Community Initiatives, 1999).

Indicateur

Un indicateur est une variable (ou une information) qui mesure un aspect d'un programme ou d'un projet. Il indique si un projet a atteint un objectif en particulier. Il devrait y avoir au moins un indicateur pour chaque élément du projet (c.-à-d. au moins un pour chaque résultat identifié dans le modèle logique).

Normalisation

Une mesure normalisée en est une qui a été administrée à un groupe très important de personnes semblables à celles auprès desquelles la mesure sera utilisée. Les données recueillies auprès de ce groupe tiennent lieu d'élément de comparaison en vue de l'interprétation des résultats de l'évaluation d'une personne, d'un petit groupe, d'un programme. Les tests normalisés vous permettent de déterminer si le score obtenu au test par une personne est élevé, moyen ou faible comparativement à la norme (Ogden/Boyes Associates Ltd., 2001).

Normes

Les normes indiquent les scores moyens aux questions d'un sondage. Les scores des répondants peuvent être comparés aux normes du sondage pour établir comment ceux-ci se comparent à la population moyenne ou à une population présentant des caractéristiques semblables aux leurs.

Signification statistique

Les tests de signification statistique sont effectués pour établir si les résultats sont imputables au hasard ou s'ils sont susceptibles de refléter une différence ou un changement véritable.

Socialement désirable

Il arrive que des répondants fournissent des réponses à un questionnaire ou à une mesure qu'ils croient être plus favorables à leur estime de soi, davantage en accord avec les normes sociales apparentes (Polland, 1998) ou que le chercheur souhaite entendre. Ces réponses sont considérées comme socialement désirables.

Test

Un test est une façon de mettre à l'essai un outil en particulier avant qu'il ne soit utilisé dans une étude ou une évaluation. Vous pourriez, par exemple, vouloir tester un questionnaire que vous avez élaboré auprès de quelques répondants potentiels pour savoir s'ils le comprennent et si les questions vous fournissent le type de renseignements que vous souhaitez obtenir.

Test t

Un test t est un test statistique utilisé pour vérifier la différence entre les moyennes obtenues de deux populations différentes ou de la même population, mais dans des conditions différentes. Un test t pourrait par exemple être utilisé pour établir si la différence dans les scores moyens obtenus à un test administré à des participants à un projet et ceux qui ont été obtenus par des membres d'un groupe témoin est statistiquement significative (peu susceptible d'être obtenue par hasard). Ce test pourrait également servir à vérifier la signification statistique de la différence dans les scores moyens obtenus à un test administré aux participants avant et après un projet.

Références

Aspen Institute Roundtable on Comprehensive Community Initiatives. (1999). Measures for community research. Extrait le 2 novembre 2004 de
http://www.aspenmeasures.org/html/glossary.htm

Guba, E.G., & Lincoln, Y.S. (1985). Naturalistic inquiry. Beverly Hills, CA: Sage.

Miles, M. B., & Huberman, M. A. (1984). Qualitative data analysis: A sourcebook of new methods. Beverly Hills, CA: Sage.

Ogden/Boyes Associates Ltd. (1991). CAPC program evaluation tool kit: Tools and strategies for monitoring and evaluating programs involving children, families and communities. Rapport inédit produit pour Santé Canada, Direction générale de la santé de la population et de la santé publique, région de l'Alberta et des Territoires du Nord-Ouest, Calgary (Alberta).

Patton, M. Q. (1980). Qualitative evaluation methods. Beverly Hills, CA: Sage

Patton, M. Q. (1990). Qualitative evaluation and research methods. Londres: Sage.

Polland, R.J. (1998). Essentials of survey research and analysis: A workbook for community researchers. Extrait le 4 novembre 2004 de
http://www.tfn.net/%7Epolland/quest.htm

Rittenhouse, T., Campbell, J., & Dalto, M. (2002, 15 février). Dressed-down research terms: A glossary for non-researchers. Extrait le 4 novembre 2004 du site Web du Missouri Institute of Mental Health :
http://www.cstprogram.org/PCS&T/Research%20Glossary/Dressed_Down_Glossary.pdf

Services de police d'Ottawa. (2001, août). Vous pouvez y arriver : Une trousse d'outils pratiques pour l'évaluation des programmes d'intervention policière et de prévention de la criminalité dans la collectivité.

Worsley, J., Hoen, B., Thelander, M., & Women's Health Centre au St. Joseph's Health Centre. (2002, septembre). Community Action Program for Children: Ontario regional evaluation final report. Toronto, ON : Santé Canada, Direction générale de la santé de la population et de la santé publique, région de l'Ontario.

Ressources suggérées

Sites Web

Centre for Substance Abuse Prevention
Prevention Pathways

http://pathwayscourses.samhsa.gov/courses.htm

Cette série de tutoriels en ligne fournit de l'information au sujet de l'analyse de données. Le cours en ligne intitulé « Wading through the Data Swamp » inclut des sujets comme les statistiques descriptives, les coefficients de corrélation, les tests t et l'analyse du Khi carré.

Corporation for National and Community Service
Project Star : AmeriCorps Program Applicant Performance Measurement Toolkit

http://www.projectstar.org/star/AmeriCorps/pmtoolkit.htm

Ce site Web comprend des outils progressifs et conviviaux d'analyse des données de mesure du rendement. Une liste de contrôle en matière de communication fournit des lignes directrices sur ce qu'il convient d'inclure dans un rapport d'évaluation.

Innovation Network Online
http://www.innonet.org/

L'inscription gratuite à ce site Web vous donne droit à un certain nombre d'excellentes ressources, y compris un tutoriel de statistiques et un échantillon en ligne d'un rapport d'évaluation final. Une fois que vous vous serez inscrit, passez à la section des ressources pour accéder à ces outils.

Microsoft Education
Analyzing Data with Excel 2002

http://www.microsoft.com/Education/Excel2002Tutorial.aspx

Un tutoriel en ligne illustre comment analyser des données au moyen du programme Excel.

Plain Language Network
« Plain Train » : le Programme de formation en ligne sur le style clair et simple

http://www.plainlanguagenetwork.org/plaintrain/Francais/

Ce réseau fournit de l'information sur l'utilisation du langage simple dans divers sujets. Également accessible en anglais à : http://www.plainlanguagenetwork.org/plaintrain/index.html

Robert Niles.com
Statistics Every Writer Should Know

http://nilesonline.com/stats/

Cet excellent site Web vise à aider les reporters à mieux comprendre les statistiques qu'ils utilisent à titre de journalistes. Le site est facile à utiliser et s'adresse au lecteur profane. Il comprend des leçons simples portant sur des statistiques de base et un tableau qui vous aide à déterminer la taille appropriée des échantillons. Il comporte également des liens vers des lectures recommandées sur les statistiques qui s'adressent encore une fois au lecteur profane.

University of Wisconsin Program Development and Evaluation
http://www.uwex.edu/ces/pdande/evaluation/evaldocs.html

Il s'agit d'un excellent site Web qui offre des outils d'apprentissage relatifs à l'analyse de données qualitatives et quantitatives et à la communication des résultats d'évaluation. Il comprend des conseils sur la préparation des graphiques et des diagrammes.

Western Centre for Substance Abuse Prevention
Étape 7 : Évaluation

http://casat.unr.edu/bestpractices/eval.htm

Ce site Web fournit de l'information sur les meilleures pratiques d'établissement d'un programme de prévention, y compris l'instauration d'une évaluation. Il comprend une section utile sur l'analyse, l'utilisation et l'interprétation de données, à la fois qualitatives et quantitatives.

Revues

Practical Assessment, Research and Evaluation
http://pareonline.net/

Cette revue en ligne inclut des articles sur l'analyse des données et sur l'interprétation des résultats.

Livres/Manuels

Crime Prevention is Everybody's Business: A Handbook for Working Together

Les pages 76 à 79 de ce manuel fournissent de l'information sur la manière de structurer votre rapport d'évaluation final.

Bigwood, S., & Spore, M. (2003).
Presenting numbers, tables and charts. New York: Oxford University Press.

Il s'agit d'un bon ouvrage de référence qui vous aidera à présenter vos données.

Trochim, W. (2000).
The Research Methods Knowledge Base, 2e édition.

Ce document en ligne fournit beaucoup de renseignements au sujet de l'analyse des données et du processus de communication.

Services de police d'Ottawa. (2001, août). Vous pouvez y arriver : Une trousse d'outils pratiques pour l'évaluation des programmes d'intervention policière et de prévention de la criminalité dans la collectivité.

Les pages 78 et 79 de ce manuel fournissent de l'information sur la manière de structurer votre rapport d'évaluation final.

Module 6 - Feuilles de travail

Feuille de travail 1

Analyse des résultats

Feuille de travail 2

Communication des résultatsNote de bas de page 4

  1. Préparez une présentation de trois minutes sur les résultats de votre analyse.
  2. Avancez quelques hypothèses sur les facteurs qui ont pu influer sur les résultats (participants, projet, processus).
  3. Utilisez au moins un graphique, diagramme ou tableau.
  4. Tirez des conclusions : Par exemple, ces données montrent que ...
  5. Si les résultats s'avéraient différents de vos attentes, quelles en seraient les raisons, selon vous?

Module 7 : Défis et solutions en matière d'évaluation

Les objectifs d'apprentissage

Ce module décrit certains des grands défis associés à l'évaluation des projets de prévention du crime par le développement social. La description de chacun des défis est suivie de certaines solutions possibles pour donner le coup d'envoi à votre évaluation.

Premier défi : L'engagement du personnel et des partenaires

Pour qu'une évaluation connaisse du succès, elle doit bénéficier de l'appui des partenaires, des gestionnaires de projet, du personnel de première ligne et des participants. Étudions d'abord certains des défis auxquels vous pourriez devoir faire face pour rallier le personnel et les partenaires au projet. Nous aborderons la mobilisation des participants dans le deuxième défi.

Le personnel chargé du projet

Le personnel chargé du projet peut être réticent à participer à l'évaluation du programme ou du projet pour lequel il travaille. Au fur et à mesure que vous examinerez les défis énumérés plus loin, n'oubliez pas qu'il est possible que le personnel qui se consacre à votre projet vous fasse part de certaines de ses inquiétudes. Il est aussi possible qu'il ne les communique pas du tout. Certains membres seront par ailleurs enthousiastes en raison de l'occasion qui s'offre à eux de participer à une évaluation, d'acquérir de nouvelles compétences et de montrer que les activités auxquelles ils prennent part font une différence dans la vie d'autres personnes.

Les partenaires

Les projets communautaires de prévention du crime par le développement social fonctionnent généralement en partenariats ou en coalitions. Votre organisation peut exécuter conjointement des activités de projet avec d'autres groupes communautaires, des organismes de services, le système d'éducation, la police et des groupes de bénévoles. Vos partenaires pourraient recevoir des fonds de différentes sources pour appuyer ces activités. Par conséquent, tous vos partenaires et leurs bailleurs de fonds s'intéresseront probablement à l'évaluation de votre projet. Les partenaires sont parfois une source importante d'information au sujet des activités de projet et des résultats. Leur soutien et dans bien des cas leur participation active à l'évaluation sont essentiels.

Les solutions

Créer une vision commune – Faire participer des membres du personnel, des partenaires et des participants à la planification de l'évaluation peut contribuer à faire diminuer l'angoisse et la peur. Si tous vos principaux intervenants prennent part à la définition des résultats et des indicateurs potentiels de succès, ils sont plus susceptibles de soutenir l'évaluation. Consulter les membres du personnel, les partenaires et les participants sur la façon de saisir les types de changements qu'ils constatent et qu'ils vivent.

Considérer l'évaluation comme de la recherche-développement – Les membres du personnel du projet se préoccupent souvent de la manière dont l'évaluation touchera les perspectives du projet à long terme. Il importe de prendre le temps de répondre aux questions concernant l'évaluation et d'éliminer les préoccupations. Expliquer que l'évaluation vise à montrer ce qui fonctionne et les améliorations qui peuvent être apportées. Nous ne devrions pas nous attendre à ce que tout ce que nous faisons dans le domaine des services à la collectivité et aux personnes connaisse du succès, en particulier lorsque nous travaillons dans le domaine complexe du comportement humain. Les entreprises qui réussissent investissent beaucoup de temps et de ressources en recherche et développement (ou « R-D ») avant que leurs produits soient au point. L'évaluation peut nous aider à apprendre de nos gestes et à les peaufiner. Elle ne vise pas à juger le travail de quiconque, mais plutôt à améliorer notre capacité de faire une différence dans la vie de la collectivité.

Intégrer l'évaluation aux activités du projet - Lorsque l'évaluation est considérée comme une façon d'améliorer notre capacité d'apporter des changements, nous avons tendance à voir pourquoi il faut qu'elle fasse partie intégrante des activités du projet. Elle ne devrait pas être considérée comme une responsabilité « ajoutée », mais plutôt comme une partie de notre travail quotidien. Intégrer les outils d'évaluation aux activités du projet peut aider à réduire les préoccupations concernant la charge de travail. Voici certaines façons de le faire :

Donner de la formation et du soutien - Veiller à ce que les membres du personnel obtiennent la formation et le soutien dont ils ont besoin pour avoir confiance en leurs compétences et dans leurs capacités de s'acquitter de tous les aspects de leur travail, y compris l'évaluation. Déterminer quelles sont les personnes qui ont besoin d'aide. Employer des membres du personnel chevronnés ou compétents comme mentors pour ceux et celles qui ont besoin d'aide. Demander du soutien auprès des universités ou des collèges locaux pour mieux préparer les membres du personnel. Les services de santé locaux et les fondations peuvent également être en mesure d'apporter leur aide. Utiliser ce manuel et certains des exercices appris au cours des séances de formation pour former le personnel à l'interne.

Consulter les bailleurs de fonds - Les bailleurs de fonds peuvent faire preuve de souplesse. (Vraiment!) Si vos partenaires et vous-même avez de nombreux bailleurs de fonds, chacun ayant ses propres exigences en matière d'évaluation, vous pouvez trouver des façons imaginatives de concilier ces exigences. S'ils entrent vraiment en conflit, consultez votre bailleur de fonds à cet effet. Préparez quelques solutions pour montrer votre bonne volonté.

Définir le succès - Si les partenaires ont des points de vue différents sur ce que signifie le « succès », incluez des indicateurs de divers résultats positifs. Prenez toutefois garde de ne pas mesurer plus que ce que vous ne pouvez, d'une façon réaliste, recueillir et analyser.

Deuxième défi : La mobilisation des participants

Personne ne veut ressembler à ce type au moment du recrutement des participants pour une évaluation. Soutenir leur engagement peut toutefois constituer un défi. Bien qu'il soit en principe simple d'obtenir le consentement du participant, au fur et à mesure que le temps passe, il peut s'avérer difficile de maintenir sa participation à des sondages ou à des entrevues de suivi.

Les solutions

La planification de l'évaluation - Intégrer les participants à la planification de l'évaluation. Il serait bon de mobiliser d'abord les participants dans le cadre de l'élaboration d'un modèle logique. Utiliser des méthodes participatives, comme celles dont nous nous sommes servis dans le module 2, pour amener les participants à prendre part à l'identification de ce qu'ils considèrent comme les résultats du projet. Leur participation à la planification du projet et de l'évaluation fait en sorte que les participants ont un mot à dire dans les réalisations du projet. Après tout, si vous désirez encourager les changements dans la collectivité ou chez les personnes, vous voudrez savoir si ces changements cadrent avec ce que souhaitent les participants pour eux-mêmes. Leur apport à l'étape de la conception les ralliera davantage au projet et à l'évaluation.

Les formulaires de consentement et le plan de travail - L'obtention du consentement du participant constitue un volet important de la réalisation de l'évaluation. Nous traiterons davantage de cette question lorsque nous aborderons l'éthique en matière de recherche. Les responsables de projets peuvent fournir à leur personnel un scénario pour les aider à expliquer le but de l'évaluation et le rôle important des participants dans l'établissement de ce qui fonctionne dans les projets de développement social. Les formulaires de consentement devraient être libellés en langage simple. Les membres du personnel devraient lire le formulaire de consentement à haute voix dans les cas où les participants éprouvent des difficultés d'alphabétisation. En ce qui concerne les projets destinés aux personnes dont l'anglais ou le français est la langue seconde, on devrait faire traduire le formulaire de consentement.

Les incitatifs – Les bons-cadeaux, les incitatifs financiers ou les coupons-repas peuvent être offerts en reconnaissance du temps consacré par les participants à remplir des questionnaires ou à prendre part à des entrevues ou à des groupes de discussion. Si votre budget ne vous le permet pas, envisagez de demander des dons aux entreprises locales. Il s'agit d'une très bonne manière de faire connaître votre projet à ces entreprises et l'importance que vous accordez aux résultats. De plus, c'est une bonne 170 façon pour les entreprises d'informer les participants au projet de ce qu'elles ont à offrir.

La commodité - Prendre des dispositions pour que les participants remplissent des questionnaires ou prennent part à des entrevues à la maison ou juste avant ou après des activités du projet. Les entrevues téléphoniques peuvent fonctionner si le participant dispose d'un local privé pour parler. Il faudrait mettre l'accent sur ce que vous avez « besoin de savoir » et éviter l'information qu'il serait tout simplement « bien de savoir ». Ainsi, il sera plus facile de garder les questionnaires courts et d'éviter la fatigue des répondants.

De plus grands échantillons - Il y aura toujours un certain nombre de participants qui décrocheront du projet ou qui choisiront de ne pas participer à des entrevues de suivi ou de ne pas remplir des questionnaires. Choisir un échantillon assez important pour disposer de suffisamment de questionnaires remplis ou d'entrevues à la fin de votre période de collecte des données.

La rétroaction - On peut maintenir l'intérêt des participants en fournissant de l'information sur les résultats de l'évaluation. Les responsables de projets peuvent le faire de nombreuses façons. Les fiches d'information et les tribunes communautaires conviennent pour tenir les participants informés.

Troisième défi : La collecte des données

Le succès d'une évaluation repose sur l'obtention de renseignements exacts et complets. Il est souvent trop tard pour revenir en arrière et recueillir de l'information lorsque vous vous rendez compte qu'il vous en manque. Bien que le rôle des données d'évaluation valables soit crucial, il est souvent difficile d'exercer un contrôle aussi rigoureux que vous le souhaiteriez sur cette facette de l'évaluation, car les intervenants qui participent à la collecte des données sont nombreux.

Envisagez une évaluation dans le cadre de laquelle le personnel de première ligne recueille de l'information sur les participants et consigne des notes au sujet des activités du projet. Les partenaires, pour leur part, peuvent fournir des renseignements concernant les personnes qu'ils dirigent vers le projet et, lorsqu'ils ont des contacts continus avec les participants, ils peuvent fournir une évaluation des changements que vivent ces participants. (Dans le cadre de certains projets de prévention du crime liés aux écoles, par exemple, on demande aux enseignants de communiquer tous les changements qu'ils ont constatés dans le comportement des élèves qui participent aux activités du projet.) Les travailleurs communautaires et les leaders du quartier sont sollicités pour prendre part à des entrevues et à des groupes de discussion dans le but de partager de l'information au sujet des perceptions de la collectivité concernant un projet. Comme vous pouvez le constater, l'évaluation s'en remet à divers intervenants pour fournir des renseignements exacts et complets.

Le contrôle exercé sur la collecte des données devient encore plus difficile quand les projets s'en remettent à des partenaires pour offrir des composantes de leurs activités de projet. Dans ces situations, le parrain du projet doit s'appuyer sur des organisations partenaires pour fournir de l'information sur les présences ou pour obtenir de l'information de base sur les participants au moment où ils s'inscrivent au programme et au moment d'un suivi.

Il va sans dire que le défi d'obtenir des données exactes et complètes est étroitement lié aux défis de rallier le personnel, les partenaires et les participants au processus d'évaluation.

Les solutions

Si des partenaires prennent part à la collecte des données, vous devez préparer des protocoles signés qui décrivent le mode d'obtention éventuelle du consentement des participants, les renseignements qui seront recueillis et le mode de stockage et d'échange de l'information. Mettez en place des systèmes et des ententes avant le début du projet et non en cours de projet.

Il va sans dire que même les plans les mieux élaborés peuvent échouer. L'un des problèmes les plus fréquents est que les évaluateurs ou les responsables de programmes reportent l'examen des données sur l'évaluation jusqu'au moment de l'analyse. À ce stade, il est trop tard pour remédier à des problèmes fréquents tels que des questions mal interprétées, des formulaires incomplets ou l'omission de fournir les renseignements de base qui relient les résultats des prétests et des post-tests. Assurez-vous de tester vos instruments de collecte des données auprès d'un petit groupe avant d'entreprendre la collecte des données officielle. Examinez régulièrement les instruments remplis pour vous assurer que les questions ont été bien interprétées et que l'information est complète. Vous éviterez ainsi les surprises au moment de l'analyse.

Quatrième défi : Des résultats réalistes

Succès = réduction du crime et de la victimisation

Cette équation peut paraître évidente. La meilleure façon d'évaluer le succès des projets de prévention du crime consiste à examiner la mesure dans laquelle ils préviennent le crime et la victimisation dans leurs collectivités.

Il peut cependant être difficile d'établir un lien entre la réduction de la criminalité et de la victimisation et un projet particulier. De nombreux facteurs touchant les taux de criminalité et de victimisation échappent au contrôle d'un projet communautaire :

Vous pourriez trouver de nombreux autres exemples de la difficulté de relier la prévention du crime à certaines activités du projet.

Par conséquent, si les taux de criminalité et de victimisation dans la collectivité ne sont pas des résultats réalistes, comment définir ces derniers? Vous pourriez conclure que vous avez au moins davantage de contrôle sur la réduction du crime chez les gens directement impliqués dans vos activités de projet.

Donc, le succès = réduction du crime chez les participants au projet.

Vous pouvez demander l'accès aux dossiers du tribunal et de la police pour déterminer si l'implication des participants dans des actes criminels change au fil du temps (avec le consentement écrit des participants, bien sûr). De nombreux projets de prévention du crime par le développement social utilisent cette méthode comme résultat. Elle pourrait s'avérer être une façon très utile de déterminer quels changements résultent d'un projet. Encore une fois, la prudence est de rigueur. Examinons certaines des difficultés associées à différentes sources d'information portant sur l'implication des participants dans la criminalité.

Les solutions

Premièrement, rappelez-vous que vous devez décider dès le début de votre projet de quels renseignements (indicateurs) vous vous servirez pour évaluer son succès. Si vous attendez que le projet soit en cours, vous pourriez conclure qu'il est trop tard pour obtenir certains des renseignements dont vous auriez eu besoin.

Si votre projet est fondé sur un modèle logique solide, vous n'aurez peut-être pas besoin de mesurer les changements réels à la criminalité ou à la victimisation. Vous pourriez plutôt mesurer les changements apportés à certains résultats à court terme qui, à la suggestion du modèle logique, mèneront à un moment donné à des changements à la criminalité et à la victimisation.

Voici des solutions de rechange aux mesures de lutte contre la criminalité et la victimisation, mais elles seront fonction du genre d'intervention que vous avez prévue. Nous avons également fourni des suggestions pour vous aider dans votre choix d'utiliser des mesures d'évaluation de la participation réduite à la criminalité et à la victimisation.

Considérez ce qui suit :

Les mesures de rechange visant à évaluer les changements chez les participants ou dans la collectivité pourraient inclure :

Plus d'une mesure - Imaginez que vous planifiez d'étudier les changements au nombre de contacts avec les services policiers chez les jeunes participant à votre programme sur la cessation de la fréquentation des gangs et dans un groupe témoin. Vous croyez que les jeunes de votre projet qui avaient précédemment des contacts avec les services policiers pourraient être plus susceptibles d'attiser l'intérêt de la police à plus long terme, ce qui pourrait mener à des contacts continus avec les services policiers, peu importe que ces jeunes aient perpétré des infractions ou non. La collecte d'information au sujet du nombre de condamnations et les contacts avec les services policiers aidera à déterminer si les jeunes participant au projet ont été jugés par un tribunal parce qu'ils étaient impliqués dans un acte criminel ou qu'ils suscitaient simplement l'intérêt continu des services policiers.

Autre exemple : vous craignez peut-être que des participants à un programme de lutte contre l'intimidation fournissent des réponses socialement désirables aux prétest et post-test concernant leur participation à des activités d'intimidation. Vous pourriez vous servir des registres scolaires traitant du comportement à l'école et des suspensions ou des expulsions de l'école pour confirmer les résultats du sondage.

Les mesures que vous choisissez n'ont pas à être liées directement à l'acte criminel, mais peuvent fournir de l'information au sujet des résultats comme la gestion de la colère ou les relations avec les pairs qui sont liées au progrès vers le résultat à plus long terme de la participation réduite à la criminalité ou de la réduction de la victimisation.

Recueillir de l'information au sujet du genre d'infraction - L'idée est particulièrement utile si vous voulez vous pencher sur la question de la récidive. Même si les participants récidivent, ces infractions ne sont peut-être pas aussi graves que les précédentes, ce qui suggère un certain progrès vers le changement.

Autres considérations importantes - Lorsque vous utilisez l'implication criminelle comme indicateur de succès, considérez les recommandations suivantes :

Cinquième défi : L'analyse des données

L'analyse de l'information que vous recueillez dans votre évaluation pourrait sembler être une tâche insurmontable. Si tel est le cas, rassurez-vous, car vous n'êtes pas seul dans cette situation. Les travailleurs des services communautaires et des services sociaux ne possèdent souvent aucune formation ou expérience en analyse de données, qualitatives ou quantitatives. Qui ne serait pas intimidé lorsqu'on lui demande de faire une chose pour laquelle il ou elle ne se sent pas compétente?

Les solutions

En premier lieu, dès le début de votre projet, vous devriez décider quels indicateurs vous utiliserez pour en évaluer les résultats, tout comme vous déciderez, dès le début du projet, des méthodes d'analyse que vous utiliserez pour évaluer les données que vous planifiez obtenir.

Si vous avez choisi de recruter un évaluateur externe, vous pourriez lui demander d'analyser les données recueillies. Si vous effectuez votre évaluation vous-même, voici des ressources qui pourraient vous aider à analyser vos données.

Sixième défi : Le choix d'un évaluateur

Vous ne disposez peut-être pas des ressources financières pour payer un évaluateur externe. Mais, même si vous avez la chance d'avoir l'argent nécessaire pour recruter un évaluateur, vous conviendrez que le fait de trouver, pour votre projet d'évaluation, la bonne personne qui offrira de plus du travail de qualité peut constituer un réel défi. Cette situation est particulièrement problématique dans les collectivités rurales et éloignées.

Les solutions

Même si votre budget ne vous permet pas d'embaucher un évaluateur externe, ne baissez pas les bras. Les organisations partenaires et les universités ou les collèges locaux pourraient compter du personnel ou des étudiants qui sont intéressés au travail que vous faites et qui pourraient vous aider à effectuer l'évaluation.

Voici quelques pistes qui vous aideront à trouver des évaluateurs externes, rémunérés ou non rémunérés.

Septième défi : Les considérations d'ordre éthique

Des questions d'ordre éthique peuvent être soulevées au cours de la recherche. Nous avons relevé certaines d'entre elles. Vous en connaissez peut-être d'autres propres à la population que vous desservez.

Les solutions

Il existe de nombreuses ressources qui peuvent vous aider à effectuer votre évaluation de manière à respecter les participants et les lignes directrices de l'éthique en matière de recherche. Assurez-vous de suivre les principes de base de l'éthique en recherche :

Des comités d'éthique de la recherche (CÉR) communautaire ont été créés dans certaines provinces pour aider les groupes communautaires à effectuer une évaluation éthique des projets de recherche. Le fait de vous assurer que votre projet ait été soumis à une évaluation éthique effectuée par un CÉR peut contribuer à éliminer les préoccupations en matière d'éthique. Par exemple, alors que le personnel chargé du projet peut avoir certaines préoccupations au sujet de la sélection aléatoire, les comités d'éthique ne partagent peut-être pas leurs préoccupations. Lorsque l'efficacité d'une intervention est inconnue, la sélection aléatoire peut être considérée comme la façon la plus respectueuse de l'éthique pour déterminer qui reçoit le service et qui est placé sur une liste d'attente ou dans un groupe témoin. Il convient de garder à l'esprit que puisque nous ne pouvons pas présumer que les activités du projet sont efficaces, il peut être moins préjudiciable de ne pas offrir le service que de l'offrir. Même dans le cadre de l'évaluation de nouveaux médicaments qui peuvent contribuer à sauver des vies, la sélection aléatoire est utilisée pour déterminer si le médicament est efficace.

Les comités d'éthique en matière de recherche respectent l'Énoncé de politique des trois Conseils : Éthique de la recherche avec des êtres humains dans leur examen des études de recherche. Cet énoncé inclut des lignes directrices sur le traitement de situations comme l'observation naturaliste, l'un des défis mentionnés précédemment. S'il n'y a pas de CÉR dans votre collectivité, vous devriez revoir votre plan d'évaluation à la lumière de l'Énoncé de politique des trois Conseils pour vous assurer que vous suivez les lignes directrices normalisées suivantes en matière d'éthique de recherche (voir http://www.pre.ethics.gc.ca/francais/policystatement/policystatement.cfm pour consulter l'Énoncé de politique des trois Conseils)

Les groupes de recherche des universités peuvent fournir des exemples de ressources liées à l'éthique en recherche telles que des formulaires de consentement et des scénarios de recrutement de participants à la recherche qui respectent l'éthique. Le site Web du bureau de la recherche de l'Université de Waterloo est un bon exemple (voir http://www.research.uwaterloo.ca).

La participation volontaire est l'une des pierres d'assise de la recherche en matière d'évaluation. Expliquez toujours aux participants qu'ils peuvent choisir de ne pas participer à l'évaluation, refuser de répondre à des questions auxquelles ils ne souhaitent pas répondre et retirer leur consentement de participer en tout temps. Rassurez les participants en leur disant que s'ils décident de ne pas participer à l'évaluation ou de cesser d'y participer à n'importe quel moment, cela n'aura aucune influence sur leur participation aux activités du projet.

Informez pleinement les participants quant à ce dont on s'attend d'eux dans le cadre de l'évaluation. Précisez si l'évaluation inclura des sondages, des observations, des demandes pour obtenir des relevés des établissements scolaires ou des tribunaux, des entrevues avec des sources de référence ou tout autre renseignement personnel. Dites-leur comment ces renseignements seront utilisés. Lorsque vous informez les participants au sujet des activités d'évaluation, soulignez le rôle de l'évaluation dans l'amélioration du projet. Assurez-vous que les participants comprennent que l'intention est d'évaluer le programme, et non eux.

Tous les renseignements personnels devraient demeurer confidentiels. Les conclusions quant à l'évaluation devraient toujours être communiquées de manière à ne pas révéler l'identité des personnes concernées. Soyez toutefois clair en ce qui concerne les limites à la confidentialité et expliquez ces limites aux participants du projet. Cette précaution s'applique non seulement à l'information obtenue au moyen d'une évaluation, mais également à l'information obtenue pendant les activités du projet. Les provinces et les territoires ont adopté une loi qui exige que les membres du personnel des services sociaux ou communautaires communiquent aux bureaux de protection de l'enfance toute information qui laisse croire qu'un enfant est vulnérable aux mauvais traitements et (ou) à la négligence. Examinez la législation sur la protection de l'enfance de votre province ou de votre territoire.

Lorsque des participants sont aux prises avec le système judiciaire, les tribunaux peuvent appliquer une assignation à produire des documents qui pourraient fournir d'autres renseignements au sujet de la situation personnelle du défendeur. Les participants à l'évaluation (et au projet) devraient être informés de ces limites à la confidentialité.

Assurez-vous que vous êtes informé des pratiques culturelles et des traditions qui devront être respectées tant dans l'évaluation que dans les activités du projet. L'Énoncé de politique des trois Conseils : Éthique de la recherche avec des êtres humains inclut un chapitre de pratiques recommandées en matière de recherche touchant les Autochtones (voir http://www.pre.ethics.gc.ca/francais/policystatement/section6.cfm).

Utilisez un langage qui est respectueux des participants au projet dans vos rapports d'évaluation. Les résultats d'évaluation devraient être rédigés ou présentés de manière à être accessibles aux participants au projet.

Huitième défi : Les différences culturelles et communautaires

Certaines collectivités ou certains groupes culturels ont une histoire ou une situation unique qui peut présenter des défis additionnels aux responsables de l'évaluation.

Les solutions

Les méthodes participatives - La participation des membres de la collectivité à la planification de l'évaluation peut contribuer largement à surmonter la résistance à l'évaluation. Si des participants prennent part à la planification du projet et à la détermination des indicateurs de succès, ils sont plus susceptibles de vouloir participer à la collecte des données. Les méthodes participatives ont l'avantage de solliciter l'apport des participants éventuels à la sélection des mesures d'évaluation.

Les mesures qualitatives - Les mesures qualitatives sont bien adaptées aux contes et à latradition orale. À ce titre, elles conviennent particulièrement aux cultures autochtones. Bien que des mesures quantitatives puissent encore être nécessaires pour raconter l'histoire complète de la capacité d'un projet d'obtenir ses résultats, l'utilisation de mesures qualitatives ajoutera de la profondeur et de la richesse au contexte de l'évaluation.

Les mesures multiples – Lorsque la taille des échantillons est petite, il convient d'utiliser plus d'une méthode de collecte des données. Vous pouvez utiliser les résultats de diverses méthodes à des fins de corroboration.

La formation – Les collectivités éloignées et les groupes nouvellement arrivés au Canada possèdent peut-être une certaine expérience, non seulement en matière d'évaluation, mais également dans le domaine de l'élaboration de projets communautaires. Dans de tels cas, il convient de chercher des façons d'obtenir de la formation en planification et en conception de projets. Les modules d'évaluation élaborés par le CNPC pourraient constituer un bon point de départ. Les modules 2 et 3 mettent l'accent sur des techniques qui sont utiles tant pour planifier les évaluations que les projets.

Mesures culturellement appropriées - Bien que de nombreuses mesures normalisées ne conviennent pas à certaines cultures, un certain nombre de mesures ont été testées auprès de diverses cultures. D'autres, comme celles qui ont été créées pour les programmes d'aide préscolaire aux autochtones (PAPA) au Canada et aux États-Unis, ont été mises en place en visant des groupes en particulier. Les programmes PAPA constitueraient de bons points de départ pour des mesures culturellement appropriées utilisées auprès des enfants autochtones. S'il est impossible de trouver des mesures spécialement élaborées pour une population en particulier, demandez aux représentants des groupes culturels que vous desservez de revoir les questions de sondage afin de vous assurer qu'elles sont culturellement appropriées.

Les interprètes - Si votre projet s'adresse aux nouveaux immigrants et (ou) à des réfugiés qui ont une connaissance limitée de l'anglais ou du français, réservez une partie de votre budget pour les services de traducteurs/interprètes ou prévoyez la participation de bénévoles qui peuvent aider à accomplir ces tâches. Cela est important non seulement pour votre évaluation, mais également pour les activités du projet. Comme il n'est pas toujours possible d'évaluer l'exactitude de la traduction lorsque des services d'interprétation sont utilisés, veillez à ce que les interprètes que vous recrutez aient une connaissance approfondie des deux langues.

La traduction - Les traductions utilisées à des fins d'évaluation devraient idéalement être effectuées dans la langue devant être utilisée, puis être retraduites dans la langue de départ. Ainsi, vous pourrez évaluer l'exactitude de la traduction. Nous savons toutefois que peu de projets disposent des ressources nécessaires pour effectuer ce travail. Il faudrait à tout le moins s'assurer que plus d'une personne revoit la traduction pour en établir l'exactitude.

D'autres défis en matière d'évaluation vous viennent-ils à l'esprit?

Vous pouvez imaginer ou vous avez peut-être même déjà dû faire face à d'autres défis en matière d'évaluation de projets communautaires de développement social. Prenez quelques minutes pour réfléchir à ce sujet. Y voyezvous des solutions possibles? Utilisez l'espace ci-dessous pour les décrire.

Ressources et appuis

Comme les ressources accessibles dans les différentes régions du Canada peuvent varier énormément, cette liste n'est pas exhaustive. Vous connaissez peut-être d'autres ressources propres à votre province ou à votre collectivité qui pourraient vous aider dans différents aspects de votre évaluation. Adressez-vous à vos partenaires et à d'autres intervenants pour en apprendre davantage au sujet des sources de soutien dans votre collectivité.

Glossaire

Fatigue du répondant

Il peut y avoir fatigue du répondant quand les participants à une évaluation se font demander de répondre à un trop grand nombre de questions à la fois. Le questionnaire d'enquête, l'entrevue ou le groupe de discussion devient fastidieux et les répondants accordent moins d'attention à leurs réponses parce qu'ils tentent de terminer le questionnaire ou de mettre fin à l'entrevue ou au groupe de discussion.

Indicateur

Un indicateur est une variable (ou une information) qui mesure un aspect d'un programme ou d'un projet. Il indique si un projet a atteint un objectif en particulier. Il devrait y avoir au moins un indicateur pour chaque élément du projet (c.-à-d. au moins un pour chaque résultat identifié dans le modèle logique).

Mesures normalisées

Une mesure normalisée est appliquée à un très grand groupe de gens semblables à ceux avec lesquels la mesure sera utilisée. Les données recueillies auprès de ce groupe tiennent lieu d'éléments de comparaison pour interpréter les résultats des mesures applicables aux personnes, aux petits groupes ou aux programmes. Les tests normalisés vous permettent de déterminer si le score d'une personne est élevé, moyen ou faible comparativement à la norme (Ogden/Boyes Associates Ltd., 2001).

Modèle logique

Un modèle logique sert à décrire un projet ou un programme. Il s'agit d'un outil qui aide à planifier et à évaluer le projet. Un modèle logique décrit les ressources et les activités qui contribuent à un projet et les liens logiques qui relient les activités du projet aux résultats prévus de celui-ci. Les modèles logiques sont souvent représentés par un diagramme qui inclut les intrants, les activités, les extrants et les résultats du projet.

Observation naturaliste

L'observation naturaliste est une méthode de collecte des données dans le cadre de laquelle le chercheur ou l'évaluateur observe les activités du projet et consigne l'information à leur sujet d'une manière structurée et systématique. L'observation en tant que méthode de collecte des données fait l'objet du module 4 du présent manuel.

Socialement désirable

Il arrive que des répondants fournissent des réponses à un questionnaire d'enquête ou à une mesure qu'ils croient être plus favorables à leur estime de soi, davantage en accord avec les normes sociales apparentes (Polland, 1998) ou que le chercheur souhaite entendre. Ces réponses sont considérées comme socialement désirables.

Références

Groupe consultatif interagences en éthique de la recherche. (1998). Énoncé de politique des trois Conseils :
Éthique de la recherche avec des êtres humains (Avec les mises à jour de 2000 et 2002). Extrait le 19 avril 2005 de
http://www.pre.ethics.gc.ca/francais/policystatement/policystatement.cfm

Ogden/Boyes Associates Ltd. (1991). CAPC program evaluation tool kit: Tools and strategies for monitoring and evaluating programs involving children, families and communities. Rapport inédit produit pour Santé Canada, Direction générale de la santé de la population et de la santé publique, région de l'Alberta et des Territoires du Nord-Ouest, Calgary (Alberta).

Polland, R.J. (1998). Essentials of survey research and analysis: A workbook for community researchers. Extrait le 4 novembre 2004 de
http://www.tfn.net/%7Epolland/quest.htm

Ressources suggérées

Sites Web

American Evaluation Society
Guiding Principles for Evaluators

http://www.eval.org/Guiding%20Principles.htm

Ce document a été élaboré par l'American Evaluation Society, un organisme professionnel qui représente les évaluateurs aux États-Unis. Il fournit de l'information sur l'éthique professionnelle dans l'évaluation de programmes.

Société canadienne d'évaluation
Lignes directrices de la SCÉ en matière d'éthique

http://www.evaluationcanada.ca//site.cgi?s=5&ss=4&_lang=fr

Ce document décrit les lignes directrices en matière d'éthique à l'intention des membres de la Société canadienne d'évaluation (SCÉ), l'organisme professionnel des évaluateurs au Canada.

Groupe consultatif interagences en éthique de la recherche
Énoncé de politique des trois Conseils : Éthique de la recherche avec des êtres humains

http://www.pre.ethics.gc.ca/francais/policystatement/policystatement.cfm

L'Énoncé de politique des trois Conseils donne des lignes directrices en matière d'éthique de la recherche subventionnée par trois organismes fédéraux de subvention : le Conseil de recherches en sciences naturelles et en génie, le Conseil de recherches en sciences humaines du Canada et les Instituts de recherche en santé du Canada.

Gouvernement du Canada - Évaluation et élaboration de données
Bulletin du forum sur l'évaluation

http://www11.hrdc-drhc.gc.ca/pls/edd/evalfornews.main_fr

Le Bulletin du forum sur l'évaluation traite de questions comme la sensibilité culturelle à l'évaluation et la réalisation d'évaluations avec les collectivités autochtones.

Conseil national d'éthique en recherche chez l'humain
http://www.ncehr.medical.org/francais/accueil.php

Ce site Web fournit différentes ressources sur les questions d'éthique en recherche.

University of Michigan
Program Evaluation Standards

http://www.eval.org/EvaluationDocuments/progeval.html

Les normes de déontologie des personnes qui font de la recherche en évaluation sont présentées sur ce site.

Manuel et Guides

Holt, J.D. (1993).
« Et si on faisait... une évaluation : Manuel sur l'autoévaluation des programmes à l'intention des collectivités des Premières nations et des collectivités inuites ». Ministère de la Santé nationale et du Bien-être social, Direction générale des services médicaux.

Ce guide est orienté vers les collectivités des Premières nations et les collectivités inuites qui évaluent les projets et les programmes.

Ministère du Solliciteur général du Canada. (1998). La prévention du crime dans les collectivités des Premières nations - Manuel d'autoévaluation

Ce manuel est utile non seulement pour les collectivités des Premières nations qui se consacrent à la recherche en évaluation, mais également pour toute personne qui souhaite évaluer un projet de prévention du crime. Le manuel d'autoévaluation mène le lecteur tout au long des étapes de l'évaluation.

National Evaluation of Sure Start
Conducting Ethical Research

http://www.ness.bbk.ac.uk/documents/GuidanceReports/165.pdf

Ce guide comporte des conseils sur la réalisation d'une recherche d'une façon qui reflète l'éthique en recherche.

University of Victoria
Protocols and Principles for Conducting Research in an Indigenous Context

http://web.uvic.ca/igov/programs/masters/igov_598/protocol.pdf

Ce guide fournit des renseignements sur l'éthique en matière de recherche concernant les collectivités autochtones.

Document

Trochim, W. (2000).
The Research Methods Knowledge Base, 2e édition.

http://www.socialresearchmethods.net/

Ce document en ligne donne un aperçu simple des facteurs éthiques de la recherche en évaluation.

Module 7 - Feuilles de travail

Feuille de travail 1

Premier défi : L'engagement du personnel et des partenaires

Solutions :

Feuille de travail 2

Deuxième défi : La mobilisation des participants

Solutions :

Feuille de travail 3

Troisième défi : La collecte des données

Solutions :

Feuille de travail 4

Quatrième défi : Les résultats réalistes

Solutions :

Feuille de travail 5

Cinquième défi : L'analyse des données

Solutions :

Feuille de travail 6

Sixième défi : Le choix d'un évaluateur

Solutions :

Feuille de travail 7

Septième défi : Les considérations d'ordre éthique

Solutions :

Feuille de travail 8

Huitième défi : Les différences culturelles et communautaires

Solutions :

Liste de ressources générales

Sites Web

American Evaluation Association
http://www.eval.org/

Ce site est le site Web de l'American Evaluation Association dont l'équivalent au Canada est la Société canadienne d'évaluation. Il fournit de l'information, des liens utiles et différentes ressources sur l'évaluation.

Innovation Network Online
http://www.innonet.org/

Ce réseau présente des guides généraux dans le domaine de l'évaluation et un éventail de ressources ayant trait aux modèles logiques.

Management Assistance Program for Non-Profits (MAP)
Basic Guide to Program Evaluation

http://www.managementhelp.org/evaluatn/fnl_eval.htm#anchor1581634

Ce site Web fournit de l'information qui aide à établir un plan d'évaluation. On y trouve aussi des facteurs clés à prendre en considération au moment de la planification d'une évaluation.

Société canadienne d'évaluation
http://www.evaluationcanada.ca

Il s'agit du site Web de l'organisme national qui regroupe les évaluateurs canadiens.

United Way of America
Outcome Measurement Resource Network

http://www.unitedway.com

Ce site Web est un point de départ pour apprendre les rudiments de la mesure des résultats. Il inclut une introduction à la mesure des résultats et explique pourquoi ce genre d'évaluation est important.

United Way of Toronto
PEOD Evaluation Clearinghouse

http://www.unitedwaytoronto.com/PEOD/index.html

Ce site est fortement recommandé car il constitue un centre de ressources qui fournit des guides et autres outils utilisés en recherche évaluative.

University of Wisconsin Program Development and Evaluation
http://www.uwex.edu/ces/pdande/evaluation/evaldocs.html

Ce site Web convivial comporte de nombreux liens qui donnent accès à de l'information au sujet de tous les aspects de la collecte des données.

W.K. Kellogg Foundation
Trousse d'outils d'évaluation

http://www.wkkf.org/Programming/Resources.aspx?CID=281

Ce site Web propose des ressources pour la création de modèles logiques et des ressources générales facilitant l'évaluation des programmes.

Guides et manuels

Santé Canada
Guide d'évaluation de projet : Une démarche participative

http://www.phac-aspc.gc.ca/ph-sp/ddsp/ressources/guide/presentation.htm

Les deux premiers chapitres de ce guide présentent une introduction de base à l'évaluation. Dans le reste du guide, on trouve des conseils utiles concernant la collecte, l'analyse et la présentation des données.

Management Assistance Program for Non-Profits (MAP)
Basic Guide to Outcome Evaluation for Non-profit Organizations with Very Limited Resources

http://www.mapnp.org/library/evaluatn/outcomes.htm

Ce guide fournit une vue d'ensemble des étapes à franchir dans l'évaluation des résultats. Il est destiné aux organismes qui ont des moyens limités.

National Science Foundation
User Friendly Handbook for Project Evaluation

http://www.nsf.gov/pubs/2002/nsf02057/nsf02057.pdf

Ce guide présente de l'information détaillée sur différentes méthodes de collecte de données, en plus de fournir des conseils et des exemples utiles.

Horizon Research, Inc.
Taking Stock: A practical guide to evaluating your own programs.

http://www.horizon-research.com/reports/1997/stock.pdf

Ce guide pratique représente une excellente source d'information sur la façon de recueillir des données qualitatives et quantitatives. Il propose plusieurs stratégies de collecte des données.

Revues

Canadian Journal of Program Evaluation
c/o Canadian Evaluation Society,1485 Laperriere Ave., Ottawa, ON K1Z 7S8

http://www.evaluationcanada.ca/site.cgi?s=4&_lang=fr

Cette revue couvre un large éventail de sujets relatifs à l'évaluation. L'accès en ligne est limité aux membres de la Société canadienne d'évaluation (SCE). Les non-membres peuvent se procurer la revue dans les bibliothèques. Vous pouvez vous abonner via le site Web de la SCE.

Practical Assessment, Research and Evaluation (Pare)
http://pareonline.net

Cette revue spécialisée en ligne fournit des articles sur différentes recherches évaluatives.

Traités

Trochim, W.M. (2002). Research Methods Knowledge Base, 2e édition
http://www.socialresearchmethods.net/

Ce traité en ligne initie l'utilisateur à l'évaluation et renferme des définitions de base, des objectifs, des méthodes et des descriptions du processus d'évaluation globale. Il inclut des réponses à des questions fréquemment posées au sujet de l'évaluation.

Bulletins

Harvard Family Research Project
The evaluation exchange: Emerging strategies in Evaluating Child and Family Services

http://gseweb.harvard.edu/

Ce bulletin gratuit fournit un aperçu des enjeux et des sujets relatifs à la recherche évaluative

Liste de ressources communautaires/prévention du crime

Sites Web

Stratégie nationale pour la prévention du crime
http://www.securitepublique.gc.ca/cnpc

Le site Web de la Stratégie nationale pour la prévention du crime offre de l'information qui a trait aux programmes de financement et à l'évaluation des projets financés, et présente des exemples de programmes de prévention qui ont fait l'objet d'une évaluation.

Guides et manuels

Centre International de prévention du crime
De la connaissance aux politiques de prévention de la criminalité et de sécurité collective : Quel rôle pour l'évaluation?

http://www.crime-prevention-intl.org/publications/pub_58_2.pdf

Ce document de réflexion explore l'évaluation dans le contexte de la prévention. Il présente de plus différents cadres de référence gouvernementaux en évaluation et en prévention.

Stratégie nationale sur la sécurité communautaire et la prévention du crime
Vous pouvez y arriver : Une trousse d'outils pratiques pour l'évaluation des programmes d'intervention policière et de prévention de la criminalité dans la collectivité

http://dsp-psd.pwgsc.gc.ca/Collection/J2-180-2001F.pdf

Cet outil élaboré par les Services de police d'Ottawa fournit une vue d'ensemble de l'évaluation et de l'information pour préparer et réaliser une évaluation et pour communiquer les résultats.

Northern Territory Department of Justice, Office of Crime Prevention
Guide for Community Crime Prevention Partnerships

http://www.nt.gov.au/justice/ocp/docs/guide.pdf

Ce guide nous donne un aperçu de la façon d'évaluer les besoins en prévention du crime, de créer des partenariats et de mettre en œuvre un plan d'action.

Notes de bas de page

  1. 1

    Photo de Sir John A. Macdonald © Domaine public; Crédit : Archives nationales du Canada/ C-006513.

  2. 2

    Nous remercions tout particulièrement Brenda Simpson qui a généreusement accepté de partager le contenu de son atelier intitulé Analysing, Interpreting and Reporting Outcomes. Certaines idées du présent module sont tirées de son atelier.

  3. 3

    Cette section est adaptée avec l'autorisation de Kenton, N., & Sehl, M. (2002). Community Action Program for Children (CAPC) regional evaluation tool kit. Toronto : Santé Canada.

  4. 4

    Cet exercice est adapté de : Analysing, Interpreting and Reporting Outcomes Workshop, par Brenda Simpson.

Date de modification :