Sélection de la langue

Recherche

Évaluation de la modernisation du Programme de salubrité des aliments de l'ACIA Partie 1
Rapport final

3.0 Objectifs de l'évaluation

Cette page a été archivée

L'information dont il est indiqué qu'elle est archivée est fournie à des fins de référence, de recherche ou de tenue de documents. Elle n'est pas assujettie aux normes Web du gouvernement du Canada et elle n'a pas été modifiée ou mise à jour depuis son archivage. Pour obtenir cette information dans un autre format, veuillez communiquer avec nous.

Conformément à la Politique sur l'évaluation du Secrétariat du Conseil du Trésor (2009) ainsi qu'à la directive et aux normes connexes, l'évaluation a porté sur les cinq questions fondamentales suivantes :

Cette évaluation était peu représentative des évaluations du gouvernement du Canada, puisque le but n'était pas d'évaluer directement un programme établi et continu. Elle portait plutôt sur une série de projets et d'investissements d'une durée limitée mis en œuvre afin d'améliorer le fonctionnement du PSA et, de façon plus générale, celui de l'Agence.

Compte tenu de la nature de l'IMSA et de ses liens avec le PSA et le processus de changement en cours à l'ACIA, l'évaluation devait également :

La présente évaluation a par conséquent été conçue pour satisfaire aux exigences du CT et pour répondre aux besoins de l'Agence en matière de renseignements.

3.1 Équipe d'évaluation et soutien

La Direction de l'évaluation de l'ACIA a géré l'évaluation et l'a réalisée avec l'aide de la société PRA Inc. Les travaux d'évaluation ont été orientés par un comité consultatif et un groupe de travail qui ont examiné et commenté le plan d'évaluation, la matrice d'évaluation, le modèle logique, les constatations, le rapport ainsi que la réponse et le plan d'action de la direction.

L'équipe d'évaluation a conçu et réalisé les éléments suivants :

  • La matrice d'évaluation;
  • Une analyse documentaire;
  • L'examen des données et l'analyse des coûts;
  • Des entrevues;
  • Une analyse et des rapports.

3.2 Matrice d'évaluation et modèle logique de l'IMSA

L'équipe d'évaluation a élaboré une matrice d'évaluation dans le but d'orienter ses travaux. Cette matrice comportait une liste de questions d'évaluation conçues en fonction des principales questions d'évaluation du CT (Annexe B). Chaque question était conforme aux indicateurs et aux méthodes de collecte de données. La conformité des questions et des méthodes d'évaluation visait à faire en sorte que la matrice respecte la portée de l'évaluation. Elle permettait également de s'assurer que les méthodes d'évaluation étaient conçues de manière à examiner toutes les questions d'évaluation établies.

En l'absence d'une stratégie intégrée de mesure du rendement et d'un modèle logique approuvé pour l'IMSA, l'équipe d'évaluation a travaillé en étroite collaboration avec les membres du groupe de travail sur l'évaluation à la mise au point du modèle logique (Figure 3). L'équipe a modifié l'ébauche de modèle logique de l'IMSA élaborée lors de la création de l'Initiative à partir des renseignements recueillis au cours de discussions préliminaires avec les membres du groupe de travail. Ce modèle décrivait non seulement les objectifs immédiats de l'IMSA, mais également ses incidences prévues sur les futures activités de l'Agence et, au bout du compte sur le renforcement du système d'assurance de la salubrité des aliments. Ce modèle, qui présentait une vue d'ensemble des incidences attendues de l'IMSA, a par la suite servi à orienter l'évaluation.

3.3 Collecte de données

Les activités de collecte de données suivantes ont été réalisées dans le cadre de l'évaluation :

3.3.1 Examen des documents

L'examen des documents portait sur des documents de l'Agence et sur une littérature universitaire et professionnelle liée à la salubrité des aliments.

L'examen systématique de ces documents a été effectué au moyen d'un modèle normalisé, ce qui a facilité la compréhension des documents. Les renseignements recueillis dans le cadre de cet examen ont été utiles dans le traitement de la majorité des questions d'évaluation. Ils ont joué un rôle particulièrement important dans la définition des projets de l'IMSA et la détermination de leurs incidences et ils ont également permis de repérer les changements apportés aux projets au fil du temps.

3.3.2 Examen des données et analyse des coûts

L'examen des données et l'analyse des coûts ont généré des renseignements financiers quantitatifs et, dans la mesure du possible, des données sur les extrants et les résultats des projets de l'IMSA. Tous ces renseignements ont permis de saisir l'efficacité et la rentabilité des dépenses engagées au titre de l'IMSA et plus précisément de déterminer :

  • si les fonds consacrés à l'IMSA ont été utilisés comme prévu;
  • si les dépenses étaient raisonnables;
  • si les projets ont produit les résultats escomptés.

3.3.3 Entrevues

Trente-sept entrevues ont été réalisées avec des représentants de la Direction générale des politiques et des programmes, de la Direction générale des opérations, de la Direction générale des sciences, de la Direction générale des Ressources humaines et de la Direction générale de la GI-TI. Les personnes interviewées ont été choisies en raison de leur connaissance de l'IMSA et des projets qui en relèvent. Les entrevues ont été réalisées après l'analyse documentaire. Ainsi, le personnel responsable de l'exécution du programme et les intervenants ont pu ajouter leur connaissance et leur interprétation du contexte aux renseignements dont disposait l'équipe d'évaluation. Ces entrevues ont également permis à l'équipe d'évaluation de repérer les lacunes et les incohérences parmi les renseignements.

Huit guides d'entrevue ont été mis au point afin de faciliter la tenue d'entrevues semi structurées. Sept guides ont été établis pour interviewer les personnes associées à chacun des sept projets de l'IMSA, et un autre guide a été créé à l'intention des personnes qui ont participé à l'initiative de façon générale. Ces guides sont reproduits à l'Annexe D.

3.4 Analyse et rapports

Les renseignements obtenus dans le cadre des diverses activités de collecte de données ont été analysés pour permettre de tirer des conclusions quant à chacune des questions de la matrice d'évaluation. Ce processus de triangulation a permis à l'équipe d'évaluation de tirer le meilleur parti possible des points forts de chacune des activités de collecte de données. Il a également permis à l'équipe de comparer ou de confirmer les constatations issues des différentes activités de collecte de données, et de compléter ou de situer dans leur contexte les constatations découlant d'une activité de collecte de données au moyen des constatations faites dans le cadre d'une autre activité de collecte de données.

Ce processus de triangulation a en outre permis de repérer les principales lacunes parmi les renseignements recueillis. La quantité de données ou de renseignements à l'appui des conclusions associées aux différentes questions de la matrice d'évaluation variait selon les questions.

3.5 Limites et difficultés

Les limites et les difficultés associées à l'évaluation, de même que les stratégies d'atténuation correspondantes, sont décrites dans le Tableau 5, ci-après.

Tableau 5 : Limites et difficultés associées à l'évaluation et stratégies d'atténuation
Limites et difficultés Stratégie d'atténuation Répercussions
Modèle logique incomplet – Au début de l'évaluation, le modèle logique de l'IMSA était incomplet. Il était donc difficile de comprendre d'entrée de jeu les objectifs collectifs de l'Initiative. L'équipe d'évaluation a mis au point le modèle logique de l'IMSA aux fins de l'évaluation. Ce nouveau modèle logique décrivait les extrants et les résultats escomptés de l'IMSA au moment de sa création.
Changement continu au sein de l'ACIA – L'ACIA a connu d'importants changements tout au long de la mise en œuvre de l'IMSA, ce qui a eu des répercussions sur le PSA. Toutefois, l'IMSA fait partie de ces activités de changement et elle a été conçue pour influer sur la méthode de travail générale de l'Agence. Pendant l'évaluation, l'équipe a tenu compte de la place qu'occupe l'IMSA dans l'ensemble des activités de changement réalisées à l'Agence. L'évaluation s'est penchée sur l'influence de l'IMSA sur le travail de l'Agence, dans son ensemble, et non seulement sur les effets positifs qu'elle peut avoir sur le PSA.
Nécessité d'examiner de multiples projets – Dans le cadre de cette évaluation, il fallait examiner de multiples projets suivant des méthodes de gestion et des pratiques de collecte de données différentes et à l'égard desquels la quantité de données disponibles variait. Il a donc été difficile d'assurer l'uniformité des examens et de gérer la portée de l'évaluation. En étroite collaboration avec le groupe de travail, l'équipe d'évaluation s'est efforcée d'axer l'évaluation sur les éléments les plus pertinents de chaque projet. Dans son rapport final, l'équipe a présenté un tableau des constatations qui a permis de regrouper les rapports sur tous les projets. Le tableau des constatations résultant de la première partie de l'évaluation de la modernisation du PSA a permis de simplifier plusieurs des observations relatives aux différents projets de l'IMSA et d'harmoniser ces constatations.
Peu de renseignements sur les résultats en matière de salubrité des aliments – Les responsables des projets effectuaient en général un bon suivi de leurs propres activités et extrants, mais l'équipe d'évaluation n'a trouvé qu'un suivi très limité des incidences des projets sur la salubrité des aliments. L'équipe d'évaluation a formulé des recommandations quant à la mesure des incidences des projets de l'IMSA et, de façon plus générale, des activités de changement de l'Agence sur les programmes et les résultats de l'ACIA. Ces recommandations vont au delà du suivi de l'IMSA et portent sur le suivi des liens entre les projets et le PSA et d'autres programmes de l'Agence.
Projets aux premières étapes de l'élaboration et de la mise en œuvre – Au moment de l'évaluation, plusieurs des projets de l'IMSA avaient été mis en œuvre depuis peu et n'avaient donc eu que des incidences mineures sur le PSA. Au lieu d'utiliser les données existantes sur les résultats obtenus, c.-à-d. sur les changements apportés au PSA, l'équipe d'évaluation s'est employée à déterminer si les résultats escomptés des projets étaient susceptibles d'être atteints compte tenu de la théorie, des analyses de rentabilisation, des pratiques exemplaires et des autres éléments probants disponibles. Les recommandations de l'évaluation visent à garantir que l'Agence dispose dorénavant d'une méthode efficace d'établissement des incidences de l'IMSA sur le PSA.
Date de modification :