Ligne directrice produits biologiques vétérinaires 3.19F
Lignes directrices pour l'obtention de permis concernant les trousses de diagnostic vétérinaire au Canada

Table des matières

Introduction

Conformément à l'alinéa 64(1)(s) de la Loi sur la santé des animaux et Règlement(1), le fabricant doit démontrer la pureté, l'innocuité, la puissance et l'efficacité des constituants des trousses de diagnostic par rapport aux allégations sur les étiquettes. Pour aider les fabricants à respecter les exigences réglementaire, le Centre canadien des produits biologiques vétérinaires (CCPBV) et le Laboratoire d'évaluation des produits biologiques (LEPB) ont préparé les lignes directrices suivantes afin d'uniformiser l'information soumise par un fabricant à l'appui d'une demande de permis de fabrication de produits biologiques vétérinaires ou de permis d'importation de produits biologiques vétérinaires pour les produits faisant partie d'une trousse de diagnostic.

La correspondance et la documentation à l'appui d'une demande de permis doivent être envoyées au Gestionnaire national – Centre canadien des produits biologiques vétérinaires.

Exigences générales

Pour appuyer une demande de permis de fabrication d'une trousse de diagnostic, le fabricant doit soumettre les données et documents suivants aux fins d'examen par le CCPBV  : 1. les publications et la bibliographie pertinentes résumant le bien-fondé scientifique de l'utilisation, en médecine vétérinaire, d'une trousse de diagnostic des maladies affectant les espèces animales visées; 2. un protocole de production; 3. les données tirées de l'analyse des séries produites avant l'obtention d'un permis pour établir les concentrations minimales décelables de l'antigène ou de l'anticorps, les seuils de diagnostic, la reproductibilité, la stabilité, l'efficacité de la trousse par rapport aux allégations sur les étiquettes et à la pertinence de la trousse; 4. les résultats de l'évaluation de la puissance des séries produites avant l'obtention du permis; 5. les résultats des épreuves de certification et de contrôle de la qualité des souches mères et des lignées cellulaires; 6. des protocoles spéciaux décrivant les groupes d'échantillons de référence utilisés pour évaluer la trousse; 7. des ébauches des emballages et des étiquettes pour chacun des constituants de la trousse, dont une monographie.

Durant l'examen, le CCPBV peut demander à un fabricant de soumettre des échantillons des souches mères et des lignées cellulaires au LEPB aux fins de confirmation. Le LEPB peut aussi tester les séries de trousses obtenues avant l'obtention d'un permis, ainsi que des groupes de référence d'échantillons positifs et négatifs et d'autres réactifs témoins, pour vérifier l'absence de problèmes techniques au moment de l'utilisation d'une trousse dans les conditions de laboratoire. Pour les épreuves réalisées avant la délivrance du permis, le LEPB peut décider d'évaluer la trousse par rapport à des échantillons de référence qui ne sont pas inclus dans le groupe de référence proposé par le fabricant. Avant d'écouler une trousse sur le marché, le fabricant doit soumettre les résultats des épreuves des séries prêtes à la commercialisation au CCPBV aux fins d'approbation. Il doit aussi présenter au LEPB des échantillons de chaque nouvelle série et ceux du groupe de référence. Chaque année, le LEPB testera un pourcentage déterminé des séries avant que le CCPBV n'en autorise la vente.

En raison du grand nombre de trousses de diagnostic importées des États-Unis, ces lignes directrices tiennent compte des méthodes et de la présentation recommandées dans le Title 9, Code of Federal Regulations (9CFR), Parts (104, 113.3(b)(7), 113.4, 113.27(b), 113.50, 113.51, 113.52, 113.53, 113.55, 114.9(f))(2). Pour importer des trousses déjà approuvées par le United States Department of Agriculture (USDA), le matériel examiné par le CCPBV devrait inclure des photocopies des documents additionnels suivants : 1. USDA-APHIS Veterinary Biologics Establishment License (permis d'établissement délivré par l'USDA-APHIS), 2. USDA-APHIS Veterinary Biological Product License (permis de fabrication de produits biologiques vétérinaires délivré par l'USDA-APHIS), 3. formulaire Données sur les produits biologiques vétérinaires (ACIA1503) (désignant un importateur canadien), 4. Demande de permis pour l'importation de produits biologiques vétérinaires au Canada, formulaire ACIA 1493, 5. APHIS Form 2008 (Formulaire 2008 de l'APHIS) établissant les dispositions de l'USDA pour chaque série. En général, le LEPB ne reteste pas les trousses déjà approuvées et mises à l'épreuve par l'USDA. Toutefois, le CCPBV peut exiger, des fabricants américains, qu'ils soumettent des échantillons au LEPB pour que celui-ci vérifie par exemple si la trousse permet de diagnostiquer des souches canadiennes des agents infectieux d'intérêt.

Toutefois, l'obtention de permis de fabrication ou d'importation de produits biologiques vétérinaires qui seront intégrés à une trousse de diagnostic ne rend pas nécessairement ces produits admissibles à un programme zoosanitaire fédéral de l'Agence canadienne d'inspection des aliments. Ce sont la Division de la consultation et de la gestion en matière scientifiques (DCGMS) et la Division de la santé des animaux terrestres (DSAT) qui doivent approuver l'utilisation d'un produit dans le cadre d'un tel programme. Ces organismes peuvent en outre demander aux fabricants de soumettre des données, des trousses et des échantillons de référence additionnels pour vérifier : 1. la sensibilité et la spécificité de la trousse, ainsi que la reproductibilité des résultats d'épreuve obtenus avec celle-ci; 2. le degré de réactivité des réactifs positifs, négatifs et autres, ainsi que des échantillons du groupe de référence qui serviront à l'évaluation d'une série prête à la commercialisation; 3. l'absence de problèmes techniques liés à l'utilisation d'une trousse dans des conditions de laboratoire. La DCGMS et la DSAT négocieront avec chaque fabricant sur une base individuelle le matériel et les renseignements particuliers requis pour qu'une trousse visée par un permis soit approuvée et utilisée dans le cadre d'un programme zoosanitaire officiel.

Les documents préparés à l'appui de l'obtention d'un permis visant une trousse donnée doivent être conformes à la présentation recommandée dans les présentes lignes directrices. Pour certaines trousses, le fabricant devra inclure des rubriques additionnelles. Des copies des registres originaux portant sur la mise au point et l'évaluation de la trousse devraient être conservées aux installations du fabricant visées par le permis, et être mises à la disposition des inspecteurs du CCPBV en tout temps. Les précisions concernant le matériel que doit soumettre le fabricant sont données ci-après.

I. Contexte et justification de l'utilisation de la trousse

Fournir un sommaire sur le bien-fondé scientifique de l'utilisation de la trousse en médecine vétérinaire pour le diagnostic de maladies affectant les espèces animales visées. Inclure les publications et la bibliographie pertinentes avec la demande.

II. Protocole de production

Cette rubrique décrit en détail le mode de production, soit les méthodes de préparation, de normalisation et d'épreuve des réactifs et du matériel constituant la trousse. Les exigences concernant la présentation recommandée et le contenu du protocole de production des trousses de diagnostic sont précisées à l'Annexe I.

III. Données exigées pour l'obtention d'un permis

Pour appuyer sa demande de permis visant une trousse de diagnostic, un fabricant doit produire des séries avant la délivrance du permis afin de recueillir des données démontrant la puissance du produit, sa capacité de détecter l'antigène ou l'anticorps, le seuil de diagnostic, la reproductibilité des résultats, la stabilité du produit, son efficacité en fonction des allégations sur les étiquettes et sa pertinence. Ces séries doivent avoir une puissance ou un degré de réactivité égalant ceux proposés dans le protocole de production pour les séries prêtes à la mise en marché. Les résultats de l'évaluation de la puissance d'une série produite avant l'obtention d'un permis doivent être présentés au CCPBV en tant que condition préalable à l'essai de la trousse sur le terrain, mené par des laboratoires externes. Les méthodes d'interprétation des résultats des tests (positif, négatif, douteux, etc.) doivent être les mêmes que celles qui sont décrites dans le protocole de production et la monographie. Les données soumises au CCPBV sur ces expériences et ces tests devraient inclure une description de la série utilisée pour les épreuves (date de production, date d'utilisation, appellation commerciale, nom scientifique du produit, numéro de la série produite avant l'obtention du permis et résultat de l'évaluation de la puissance). Pendant l'examen de ces données, le CCPBV peut exiger que le fabricant soumette au LEPB, aux fins d'évaluation, les échantillons des souches mères et des lignées cellulaires (s'il y a lieu), de même que des séries produites avant l'obtention du permis, en plus des échantillons de référence positifs, négatifs et témoins.

A. Épreuves effectuées par le LEPB avant la délivrance d'un permis

Les échantillons doivent être soumis au LEPB comme suit.

1) Souches mères - Il incombe au fabricant d'effectuer les épreuves de certification et de contrôle de la qualité des souches mères ou des lignées cellulaires. Le fabricant doit ensuite soumettre les résultats de ces épreuves au CCPBV. Il doit également présenter au LEPB des échantillons de toutes les souches mères ou des souches de travail du microorganisme ou de la lignée cellulaire utilisés pour produire la trousse. Le LEPB effectue à son tour des épreuves indépendantes pour vérifier le contrôle de la qualité du fabricant et confirmer la certification des souches mères. Toutefois, ces épreuves ne seront pas nécessairement celles qu'a effectuées le fabricant. Si les souches mères et les lignées cellulaires ont déjà été approuvées par l'USDA-CVB Center for Veterinary Biologics d'une manière acceptable pour le CCPBV et le LEPB, il ne sera peut-être pas nécessaire de mener d'autres épreuves de confirmation en autant que ces souches mères et ces lignées cellulaires n'aient pas été manipulées d'une quelconque façon avant de servir à la production de la trousse. Le LEPB peaufine actuellement un document décrivant sa politique d'échantillonnage et d'épreuve et identifiant les échantillons et l'information requis du fabricant pour l'analyse des souches mères et des lignées cellulaires.

2) Séries produites avant l'obtention d'un permis - Le LEPB effectuera les épreuves avec les séries produites avant l'obtention d'un permis pour vérifier l'absence de problèmes techniques liés à l'utilisation d'une trousse dans des conditions de laboratoire. Pour chaque série produite avant l'obtention d'un permis, le fabricant doit fournir au LEPB des échantillons de la trousse, ainsi qu'un groupe d'échantillons de référence, et ce, en volume suffisant pour évaluer la puissance établie dans le protocole de production pour les échantillons positifs et négatifs et les autres réactifs témoins. Pendant les tests préalables à la délivrance d'un permis, le LEPB peut évaluer une trousse en utilisant des échantillons de référence additionnels qui ne sont pas inclus dans le groupe soumis par le fabricant. Par conséquent, le nombre de trousses et le volume des échantillons de référence soumis au LEPB par le fabricant seront négociés sur une base individuelle. Pour l'importation de trousses déjà approuvées, testées et jugées satisfaisantes par l'USDA-CVB, il n'est pas nécessaire de soumettre des échantillons au LEPB pour la conduite de nouvelles épreuves. Toutefois, dans des circonstances particulières, le CCPBV peut demander aux fabricants américains de soumettre des échantillons supplémentaires au LEPB aux fins d'évaluation.

B. Préparation du groupe d'échantillons de référence

Divers groupes d'échantillons de référence (sérum, sang, leucocytes, etc.) servent à évaluer différents aspects d'une trousse (puissance, pertinence, stabilité, etc.). L'information sur la préparation de ces groupes d'échantillons de référence, les listes de leurs constituants et les renseignements connexes doivent tous être inclus dans un protocole spécial soumis au CCPBV. Les échantillons composant un groupe de référence ne doivent pas faire partie de la trousse. De plus, l'ajout ou le retrait d'échantillons d'un groupe doit être consigné et approuvé par le CCPBV; il s'ensuivra des modifications au protocole de production et au protocole spécial. L'Annexe II précise l'information requise par le CCPBV sur les constituants du groupe, ainsi que les facteurs à considérer dans leur préparation.

C. Puissance

Les épreuves de vérification de la puissance sont menés par le fabricant pour chaque série d'une trousse afin de garantir que chacun de ses éléments se comporte tel que prévu. Les résultats des épreuves de puissance doivent être soumis au CCPBV comme condition préalable, d'une part, à l'utilisation des séries obtenues avant l'obtention d'un permis pour les épreuves sur le terrain et, d'autre part, à la commercialisation de chaque série. Ces épreuves reposent sur l'évaluation de la réactivité (titre de l'anticorps ou nanogrammes d'antigène, etc.) : 1. des témoins positifs contenus dans la trousse (réactivité minimale); 2. des témoins négatifs contenus dans la trousse (réactivité maximale); 3. des autres réactifs témoins; 4. d'un groupe d'échantillons de référence indépendant (sérum, sang, leucocytes, etc.) provenant d'animaux considérés comme étant malades ou sains. Les résultats des épreuves d'une série sont comparés aux critères de satisfaction minimaux et maximaux établis par le fabricant et précisés dans le protocole de production avant la délivrance d'un permis. Pour être déclarés satisfaisants, tous les échantillons doivent se situer dans l'étendue prévue. Les épreuves ne peuvent être répétées qu'une seule fois.

Prévoir un nombre suffisant d'échantillons dans un groupe pour être capable de détecter les fluctuations de la puissance (degré de réactivité) et, par conséquent, de déterminer l'efficacité des divers constituants de la trousse. Pour établir les limites de l'étendue de réactivité, chaque échantillon doit être testé à plusieurs reprises avec une série obtenue avant l'obtention d'un permis, et ce, par plus d'un analyste et à différentes dates. L'ajout ou le retrait des échantillons d'un groupe de référence utilisé pour déterminer la puissance d'une trousse doit être consigné par le fabricant et approuvé par le CCPBV. Ces changements nécessiteront des modifications au protocole de production et au protocole spécial qui précise le mode de préparation du groupe des échantillons constituant le groupe de référence.

D. Concentration minimale décelable d'antigène ou d'anticorps

Décrire le protocole et indiquer les résultats de l'expérience menée au moyen d'une série produite avant l'obtention d'un permis pour confirmer la concentration minimale de l'antigène ou de l'anticorps (exprimée en tant que titre de l'anticorps ou de nanogrammes de l'antigène, etc.) décelable avec la trousse. Il faut le faire en utilisant des échantillons de référence (antigène ou anticorps) à diverses concentrations. La préparation et le mode de détermination de la concentration de l'antigène ou de l'anticorps dans les échantillons d'épreuve (négatif à élevé) doivent également être décrits.

E. Seuil de diagnostic

Décrire le protocole et indiquer les résultats de l'expérience menée sur une série produite avant l'obtention d'un permis pour confirmer le seuil de diagnostic, p. ex., limites de détection et méthodes d'interprétation des résultats de l'épreuve. Le seuil de diagnostic d'une trousse à l'épreuve doit être déterminé en utilisant des animaux infectés expérimentalement ou naturellement et des animaux considérés comme étant indemnes de la maladie selon des critères définis reconnus. Les échantillons utilisés pour déterminer le seuil de diagnostic doivent être identifiés et décrits tel qu'indiqué à l'Annexe II. Pour les trousses pour lesquelles la méthode d'interprétation est un résultat quantitatif (densité optique, etc.), on peut se servir de courbes d'efficacité caractéristiques pour démontrer le rapport entre les estimations de la sensibilité et de la spécificité et les limites de détection choisies comme seuils de diagnostic(3),(4),(5).

F. Reproductibilité

Décrire le protocole et indiquer les résultats des expériences menées sur une série produite avant l'obtention d'un permis, pour confirmer le degré de réactivité et le maintien de celle-ci pour les échantillons positifs, faiblement positifs et négatifs. Les échantillons servant à vérifier la reproductibilité de la trousse devraient être identifiés et décrits tel qu'indiqué à l'Annexe II. Pour les trousses reposant sur un résultat quantitatif, l'antigène ou l'anticorps étant fixé à une phase solide, évaluer les échantillons de réactifs témoins au moins quatre fois sur au moins cinq unités différentes de la phase solide. Pour chaque échantillon testé, le fabricant devrait indiquer le nombre de répétitions, la moyenne, l'écart-type, le coefficient de variation et les limites pour un coefficient de confiance de 95 p. 100.

G. Stabilité

Décrire le protocole et indiquer les résultats des expériences menées sur une série de trousses produites avant l'obtention d'un permis afin d'en établir la stabilité et la date de péremption, ce qui inclut : 1. le nombre de jours pendant lesquels la stabilité est vérifiée; 2. les températures (2-4°C et 22-37°C) auxquelles la stabilité est vérifiée; 3. les statistiques de l'essai, qui démontrent qu'il n'y a aucune différence significative peu importe la date et la température d'essai. Les échantillons utilisés pour vérifier la stabilité du produit devraient être identifiés et décrits tel qu'indiqué à l'Annexe II. La date de péremption de chaque série de la trousse devrait être calculée à partir de la date du début de l'évaluation de la puissance de la série en question. Le fabricant devrait vérifier la puissance de chaque série prête à la mise en marché et soumettre les résultats au CCPBV à la date de péremption estimative, jusqu'à ce qu'un dossier de stabilité valable soit établi. La date de péremption de chacun des éléments d'une trousse doit être déterminée d'après celle du constituant qui conserve ses propriétés le moins longtemps.

H. Efficacité

Des données sur l'efficacité doivent être obtenues pour chaque allégation du fabricant sur l'étiquette, y compris les suivantes : a) forme clinique de la maladie; b) souche de l'organisme; c) type d'échantillons (sang, sérum, leucocytes, etc.) utilisés pour mener le test; d) les espèces (bovine, porcine, canine, féline, équine, etc.); e) le groupe d'âge. La détermination de l'efficacité d'une trousse repose sur des épreuves menées en laboratoire et sur le terrain. Les échantillons (sérum, sang, leucocytes, etc.) prélevés sur les espèces animales visées sont classés en quatre catégorie : ceux provenant d'animaux déclarés atteints ou non par la maladie en question conformément à une méthode normalisée reconnue, et ceux provenant d'animaux ayant donné des résultats positifs ou négatifs avec une série produite avant l'obtention d'un permis visant la trousse qui fait l'objet d'une évaluation.

Les études d'évaluation de la sensibilité de la trousse de diagnostic devront inclure des données expérimentales démontrant qu'avec cette trousse, il est possible de détecter : a) la maladie chez les animaux infectés expérimentalement (études temporelles démontrant la capacité de la trousse à détecter l'anticorps pendant un certain nombre de jours suivant l'infection induite expérimentalement; b) de multiples souches d'intérêt de l'agent infectieux; c) des échantillons infectés prélevés sur le terrain dans diverses régions géographiques. Les études mesurant la spécificité de la trousse devront inclure les données expérimentales démontrant qu'avec la trousse, il est possible de dépister, en laboratoire et sur le terrain, la maladie chez des animaux déclarés absolument sains d'après des critères définis (résultats négatifs à la culture, animaux indemnes de pathogènes particuliers, etc.). Les trousses de détection d'anticorps devraient être vérifiées contre des antisérums obtenus à partir d'agents pathogènes ou d'antigènes analogues pour déterminer les possibilités de réactivité croisée. La trousse devrait aussi être testée avec des sérums provenant d'animaux immunisés avec des produits courants. Les trousses de détection d'antigène doivent également être testées par rapport à d'autres antigènes analogues afin d'évaluer les possibilités de faux résultats positifs.

1) Matériel d'analyse - La série produite avant l'obtention d'un permis et utilisée pour vérifier l'efficacité de la trousse devrait posséder un degré de puissance égal à celui qui est proposé dans le protocole de production aux fins de commercialisation. Les échantillons de référence employés pour évaluer l'efficacité devraient être identifiés et décrits tel qu'indiqué à l'Annexe II. La norme de référence à laquelle les résultats de la trousse sont comparés peut reposer sur des symptômes cliniques, la microbiologie, la pathologie ou sur des banques d'autres épreuves. Il peut s'agir de tests pathognomoniques (prédicteurs absolus de l'état d'une maladie, p. ex., culture du microorganisme) ou d'épreuves indirectes (décèlent les modifications secondaires dues à la maladie, comme la présence d'anticorps)(6). Les données soumises doivent inclure une description des réactifs et des méthodes d'épreuve d'un échantillon avec la norme de référence, ainsi que les critères de satisfaction.

2) Statistiques utilisées pour évaluer l'efficacité de la trousse - Les résultats de l'évaluation de l'efficacité de la trousse devraient inclure l'information suivante : a) une liste des caractères démographiques, d'autres caractéristiques pertinentes, les résultats d'épreuve de la trousse, les résultats obtenus avec la norme de référence pour chaque animal visé par l'étude; b) pour chaque ferme et région géographique où l'on a recueilli un échantillon raisonnable de données et pour l'ensemble des échantillons : tableaux à quatre cases; estimation de la sensibilité, de la spécificité et de la proportion des échantillons testés dans la catégorie « douteux » (s'il y a lieu); valeurs prédictives positives et négatives; limites pour un coefficient de confiance de 95 % pour l'estimation d'un pourcentage fondé sur une approximation normale pour la distribution binomiale, l'analyse statistique Kappa, le risque relatif et le test du chi carré de McNemar(6),(7).

Le choix de la norme de référence à comparer avec la trousse détermine les allégations que le fabricant peut faire sur l'étiquette, ainsi que le type de statistiques (sensibilité, spécificité, degré de correspondance, limites pour un coefficient de confiance de 95 %, etc.) qui pourraient servir à décrire et à appuyer les allégations sur l'efficacité dans la monographie;

  1. Test pathognomonique - Pour faire des allégations sur l'étiquette en utilisant les termes « sensibilité » (définie comme étant la proportion d'animaux malades donnant des résultats positifs) et « spécificité » (définie comme étant la proportion d'animaux non malades qui donnent des résultats négatifs), il faut appliquer une norme de référence pathognomonique biologiquement indépendante pour définir l'état sanitaire des animaux éprouvés. Des statistiques (analyse statistique Kappa, risque relatif, test du chi carré de McNemar) peuvent également servir à évaluer le degré de correspondance entre la trousse et la norme de référence.
  2. Banque de tests - Lorsqu'il est difficile de cultiver des microorganismes responsables d'une maladie, une banque de tests biologiquement analogues à la trousse et reconnus par la collectivité vétérinaire comme étant des outils de diagnostic définitifs de la maladie, peut servir comme norme de référence pour établir l'état sanitaire d'un animal. Seuls les animaux qui donnent des résultats positifs ou négatifs avec toutes les méthodes d'épreuve de la banque serviront à l'évaluation de la sensibilité et de la spécificité6 de la trousse. Pour démontrer que la banque d'épreuves constituant la norme de référence correspond biologiquement à la trousse pour l'évaluation, utiliser le terme « sensibilité relative » et « spécificité relative ». Les statistiques (analyse statistique Kappa, risque relatif, test de chi carré de McNemar) peuvent servir à évaluer le degré de correspondance entre la trousse et la norme de référence.
  3. Épreuves indirectes - Le terme « sensibilité » et « spécificité » ne doivent pas servir pour décrire l'efficacité d'une trousse, quand le fabricant ne fait que comparer les résultats de la trousse à ceux d'une épreuve indirecte biologiquement correspondante. Cette méthode établit le degré de correspondance entre la trousse et la norme de référence, mais ne détermine pas la capacité ni de la trousse, ni de la norme de référence à différencier les animaux malades de ceux qui ne le sont pas. Les statistiques (analyse statistique Kappa, risque relatif, test du chi carré de McNemar) peuvent servir à évaluer le degré de correspondance entre les épreuves biologiquement analogues.

Une description de la norme de référence utilisée à titre de comparaison avec la trousse et un tableau récapitulatif des statistiques produites par le fabricant à l'appui de l'efficacité de son produit devraient être inclus dans la monographie des produits vendus au Canada. Par exemple :

Id. de l'étude Taille de l'échantillon
Trousse/référencea		 Type d'échantillon Sensibilité et spécificité, limites de confiance à 95 % (LC) Valeur prédictive positive et négative, an. stat. Kappa, risque relatif, test de chi carré de McNemar, etc.
+/+ -/+ +/- -/-
1b 60 14 70 288 Sérum Sens.: 81 % [95 %, LC 70 %, 89 %]
Spéc.: 80 % [76 %, 84 %]		 Data

a Résultats de la trousse/résultats de la norme de référence
b Données d'une étude représentative.

3) Taille de l'échantillon - La taille de l'échantillon utilisé pour déterminer la sensibilité et la spécificité de la trousse et son degré de correspondance avec la norme de référence est laissée à la discrétion du fabricant. Pour aider le consommateur à déterminer dans quelle mesure l'efficacité de la trousse a été évaluée, on demandera au fabricant d'établir les limites pour un coefficient de confiance de 95 % pour la sensibilité et la spécificité et/ou d'estimer l'erreur-type pour l'analyse statistique Kappa. Ces données doivent être incluses dans la monographie du produit (voir l'exemple ci-dessus). Il faut noter que si un échantillon est de petite taille, les limites de confiance seront étendues et il ne sera pas possible de déterminer avec précision la sensibilité ou la spécificité de la trousse.

4) Épreuve à l'insu - Décrire les méthodes utilisées pour que le personnel analyse à l'insu les échantillons d'essai au moyen de la trousse et de la norme de référence. Fournir notamment une liste de divers aspects concernant le protocole d'essai et le personnel qui réalise l'épreuve à l'insu.

I. Pertinence : Performance de la trousse aux épreuves effectuées par un laboratoire indépendant

Décrire le protocole des expériences organisées par le fabricant au moyen d'une série produite avant l'obtention d'un permis pour évaluer la trousse dans des conditions de laboratoire typiques à l'extérieur de l'établissement du fabricant. Chaque laboratoire participant doit posséder l'expertise requise pour la technologie proposée et être indépendant du fabricant de la trousse. Les échantillons utilisés pour vérifier la pertinence de la trousse devraient être identifiés et décrits tel qu'indiqué à l'Annexe II. Ces épreuves ne peuvent avoir lieu que si le CCPBV approuve le protocole de production et d'autres données préalables à la délivrance du permis.

IV. Analyse pour la commercialisation des séries

Dans le protocole de production (Annexe I), décrire les méthodes et indiquer le nombre de trousses de chaque nouvelle série, qui seront recueillies et entreposées par le fabricant et soumises au LEPB pour une épreuve préalable à la commercialisation de la série.

A. Détermination de la puissance par le fabricant

Pour commercialiser une série de trousses, le fabricant doit soumettre au CCPBV les résultats de l'évaluation de la puissance fondée sur les mêmes méthodes et groupes d'échantillons de référence et critères de satisfaction que ceux qui sont précisés dans le protocole de production (Annexe I). Pour être satisfaisants, tous les échantillons doivent se situer dans une catégorie donnée. Les épreuves ne pourront être répétées qu'une seule fois.

B. Épreuves effectuées par le LEPB

Pour chaque nouvelle série produite, au moins deux trousses ainsi qu'un volume suffisant des échantillons du groupe de référence (utilisés pour l'évaluation de la puissance décrite dans le protocole de production), des réactifs positifs, des réactifs négatifs et d'autres réactifs témoins, doivent être soumis au LEPB pour les épreuves de commercialisation de la série. Le fabricant doit conserver un nombre équivalent de trousses au cas où le CCPBV et le LEPB lui demanderaient des échantillons supplémentaires. Pour un pourcentage des séries produites chaque année, le LEPB vérifiera l'absence de problèmes techniques en utilisant la trousse dans des conditions de laboratoire. Pour l'importation de trousses déjà approuvées, testées et jugées satisfaisantes par l'USDA, il n'est pas nécessaire de soumettre des échantillons au LEPB pour qu'il les réévalue. Toutefois, dans des circonstances particulières, le CCPBV peut demander aux fabricants américains de fournir des échantillons additionnels au LEPB aux fins d'analyse.

Si l'Agence canadienne d'inspection des aliments décide d'utiliser la trousse dans le cadre d'un programme zoosanitaire, les autorités compétentes pourraient demander au fabricant de soumettre des trousses supplémentaires et des échantillons de référence pour la commercialisation de la série. La DCGMS et la DSAT négocieront avec chaque fabricant sur une base individuelle le matériel et l'information particuliers requis pour une trousse « officielle ».

V. Exigences sur l'étiquetage

Le fabricant doit soumettre au CCPBV, aux fins d'approbation, des ébauches des emballages et des étiquettes pour chacun des éléments de la trousse, ainsi qu'une monographie du produit. Les étiquettes doivent préciser : 1. l'emploi prévu; 2. les précautions à prendre; 3. le numéro du permis d'établissement de fabrication de produits biologiques vétérinaires assigné par l'Agence canadienne d'inspection des aliments ou par l'USDA; 4. la date de péremption; 5. le numéro de série; 6. les déclarations « Pour usage vétérinaire seulement » et « Pour usage in vitro seulement » où l'équivalent. L'appellation commerciale de la trousse ne doit pas être en caractères plus grands que ceux du nom assigné (voir l'Annexe I).

La monographie doit inclure une brève description de la trousse précisant : 1. les principes de l'épreuve; 2. l'utilisation de la trousse pour la détection d'un anticorps ou d'un antigène; 3. les échantillons de tissus utilisés pour l'épreuve (sang, sérum, leucocytes, etc.); 4. le matériel et les réactifs constituant la trousse; 5. une description des méthodes d'interprétation des épreuves; 6. un exemple hypothétique des résultats et de l'interprétation; 7. une liste des précautions à prendre et les limites du test; 8. un tableau des résultats des études (voir partie III H 2(c)) menées par le fabricant, qui sont soumis au CCPBV pour l'évaluation de l'efficacité de la trousse pour le dépistage des animaux malades. Si le produit est vendu au Québec, les étiquettes et la monographie doivent être soit en français, soit en français et en anglais conformément aux dispositions législatives provinciales.

VI. Biosécurité en laboratoire

Tous les aspects de la mise au point et de l'évaluation de la trousse doivent être conformes aux normes et à la réglementation sur la sécurité en laboratoire précisés dans l'édition la plus récente des Lignes directrices en matière de biosécurité en laboratoire (Agence de santé publique du Canada et Conseil de recherches médicales du Canada), les lois fédérales et provinciales pertinentes et les règlements locaux sur la sécurité. Les lignes directrices ne mentionnent pas tous les agents zoopathogènes. Il incombe toutefois au fabricant de veiller à ce que l'on respecte le niveau de sécurité approprié pour la manipulation de tous les organismes vivants utilisés pour la production et l'évaluation de la trousse. Pour obtenir les Lignes directrices en matière de biosécurité en laboratoire et les Fiches signalétiques, communiquer avec l'organisme suivant :

Bureau de la sécurité des laboratoires
Agence de la santé publique du Canada
Ottawa (Ontario) K1A 0L2
Canada

VII. Utilisation d'animaux pour la mise au point et l'évaluation de la trousse

Tous les aspects concernant l'utilisation proposée d'animaux pour la mise au point et l'évaluation de la trousse doivent être conformes aux normes et aux lignes directrices concernant le soin et l'entretien des animaux expérimentaux établies par le Conseil canadien de protection des animaux, les lois provinciales appropriées et les autorités locales responsables de la protection des animaux. Pour obtenir le Manuel sur le soin et l'utilisation des animaux d'expérimentation : Volume I et II, communiquer avec le :

Conseil canadien de protection des animaux
Pièce 1510 - 130, rue Albert
Ottawa (Ontario), K1P 5H3
Canada

Annexe I - Protocole de production des trousses de diagnostic vétérinaire

Présentation du protocole de production
La présentation recommandée suivante vise à aider le fabricant dans la préparation d'un protocole de production. Pour certaines trousses, le fabricant devra peut-être inclure des rubriques additionnelles.

La page titre du protocole de production doit contenir les renseignements suivants (voir l'exemple ci-joint à l'annexe) : a) le nom et l'adresse du fabricant; b) le nom scientifique et, si elle est connue au moment de la demande, l'appellation commerciale de la trousse; c) le numéro du permis d'établissement de fabrication de produits biologiques vétérinaires assigné par l'Agence canadienne d'inspection des aliments ou le numéro du Veterinary Biologics Establishment Licence (permis d'établissement) délivré par l'USDA-APHIS; d) la date de préparation du protocole de production.

Sur chaque page du protocole de production, le fabricant doit inclure (voir l'exemple ci-joint à l'annexe) : a) le nom scientifique et, si elle est connue, l'appellation commerciale de la trousse; b) le numéro du permis d'établissement de fabrication de produits biologiques vétérinaires assigné par l'Agence canadienne d'inspection des aliments ou le numéro du Veterinary Biologics Establishment Licence (permis d'établissement) délivré par l'USDA-APHIS; c) la date de préparation du protocole de production; d) la date à laquelle une page est remplacée s'il y a lieu; e) la signature du représentant du fabricant. Les pages du protocole de production doivent être numérotées consécutivement.

Tous les changements apportés aux méthodes de production et d'épreuve doivent être consignés et soumis aux fins d'approbation. Les modifications mineures peuvent être rapportées en soumettant les pages modifiées du protocole de production accompagnées d'un SOMMAIRE DES MODIFICATIONS (voir l'exemple ci-joint à l'annexe). Les pages modifiées doivent porter le même numéro que celles qu'elles remplacent, la date de leur préparation et la date des pages remplacées. Si une page est remplacée par plus d'une page, le numéro de la page doit être suivi d'une lettre. Des changements majeurs peuvent entraîner une révision complète du protocole de production et l'on peut même considérer le produit comme étant entièrement nouveau. Les propositions de changements majeurs doivent être soumises au préalable au CCPBV aux fins d'examen et de commentaires.

Le Protocole de production doit inclure les points énumérés ci-après :

I. INTRODUCTION

A. Description de la trousse et justification de son utilisation - Fournir une brève description de la trousse, dont des principes sous-jacents de l'épreuve peu importe que la trousse serve à la détection d'anticorps ou d'antigène, des échantillons des tissus employés pour l'épreuve (sang, sérum, etc.), ainsi que du matériel et des réactifs compris dans la trousse; présenter également une description générale des interprétations de l'épreuve et de leurs limites.

II. CONSTITUANTS DE L'ANTICORPS

A. Source - Identifier les constituants de l'anticorps dans la trousse, et préciser les espèces d'origine, la source (nom du fabricant, nom de l'établissement), l'adresse, les numéros de téléphone et de télécopieur, l'adresse sur Internet) et le mode de conservation. Si les constituants de l'anticorps de la trousse sont achetés, indiquer le numéro de série et la date de péremption.

B. Production - Décrire les méthodes servant à produire et à purifier les divers constituants de l'anticorps de la trousse. Pour les anticorps polyclonaux, décrire le protocole expérimental utilisé pour les produire. Celui-ci doit comprendre une description des animaux (espèce, âge, poids, état sanitaire, etc.), du matériel antigénique employé pour immuniser les animaux (caractéristiques, préparation et dose de l'antigène et de l'adjuvant), des méthodes de préparation et d'immunisation des animaux, de même que du calendrier d'immunisation.

Pour les anticorps monoclonaux, décrire la méthode de production y compris des constituants des hybridomes et des méthodes. Décrire également les méthodes permettant de garantir l'uniformité des différents lots d'anticorps monoclonaux. Démontrer également que les sérums animaux utilisés pour la production d'anticorps monoclonaux sont exempts de mycoplasmes, de bactéries, de champignons, de virus et d'autres organismes étrangers.

C. Caractérisation et spécificité - Décrire les méthodes d'épreuves employées pour identifier, caractériser et approuver les constituants des anticorps récoltés ou achetés. Que l'anticorps soit produit ou acheté, inclure une description des méthodes d'épreuves et des critères d'approbation de l'anticorps, y compris des tests de pureté.

D. Concentration et identification - Décrire les méthodes utilisées pour récolter, concentrer, mélanger, identifier et entreposer une série simple d'anticorps (nombre de récoltes, intervalle entre les récoltes, volume obtenu, volumes mélangés, contenants d'entreposage, etc.). Décrire également la méthode d'identification d'une série d'anticorps.

III. PRÉPARATION DE L'ANTIGÈNE

A. Identification - Identifier le microorganisme et les constituants de l'antigène de la trousse, en précisant le nom et la souche du microorganisme, la source (nom du fabricant, nom de l'institution, adresse, numéros de téléphone et de télécopieur et adresse sur Internet), les espèces animales d'origine, la date d'obtention, la chronique des passages, le nombre maximal de passages autorisé par lot de production, le titre de la souche mère, les conditions d'entreposage (température, état, stabilité) et les résultats de tous les contrôles de la qualité. Si les constituants de l'antigène de la trousse sont achetés, il faut préciser le nom du fabricant produisant la souche mère, le nom du produit, le nom scientifique des constituants de l'antigène, le numéro de série et la date de péremption.

B.Cultures - Décrire toutes les étapes de multiplication du microorganisme et préciser :

  1. les méthodes utilisées pour confirmer l'identité de l'organisme de la souche mère et la souche de production
  2. l'étendue des cultures de repiquage utilisées pour la production
  3. les constituants, la source et les épreuves garantissant que les milieux de culture sont exempts de contaminants
  4. les conditions de culture cellulaire (y compris les dates d'épreuves des cellules primaires et des lignées cellulaires, le cas échéant). Si on se sert d'oeufs pour produire le microorganisme, préciser la source des oeufs, leur âge et la voie d'inoculation
  5. les caractéristiques, le format et la forme des contenants utilisés pour la culture du microorganisme
  6. les conditions d'entreposage des cultures mères
  7. les méthodes de préparation des suspensions pour l'inoculation
  8. les techniques d'inoculation des souches et des milieux de culture
  9. la durée, les températures et les conditions d'incubation
  10. les caractéristiques souhaitées des cultures (apparence physique)
  11. les méthodes de vérification de la contamination des cultures du microorganisme.

C. Récolte - Décrire toutes les étapes de la récolte du microorganisme en précisant :

  1. les méthodes de manutention et de préparation des cultures avant la récolte,
  2. la durée minimale et maximale d'incubation des cultures,
  3. les techniques de récolte,
  4. les modalités d'une récolte acceptable,
  5. les méthodes de manutention du matériel rejeté.

D. Préparation de l'antigène - Décrire toutes les étapes de la préparation de l'antigène contenu dans la trousse à partir du microorganisme en précisant :

  1. la méthode d'inactivation du microorganisme,
  2. les méthodes d'extraction,
  3. la méthode de caractérisation,
  4. la méthode de normalisation,
  5. l'agent de conservation ou de stabilisation utilisé,
  6. la méthode de concentration et de purification de l'antigène,
  7. les méthodes de fabrication d'une série de l'antigène à partir du matériel de production,
  8. la méthode d'identification d'une série de l'antigène.

IV. AUTRES CONSTITUANTS

Préciser les autres réactifs et le matériel inclus dans la trousse et décrire la méthode de normalisation et de préparation des contenants définitifs tel qu'on les énumère ci-après. S'il achète les réactifs, le fabricant doit identifier ses fournisseurs et préciser les critères d'approbation du matériel.

A. Réactifs témoins négatifs

B. Réactifs témoins positifs

C. Autres réactifs témoins

D. Anticorps conjugué

E. Indicateur et substrat (y compris la source et les numéros de catalogue)

F. Plaques ou autres phases solides

G. Autres réactifs (tampons, diluants, etc.)

V. PRÉPARATION DU PRODUIT FINAL
Décrire les méthodes utilisées pour obtenir le produit final, y compris :

A. Agents de conservation - Énumérer les agents de conservation, leur concentration finale et une liste des constituants de la trousse dans lesquels ils sont utilisés.

B. Volumes de remplissage - préciser les volumes minimal et maximal de remplissage des réactifs de la trousse sous forme de tableau.

C. Identification - Décrire les méthodes d'identification d'une série.

D. Élimination - Décrire la méthode d'élimination des trousses et des réactifs insatisfaisants.

VI. MÉTHODES D'ÉPREUVE D'UNE SÉRIE DE TROUSSES PRÊTE À COMMERCIALISER
Décrire les méthodes d'épreuve et les critères de satisfaction pour la commercialisation d'une série de trousses.

A. Tests de pureté - Décrire les tests utilisés pour déterminer la pureté de la trousse et de ses constituants.

B. Tests d'innocuité - Les trousses de diagnostic in vitro sont exemptes des tests d'innocuité.

C. Tests de puissance - Décrire, comme suit, les méthodes et énumérer les critères minimal et maximal de satisfaction pour chaque échantillon de référence utilisé pour la commercialisation d'une série :

  1. témoin positif (réactivité minimale)
  2. témoin négatif (réactivité maximale)
  3. autres réactifs témoins
  4. groupe d'échantillons de référence pour l'évaluation de la puissance

VII. MÉTHODE D'ÉPREUVE
Énumérer les étapes de la conduite et de l'interprétation de l'épreuve.

VIII ÉTAPES SUIVANT LA PRÉPARATION
La préparation finale et l'emballage de la trousse doivent inclure une description des étapes suivantes :

A. Assemblage et emballage - Décrire l'assemblage de la trousse et son emballage, c'est-à-dire le format et la forme des contenants définitifs.

B. Collecte et entreposage des échantillons - Décrire les méthodes et préciser les numéros des trousses de chaque série, qui seront conservées et entreposées par le fabricant et soumises au LEPB aux fins d'analyse avant la commercialisation de la série. (Voir la partie IV B de ces lignes directrices pour connaître le nombre d'échantillons à conserver à l'intention du LEPB.)

C. Conditions d'entreposage - Décrire les conditions d'entreposage recommandées et toutes les précautions à prendre

D. Utilisation recommandée et limites - Préciser les recommandations sur l'utilisation de la trousse, y compris celles qui s'appliquent aux limites et aux méthodes d'interprétation.

E. Date de péremption - La date de péremption doit être établie à partir de la date du début du test de puissance. Indiquer la durée de la période de conservation pour chaque série. La date de péremption des constituants de la trousse doit être déterminée selon celle du constituant qui conserve le moins longtemps ses propriétés.

F. Déclaration de confidentialité - Indiquer les parties précises du protocole de production qui sont considérées comme étant confidentielles.

PRÉSENTATION RECOMMANDÉE POUR LA PAGE TITRE DU PROTOCOLE DE PRODUCTION :

NOM DE L'ENTREPRISE
ADRESSE DE VOIRIE
VILLE (PROVINCE)
CODE POSTAL

PROTOCOLE DE PRODUCTION

NOM ASSIGNÉ (nom générique)

APPELLATION COMMERCIALE

Agence canadienne d'inspection des aliments
No d'établissement de fabrication de produits biologiques vétérinaires  

DATE (jour, mois, année)

PRÉSENTATION RECOMMANDÉE POUR LES PAGES SUIVANT LA PAGE TITRE DU PROTOCOLE DE PRODUCTION :

Page 2 de

Agence canadienne d'inspection des aliments

Trousse de diagnostic
Date :

No d'établissement
 
Remplace :


Signature
Gestionnaire, Affaires réglementaire

PRÉSENTATION RECOMMANDÉE POUR LE SOMMAIRE DES MODIFICATIONS DU PROTOCOLE DE PRODUCTION :

Voici un exemple de présentation des modifications du protocole de production. Les modifications sont résumées sur des pages ajoutées à la fin du protocole de production original.

Fabricant :
Adresse :
Date :
Remplace :

Nom assigné du produit

SOMMAIRE DES MODIFICATIONS

Section
Modification
III. C.
Méthode de récolte changée de à
III. D. i.
Agent inactivant changé de à
IV.
Réécrit
VI. C.
Test de puissance changé de à
V. C. 2.
Supprimé
VI. B.
Ajouté


(Signature)
Nom
Titre

Annexe II - Préparation des groupes d'échantillons de référence

On se sert de divers groupes d'échantillons de référence (sérum, sang, leucocytes, etc.) pour évaluer différents aspects de la trousse (puissance, pertinence, stabilité, etc.). Un protocole spécial doit préciser le mode de préparation des groupes d'échantillons, contenir la liste des constituants et l'information connexe et être soumis au CCPBV. Les échantillons composant un groupe de référence ne doivent pas faire partie de la trousse. L'ajout ou le retrait des échantillons du groupe doit être rapporté et approuvé par le CCPBV, ce qui nécessitera des modifications au protocole de production ou au protocole spécial. L'information sur les constituants du groupe de référence requis par le CCPBV et les facteurs dont il faut tenir compte dans leur préparation sont précisés ci-après.

  1. Volume - Un groupe d'échantillons de référence doit être disponible en volume suffisant et pendant tout le temps nécessaire à l'évaluation de la stabilité d'une trousse d'une série à l'autre. Les échantillons de référence doivent être disponibles pour les épreuves à la demande du CCPBV ou du LEPB.
  2. Type - Un groupe d'échantillons de référence distinct doit être préparé pour l'évaluation de chaque type différent d'échantillon (sang, sérum, leucocytes, etc.) décrit dans les allégations sur l'étiquette.
  3. Identification - Dans un protocole spécial, fournir les renseignements suivants sur les échantillons du groupe de référence : identification; type d'échantillon; identification de chaque animal, source (région géographique, incluant le pays et l'adresse de l'exploitation agricole), état sanitaire de l'animal, méthode de diagnostic particulière (signes cliniques, lésions post-mortem, cultures, épreuves sérologiques, etc.), information sur les facteurs qui auraient pu influer sur l'efficacité de l'épreuve de diagnostic (c.-à-d., vaccination), renseignements se rapportant précisément aux allégations sur l'étiquette (c.-à-d., âge de l'animal, espèce, forme clinique de la maladie, titre de l'anticorps); date de prélèvement de l'échantillon, faits concernant le stockage des échantillons et date de préparation de ces derniers pour le groupe de référence. Le protocole spécial doit aussi préciser le code unique assigné au groupe de référence et la date de préparation.
  4. Spécificité - Les groupes de référence doivent inclure des échantillons produits à partir : a) d'animaux infectés expérimentalement et/ou de cultures positives et/ou d'animaux ayant donné des résultats positifs ou négatifs confirmés aux épreuves sérologiques; b) d'animaux infectés par les souches appropriées de l'agent pathogène infectieux selon les différentes régions géographiques; c) d'animaux infectés par des agents ou des antigènes analogues; d) d'animaux immunisés avec des produits courants.
  5. Étendue de la réactivité - Le groupe de référence doit être composé de divers échantillons qui donnent des réactions positives fortes, positives faibles et négatives. Les échantillons positifs doivent constamment donner une réaction supérieure à un seuil de diagnostic positif préétabli et doivent couvrir toute l'étendue des réactions positives décrites par le fabricant dans la monographie. Les échantillons négatifs doivent constamment donner une réaction inférieure au seuil négatif préétabli. Chaque échantillon doit être vérifié avec la trousse à plusieurs reprises, et ce, par plus d'un analyste et à différentes dates, afin de déterminer les limites de l'étendue de la réactivité.
  6. Taille de l'échantillon - Pour chaque type d'échantillon (sang, sérum, leucocytes, etc.) décrit dans l'allégation sur les étiquettes, le fabricant doit prévoir un nombre suffisant d'échantillons appropriés pour détecter les fluctuations de la puissance (degré de réactivité) des divers constituants de la trousse.
  7. Ajout ou retrait d'un échantillon du groupe de référence - Décrire les méthodes d'épreuves utilisées pour ajouter, supprimer ou analyser de nouveau les échantillons du groupe de référence. Les méthodes appliquées pour ajouter des échantillons au groupe doivent être reconnues par la collectivité vétérinaire comme fournissant le diagnostic le plus définitif de la maladie au moment de la délivrance d'un permis. Elles peuvent reposer sur des signes cliniques, la microbiologie, la pathologie ou sur des banques d'autres épreuves de référence. Il peut s'agir d'épreuves pathognomoniques (prédicteurs absolus de l'état sanitaire, c.-à-d., culture du microorganisme) ou d'épreuves indirectes (détectent les modifications secondaires dues à la maladie, comme la présence d'anticorps). Les données soumises doivent inclure une description des réactifs et des méthodes d'analyse d'un échantillon, y compris des critères de satisfaction ou de non satisfaction.
  8. Méthode d'entreposage des échantillons du groupe de référence - Décrire la méthode utilisée pour entreposer les échantillons du groupe de référence (congélation, lyophilisation, etc.).

Annexe III - Bibliographie

  1. Agence canadienne d'inspection des aliments, autrefois, Agriculture et Agroalimentaire Canada, Sommaire des exigences et des lignes directrices sur les produits biologiques vétérinaires au Canada. Nepean (Ontario); Centre canadien des produits biologiques vétérinaires, le 18 mai 1996.
  2. United States Department of Agriculture. Code of Federal Regulations 9, Chapter I, Animal and Animal Products. Washington D.C,: Office of the Federal Registrar, National Archives and Records service, General Services Administration, 1995; 114.9.: 652-653.
  3. Metz C.E. Basic principles of ROC analysis. Seminars in Nuclear Medicine. 1978; VIII, 4 (October): 283-298.
  4. Knapp R.G., Miller M.C. Defining Normality Using the Predictive Value Method. In: Clinical Epidemiology and Biostatistics. Malvern, Pennsylvania: Harwal Publishing Company, 1992: 55-56.
  5. Kraemer H.C. Assessment of 2 X 2 associations: generalization of signal-detection methodology. The American Statistician 1988; 42, 1: 37-49.
  6. Martin S.W., Meek A.H., Willeberg P. Veterinary epidemiology, principles and methods. Ames, Iowa: Iowa State University Press. 1987: 62-78.
  7. Fleiss J.L. Statistical methods for rates and proportions, 2nd ed. In: Wiley Series in Probability and Mathematical Statistics. Toronto: John Wiley & Sons. 1981: 14.