Par contre, quand les données existantes ne sont ni fiables ni pertinentes, les responsables peuvent mettre en place de nouveaux systèmes de collecte de données. Il suffit parfois d'une approche rapide et informelle pour examiner un problème particulier. Un responsable pourrait répondre à la plainte d'un client en observant par exemple comment le réceptionniste parle à dix clients consécutifs ou en demandant aux clients s'ils ont attendu longtemps. Mais une approche plus formelle dont il est question dans les méthodes décrites ci-après, est nécessaire pour un suivi routinier.

Observation directe et clients simulés. L'observation des consultations et le fait de noter les mesures prises par le prestataire sur une liste de vérification est un moyen utilisé couramment pour évaluer les compétences cliniques et de counseling. Une comparaison de trois méthodes de suivi au Malawi a montré que l'observation était plus fiable que les interviews des prestataires et que l'observation arrivait à collecter des informations sur une gamme plus large d'activités que les interviews avec les clients (112). L'observation a un autre avantage : les observateurs peuvent faire le compte rendu de l'attitude tant du prestataire que du client et de leur interaction (190).

Seulement en présence d'un observateur, les membres du personnel cherchent à avoir le meilleur comportement possible. Afin d'éviter ce biais, certains chercheurs ont formé des membres communautaires pour qu'ils apprennent à observer les prestataires tout en prétendant être des clients (155, 184, 235, 319, 339). Ces faux clients ou clients «mystère» peuvent être recrutés dans des groupes se heurtant à certains obstacles au niveau de la prestation de services (par exemple, les groupes minoritaires ou les adolescents) afin de voir comment les prestataires se comportent vis-à-vis de divers clients (2, 156). Cette approche est utilisée le plus souvent pour les évaluations bien qu'elle puisse également servir au suivi routinier (232).

Feed-back du client. Tel que noté (voir Chapitre 3.2), le point de vue des clients est important. Premièrement, en tant que membres de la communauté, les clients peuvent définir un comportement acceptable dans cette culture ; par exemple, le prestataire devrait-il chercher à établir un contact visuel avec ses clients ou encore les longues attentes sont-elles vue comme très déplaisantes ou au contraire comme une occasion de s'entretenir avec d'autres personnes. Deuxièmement, les clients accordent généralement plus d'importance aux relations interpersonnelles avec le prestataire alors qu'un observateur formé pourra examiner davantage la compétence technique. Troisièmement, le feed-back du client peut indiquer si les services ont répondu aux attentes des clients et si ces derniers sont prêts à mettre en pratique les conseils donnés lors des consultations. Pour juger de la satisfaction des clients, les programmes peuvent demander l'opinion des clients par le biasis d'interviews à la sortie, de groupes de discussion focalisée, d'enquêtes sur la satisfaction des clients et de boîtes à idées (104, 149, 184).

Les interviews à la sortie avec les clients peuvent également évaluer la performance des prestataires. Des études comparant les observations des consultations de planification familiale et de santé et les interviews à la sortie ont constaté que les clients font mention des relations interpersonnelles et des actions concrètes prises par le prestataire, par exemple le fait de montrer une grande fiche expliquant le problème ou encore le fait de peser un enfant (110, 112, 144).

Audits cliniques. Les audits cliniques sont une approche utilisée depuis longtemps pour vérifierla qualité des soins médicaux. Réalisés par des membres du personnel ou des experts de l'extérieur, ces audits font l'examen critiques des dossiers médicaux et organisent des interviews avec le personnel sur une série de cas connexes (3, 228). Les hôpitaux en Tanzanie et au Mozambique font des audits réguliers de la mortalité maternelle et périnatale donnant ainsi l'occasion au personnel de discuter ouvertement des échecs dans le cadre d'un échange constructif. Depuis on assiste à une tendance à la baisse des taux de mortalité (58, 233, 287). Mais l'approche critique des audits cliniques peut également démoraliser le personnel si elle n'est pas bien présentée (15). La mauvaise qualité des dossiers médicaux dans un grand nombre de pays en développement limite également la portée des audits cliniques (144).

Visites d'inspection et d'accréditation. Les systèmes de suivi et d'accréditation dépendent généralement de superviseurs ou d'équipes d'inspection qui se rendent sur les lieux et contrôlent toute une liste d'indicateurs (15, 137). Ils revoient le fonctionnement entier de l'établissement, y compris les fonctions de soutien ainsi que les soins des clients (15, 258). Les inspections peuvent mettre en évidence la médiocrité de certains soins ou par contre constater une performance très bonne et la récompenser par de bonnes notes.

Un nombre croissant de pays en développement sont en train de mettre en place des programmes nationaux d'accréditation pour gérer la qualité (137, 177, 281, 285). La plupart des programmes d'accréditation interviennent au niveau des hôpitaux mais le projet PROQUALI a adapté l'approche au niveau des centres de santé au nord-est du Brésil (174). Les équipes d'accréditation de l'état composées de professionnels médicaux se rendent tous les 6 à 12 mois dans les services de santé reproductive des centres participant au programme. Pendant les 14 premiers mois, les notes d'accréditation dans les cinq centres pilotes se sont améliorées, passant en moyenne de la base de 13% de critères de qualité satisfaits à 94% (5). Les centres accrédités — ceux qui atteignent 100% — peuvent afficher un sceau de qualité et seront mentionnés dans le cadre des campagnes communautaires (176).

Les programmes d'accréditation et d'inspection font généralement appel à des inspecteurs de l'extérieur qui sont en principe objectifs et qui ont l'expérience et les connaissances nécessaires. Ils peuvent reconnaître les problèmes que ceux de l'intérieur ayant moins d'expérience en la matière ne verront pas de suite. Toutefois, les experts de l'extérieur ne comprennent pas toujours aussi bien la situation locale ou n'inspire pas de suite confiance au personnel. Par conséquent, les membres du personnel risquent de cacher certains problèmes aux inspecteurs et de rejeter les recommandations (15, 149, 228).

L'autre possibilité, c'est pour les équipes internes d'évaluer leur propre établissement (15, 149, 219, 227, 228). Leur connaissance de la situation locale peut les aider à interpréter les données, à élargir la gamme de problèmes identifiés et à proposer des solutions pratiques (15, 149, 228). Les évaluations internes confèrent également aux membres du personnel un sentiment d'appartenance face aux résultats et ils sont donc plus susceptibles de procéder aux changements recommandés.

Reconnaissant l'utilité des deux approches, les experts du contrôle de la qualité sont en train d'ajouter des éléments d'auto-évaluation à l'approche d'inspection plus classique. Un système de suivi médical mis au point par l'AVSC International demande par exemple à des médecins locaux chevronnés non seulement d'inspecter les systèmes de prestation de service lors des visites périodiques mais de participer au processus d'auto-évaluation COPE en cours dans ces établissements (15) (voir encadré, Approaches à l'amélioration de la qualité).

Examen par les collègues et auto-évaluation individuelle. Certains programmes ont essayé l'examen par les collègues et l'auto-évaluation pour faire le suivi des prestataires de services (378). Par exemple, en Angola, où une longue guerre civile a empêché de fournir une supervision régulière aux infirmiers des centres ruraux de planification familiale, l'existence d'une liste de vérification permettant l'auto-évaluation a aidé les infirmiers à aller dans le bons sens (60).

Ces techniques se sont avérées des mesures exactes de la performance des prestataires et des formes efficaces de feed-back pouvant compléter ou remplacer la supervision de l'extérieur (378). L'Association des sages-femmes de l'Indonésie a comparé l'auto-évaluation conjuguée à l'examen des collègues et l'observation faite par des personnes de l'extérieur. La comparaison a montré que les trois approches dégageaient des informations comparables. Le feed-back des collègues a toutefois permis de nets gains au niveau de la performance qui n'ont pas été notés dans le cadre de l'auto-évaluation ou de l'observation externe (222).

Recherche opérationnelle. La recherche opérationnelle (RO) est surtout un outil de résolution de problème plutôt qu'un outil de collecte de données. Toutefois, il peut dégager des informations en l'espace de quelques semaines ou quelques mois sur le fonctionnement d'un système de prestations de services (55, 292, 325). Généralement, la RO est utilisée une seule fois pour trouver des solutions pratiques à des problèmes de prestation. Se servant de diverses techniques de recherche, les responsables ou les chercheurs de l'extérieur évaluent la situation courante, établissent le diagnostic des problèmes, éprouvent la faisabilité des différentes approches à la prestation de services et évaluent leur impact sur la qualité des soins (29, 55, 343).

Les statistiques de services et les systèmes d'information en gestion (SIG). Les responsables peuvent transformer les données collectées sur les clients en informations utiles sur la qualité en additionnant les chiffres chaque mois et en calculant de simples taux. Avec l'aide de rapports récapitulatifs et de graphiques, ils peuvent ensuite analyser les tendances et comparer les établissements (65, 196, 364). Un changement soudain dans les statistiques de service demande qu'on recherche la cause du problème.

Un système complet d'information en gestion (SIG) peut revenir cher et son fonctionnement n'est pas toujours facile (65). En outre, les SIG collectent peu de données qui reflètent la qualité des services (127, 343). Ou alors, les systèmes ont été mis au point tout particulièrement pour suivre la qualité (284). Par exemple, les organisations affiliées à l'IPPF en République dominicaine et au Guatemala ont utilisé le système informatique de gestion clinique pour découvrir les problèmes de qualité liés à la faible durée d'utilisation des implants (104) et pour identifier les prestataires avec des taux élevés de complication ou une distribution inappropriée de méthodes par client (184).

Analyse situationnelle et méthode d'évaluation rapide. L'analyse situationnelle mise au point par le Population Council (voir encadré, Ressources pour le contrôle de la qualité). est l'approche la plus utilisée pour évaluer la qualité d'une organisation de planification familiale prise dans son ensemble. Depuis 1989, l'analyse situationnelle a été réalisée ou planifiée dans 30 pays de l'Afrique, de l'Amérique latine, de l'Asie et du Proche-Orient (254, 258).

Dans le cadre de l'analyse situationnelle, deschercheurs formés en la matière collectent des données auprès d'un échantillon représentatif d'établissements sanitaires sur une période de six semaines environ. L'analyse situationnelle type comprend des observations de consultations, des interviews avec les clients, un examen des statistiques de services et un inventaire de l'équipement et des fournitures (252, 254).

Une analyse situationnelle voit si les sous-systèmes du programme fonctionnent bien et fait des recommandations. Mais souvent, par la suite, les responsables des programmes n'ont pas fait les efforts systématiques nécessaires pour traiter les faiblesses identifiées (12, 253). Par contre, l'analyse situationnelle de 1991Ä92 au Burkina Faso a encouragé l'élaboration de plans nationaux dans le long terme pour la planification familiale et les services de santé maternelle et infantile, un SIG amélioré, de nouveaux programmes de formation et du matériel de référence pour le counseling, la réorganisation de l'approvisionnement en contraceptifs vers les régions, etc. (13, 286).

Des analyses situationnelles successives faites dans le même pays commencent à suivre les progrès faits par le programme pour améliorer la qualité des soins (253). Par exemple, une comparaison des analyses situationnelles de 1989 et de 1995 au Kenya constatait que les méthodes contraceptives et le matériel de communication étaient plus disponibles et que les clients recevaient plus d'informations sur les méthodes. Le nombre et la qualité des visites restaient cependant faibles (259).

L'Organisation mondiale de la Santé (OMS) a mis au point une approche souple visant à évaluer la qualité des soins, la performance du personnel et la satisfaction des clients à l'aide d'une méthode appelée Méthode d'évaluation rapide (MER) (389) (voir encadré, Ressources pour le contrôle de la qualité). La méthode MER et l'Analyse situationnelle collectent des données analogues, mais la méthode MER n'utilise pas de technique uniformisée de collecte de données. Une équipe MER est réunie avec des décideurs, des responsables, des formateurs et des prestataires de services pour diriger l'évaluation. Cette équipe décide des questions et des niveaux de services à examiner, conçoit des instruments spéciaux de collecte de données et présente ses résultats à un séminaire national ou régional qui rédige un plan d'action.

La méthode MER est utilisée pour évaluer des programmes nationaux de santé dans cinq pays. Par exemple, une MER a été réalisée pendant l'épidémie du choléra qui a sévi en 1991 au Guatemala afin d'évaluer la qualité des services de réhydratation orale et de traitement. L'équipe a identifié des faiblesses particulières, par exemple des erreurs faites par les prestataires concernant le degré de déshydratation d'un enfant et le fait de ne pas donner des conseils appropriés à une mère sur l'alimentation d'un enfant malade. Par la suite, un atelier de formation a été organisé rapidement pour améliorer les compétences des prestataires (142).