Table des matières
Chapitres
- Comment promouvoir le dialogue
- Comment aider le client à jouer son rôle
- Améliorer le rendement des prestataires de services
- La formation : pratiques prometteuses
- Evaluation de la qualité des ICP
- Étape 1 : investir les parties prenantes
- Étape 2 : décrire les buts du programme
- Étape 3 : focaliser la conception de l’évaluation
- Étape 4 : recueillir des éléments probants crédibles
- Étape 5 : justifier les conclusions
- Étape 6 : garantir l’utilisation des enseignements tirés et les faire partager
- Au-delà du planning familial
- Bibliographie
Le présent numéro a été préparé avec le concours de l’Office of Population and Reproductive Health de l’Initiative MAQ (Maximalisation de l’accès et de la qualité) de l’Agence des États-Unis pour le développement international. L’Initiative MAQ appuie les interventions fondées sur les recherches et les conclusions pour promouvoir l’accès aux services de santé reproductive et de planning familial et leur qualité.
Publié par le Info Project, Center for Communication Programs, The John Hopkins Bloomberg School of Public Health, 111 Market Place, Suite 310, Baltimore, Maryland, 21202, USA.
Volume XXXI, Numéro 4
Automne 2003
Série Q, Numéro 1
Maximalisation de l’accès et de la qualité
Étape 4 : recueillir des éléments probants crédibles
La crédibilité des résultats d’évaluation dépend des types de données rassemblées, de leur qualité et de leur quantité et des méthodes de rassemblement des données (27). Deux questions sont essentielles : la traduction des concepts des ICP en indicateurs mesurables et le choix de sources de données appropriées (92).
Il convient que les indicateurs soient spécifiques et mesurables. L’évaluation de la qualité des ICP exige la traduction des objectifs généraux, par exemple l’établissement des rapports ou le fait de donner aux clients leur choix en indicateurs spécifiques et mesurables quant à la performance d’un particulier ou d’un programme. Des indicateurs crédibles reflètent également des informations fiables et objectives et ces indicateurs sont sensibles aux fluctuations de la performance.
L’établissement d’indicateurs mesurables, qui évaluent avec précision la communication et les services conseil interpersonnels s’est révélé difficile (140). Nombre d’indicateurs exigent un jugement subjectif, par exemple pour décider si un prestataire a suffisamment étudié les besoins et les préférences d’un client dans le domaine du planning familial. D’autres éléments, par exemple l’écoute attentive, seront difficiles à coter parce qu’il s’agit d’un indicateur non verbal et qui varie selon les cultures. Même les indicateurs qui semblent clairs et précis, par exemple la précision de l’information communiquée, peuvent être difficiles à évaluer dans le contexte d’une conversation réelle.
De nombreuses organisations ont élaboré des listes exhaustives d’indicateurs d’ICP dans le cadre des évaluations de formation (42) ou des évaluations des installations (7). Le Tableau 2 présente les indicateurs d’ICP d’un outil pratique, peu onéreux et qui a fait ses preuves (QIQ), élaboré pour mesurer la qualité des soins des services de planning familial (104, 154).
La multiplicité de sources d’information renforce les conclusions. L’observation de consultations, les entretiens avec les clients et les prestataires et les vérifications dans les établissements constituent des sources courantes de données pour évaluer la communication et les services conseil interpersonnels. Les évaluations des ICP s’appuient souvent sur de multiples sources d’information, pour pouvoir compenser les points faibles de certaines sources et pour que l’on puisse mettre à l’épreuve l’uniformité des résultats (119).
Les différentes démarches de l’observation possèdent des avantages et des inconvénients divers. Trois démarches ont été adoptées pour observer l’interaction entre les clients et les prestataires : observation directe, analyse de l’interaction et simulation des clients. L’observation directe demande des observateurs formés à cet effet, souvent des personnes de terrain ou des superviseurs, pour observer la consultation et évaluer la qualité de l’interaction à partir d’un guide d’observation structuré (7, 68). La présence d’un observateur constitue toutefois le plus grand inconvénient de la méthode. Lorsque les clients savent qu’ils sont observés, ils sont parfois moins disposés à parler et les prestataires déploient davantage d’efforts que d’habitude. Une sélection soigneuse et une formation de qualité des observateurs constituent la clef de la fiabilité des données, sinon différents observateurs pourraient interpréter et rendre compte de façon différente des actions des prestataires (14).
L’analyse d’interaction des bandes son ou vidéo peut éventuellement éviter le biais potentiel provoqué par la présence d’un observateur, mais elle coûte davantage (73). Après avoir enregistré ces bandes, puis les avoir décryptées, les chercheurs chargés de la consultation ont recours à un guide de codes pour classer et quantifier tout ce qui a été dit par le client et par le prestataire (36). Les outils d’auto-évaluation qui aident les prestataires à évaluer leur propre performance, en se fondant sur la mémoire ou sur un enregistrement sur bande, sont une variante de l’analyse d’interaction (68, 77).
La démarche simulée, du « faux client », forme les participants dans les communautés à reconnaître ce qui constitue des soins de qualité, à la suite de quoi on les envoie dans les services de santé sans révéler au prestataire qu’il participe à une enquête. Le faux client relate ensuite aux chercheurs sa visite chez le prestataire et dans l’établissement. La définition soigneuse du profil d’un faux client et la limitations des comptes-rendus à certains comportements des prestataires et à certaines caractéristiques des établissements, permettent d’augmenter l’objectivité et la fiabilité des comptes-rendus (96, 120). À l’évidence, cette démarche ne peut évaluer le comportement des clients.
Les entretiens suscitent les opinions des clients et des prestataires. Les entretiens avec les clients immédiatement après leur consultation peuvent révéler ce qui s’est passé et si les clients s’en vont satisfaites. Les clients ne se souviendront pas nécessairement de tout ce qui s’est passé pendant la séance de counseling ou ils peuvent confondre les entretiens de groupe ou encore les autres consultations en clinique (14). Mais surtout, la conjugaison d’attentes minimes, le biais de la politesse (dire aux consultants ce qu’ils souhaitent entendre) et la crainte de critiquer les personnes au pouvoir encouragent les clients à dire qu’ils sont satisfaites des services, ce qui leur permet d’éviter d’avoir à critiquer le personnel de la clinique, ce qui fausse les résultats dans une direction positive (14, 36, 104). Les responsables de l’évaluation peuvent diminuer ce biais en procédant aux entretiens en privé (56), en dehors de l’établissement, avec des collaborateurs qui ne travaillent pas dans la clinique concernée (104).
Les entretiens structurés ou quasi-structurés avec les prestataires peuvent jauger leur connaissance du planning familial, la communication interpersonnelle et le service-conseil. Les entretiens seront particulièrement utiles pour sonder les attitudes des prestataires face à l’utilisation de contraceptifs dans différents groupes : les adolescentes, les femmes non mariées, les hommes, les travailleuses du sexe, les femmes sans enfant ou les femmes avec de nombreux enfants. Toutefois, les pratiques réelles des prestataires ne concordent pas toujours avec leurs connaissances, ni avec leurs attitudes déclarées (116).
Les vérifications dans les établissements évaluent le cadre des ICP. Les observateurs peuvent effectuer des visites de site pour juger si un établissement est prêt à fournir des services de qualité, y compris les ICP. Par exemple, les observateurs peuvent évaluer si la disposition du bâtiment permet aux consultations de conserver un caractère privé, si les directives concernant les ICP et les outils de travail sont en place et si les systèmes logistiques garantissent un approvisionnement ininterrompu de contraceptifs (104).
