Cuando se dispone de datos que no son fidedignos ni pertinentes, los gerentes pueden establecer nuevos sistemas para la recolección de datos. Para investigar un problema específico, a veces todo lo que se necesita es un enfoque rápido e informal. Por ejemplo, un gerente puede responder a la queja de un cliente observando cómo la recepcionista habla con 10 clientes consecutivos, o preguntando a cada cliente cuánto tiempo ha estado esperando. Sin embargo, para el monitoreo rutinario se necesita un enfoque más formal, tal como los métodos descritos a continuación.

Observación directa y clientes simulados. El observar las consultas y anotar las acciones del prestador de servicios en una lista de verificación es una forma común de evaluar las habilidades para orientar y las habilidades clínicas. En una comparación de tres métodos de monitoreo en Malawi, las observaciones resultaron ser más fidedignas que el entrevistar a los prestadores de servicios, y mediante las observaciones se pudo compilar información sobre una gama más amplia de actividades que mediante las entrevistas a clientes (112). La observación directa tiene otra ventaja: los observadores pueden informar sobre las acciones e interacciones tanto de los prestadores de servicios como de los clientes (190).

No obstante, cuando hay un observador presente, los miembros del personal se comportan lo mejor posible. Para superar esta fuente de parcialidad, algunos investigadores han capacitado a miembros de la comunidad para que observen a los prestadores de servicios mientras aparentan procurar atención (155, 184, 235, 319, 339). Estos clientes simulados o clientes "anónimos" pueden ser reclutados de grupos que enfrentan problemas especiales con la prestación de servicios (por ejemplo, adolescentes o minorías étnicas) a fin de explorar cómo los prestadores de servicios tratan a distintos clientes (2, 156). Aunque suele usarse para evaluaciones, el enfoque del cliente simulado también puede utilizarse para el monitoreo rutinario (232).

Retroalimentación del cliente. Como se mencionó anteriormente (véase Capitulo 3.2), el cliente tiene una perspectiva valiosa sobre la calidad de atención. Primero, como miembro de la comunidad, el cliente puede definir el comportamiento culturalmente apropiado: por ejemplo, si los prestadores de servicios deben hacer contacto con la mirada, o si las largas esperas son una molestia o una oportunidad para socializar. Segundo, el cliente generalmente le da más importancia a las relaciones interpersonales de un prestador de servicios, mientras que un observador capacitado tiende a enfocarse más en la competencia técnica. Tercero, la retroalimentación del cliente puede indicar si los servicios han satisfecho los deseos del cliente y si el cliente está dispuesto y capacitado para llevar a cabo las decisiones tomadas en consulta. Para medir la satisfacción del cliente, los programas pueden solicitar las opiniones de los clientes mediante entrevistas de salida, discusiones en grupo focal, encuestas de satisfacción y cajas de sugerencia (104, 149, 184).

Las entrevistas de salida con los clientes también sirven para evaluar el desempeño del prestador de servicios. En estudios que han comparado las observaciones de consultas de planificación familiar y de salud con las entrevistas de salida con los clientes, se ha encontrado que los clientes reportan en forma precisa tanto las relaciones interpersonales como las acciones concretas por parte de los prestadores de servicios, tal como mostrar un rotafolio o pesar a un niño (110, 112, 144).

Auditorías clínicas. Desde hace años, las auditorías clínicas han servido para garantizar la calidad de la atención médica. Los miembros del personal o los expertos externos que llevan a cabo estas auditorías estudian críticamente los expedientes médicos y entrevistan al personal con respecto a una serie de casos relacionados (3, 228). En hospitales en Tanzania y Mozambique se han institucionalizado auditorías periódicas de la mortalidad materna y perinatal en las cuales el personal habla abiertamente sobre los fracasos en una forma constructiva y en un ambiente de apoyo. Como resultado, las tasas de muerte han disminuido (58, 233, 287). Sin embargo, a menos que el enfoque de crítica en las auditorías clínicas se presente apropiadamente, éste podría desmoralizar al personal (15). La calidad deficiente de los expedientes médicos rutinarios en muchos de los países en desarrollo también limita el alcance de las auditorías clínicas (144).

Inspecciones y visitas de acreditación. Los sistemas de acreditación y monitoreo generalmente dependen de los supervisores o equipos de inspección que visitan una unidad de servicios e inspeccionan una lista extensa de indicadores (15, 137). Ellos revisan todo el funcionamiento de una instalación, incluso las funciones de apoyo y la atención prestada al cliente (15, 258). Los inspectores pueden encontrar desempeños por debajo de los estándares, pero también pueden recompensar los servicios superiores con calificaciones más altas.

Cada vez más, los países en desarrollo están estableciendo programas nacionales de acreditación para administrar la calidad (137, 177, 281, 285). La mayoría de los programas de acreditación trabajan a nivel hospitalario, pero el proyecto PROQUALI ha adaptado este enfoque a nivel clínico en el noreste de Brasil (174). Los equipos estatales de acreditación, integrados por profesionales médicos, visitan las unidades de salud reproductiva de las clínicas participantes cada 6 a 12 meses. En los primeros 14 meses, las calificaciones de acreditación en las cinco clínicas piloto mejoraron, en promedio, de una línea base del 13% de cumplimiento de los criterios de calidad al 94% (5). Las clínicas acreditadas, es decir, las que llegan al 100%, pueden desplegar un sello de calidad y serán promovidas en las campañas comunitarias (176).

Por lo general, los programas de acreditación e inspección emplean inspectores externos quienes se presume son objetivos y tienen una amplia gama de experiencia y conocimiento. Ellos pueden reconocer los problemas que los miembros menos informados del personal de la instalación puedan pasar por alto. No obstante, es posible que los expertos externos no entiendan plenamente la situación local o que no puedan ganarse la confianza del personal. Por lo tanto, puede ser que los miembros del personal les oculten los problemas a los inspectores y rechacen sus recomendaciones (15, 149, 228).

Un enfoque alternativo es que equipos internos compuestos por los miembros del personal evalúen sus propias instalaciones (15, 149, 219, 227, 228). Su familiaridad con la situación local puede ayudarlos a interpretar los datos, ampliar la gama de problemas identificados y sugerir soluciones prácticas (15, 149, 228). Las evaluaciones internas también le proporcionan a los miembros del personal "derechos" sobre los resultados, de manera que estén más dispuestos a realizar los cambios recomendados.

Reconociendo que ambos enfoques son útiles, los expertos en el control de la calidad están agregando elementos de autoevaluación al enfoque de inspección más convencional. Por ejemplo, un sistema médico de monitoreo, creado por AVSC International, depende de los médicos locales con experiencia no sólo para inspeccionar los sistemas de prestación de servicios durante las visitas periódicas a la instalación, sino también para ayudar al proceso continuo de autoevaluación conocido como COPE (15) (véase el recuadro Enfoques para el mejoramiento de la calidad).

Revisión por parte de colegas y autoevaluación individual. Algunos programas han intentado monitorear a los prestadores de servicios mediante la revisión por parte de sus colegas y la autoevaluación (378). En Angola, por ejemplo, donde una guerra civil de muchos años impidió la supervisión regular del personal de enfermería en las clínicas rurales de planificación familiar, una lista de verificación para la autoevaluación ayudó a preservar un sentido de dirección y propósito entre los miembros del personal de enfermería (60).

Se ha comprobado que estas técnicas son tanto medidas exactas del desempeño de los prestadores de servicios como formas eficaces de proporcionar retroalimentación que puede complementar o reemplazar la supervisión externa (378). La Asociación de Obstetrices Indonesias comparó la autoevaluación con la revisión por parte de obstetrices capacitadas y con la observación externa. Se encontró que los tres enfoques proporcionaron información comparable. Sin embargo, la retroalimentación por parte de los colegas llevó a logros substanciales en el desempeño que no se produjeron mediante la autoevaluación ni la observación externa (222).

Investigación operativa. A pesar de que la Investigación Operativa (IO) es principalmente una herramienta para resolver problemas y no una herramienta para recolectar datos, ésta puede generar información en pocas semanas o en pocos meses sobre cuán bien funciona un sistema de prestación de servicios (55, 292, 325). La IO típicamente se utiliza una sola vez para hallar soluciones prácticas a problemas específicos en la prestación de servicios. Mediante una variedad de técnicas de investigación, los gerentes o investigadores externos evalúan la calidad actual de los servicios, diagnostican los problemas, ponen a prueba la viabilidad de distintos enfoques en la prestación de servicios y evalúan su impacto en la calidad de atención (29, 55, 343).

Estadísticas de servicios y Sistemas de Información Gerencial (SIG). Los gerentes pueden transformar los datos compilados rutinariamente sobre los clientes en información valiosa sobre la calidad, sumando las cifras mensualmente y calculando las tasas sencillas. Con la ayuda de informes de resumen y gráficos, luego pueden analizar las tendencias o comparar instalaciones (65, 196, 364). Un cambio repentino en las estadísticas de un servicio debería instar una investigación de sus causas.

Un Sistema de Información Gerencial (SIG) integral puede ser costoso de establecer y difícil de administrar (65) y muchos de los SIG actuales compilan pocos datos que reflejan la calidad de los servicios (127, 343). Alternativamente, se están creando sistemas para monitorear la calidad (284). Por ejemplo, los afiliados de la IPPF en la República Dominicana y en Guatemala han utilizado el Sistema de Administración de Clínicas computarizado para descubrir asuntos relacionados con la calidad, tales como la corta duración del uso de implantes (104), y para identificar a los prestadores de servicios con altas tasas de complicación o una mezcla inadecuada de métodos (184).

Análisis Situacional y el método de evaluación rápida. El enfoque utilizado más extensamente para evaluar la calidad de toda una organización de planificación familiar es el Análisis Situacional, elaborado y administrado por The Population Council (véase el recuadro, Recursos para el control de la calidad). Desde 1989 el Análisis Situacional se ha realizado o planeado en 30 países en África, América Latina, Asia y el Cercano Oriente (254, 258).

En un Análisis Situacional, los equipos de investigación son capacitados para compilar datos de una muestra representativa de instalaciones, por un período de unas seis semanas. Un análisis situacional estándar incluye observaciones de consul-tas, entrevistas con clientes y proveedores, un análisis de las estadísticas de servicios y un inventario del equipo y los suministros (252, 254).

Mediante el Análisis Situacional se informa sobre el funcionamiento de los subsistemas de un programa y se hacen recomendaciones. Por lo general, sin embargo, los gerentes de programas no se han esforzado sistemáticamente por tratar las debilidades identificadas (12, 253). En cambio, el Análisis Situacional realizado entre 1991 y 1992 en Burkina Faso (Alto Volta) instó la creación de planes nacionales de largo plazo para los servicios de planificación familiar y de salud materno-infantil, un SIG mejorado, nuevos currículos de capacitación y materiales de referencia sobre la orientación, reorganización del flujo de suministro anticonceptivo a las regiones y mucho más (13, 286).

Sucesivos Análisis Situacionales en el mismo país están empezando a seguir el progreso de un programa en mejorar la calidad de atención (253). Por ejemplo, en una comparación entre el análisis situacional de 1989 y el de 1995 en Kenya, se encontró que los métodos anticonceptivos y los materiales de comunicación estaban disponibles en más lugares y que los clientes estaban recibiendo más información sobre los métodos. Sin embargo, la cantidad y calidad de las visitas de supervisión permanecieron bajas (259).

La Organización Mundial de la Salud (OMS) ha ideado un enfoque flexible para evaluar la calidad de atención, el desempeño del personal y la satisfacción del cliente, denominado el Rapid Evaluation Method (REM) (Método de Evaluación Rápida) (389) (véase el recuadro, Recursos para el control de la calidad). Aunque el REM y el análisis situacional se usan para compilar datos similares, el REM no cuenta con un método estandarizado para la recolección de datos. A cambio, se organiza un equipo de REM, integrado por encargados de tomar decisiones, gerentes, capacitadores y prestadores de servicios, para dirigir la evaluación. Este equipo decide qué asuntos y niveles de servicio se deben investigar, crea instrumentos especiales para la recolección de datos y presenta sus hallazgos en un seminario nacional o regional, donde se elabora un plan de acción.

El REM ha sido utilizado para evaluar los programas nacionales de salud en cinco países. Por ejemplo, durante la epidemia de cólera de 1991 en Guatemala, se llevó a cabo el REM para evaluar la calidad de los servicios de rehidratación oral y tratamiento. El equipo identificó las debilidades específicas, tales como errores por parte del proveedor en determinar el nivel de deshidratación de un niño y en no aconsejar a la madre sobre cómo alimentar a un niño enfermo. Como resultado, se organizó prontamente un taller de capacitación para mejorar las habilidades de los prestadores de servicios (142).