Esta guía funciona al revés. Comienza con la decisión ¿qué necesitan saber los gerentes de programa para gestionar con eficacia? y construye el indicador hacia atrás a partir de esa pregunta. El resultado es un conjunto de indicadores que realmente se utilizan, no que simplemente se reportan por obligación.
Paso 1: Comience Por la Decisión, No Por los Datos
Antes de redactar un solo indicador, responda esta pregunta para cada nivel de su marco de resultados: ¿Qué decisión específica necesita informar este indicador para un gerente en este nivel?
Para un indicador de resultado en un programa de vigilancia de enfermedades, la decisión podría ser: "¿Está el sistema de vigilancia detectando casos con la sensibilidad suficiente para desencadenar una respuesta oportuna ante un brote?" Esa decisión requiere un indicador que mida la sensibilidad de detección, no el conteo de casos, ni las tasas de finalización de capacitaciones, ni el número de informes presentados.
Si no puede nombrar la decisión que informa un indicador, elimínelo del marco de resultados. Un indicador que no impulsa una decisión es un costo de recopilación de datos sin ningún retorno de gestión.
Paso 2: Defina el Resultado Antes de la Medida
Los indicadores miden resultados. Por lo tanto, el resultado debe definirse claramente antes de que el indicador pueda diseñarse correctamente. Este es un requisito previo que con frecuencia se omite, lo que produce indicadores que miden fenómenos indirectos cosas correlacionadas con el resultado previsto en lugar del resultado en sí.
La definición del resultado debe especificar:
- Qué cambia: ¿Qué es diferente al final del período del programa en comparación con el inicio?
- Quién cambia: ¿En qué población, sistema u organización ocurre el cambio?
- En qué medida: ¿Cuál es la magnitud del cambio esperado, dados los recursos y la teoría del cambio del programa?
- Para cuándo: ¿En qué punto del ciclo del programa se espera que este cambio sea observable?
Ejemplo: "Para el final del Año 2, el porcentaje de casos sospechosos de enfermedades con potencial epidémico a nivel de establecimiento que son investigados dentro de las 48 horas posteriores a la notificación aumentará del 43% (línea de base) al 75%." Esta es una definición de resultado específica, atribuida, medible y con plazo definido. El indicador se deriva naturalmente: porcentaje de casos sospechosos notificados de enfermedades con potencial epidémico investigados dentro de las 48 horas.
Paso 3: Aplique la Prueba SMART
SMART (por sus siglas en inglés: eSpecífico, Medible, Alcanzable, Relevante y con plazo Temporal) es el marco de calidad estándar para el diseño de indicadores. Aplicado con rigor, elimina la mayoría de los indicadores débiles antes de que ingresen al marco de resultados.
Específico
El indicador debe definirse con la precisión suficiente para que dos funcionarios de S&E diferentes, usando la misma fuente de datos, calculen el mismo valor. Los indicadores vagos "mejora de la calidad de la vigilancia" o "mejora del desempeño del programa" no superan la prueba de especificidad porque no se pueden medir de manera consistente.
La especificidad requiere definir: el numerador (lo que se cuenta), el denominador (el total contra el cual se expresa), la unidad de medida (porcentaje, número, tasa por 100,000) y cualquier desagregación relevante (por gobierno local, por enfermedad, por sexo o grupo de edad).
Medible
¿Se puede medir el indicador utilizando una fuente de datos factible y asequible? Un indicador que requiere una encuesta de hogares representativa a nivel nacional para su medición no es factible para un programa a nivel distrital con un ciclo de monitoreo trimestral. Un indicador que se puede calcular a partir de datos existentes de DHIS2 sin recopilación de datos adicional es altamente factible.
En la etapa de diseño, identifique la fuente de datos específica para cada indicador antes de finalizar el marco de resultados. Si no existe una fuente de datos factible, el indicador debe revisarse.
Alcanzable
¿Es alcanzable la meta asociada con el indicador dados los recursos, el plazo y el contexto del programa? Aquí es donde importa la disciplina en el establecimiento de metas. Consulte Gestión Basada en Resultados para obtener orientación sobre el establecimiento de metas basado en evidencia.
Relevante
¿El indicador realmente mide el resultado al que está asignado? Una tasa de asistencia a capacitaciones asignada como indicador de resultado no es relevante mide un producto (capacitación impartida), no un resultado (práctica cambiada). Los indicadores relevantes miden aquello a lo que están asignados, no un indirecto más fácil de contar.
Con plazo definido
El indicador debe medirse en puntos temporales definidos, con una fecha de medición de línea de base especificada y una fecha de logro de la meta. Un indicador sin referencia temporal no puede demostrar cambio a lo largo de un ciclo de programa.
Paso 4: Redacte la Ficha de Referencia del Indicador
El control de calidad más importante en el diseño de indicadores es la ficha de referencia del indicador un documento que define cada indicador con la precisión suficiente para permitir una medición consistente entre implementadores, socios y períodos de reporte. Sin ella, el mismo indicador se medirá de manera diferente por distintas personas, y los datos resultantes serán incomparables.
Cada indicador en el marco de resultados necesita una ficha de referencia que contenga:
- Nombre del indicador
- Nombre corto, específico y en lenguaje sencillo que describe lo que se está midiendo.
- Definición
- Una definición escrita completa de exactamente lo que mide el indicador lo suficientemente específica para que un funcionario de S&E capacitado pueda medirlo correctamente sin orientación adicional.
- Numerador
- El conteo en la parte superior de la fracción lo que se está midiendo. Defínalo con precisión, incluyendo cualquier condición que deba cumplirse para que un caso sea contado.
- Denominador
- El conteo total en la parte inferior de la fracción la población o el total contra el cual se expresa el numerador. Especifique la fuente del denominador y el año de la población si se utiliza una cifra censal.
- Unidad de medida
- Porcentaje, número, tasa por 100,000, días, u otra unidad. Debe coincidir con la unidad utilizada para establecer la línea de base y la meta.
- Fuente de datos
- La fuente de datos específica de la cual se recopilarán los valores del numerador y el denominador nombre del conjunto de datos y elementos de datos de DHIS2, registro del establecimiento, libro de registro de laboratorio, o instrumento de encuesta de hogares y referencia de pregunta.
- Método de recopilación
- Cómo se recopilan y agregan los datos reporte rutinario del establecimiento, ejercicio de recopilación de datos dedicado, revisión de registros administrativos.
- Frecuencia de recopilación
- Con qué frecuencia se mide el indicador semanal, mensual, trimestral, anual. Debe coincidir con la frecuencia de decisión para la cual está diseñado.
- Responsable
- Quién recopila, calcula y reporta este indicador. Sin una responsabilidad designada, los indicadores habitualmente no se miden.
- Desagregación
- Qué desagregación se requiere por gobierno local, por enfermedad, por sexo, por grupo de edad. La desagregación que no se especifica en la etapa de diseño rara vez está disponible en la etapa de reporte.
- Valor y fecha de línea de base
- El valor medido del indicador antes de que comenzaran las actividades del programa, y la fecha de la medición.
- Valor y fecha de la meta
- El valor previsto al final del período del programa, y la fecha para la cual debe alcanzarse.
- Notas de cálculo
- Cualquier regla de cálculo específica, convención de redondeo, o manejo de datos faltantes que afecte el valor del indicador.
Paso 5: Equilibre el Conjunto de Indicadores
Un marco de resultados bien diseñado tiene un conjunto equilibrado de indicadores uno que cubre todos los niveles de la cadena de resultados sin crear una carga de recopilación de datos ni dejar resultados críticos sin medir.
La prueba de equilibrio es simple: si eliminara todos los indicadores de producto, ¿seguiría sabiendo si el programa está logrando sus resultados? Si eliminara todos los indicadores de resultado, ¿sabría si el programa va por buen camino para lograr impacto? Si alguna de las respuestas es no, el marco está desequilibrado.
Para la mayoría de los programas de salud global, un conjunto equilibrado de indicadores tiene:
- De dos a cuatro indicadores de impacto direccionales, de largo plazo, a nivel poblacional
- De cuatro a seis indicadores de resultado sensibles al programa, de mediano plazo, vinculados a decisiones
- De cuatro a ocho indicadores de producto contables, de corto plazo, bajo control del programa
- De dos a cuatro indicadores de proceso oportunidad, calidad y equidad de la implementación
Total: de diez a veintidós indicadores para un marco de resultados. Cualquier cifra superior a veinticinco debería desencadenar una revisión rigurosa de qué indicadores son verdaderamente esenciales. Cada indicador añadido es una obligación de recopilación de datos añadida. Discipline el conjunto a lo que realmente se utilizará.
El Enfoque de Equidad: Desagregación por Diseño
Un indicador que solo reporta el desempeño agregado oculta la inequidad. Una cobertura de inmunización nacional del 75% puede reflejar una cobertura del 95% en gobiernos locales urbanos y del 55% en los rurales. La cifra agregada es técnicamente correcta y prácticamente engañosa.
El S&E centrado en la equidad requiere incorporar la desagregación en el diseño de indicadores no como una ocurrencia tardía, sino como un requisito de diseño. Cada indicador de resultado debe especificar la desagregación mínima requerida para el monitoreo de la equidad: como mínimo, desagregación geográfica a nivel de gobierno local y desagregación por sexo cuando sea relevante.
El principio es que el impacto se mide por a quién se llega en último lugar, no por resultados promedio. La población más vulnerable geográficamente remota, económicamente marginada, desatendida por el sistema de salud debe rastrearse explícitamente en el conjunto de indicadores. Si no se rastrea, no se está midiendo, y lo que no se mide rara vez mejora.
Errores Comunes en el Diseño de Indicadores
Usar cambio porcentual en lugar de cambio en puntos porcentuales
"La cobertura aumentó un 20%" es ambiguo. ¿Significa eso que pasó del 50% al 70% (20 puntos porcentuales), o del 50% al 60% (un aumento relativo del 20%)? Especifique siempre si una meta se expresa en puntos porcentuales o como un cambio porcentual relativo, y use la misma convención de manera consistente en todos los indicadores.
Nombres de indicadores que describen actividades, no resultados
"Número de trabajadores de salud capacitados en IDSR" es un indicador de producto. "Porcentaje de trabajadores de salud que aplican correctamente las definiciones de caso de IDSR en el punto de atención" es un indicador de resultado. La diferencia en el nombre señala la diferencia en lo que se está midiendo y la diferencia en aquello de lo que el programa es responsable.
Ningún indicador para la calidad de los datos en sí
El sistema de S&E debe incluir un indicador para su propia calidad de datos integridad del reporte, tasa de precisión de datos de la EDC, u oportunidad de la presentación de datos. Un marco de resultados que monitorea los resultados del programa pero no la calidad de los datos utilizados para medirlos está midiendo con un instrumento no calibrado. Para más información, consulte Calidad de Datos en DHIS2.
Establecer metas sin datos de línea de base
Una meta es una declaración sobre el cambio la diferencia entre el punto de partida del programa y el punto al que aspira llegar. Sin una línea de base, una meta es una declaración sobre un nivel absoluto, no sobre un cambio. Una meta de "75% de los establecimientos que presentan informes semanales" significa cosas muy diferentes si la línea de base es del 40% frente al 72%.