Ce guide procède dans l'autre sens. Il part de la décision quelle information un responsable de programme a-t-il besoin de connaître pour gérer efficacement ? et construit l'indicateur à rebours à partir de cette question. Le résultat est un ensemble d'indicateurs réellement utilisés, et non simplement rapportés par obligation.
Étape 1 : partir de la décision, pas de la donnée
Avant de rédiger le moindre indicateur, répondez à cette question pour chaque niveau de votre cadre de résultats : quelle décision précise un responsable à ce niveau a-t-il besoin que cet indicateur éclaire ?
Pour un indicateur de résultat intermédiaire dans un programme de surveillance des maladies, la décision pourrait être : « Le système de surveillance détecte-t-il les cas avec une sensibilité suffisante pour déclencher une riposte à une épidémie en temps utile ? » Cette décision exige un indicateur qui mesure la sensibilité de détection et non le nombre de cas, ni le taux d'achèvement des formations, ni le nombre de rapports soumis.
Si vous ne pouvez pas nommer la décision qu'un indicateur éclaire, retirez-le du cadre de résultats. Un indicateur qui n'oriente aucune décision représente un coût de collecte de données superflu, sans retour en termes de gestion.
Étape 2 : définir le résultat avant la mesure
Les indicateurs mesurent des résultats. Le résultat doit donc être défini clairement avant que l'indicateur puisse être bien conçu. Il s'agit d'un préalable fréquemment négligé, ce qui produit des indicateurs mesurant des phénomènes de substitution des éléments corrélés au résultat visé plutôt que le résultat lui-même.
La définition du résultat doit préciser :
- Ce qui change : Qu'est-ce qui diffère à la fin de la période du programme par rapport au début ?
- Qui change : Dans quelle population, quel système ou quelle organisation le changement se produit-il ?
- De combien : Quelle est l'ampleur du changement attendu, compte tenu des ressources du programme et de sa théorie du changement ?
- D'ici quand : À quel moment du cycle du programme ce changement est-il censé être observable ?
Exemple : « D'ici la fin de l'année 2, le pourcentage de cas suspects de maladies à potentiel épidémique au niveau des formations sanitaires qui sont investigués dans les 48 heures suivant la notification passera de 43 % (référence) à 75 %. » Il s'agit là d'une définition de résultat précise, attribuée, mesurable et assortie d'un délai. L'indicateur en découle naturellement : pourcentage de cas suspects de maladies à potentiel épidémique notifiés et investigués dans les 48 heures.
Étape 3 : appliquer le test SMART
SMART Spécifique, Mesurable, Atteignable, Pertinent et Temporellement défini est le cadre de qualité de référence pour la conception des indicateurs. Appliqué de manière rigoureuse, il permet d'éliminer la plupart des indicateurs faibles avant qu'ils n'intègrent le cadre de résultats.
Spécifique
L'indicateur doit être défini avec suffisamment de précision pour que deux chargés de S&É différents, utilisant la même source de données, calculent la même valeur. Des indicateurs vagues tels que « amélioration de la qualité de la surveillance » ou « renforcement de la performance du programme » échouent au test de spécificité car ils ne peuvent pas être mesurés de manière cohérente.
La spécificité exige de définir : le numérateur (ce qui est compté), le dénominateur (le total par rapport auquel il est exprimé), l'unité de mesure (pourcentage, nombre, taux pour 100 000) et toute désagrégation pertinente (par LGA, par maladie, par sexe ou groupe d'âge).
Mesurable
L'indicateur peut-il être mesuré à partir d'une source de données réalisable et abordable ? Un indicateur qui exige une enquête auprès des ménages représentative au niveau national n'est pas réalisable pour un programme au niveau district avec un cycle de suivi trimestriel. Un indicateur pouvant être calculé à partir des données DHIS2 existantes, sans collecte de données supplémentaire, est hautement réalisable.
Au stade de la conception, identifiez la source de données précise pour chaque indicateur avant de finaliser le cadre de résultats. Si aucune source de données réalisable n'existe, l'indicateur doit être révisé.
Atteignable
La cible associée à l'indicateur est-elle atteignable compte tenu des ressources, du calendrier et du contexte du programme ? C'est là que la rigueur dans la définition des cibles est essentielle. Consultez la gestion axée sur les résultats pour des orientations fondées sur des données probantes en matière de définition des cibles.
Pertinent
L'indicateur mesure-t-il réellement le résultat auquel il est affecté ? Un taux de participation à une formation utilisé comme indicateur de résultat intermédiaire n'est pas pertinent il mesure un extrant (formation dispensée), pas un résultat intermédiaire (changement de pratique). Les indicateurs pertinents mesurent ce à quoi ils sont affectés, et non un indicateur de substitution plus facile à comptabiliser.
Temporellement défini
L'indicateur doit être mesuré à des moments définis, avec une date de mesure de référence et une date d'atteinte de la cible précisées. Un indicateur sans référence temporelle ne peut pas démontrer une évolution au cours d'un cycle de programme.
Étape 4 : rédiger la fiche de référence de l'indicateur
Le contrôle qualité le plus important dans la conception des indicateurs est la fiche de référence de l'indicateur un document qui définit chaque indicateur avec suffisamment de précision pour permettre une mesure cohérente entre les partenaires de mise en œuvre et les périodes de reporting. Sans elle, un même indicateur sera mesuré différemment selon les personnes, et les données obtenues seront incomparables.
Chaque indicateur du cadre de résultats a besoin d'une fiche de référence contenant :
- Nom de l'indicateur
- Nom court, précis, en langage clair, décrivant ce qui est mesuré.
- Définition
- Une définition écrite complète de ce que mesure exactement l'indicateur suffisamment précise pour qu'un chargé de S&É formé puisse le mesurer correctement sans indication supplémentaire.
- Numérateur
- Le nombre figurant en haut de la fraction ce qui est mesuré. À définir précisément, en incluant toute condition devant être remplie pour qu'un cas soit comptabilisé.
- Dénominateur
- Le nombre total figurant en bas de la fraction la population ou le total par rapport auquel le numérateur est exprimé. Précisez la source du dénominateur et l'année de référence de la population si un chiffre de recensement est utilisé.
- Unité de mesure
- Pourcentage, nombre, taux pour 100 000, jours, ou autre unité. Elle doit correspondre à l'unité utilisée pour établir la référence et la cible.
- Source des données
- La source de données précise à partir de laquelle les valeurs du numérateur et du dénominateur seront collectées nom du jeu de données et éléments de données DHIS2, registre de la formation sanitaire, cahier de laboratoire, ou instrument d'enquête auprès des ménages et référence de la question.
- Méthode de collecte
- Comment les données sont collectées et agrégées reporting de routine des formations sanitaires, exercice de collecte de données dédié, examen des dossiers administratifs.
- Fréquence de collecte
- À quelle fréquence l'indicateur est mesuré hebdomadaire, mensuelle, trimestrielle, annuelle. Doit correspondre à la fréquence de la décision pour laquelle il est conçu.
- Responsable
- Qui collecte, calcule et rapporte cet indicateur. Sans responsabilité nommée, les indicateurs ne sont généralement pas mesurés.
- Désagrégation
- Quelle désagrégation est requise par LGA, par maladie, par sexe, par groupe d'âge. Une désagrégation non précisée dès la conception est rarement disponible au stade du reporting.
- Valeur et date de référence
- La valeur mesurée de l'indicateur avant le début des activités du programme, et la date de la mesure.
- Valeur cible et date
- La valeur visée à la fin de la période du programme, et la date à laquelle elle doit être atteinte.
- Notes de calcul
- Toute règle de calcul particulière, convention d'arrondi ou traitement des données manquantes affectant la valeur de l'indicateur.
Étape 5 : équilibrer l'ensemble d'indicateurs
Un cadre de résultats bien conçu comporte un ensemble d'indicateurs équilibré qui couvre tous les niveaux de la chaîne de résultats sans créer de charge de collecte de données excessive ni laisser des résultats critiques non mesurés.
Le test d'équilibre est simple : si vous supprimiez tous les indicateurs d'extrants, sauriez-vous encore si le programme atteint ses résultats intermédiaires ? Si vous supprimiez tous les indicateurs de résultats intermédiaires, sauriez-vous si le programme est en bonne voie pour atteindre l'impact visé ? Si l'une de ces réponses est non, le cadre est déséquilibré.
Pour la plupart des programmes de santé mondiale, un ensemble d'indicateurs équilibré comprend :
- Deux à quatre indicateurs d'impact directionnels, à long terme, au niveau de la population
- Quatre à six indicateurs de résultats intermédiaires sensibles au programme, à moyen terme, liés à des décisions
- Quatre à huit indicateurs d'extrants comptabilisables, à court terme, sous le contrôle du programme
- Deux à quatre indicateurs de processus rapidité, qualité et équité de la mise en œuvre
Total : dix à vingt-deux indicateurs pour un cadre de résultats. Au-delà de vingt-cinq, un examen rigoureux s'impose pour déterminer quels indicateurs sont réellement essentiels. Chaque indicateur ajouté est une obligation de collecte de données supplémentaire. Disciplinez l'ensemble pour qu'il corresponde à ce qui sera réellement utilisé.
Le prisme de l'équité : la désagrégation dès la conception
Un indicateur qui ne rapporte que la performance agrégée dissimule les inégalités. Une couverture vaccinale nationale de 75 % peut refléter une couverture de 95 % dans les LGA urbaines et de 55 % dans les LGA rurales. Le chiffre agrégé est techniquement exact mais concrètement trompeur.
Un S&É axé sur l'équité exige d'intégrer la désagrégation dès la conception des indicateurs non comme une réflexion après coup, mais comme une exigence de conception. Chaque indicateur de résultat intermédiaire devrait préciser la désagrégation minimale requise pour le suivi de l'équité : au minimum, une désagrégation géographique au niveau de la LGA et une désagrégation par sexe le cas échéant.
Le principe est que l'impact se mesure par qui est atteint en dernier, et non par des résultats moyens. La population la plus vulnérable géographiquement isolée, économiquement marginalisée, mal desservie par le système de santé devrait être explicitement suivie dans l'ensemble d'indicateurs. Si elle n'est pas suivie, elle n'est pas mesurée, et ce qui n'est pas mesuré est rarement amélioré.
Erreurs courantes dans la conception des indicateurs
Utiliser une variation en pourcentage plutôt qu'une variation en points de pourcentage
« La couverture a augmenté de 20 % » est ambigu. Cela signifie-t-il un passage de 50 % à 70 % (20 points de pourcentage), ou de 50 % à 60 % (une augmentation relative de 20 %) ? Précisez toujours si une cible est exprimée en points de pourcentage ou en variation relative en pourcentage, et utilisez la même convention de manière cohérente pour tous les indicateurs.
Des noms d'indicateurs qui décrivent des activités et non des résultats
« Nombre d'agents de santé formés à la SIMR » est un indicateur d'extrant. « Pourcentage d'agents de santé appliquant correctement les définitions de cas de la SIMR au point de service » est un indicateur de résultat intermédiaire. La différence dans le nom signale la différence dans ce qui est mesuré, et la différence dans ce dont le programme est responsable.
Absence d'indicateur pour la qualité des données elle-même
Le système de S&É devrait inclure un indicateur pour sa propre qualité des données exhaustivité du reporting, taux d'exactitude des données issu de l'AQD, ou rapidité de la soumission des données. Un cadre de résultats qui suit les résultats du programme mais pas la qualité des données utilisées pour les mesurer mesure avec un instrument non calibré. Pour en savoir plus, consultez Qualité des données DHIS2.
Fixer des cibles sans données de référence
Une cible est un énoncé sur le changement l'écart entre le point de départ du programme et l'objectif visé. Sans donnée de référence, une cible est un énoncé sur un niveau absolu, pas sur un changement. Une cible de « 75 % des formations sanitaires soumettant des rapports hebdomadaires » signifie des choses très différentes selon que la référence est de 40 % ou de 72 %.