Les six dimensions de la qualité des données en surveillance
Le cadre standard utilisé dans les évaluations de la qualité des données de l'OMS et de DHIS2 mesure six dimensions :
- Exactitude : Les données reflètent-elles correctement les événements qu'elles représentent ?
- Exhaustivité : Quelle proportion des valeurs de données attendues a-t-elle été effectivement déclarée ?
- Actualité : Les données ont-elles été soumises dans les délais requis ?
- Cohérence : Les données sont-elles cohérentes en interne au sein d'un rapport et entre les périodes ?
- Intégrité : Les données ont-elles été modifiées après la soumission ? Existe-t-il une piste d'audit ?
- Précision : Les données capturent-elles suffisamment de granularité pour appuyer les décisions requises ?
Une stratégie de qualité des données DHIS2 doit aborder les six dimensions, et pas seulement celle qui est la plus facile à mesurer.
Couche 1 : Règles de validation au point d'entrée
L'assurance qualité la plus rentable est la prévention à la source. Le moteur de règles de validation de DHIS2 vérifie les contraintes logiques au moment de la soumission et alerte l'agent de saisie de données avant que les données ne soient enregistrées.
Règles de validation essentielles pour la surveillance des maladies :
- Vérification des plages : Un établissement desservant une population de 5 000 habitants ne peut pas déclarer 10 000 consultations externes en un mois. Fixez des maximums plausibles basés sur la taille de l'établissement et les données historiques.
- Vérification de la cohérence : Les cas confirmés ne peuvent pas dépasser les cas suspects. Les cas confirmés en laboratoire ne peuvent pas dépasser le nombre d'échantillons prélevés.
- Logique de date (Tracker) : La date de prélèvement d'échantillon ne peut pas précéder la date d'enregistrement. La date de résultat ne peut pas précéder la date d'investigation.
- Distinction entre zéro et valeur manquante : Configurez le formulaire pour distinguer un zéro déclaré d'un champ vide. Ceux-ci signifient des choses très différentes pour l'analyse de la qualité des données.
Calibrez les règles avec soin, les règles qui se déclenchent 40 % du temps sont des obstacles, pas des contrôles.
Couche 2 : Suivi de l'exhaustivité des rapports
L'exhaustivité est un prérequis pour interpréter toute autre métrique de qualité des données. Un système de surveillance affichant un faible nombre de cas peut refléter une faible transmission réelle ou 40 % de rapports manquants. Sans données d'exhaustivité, ces interprétations sont indiscernables.
- Définir les unités de déclaration attendues. Chaque établissement censé soumettre des rapports doit être prédéfini dans le système.
- Fixer les périodes de déclaration et les délais. Suivez si les rapports arrivent avant ou après la date limite comme une métrique d'actualité.
- Construire le tableau de bord d'exhaustivité. Une carte à valeur unique affichant le pourcentage de rapports attendus reçus, codée par couleur vert/orange/rouge, devrait être la première vue que les gestionnaires de la surveillance ouvrent chaque semaine.
- Automatiser les rappels d'exhaustivité. Configurez le système de messagerie de DHIS2 pour envoyer des rappels de date limite aux établissements qui n'ont pas encore déclaré. Cette simple étape a augmenté les taux de déclaration dans les délais d'environ 71 % à 89 % dans les programmes de l'OMS contre la poliomyélite en deux cycles de déclaration.
Couche 3 : Structure et fréquence des examens de la qualité des données
Structurez les examens de la qualité des données à trois niveaux :
- Examen au niveau de l'établissement (mensuel)
- Un superviseur d'établissement vérifie les données du mois précédent pour détecter les valeurs implausibles, les tendances inexpliquées et les lacunes en matière d'exhaustivité. Les conclusions sont partagées avec l'agent de saisie de données de l'établissement dans les deux semaines suivant la date limite de déclaration.
- Examen au niveau de la zone de gouvernement local (trimestriel)
- Compare les données déclarées aux documents sources : registres d'établissement, formulaires d'investigation de cas, registres de laboratoire. Produit un score de qualité des données pour chaque indicateur dans chaque établissement.
- Examen au niveau de l'État ou national (semestriel)
- Un examen inter-établissements qui identifie les schémas systématiques : les zones de gouvernement local qui sur-déclarent systématiquement, les établissements qui déclarent toujours exactement au seuil. Ces schémas indiquent des problèmes systémiques nécessitant une intervention au-delà de la correction individuelle des établissements.
Suivez le score de qualité des données pour chaque indicateur au fil du temps. Si la qualité s'améliore, documentez pourquoi et reproduisez l'approche. Si elle décline, identifiez où et enquêtez sur la cause.
Couche 4 : Boucles de rétroaction sur la qualité des données
Un examen de la qualité des données qui produit un rapport mais pas de rétroaction ne génère aucune amélioration. Les boucles de rétroaction efficaces comprennent :
- Faire un rapport aux établissements, pas seulement vers le haut. Lorsqu'un examen identifie des erreurs, l'établissement doit recevoir une rétroaction écrite spécifique dans les deux semaines, précisant l'indicateur, la période, le problème et l'action corrective requise.
- Reconnaître la bonne qualité des données. Une reconnaissance positive pour les établissements qui maintiennent une exhaustivité et une exactitude élevées sur plusieurs cycles est souvent une reconnaissance suffisante dans les communications du programme, sans incitations financières.
- Suivre les corrections. Vérifier que les corrections demandées sont effectuées et que les données corrigées sont exactes. Une boucle de rétroaction qui déclenche des corrections qui ne sont jamais vérifiées n'est qu'une demi-boucle.
- Utiliser les conclusions pour améliorer les formulaires. Lorsque la même erreur se produit systématiquement dans plusieurs établissements, la définition du formulaire ou de l'indicateur doit être révisée, et pas seulement la correction des données.
L'audit de la qualité des données : un protocole de terrain
Pour les programmes qui effectuent des audits officiels de la qualité des données (standard dans les programmes financés par l'OMS et l'USAID), le protocole de terrain doit couvrir :
- Examen des documents sources : Comparer les données déclarées dans DHIS2 aux registres des établissements et aux formulaires d'investigation. Calculer le taux de divergence : pourcentage des valeurs déclarées différant des documents sources de plus de ±10 %.
- Exhaustivité du registre : Examiner le registre de l'établissement pour vérifier l'exhaustivité des champs requis. Un registre incomplet est un échec de la qualité des données en amont de la saisie dans DHIS2.
- Vérification du flux de données : Confirmer la chaîne du document source à la saisie dans DHIS2. Qui transfère les données ? À quelle fréquence ? Quelle vérification existe avant la soumission ?
- Contre-vérification avec des sources de données indépendantes : Comparer le nombre de cas DHIS2 avec les dossiers de laboratoire ou les registres d'admission à l'hôpital. Une divergence significative indique soit un échec d'exhaustivité, soit une préoccupation de manipulation des données.
Quand la qualité des données est un problème politique
Tous les problèmes de qualité des données ne sont pas techniques. Les agents de santé sous pression pour atteindre les objectifs de couverture vaccinale peuvent déclarer des chiffres supérieurs à la performance réelle. Les agents de surveillance sous pression pour montrer le contrôle des épidémies peuvent sous-déclarer les cas. Ce sont des problèmes de gouvernance des programmes – des symptômes détectables par les données (valeurs implausibles, améliorations soudaines sans preuves sur le terrain), mais causés par des cadres de résultats qui récompensent la performance déclarée plutôt que la performance réelle.
Un programme qui produit des données honnêtes sur un programme en difficulté est plus éloigné de l'impact qu'un programme qui produit des données honnêtes sur un programme très performant, mais il est plus proche de la correction basée sur des preuves qui finira par produire des résultats. C'est le cœur de la redevabilité dans la conception du S&É.