La gestion axée sur les résultats (GAR) est désormais une exigence formelle dans les programmes financés par l'OMS, l'USAID, GAVI et le Fonds mondial. Mais l'adoption formelle et la pratique réelle ne sont pas la même chose. Sur les 25 programmes de l'OMS pour lesquels j'ai accompagné la conception du S&É au Nigeria, l'écart le plus constant se situe entre la GAR conçue comme une exigence de reporting et la GAR conçue comme une culture de gestion.
Cet article explique ce que la GAR exige réellement, comment la mettre en œuvre concrètement, et pourquoi les programmes qui la pratiquent bien produisent des résultats fondamentalement différents de ceux qui la traitent comme une simple formalité administrative.
Ce qu'exige réellement la gestion axée sur les résultats
La GAR comporte cinq exigences fondamentales qui la distinguent de la gestion de programme conventionnelle :
- Un cadre de résultats avec des résultats clairement définis : Les résultats visés par le programme, et pas seulement ses activités prévues, doivent être formulés clairement, avec des indicateurs mesurables et des cibles à chaque niveau de la chaîne de résultats.
- Des données de référence avant le début du programme : Sans point de départ mesuré, il est impossible de démontrer un changement. La GAR exige des données de référence pour chaque indicateur de résultat avant le début des activités programmatiques.
- Un suivi régulier de la performance par rapport aux cibles : Les données de performance du programme doivent être collectées à intervalles définis et examinées par rapport aux cibles non seulement pour rendre compte des progrès, mais pour éclairer les décisions de gestion.
- Une gestion adaptative fondée sur les données probantes : Lorsque les données de suivi montrent que les résultats ne sont pas sur la bonne trajectoire, le programme doit s'ajuster en modifiant les activités, en réaffectant les ressources, en révisant la théorie du changement si nécessaire. Un programme qui collecte des données de suivi mais n'évolue pas en fonction de celles-ci fait du suivi sans faire de gestion.
- Une redevabilité portant sur les résultats, pas sur les extrants : La réorientation fondamentale qu'exige la GAR est que les responsables de programme soient redevables des changements produits dans le monde réel, et non du volume d'activités livrées.
Concevoir un cadre de résultats
Le cadre de résultats constitue l'architecture d'un système de GAR. Il cartographie la trajectoire prévue du programme, des intrants aux activités, aux extrants, aux résultats et à l'impact, avec des indicateurs, des données de référence et des cibles à chaque niveau.
Pour un traitement détaillé de la hiérarchie des résultats — comment distinguer extrants et résultats, et ce qui relève de chaque niveau — voir Le cadre logique dans la santé mondiale : de la conception à l'usage.
En pratique, les décisions de conception du cadre de résultats qui déterminent le plus la qualité de la GAR sont les suivantes :
Des indicateurs de résultat sensibles au changement à l'échelle du programme
L'erreur de conception la plus courante dans un cadre de résultats consiste à sélectionner des indicateurs de niveau impact pour mesurer les résultats. Le taux de mortalité des moins de cinq ans est un résultat de santé important, mais il n'est pas sensible à un programme de surveillance des maladies de deux ans qui affecte une seule maladie dans un seul État. L'indicateur ne peut pas détecter de changement à l'échelle du programme, et celui-ci paraîtra donc ne produire aucun résultat, quelle que soit sa performance réelle.
Sélectionnez des indicateurs de résultat intermédiaire sensibles au changement que le programme est conçu pour produire : sensibilité de la surveillance, rapidité des investigations, exhaustivité des rapports, taux de confirmation des cas. Ce sont des résultats qu'un programme de surveillance bien conçu peut améliorer de manière mesurable sur un cycle de deux à trois ans.
Des cibles fondées sur des données probantes
Fixer des cibles en fonction de ce qui paraît ambitieux — ou pire, de ce qu'attend un bailleur — plutôt que de ce qui est réalisable compte tenu des ressources et du contexte du programme entraîne un échec systématique des cibles. Sur plusieurs cycles de reporting, cela engendre une culture de révision des cibles et de gestion des attentes plutôt qu'une véritable amélioration de la performance.
Ancrez les cibles dans trois sources de données probantes : la performance historique du programme (ce qui a été atteint auparavant dans des conditions similaires), les données de programmes comparables (ce que des programmes comparables ont atteint), et la théorie du programme (le niveau de changement que la théorie du changement du programme prédit compte tenu des intrants prévus). La cible doit se situer dans la fourchette supérieure de ce qui est réalisable : ambitieuse mais ancrée dans la réalité.
Attribution et contribution
La GAR dans les programmes multipartenaires exige une clarté quant à savoir si un programme prétend causer le changement indiqué, ou contribuer à celui-ci. La plupart des résultats de santé mondiale sont produits par plusieurs acteurs simultanément. Un programme unique revendiquant l'attribution complète d'une amélioration de la couverture vaccinale résultant de cinq investissements programmatiques concomitants est à la fois analytiquement incorrect et contre-productif sur le plan politique.
Concevez le cadre de résultats avec un langage de contribution lorsque l'attribution ne peut être établie, et définissez la contribution spécifique du programme au résultat partagé : les activités qu'il a financées, les changements systémiques qu'il a permis, la population qu'il a directement atteinte.
Intégrer la GAR dans les revues de programme
La GAR ne se produit pas dans les rapports de suivi. Elle se produit dans les réunions de revue de programme où les données de suivi orientent les décisions. La structure de ces réunions détermine si la GAR est authentique ou simplement performative.
Une revue de programme structurée pour la GAR couvre :
- Examen du tableau de bord des résultats : Que montrent les indicateurs de résultat par rapport aux cibles ? Quels indicateurs sont au vert, à l'orange ou au rouge ? Quelle est la tendance sur les deux dernières périodes de revue ?
- Analyse causale des indicateurs hors trajectoire : Pour les indicateurs à l'orange ou au rouge, quelle est la cause de l'écart ? S'agit-il d'un écart de mise en œuvre des activités (activités non réalisées comme prévu), d'un écart dans la théorie du changement (activités réalisées mais ne produisant pas les résultats attendus), ou d'un facteur externe (une hypothèse qui s'est révélée fausse) ?
- Réponse de gestion : Sur la base de l'analyse causale, quelles décisions de gestion spécifiques seront prises ? Quelles activités seront intensifiées, modifiées ou interrompues ? Quelles ressources seront réaffectées ?
- Documentation des décisions : Chaque décision de gestion prise lors de la réunion de revue doit être documentée, attribuée à une personne responsable, et son application vérifiée lors de la réunion suivante.
La discipline consistant à documenter et à assurer le suivi des décisions de gestion est ce qui distingue les revues de programme qui produisent du changement de celles qui ne produisent que des comptes rendus.
GAR et qualité des données : une relation indissociable
La gestion axée sur les résultats n'est crédible qu'à la mesure des données sur lesquelles elle repose. Un programme qui affiche des résultats impressionnants sur la base de données peu fiables n'est pas un programme performant : c'est un programme qui a un problème de qualité des données qui ressemble à de la haute performance.
Cette relation signifie que l'assurance qualité des données n'est pas une fonction de S&É distincte de la GAR : elle en est un prérequis. Avant qu'un indicateur de résultat ne soit rapporté par rapport à une cible dans un cadre de résultats, la qualité des données de cet indicateur doit être établie : les documents source vérifiés, la saisie des données validée, l'exhaustivité des rapports confirmée.
Pour les programmes de l'OMS sur la polio que j'accompagne, l'amélioration de la qualité des données de vaccination de 54 % à 81 %, obtenue grâce à la refonte des processus de vérification des données et de boucle de rétroaction, était un prérequis pour la GAR, et non un produit de celle-ci. Le cadre de GAR ne pouvait fonctionner de manière crédible qu'une fois les données qu'il rapportait devenues fiables.
Pour des orientations détaillées sur l'intégration de la qualité des données dans les systèmes de surveillance, voir Qualité des données DHIS2 : comment construire des systèmes qui produisent des données fiables.
La culture de redevabilité qu'exige la GAR
L'obstacle le plus important à une mise en œuvre authentique de la GAR n'est pas technique. Il est culturel.
La GAR exige que les équipes de programme soient disposées à rendre compte honnêtement lorsque les résultats ne sont pas atteints, et que la direction du programme et les bailleurs répondent à une contre-performance honnêtement rapportée par une démarche de résolution de problèmes plutôt que par des sanctions. Lorsque la réponse à une contre-performance honnête est punitive, les programmes apprennent à rendre compte de manière sélective. Lorsque la réponse à une contre-performance honnête est analytique — « qu'est-ce qui cause cela, et que devrions-nous changer ? » — les programmes apprennent à rendre compte avec exactitude.
La culture de redevabilité qui fait fonctionner la GAR est celle où le rapport honnête d'un résultat difficile est davantage valorisé que le rapport habilement présenté d'un résultat confortable. Cette culture s'établit au sommet, dans la manière dont la direction du programme répond au premier mauvais résultat honnêtement rapporté qu'elle reçoit.
C'est l'un des quatre principes fondamentaux que j'apporte à chaque mission de S&É : Redevabilité et Confiance. Un programme qui ne peut faire confiance à ses propres données ne peut se gérer lui-même. Un programme qui se gère sur la base de données honnêtes — même inconfortables — est celui qui finit par atteindre les résultats pour lesquels il a été conçu.
Écueils courants de la GAR
Traiter le cadre de résultats comme un document statique
Un cadre de résultats conçu en année 1 et jamais révisé au fil de l'apprentissage du programme est un document de conformité, non un outil de gestion. Les programmes apprennent sur le terrain. Les théories du changement sont testées et se révèlent parfois insuffisantes. Les hypothèses échouent. Les cadres de résultats doivent être des documents vivants, mis à jour à chaque revue annuelle pour refléter ce que le programme a appris.
Ne mesurer que ce qui est facile à mesurer
Les indicateurs d'extrant sont plus faciles à collecter que les indicateurs de résultat. La tentation de remplir un cadre de résultats d'indicateurs d'extrant parce qu'ils sont disponibles, fiables et sans ambiguïté positifs produit un cadre qui en dit long sur ce que le programme a fait, et presque rien sur ce qui a changé.
Séparer le S&É de la gestion du programme
Lorsque le S&É est une fonction distincte qui produit des rapports pour les bailleurs plutôt qu'une fonction intégrée qui éclaire la gestion du programme, la GAR ne peut pas fonctionner. Le responsable S&É qui produit le rapport trimestriel et le responsable du programme qui révise le plan de travail doivent travailler à partir des mêmes données, dans le même processus de revue, vers la même redevabilité sur les résultats.