Le problème n'est pas que les équipes de programme ne savent pas remplir un cadre logique. La plupart le savent. Le problème est que le cadre logique est habituellement conçu comme un document de conformité destiné à satisfaire les exigences de conception de programme d'un bailleur de fonds, plutôt que comme un outil de gestion conçu autour des décisions réelles que les responsables de programme doivent prendre.
Lorsque le cadre logique est un document de conformité, il est classé puis oublié. Lorsqu'il est un outil de gestion, il se trouve au centre de chaque revue trimestrielle, de chaque révision de plan de travail et de chaque décision de réaffectation des ressources. Concevoir ce second type d'outil exige un point de départ entièrement différent.
Ce qu'est réellement un cadre logique
Un cadre logique est une matrice qui présente la logique d'un programme sous une forme structurée et testable. La matrice standard à quatre colonnes et quatre lignes contient :
- Une colonne de description du projet la hiérarchie des résultats, des activités aux extrants, aux effets, puis à l'impact
- Une colonne d'indicateurs les preuves mesurables qui montreront si chaque niveau de résultats a été atteint
- Une colonne de moyens de vérification les sources de données à partir desquelles les valeurs des indicateurs seront collectées
- Une colonne d'hypothèses les conditions extérieures au contrôle du programme qui doivent être remplies pour que la chaîne de résultats fonctionne
La logique intégrée dans la matrice est à la fois verticale et horizontale. Logique verticale : si les activités sont réalisées, des extrants sont produits ; si les extrants sont produits et que les hypothèses se vérifient, des effets sont obtenus ; si les effets sont obtenus et que les hypothèses se vérifient, l'impact en résulte. Logique horizontale : chaque niveau de résultat dispose d'indicateurs spécifiques et mesurables, avec des sources de données et des méthodes de vérification définies.
Les deux dimensions doivent être solides pour que le cadre logique soit un outil utile. Un cadre logique avec une logique verticale plausible mais des indicateurs non mesurables est purement décoratif. Un cadre logique avec des indicateurs mesurables mais une logique verticale défaillante produit des données qui ne peuvent être reliées aux résultats.
La hiérarchie des résultats : comprendre chaque niveau
Activités
Les activités sont ce que le programme fait. Formation des agents de santé communautaires. Configuration de DHIS2 Tracker pour la surveillance des maladies. Distribution de moustiquaires imprégnées d'insecticide. Réalisation d'enquêtes auprès des ménages.
Les activités sont l'intrant de la chaîne de résultats, non le résultat lui-même. Une erreur de conception de cadre logique fréquente et coûteuse consiste à placer les activités au niveau des effets en rapportant les sessions de formation réalisées comme s'il s'agissait du changement que le programme visait à produire. La formation est une activité. Le changement dans la pratique des agents de santé est un effet. C'est dans l'écart entre les deux que la plupart des évaluations de programmes trouvent leur point faible.
Extrants
Les extrants sont les produits directs et tangibles des activités les éléments que le programme livre. Nombre d'agents de santé formés. Nombre de rapports de surveillance générés. Nombre de communautés atteintes. Nombre d'outils de collecte de données déployés.
Les extrants sont sous le contrôle direct du programme et sont généralement simples à mesurer. Ils sont nécessaires aux effets, mais non suffisants. Un programme qui livre tous ses extrants prévus sans produire aucun changement dans la population cible n'a pas échoué dans sa mise en œuvre il a échoué dans la conception de sa théorie du changement.
Effets
Les effets sont des changements dans les connaissances, les compétences, les comportements, les pratiques ou les systèmes résultant des extrants du programme. Des agents de santé qui appliquent correctement les définitions de cas au point de service. Des données de surveillance qui parviennent à l'épidémiologiste de l'État dans un délai de 48 heures. Des responsables de la santé de la LGA qui utilisent les données du tableau de bord lors des points hebdomadaires.
Les effets sont plus difficiles à mesurer que les extrants, prennent plus de temps à se concrétiser et sont plus difficiles à attribuer à un seul programme. C'est précisément pour ces raisons qu'ils comptent davantage. Un programme mesuré uniquement sur ses extrants peut réussir sur le papier sans produire aucun changement dans la réalité. Un programme mesuré sur ses effets ne le peut pas.
Pour un traitement complet des indicateurs d'effets et de leur conception, consultez Comment concevoir des indicateurs de S&É.
Impact
L'impact est le changement à long terme, au niveau de la population, à la réalisation duquel le programme contribue généralement mesuré en termes de charge de morbidité : taux de morbidité, taux de mortalité, incidence des maladies, années de vie ajustées sur l'incapacité. L'impact est rarement attribuable à un seul programme et s'inscrit dans un délai qui dépasse la plupart des cycles de financement des programmes.
Dans la conception d'un cadre logique, cela crée une tension pratique : l'impact est ce qui compte finalement, mais ce n'est pas ce qu'un programme de trois ans peut démontrer avec certitude. La solution consiste à concevoir le cadre logique en plaçant l'impact comme objectif directionnel, tout en mesurant rigoureusement les effets. Si la théorie du changement est solide et que les effets sont atteints, l'impact suivra bien que démontrer la causalité au niveau de la population nécessite généralement un dispositif d'évaluation distinct.
Concevoir la colonne des hypothèses la colonne la plus négligée
La colonne des hypothèses est celle où la conception du cadre logique révèle sa qualité analytique. La plupart des cadres logiques que j'examine énumèrent des hypothèses soit trivialement vraies (« le gouvernement reste engagé envers le programme »), soit manifestement fausses (« les communautés rechercheront activement les services de santé »), soit suffisamment génériques pour s'appliquer à n'importe quel programme dans n'importe quel contexte.
Une hypothèse utile est une condition spécifique et testable, réellement incertaine, que le programme ne peut pas maîtriser, et qui importe pour la chaîne de résultats. Pour un programme de surveillance des maladies en Afrique de l'Ouest, les hypothèses réelles comprennent :
- La capacité du laboratoire de référence de l'État maintient un débit suffisant pour traiter les échantillons dans un délai de cinq jours ouvrables
- La couverture du réseau mobile dans les LGA cibles est suffisante pour la synchronisation DHIS2 au moins une fois par semaine
- Le ministère de la Santé de l'État conserve en poste des agents de surveillance formés pendant toute la durée du cycle du programme
- Les agents de santé communautaires remplissent leurs rapports mensuels de manière constante, sans incitation financière supplémentaire
Ce sont des hypothèses parce qu'elles sont incertaines. Certaines se révéleront fausses dans certains contextes. Lorsqu'une hypothèse échoue, elle rompt la chaîne causale au point précis où elle se situe. Détecter cet échec tôt grâce à un suivi systématique des hypothèses clés, et non seulement des indicateurs de programme est ce qui permet au programme de s'adapter avant que la chaîne de résultats ne s'effondre.
Intégrez le suivi des hypothèses dans votre plan de S&É. Attribuez la responsabilité du suivi de chaque hypothèse critique. Examinez l'état des hypothèses lors des revues trimestrielles du programme, en parallèle des données d'indicateurs.
Choisir les indicateurs : le test de la logique horizontale
Pour chaque niveau de la hiérarchie des résultats, l'indicateur doit passer un test en trois volets :
- Mesure-t-il réellement le résultat auquel il est assigné ? Un indicateur qui mesure la livraison d'un extrant pour un résultat de niveau effet produit des données d'extrant qu'il présente comme des preuves d'effet.
- Peut-il être collecté via le moyen de vérification indiqué ? Un indicateur sans source de données plausible et abordable n'est pas un indicateur c'est une aspiration.
- Est-il suffisamment sensible pour détecter un changement dans le délai du programme ? Les taux d'incidence des maladies au niveau de la population ne montreront pas de changement détectable dans un programme de deux ans. Un indicateur intermédiaire sensibilité de la surveillance, délai d'investigation, exhaustivité des rapports le fera.
Le troisième critère est celui le plus fréquemment violé. Les concepteurs de programmes sélectionnent des indicateurs de niveau impact pour les lignes d'effets parce qu'ils paraissent impressionnants. Le programme ne produit alors aucun changement mesurable sur ces indicateurs non pas parce que le programme a échoué, mais parce que les indicateurs n'étaient pas sensibles au niveau de changement que le programme était conçu pour produire.
Pour des conseils détaillés sur la sélection des indicateurs, consultez le Glossaire S&É et Comment concevoir des indicateurs de S&É.
Le cadre logique dans les revues de programme
Un cadre logique qui n'est jamais ouvert lors des réunions de revue de programme a échoué comme outil de gestion, quelle que soit la qualité de sa conception technique.
Dans les programmes de lutte contre la poliomyélite et de surveillance de l'OMS que j'ai accompagnés, le cadre logique est le premier document examiné à chaque revue trimestrielle du programme. La structure de la revue suit la matrice :
- Examen de l'état des indicateurs : pour chaque indicateur d'effet et d'extrant, quelle est la valeur actuelle par rapport à la cible ? Rouge, orange ou vert ? Quelle est la tendance ?
- Examen de l'état des hypothèses : quelles hypothèses critiques se vérifient encore ? Lesquelles ont changé ? Quelles en sont les implications pour la chaîne de résultats ?
- Ajustement du plan de travail : compte tenu de l'état des indicateurs et des changements d'hypothèses, quels ajustements sont nécessaires pour le plan de travail du trimestre suivant ?
- Décisions de réaffectation des ressources : les ressources sont-elles allouées aux activités les plus susceptibles de faire progresser les indicateurs en retard ? Si non, quels changements sont nécessaires ?
Cette structure fait du cadre logique ce pour quoi il a été conçu : l'ossature analytique de la gestion adaptative des programmes, et non un document de planification statique.
Erreurs courantes dans la conception d'un cadre logique
Trop d'indicateurs
Un cadre logique comptant quarante indicateurs pour un programme de trois ans produira soit une charge de collecte de données qui consomme les ressources du programme, soit sera rempli de valeurs estimées. Limitez la matrice aux dix à quinze indicateurs véritablement essentiels aux décisions de gestion. Pour le reste, utilisez un plan de suivi distinct, avec une fréquence de mesure moindre.
Confondre extrants et effets
L'erreur la plus courante dans la conception d'un cadre logique. Les sessions de formation réalisées constituent un extrant. Le changement de pratique chez les agents de santé formés est un effet. Les agents de santé formés constituent un extrant. Les agents de santé qui appliquent les définitions de cas correctes au point de service sont un effet. Ces distinctions comptent car elles déterminent de quoi le programme est responsable et quelles preuves il doit produire.
Des situations de référence établies après le démarrage du programme
Une situation de référence mesurée après le démarrage des activités du programme n'est pas une situation de référence. C'est un point intermédiaire. Sans une véritable situation de référence pré-programme, il est impossible de mesurer le changement on ne peut alors que décrire l'état actuel. La collecte des données de référence doit être achevée avant le démarrage de toute activité programmatique susceptible d'affecter les indicateurs.
Des cibles fixées sans référence à des données probantes
Des cibles fixées de manière arbitraire « augmenter la couverture de 20 % » parce que 20 % paraît ambitieux produisent un échec systématique des cibles dans les contextes difficiles et un manque d'ambition systématique dans les contextes performants. Fixez les cibles en vous fondant sur les performances historiques du programme, la taille de la population, le niveau des ressources et des programmes comparables. Consultez La gestion axée sur les résultats pour un cadre de fixation des cibles fondé sur des données probantes.
Le cadre logique est une théorie, non une garantie
Chaque cadre logique intègre une théorie sur la façon dont le monde fonctionne comment les activités produisent des extrants, comment les extrants produisent des effets, comment les effets contribuent à l'impact. Cette théorie peut être juste ou erronée. Le but du suivi est de tester la théorie dans des conditions réelles et de l'ajuster lorsque les données probantes montrent qu'elle ne se vérifie pas.
Un programme qui met en œuvre rigoureusement une théorie du changement défaillante produira des extrants fidèlement, et des effets qui diverge de la chaîne de résultats. Le cadre logique est l'outil qui rend cette divergence visible suffisamment tôt pour permettre d'y répondre.
C'est ce que le modèle Données-vers-Décision exige : non seulement que des données soient collectées conformément à un plan, mais qu'elles alimentent une boucle de rétroaction en temps réel entre les données probantes et l'action.