Ergebnisorientiertes Management (EOM) ist heute eine formale Anforderung in von der WHO, USAID, GAVI und dem Global Fund finanzierten Programmen. Doch formale Annahme und echte Praxis sind nicht dasselbe. Über die 25 WHO-Programme in Nigeria hinweg, für die ich das S&E-Design unterstützt habe, besteht die konstanteste Lücke zwischen EOM als Berichtsanforderung und EOM als Managementkultur.
Dieser Artikel erklärt, was EOM tatsächlich erfordert, wie es in der Praxis umgesetzt wird und warum Programme, die es gut umsetzen, grundlegend andere Ergebnisse erzielen als solche, die es als bloßen Papierkram betrachten.
Was ergebnisorientiertes Management tatsächlich erfordert
EOM hat fünf Kernanforderungen, die es vom konventionellen Programmmanagement unterscheiden:
- Ein Ergebnisrahmen mit definierten Outcomes: Die beabsichtigten Ergebnisse des Programms, nicht nur die geplanten Aktivitäten, müssen klar formuliert sein, mit messbaren Indikatoren und Zielen auf jeder Ebene der Ergebniskette.
- Basisdaten vor Programmstart: Ohne einen gemessenen Ausgangspunkt ist es unmöglich, Veränderungen nachzuweisen. EOM erfordert Basisdaten für jeden Outcome-Indikator, bevor programmatische Aktivitäten beginnen.
- Regelmäßige Leistungsüberwachung anhand von Zielen: Programmierleistungsdaten müssen in definierten Intervallen gesammelt und anhand von Zielen überprüft werden, nicht nur um Fortschritte zu berichten, sondern auch um Managemententscheidungen zu informieren.
- Adaptives Management auf der Grundlage von Evidenz: Wenn Überwachungsdaten zeigen, dass Ergebnisse nicht auf Kurs sind, muss das Programm Anpassungen vornehmen, Aktivitäten ändern, Ressourcen neu zuweisen, die Wirkungslogik bei Bedarf überarbeiten. Ein Programm, das Überwachungsdaten sammelt, sich aber nicht darauf basierend ändert, überwacht, ohne zu managen.
- Rechenschaftspflicht für Outcomes, nicht Outputs: Die grundlegende Neuausrichtung, die EOM fordert, besteht darin, dass Programmleiter für Veränderungen in der Welt verantwortlich sind, nicht für das Volumen der von ihnen erbrachten Aktivitäten.
Gestaltung eines Ergebnisrahmens
Der Ergebnisrahmen ist die Architektur eines EOM-Systems. Er bildet den beabsichtigten Weg des Programms von Inputs über Aktivitäten, Outputs, Outcomes und Impact mit Indikatoren, Baselines und Zielen auf jeder Ebene ab.
Für eine detaillierte Behandlung der Ergebnishierarchie – wie Outputs von Outcomes abzugrenzen sind und was auf jeder Ebene gehört – siehe Logframe in Global Health: Von Design bis zur Anwendung.
In der Praxis sind die Entscheidungen beim Entwurf des Ergebnisrahmens, die die Qualität des EOM am meisten bestimmen:
Outcome-Indikatoren, die empfindlich auf programmweite Veränderungen reagieren
Der häufigste Designfehler bei Ergebnisrahmen ist die Auswahl von Indikatoren auf Wirkungsebene für die Messung von Outcomes. Die Sterblichkeitsrate von Kindern unter fünf Jahren ist ein wichtiges Gesundheitsergebnis, aber sie ist nicht empfindlich genug für ein zweijähriges Krankheitsüberwachungsprogramm, das eine Krankheit in einem Bundesstaat betrifft. Der Indikator kann Veränderungen im Umfang des Programms nicht erfassen, und so wird das Programm unabhängig von seiner tatsächlichen Leistung keine Ergebnisse zu produzieren scheinen.
Wählen Sie Indikatoren für intermediäre Outcomes, die empfindlich auf die Veränderung reagieren, die das Programm bewirken soll: Überwachungssensitivität, Untersuchungszeitnahes, Berichterstattungs-Vollständigkeit, Fallbestätigungsrate. Dies sind Outcomes, die ein gut konzipiertes Überwachungsprogramm innerhalb eines zwei- bis dreijährigen Zyklus messbar verbessern kann.
Auf Evidenz basierende Ziele
Die Festlegung von Zielen auf der Grundlage dessen, was ehrgeizig klingt oder, noch schlimmer, was ein Geber erwartet, anstatt dessen, was angesichts der Programmressourcen und des Kontexts erreichbar ist, führt zu systematischem Zielversagen. Über mehrere Berichtszyklen hinweg erzeugt dies eine Kultur der Zielrevision und des Erwartungsmanagements, anstatt einer echten Leistungsverbesserung.
Begründen Sie Ziele in drei Evidenzquellen: historische Programmleistung (was unter ähnlichen Bedingungen zuvor erreicht wurde), Daten vergleichbarer Programme (was vergleichbare Programme erreicht haben) und Programmtheorie (welche Veränderungsebene die Wirkungslogik des Programms angesichts der geplanten Inputs vorhersagt). Das Ziel sollte am oberen Ende des erreichbaren Bereichs liegen – ehrgeizig, aber fundiert.
Attribution und Beitrag
EOM in Partnerprogrammen erfordert Klarheit darüber, ob ein Programm beansprucht, die angezeigte Veränderung verursacht zu haben oder zu ihr beigetragen zu haben. Die meisten globalen Gesundheitsergebnisse werden von mehreren Akteuren gleichzeitig erzielt. Ein einzelnes Programm, das die volle Attribution für eine Verbesserung der Impfabdeckung beansprucht, die aus fünf gleichzeitigen Programminvestitionen resultierte, ist sowohl analytisch falsch als auch politisch kontraproduktiv.
Gestalten Sie den Ergebnisrahmen mit Beitragssprache, wo Attribution nicht festgestellt werden kann, und definieren Sie den spezifischen Beitrag des Programms zum gemeinsamen Ergebnis – die von ihm finanzierten Aktivitäten, die von ihm ermöglichten Systemänderungen, die von ihm direkt erreichte Bevölkerungsgruppe.
EOM in Programmüberprüfungen verankern
EOM findet nicht in Monitoring-Berichten statt. Es findet in Programmüberprüfungssitzungen statt, in denen Monitoring-Daten Entscheidungen steuern. Die Struktur dieser Sitzungen bestimmt, ob EOM echt oder performativ ist.
Eine für EOM strukturierte Programmüberprüfung umfasst:
- Überprüfung des Ergebnis-Dashboards: Was zeigen die Outcome-Indikatoren im Vergleich zu den Zielen? Welche Indikatoren sind grün, gelb oder rot? Wie ist der Trend in den letzten beiden Überprüfungszeiträumen?
- Kausalanalyse für Indikatoren, die vom Kurs abweichen: Bei Indikatoren, die gelb oder rot sind, was verursacht die Lücke? Ist es eine Lücke bei der Aktivitätenumsetzung (Aktivitäten nicht wie geplant abgeschlossen), eine Lücke in der Wirkungslogik (Aktivitäten abgeschlossen, aber nicht die erwarteten Ergebnisse erzielt) oder ein externer Faktor (eine Annahme, die sich als falsch erwiesen hat)?
- Managementantwort: Basierend auf der Kausalanalyse, welche spezifischen Managemententscheidungen werden getroffen? Welche Aktivitäten werden intensiviert, modifiziert oder eingestellt? Welche Ressourcen werden umverteilt?
- Dokumentation der Entscheidungen: Jede in der Überprüfungssitzung getroffene Managemententscheidung sollte dokumentiert, einer verantwortlichen Person zugewiesen und bei der nächsten Sitzung auf Umsetzung überprüft werden.
Die Disziplin der Dokumentation und Nachverfolgung von Managemententscheidungen trennt Programmüberprüfungen, die Veränderungen bewirken, von Programmüberprüfungen, die nur Protokolle erstellen.
EOM und Datenqualität: Eine untrennbare Beziehung
Ergebnisorientiertes Management ist nur so glaubwürdig wie die Daten, auf denen es basiert. Ein Programm, das beeindruckende Ergebnisziele anhand unzuverlässiger Daten demonstriert, ist kein Hochleistungsprogramm – es ist ein Programm mit einem Datenqualitätsproblem, das wie hohe Leistung aussieht.
Diese Beziehung bedeutet, dass die Sicherstellung der Datenqualität keine separate S&E-Funktion von EOM ist – sie ist eine Voraussetzung dafür. Bevor ein Outcome-Indikator anhand eines Ziels in einem Ergebnisrahmen berichtet wird, muss die Datenqualität dieses Indikators festgestellt werden: die Quelldokumente verifiziert, die Dateneingabe validiert, die Berichterstattungs-Vollständigkeit bestätigt.
Für die Polio-Programme der WHO, die ich unterstütze, war die Verbesserung der Immunisierungsdatenqualität von 54 % auf 81 %, die durch die Neugestaltung der Datenüberprüfungs- und Feedbackschleifenprozesse erreicht wurde, eine Voraussetzung für EOM, nicht ein Produkt davon. Der EOM-Rahmen konnte nur glaubwürdig funktionieren, sobald die Daten, gegen die berichtet wurde, zuverlässig waren.
Detaillierte Anleitungen zum Aufbau von Datenqualität in Überwachungssystemen finden Sie unter DHIS2 Datenqualität: Systeme für zuverlässige Daten entwickeln.
Die Rechenschaftskultur, die EOM erfordert
Das bedeutendste Hindernis für eine echte EOM-Implementierung ist nicht technischer, sondern kultureller Natur.
EOM erfordert, dass Programmteams bereit sind, ehrlich zu berichten, wenn Ergebnisse nicht erzielt werden, und dass die Programmleitung und die Geldgeber auf ehrliche schlechte Leistungen mit Problemlösung statt mit Sanktionen reagieren. Wenn die Reaktion auf ehrliche Minderleistung bestrafend ist, lernen Programme, selektiv zu berichten. Wenn die Reaktion auf ehrliche Minderleistung analytisch ist – „was verursacht das, und was sollten wir ändern?“ – lernen Programme, genau zu berichten.
Die Rechenschaftskultur, die EOM zum Erfolg führt, ist eine, in der der ehrliche Bericht über ein schwieriges Ergebnis mehr geschätzt wird als der geschönte Bericht über ein angenehmes. Diese Kultur wird von oben etabliert, durch die Art und Weise, wie die Programmleitung auf das erste ehrlich schlechte Ergebnis reagiert, das sie erhält.
Dies ist eines der vier Kernprinzipien, die ich in jedes S&E-Engagement einbringe: Rechenschaft und Vertrauen. Ein Programm, das seinen eigenen Daten nicht vertrauen kann, kann sich nicht selbst verwalten. Ein Programm, das sich auf der Grundlage ehrlicher Daten – auch unangenehmer Daten – verwaltet, ist das Programm, das schließlich die Ergebnisse erzielt, für die es konzipiert wurde.
Häufige EOM-Fallstricke
Den Ergebnisrahmen als statisches Dokument behandeln
Ein in Jahr 1 entworfener Ergebnisrahmen, der nie überarbeitet wird, während das Programm lernt, ist ein Compliance-Dokument, kein Management-Tool. Programme lernen im Feld. Wirkungslogiken werden getestet und manchmal für unzureichend befunden. Annahmen scheitern. Ergebnisrahmen sollten lebende Dokumente sein, die bei jeder jährlichen Überprüfung aktualisiert werden, um widerzuspiegeln, was das Programm gelernt hat.
Nur messen, was leicht zu messen ist
Output-Indikatoren sind leichter zu erheben als Outcome-Indikatoren. Die Versuchung, einen Ergebnisrahmen mit Output-Indikatoren zu füllen, weil sie verfügbar, zuverlässig und eindeutig positiv sind, führt zu einem Rahmen, der viel darüber aussagt, was das Programm getan hat, und fast nichts darüber, was sich geändert hat.
S&E vom Programmmanagement trennen
Wenn S&E eine separate Funktion ist, die Berichte für Geldgeber erstellt, anstatt eine integrierte Funktion, die das Programmmanagement informiert, kann EOM nicht funktionieren. Der S&E-Beauftragte, der den Quartalsbericht erstellt, und der Programmmanager, der die Überarbeitung des Arbeitsplans vornimmt, müssen mit denselben Daten, im selben Überprüfungsprozess, auf dieselbe Ergebnisverantwortung hinarbeiten.