Dieser Leitfaden funktioniert andersherum. Er beginnt mit der Entscheidung – was müssen Programmmanager wissen, um effektiv zu steuern? – und leitet den Indikator rückwärts von dieser Frage ab. Das Ergebnis ist ein Satz von Indikatoren, die tatsächlich genutzt werden und nicht nur pflichtbewusst gemeldet.
Schritt 1: Beginnen Sie mit der Entscheidung, nicht mit den Daten
Bevor Sie einen einzigen Indikator formulieren, beantworten Sie für jede Ebene Ihres Ergebnisrahmens die Frage: Welche spezifische Entscheidung muss ein Manager auf dieser Ebene durch diesen Indikator informiert wissen?
Für einen Outcome-Indikator in einem Krankheitsüberwachungsprogramm könnte die Entscheidung lauten: „Erkennt das Überwachungssystem Fälle mit ausreichender Sensitivität, um eine rechtzeitige Reaktion auf einen Ausbruch auszulösen?“ Diese Entscheidung erfordert einen Indikator, der die Erkennungssensitivität misst – nicht die Fallzahlen, nicht die Abschlussraten von Schulungen, nicht die Anzahl der eingereichten Berichte.
Wenn Sie die Entscheidung, die ein Indikator informiert, nicht benennen können, entfernen Sie ihn aus dem Ergebnisrahmen. Ein Indikator, der keine Entscheidung vorantreibt, ist ein Overhead-Datenerfassungskostenfaktor ohne Management-Nutzen.
Schritt 2: Definieren Sie das Ergebnis vor dem Messwert
Indikatoren messen Ergebnisse. Daher muss das Ergebnis klar definiert sein, bevor der Indikator gut gestaltet werden kann. Dies ist eine Voraussetzung, die häufig übersprungen wird, was zu Indikatoren führt, die Stellvertreterphänomene messen – Dinge, die mit dem beabsichtigten Ergebnis korrelieren, statt das Ergebnis selbst.
Die Ergebnisdefinition sollte Folgendes festlegen:
- Was sich ändert: Was ist am Ende des Programmzeitraums anders im Vergleich zum Anfang?
- Wer sich ändert: In welcher Population, welchem System oder welcher Organisation findet die Änderung statt?
- Um wie viel: Wie groß ist die erwartete Änderung, unter Berücksichtigung der Ressourcen und der Theorie des Programms?
- Bis wann: Zu welchem Zeitpunkt im Programmzyklus wird diese Änderung voraussichtlich beobachtbar sein?
Beispiel: „Bis Ende des 2. Jahres wird der Prozentsatz der Verdachtsfälle von epidemieanfälligen Krankheiten auf Einrichtungsebene, die innerhalb von 48 Stunden nach Meldung untersucht werden, von 43% (Basiswert) auf 75% steigen.“ Dies ist eine Ergebnisdefinition – spezifisch, zugeschrieben, messbar, zeitgebunden. Der Indikator folgt natürlich: Prozentsatz der gemeldeten Verdachtsfälle von epidemieanfälligen Krankheiten, die innerhalb von 48 Stunden untersucht werden.
Schritt 3: Wenden Sie den SMART-Test an
SMART – Spezifisch, Messbar, Erreichbar, Relevant und Zeitgebunden – ist der Standard-Qualitätsrahmen für das Indikatoren-Design. Rigoros angewendet, eliminiert er die meisten schwachen Indikatoren, bevor sie in den Ergebnisrahmen gelangen.
Spezifisch
Der Indikator muss präzise genug definiert sein, damit zwei verschiedene M&E-Beauftragte, die dieselbe Datenquelle verwenden, denselben Wert berechnen. Vage Indikatoren wie „verbesserte Überwachungsqualität“ oder „gesteigerte Programmleistung“ bestehen den Spezifitätstest nicht, da sie nicht konsistent gemessen werden können.
Spezifität erfordert die Definition von: dem Zähler (was gezählt wird), dem Nenner (die Gesamtzahl, auf die es sich bezieht), der Maßeinheit (Prozentsatz, Zahl, Rate pro 100.000) und jeglicher relevanter Disaggregation (nach LGA, nach Krankheit, nach Geschlecht oder Altersgruppe).
Messbar
Kann der Indikator mit einer machbaren, erschwinglichen Datenquelle gemessen werden? Ein Indikator, der eine national repräsentative Haushaltsbefragung zur Messung erfordert, ist für ein Programm auf Distriktebene mit einem vierteljährlichen Überwachungszyklus nicht machbar. Ein Indikator, der aus bestehenden DHIS2-Daten ohne zusätzliche Datenerfassung berechnet werden kann, ist sehr machbar.
Identifizieren Sie in der Designphase die spezifische Datenquelle für jeden Indikator, bevor Sie den Ergebnisrahmen finalisieren. Wenn keine machbare Datenquelle existiert, muss der Indikator überarbeitet werden.
Erreichbar
Ist das mit dem Indikator verbundene Ziel angesichts der Programmressourcen, des Zeitrahmens und des Kontexts erreichbar? Hier ist die Disziplin bei der Zielsetzung wichtig. Siehe ergebnisbasiertes Management für evidenzbasierte Anleitungen zur Zielsetzung.
Relevant
Misst der Indikator tatsächlich das Ergebnis, dem er zugeordnet ist? Eine Schulungsteilnahmequote, die als Ergebnisindikator zugeordnet ist, ist nicht relevant – sie misst einen Output (durchgeführte Schulung), nicht ein Ergebnis (veränderte Praxis). Relevante Indikatoren messen das, wofür sie vorgesehen sind, nicht einen Stellvertreter, der einfacher zu zählen ist.
Zeitgebunden
Der Indikator muss zu definierten Zeitpunkten mit einem festgelegten Basiswert-Messdatum und einem Zieldatum für die Zielerreichung gemessen werden. Ein Indikator ohne Zeitbezug kann keine Veränderung über einen Programmzyklus hinweg aufzeigen.
Schritt 4: Erstellen Sie das Indikator-Referenzblatt
Die wichtigste Qualitätskontrolle im Indikatoren-Design ist das Indikator-Referenzblatt – ein Dokument, das jeden Indikator präzise genug definiert, um eine konsistente Messung über verschiedene Implementierer, Partner und Berichtsperioden hinweg zu ermöglichen. Ohne dieses Dokument würde derselbe Indikator von verschiedenen Personen unterschiedlich gemessen, und die resultierenden Daten wären unvergleichbar.
Jeder Indikator im Ergebnisrahmen benötigt ein Referenzblatt, das Folgendes enthält:
- Indikatorname
- Kurzer, spezifischer, klar verständlicher Name, der beschreibt, was gemessen wird.
- Definition
- Eine vollständige schriftliche Definition dessen, was der Indikator genau misst – spezifisch genug, damit ein geschulter M&E-Beauftragter ihn ohne zusätzliche Anleitung korrekt messen kann.
- Zähler
- Die Zählgröße im oberen Teil des Bruchs – was gemessen wird. Präzise definieren, einschließlich aller Bedingungen, die erfüllt sein müssen, damit ein Fall gezählt wird.
- Nenner
- Die Gesamtzahl im unteren Teil des Bruchs – die Population oder das Gesamtergebnis, auf das sich der Zähler bezieht. Geben Sie die Nennerquelle und das Populationsjahr an, falls eine Volkszählungszahl verwendet wird.
- Maßeinheit
- Prozentsatz, Zahl, Rate pro 100.000, Tage oder andere Einheit. Dies sollte der Einheit entsprechen, die zur Festlegung des Basiswerts und des Ziels verwendet wurde.
- Datenquelle
- Die spezifische Datenquelle, aus der Zähler- und Nennerwerte erhoben werden – DHIS2-Datensatzname und Datenelemente, Einrichtungsregister, Laborbuch oder Erhebungsinstrument und Fragenreferenz einer Haushaltsbefragung.
- Erhebungsmethode
- Wie Daten erhoben und aggregiert werden – routinemäßige Berichtserstattung durch Einrichtungen, dedizierte Datenerhebung, Überprüfung administrativer Aufzeichnungen.
- Erhebungshäufigkeit
- Wie oft der Indikator gemessen wird – wöchentlich, monatlich, vierteljährlich, jährlich. Sollte der Entscheidungsfrequenz entsprechen, für die er konzipiert ist.
- Verantwortliche Partei
- Wer diesen Indikator erhebt, berechnet und meldet. Ohne benannte Verantwortung bleiben Indikatoren routinemäßig ungemessen.
- Disaggregation
- Welche Disaggregation erforderlich ist – nach LGA, nach Krankheit, nach Geschlecht, nach Altersgruppe. Disaggregation, die nicht in der Designphase spezifiziert wird, ist in der Berichtsphase selten verfügbar.
- Basiswert und Datum
- Der gemessene Wert des Indikators vor Beginn der Programmaktivitäten und das Datum der Messung.
- Zielwert und Datum
- Der beabsichtigte Wert am Ende des Programmzeitraums und das Datum, bis zu dem er erreicht werden soll.
- Berechnungshinweise
- Alle spezifischen Berechnungsregeln, Rundungskonventionen oder der Umgang mit fehlenden Daten, die den Indikatorwert beeinflussen.
Schritt 5: Gleichen Sie den Indikatoren-Satz aus
Ein gut konzipierter Ergebnisrahmen verfügt über einen ausgewogenen Indikatoren-Satz, der alle Ebenen der Ergebniskette abdeckt, ohne eine Last bei der Datenerfassung zu erzeugen oder kritische Ergebnisse ungemessen zu lassen.
Der Test für die Ausgewogenheit ist einfach: Wenn Sie alle Output-Indikatoren entfernen würden, wüssten Sie dann immer noch, ob das Programm seine Outcomes erreicht? Wenn Sie alle Outcome-Indikatoren entfernen würden, wüssten Sie dann, ob das Programm auf dem Weg ist, eine Wirkung zu erzielen? Wenn eine der Antworten „Nein“ lautet, ist der Rahmen unausgewogen.
Für die meisten globalen Gesundheitsprogramme besteht ein ausgewogener Indikatoren-Satz aus:
- Zwei bis vier Wirkungsindikatoren: richtungsweisend, langfristig, populationsbezogen
- Vier bis sechs Ergebnisindikatoren (Outcome): programmsensibel, mittelfristig, an Entscheidungen gekoppelt
- Vier bis acht Leistungsindikatoren (Output): zählbar, kurzfristig, unter Programmsteuerung
- Zwei bis vier Prozessindikatoren: Pünktlichkeit, Qualität und Gerechtigkeit der Implementierung
Insgesamt: zehn bis zweiundzwanzig Indikatoren für einen Ergebnisrahmen. Alles über fünfundzwanzig sollte eine rigorose Überprüfung auslösen, welche Indikatoren wirklich wesentlich sind. Jeder hinzugefügte Indikator ist eine zusätzliche Datenerfassungspflicht. Disziplinieren Sie den Satz auf das, was tatsächlich verwendet wird.
Die Equity-Linse: Disaggregation als Designprinzip
Ein Indikator, der nur aggregierte Leistung meldet, verschleiert Ungleichheiten. Eine nationale Immunisierungsrate von 75 % kann eine Abdeckung von 95 % in städtischen LGAs und 55 % in ländlichen Gebieten widerspiegeln. Die aggregierte Zahl ist technisch korrekt und praktisch irreführend.
Equity-orientiertes M&E erfordert die Integration von Disaggregation in das Indikatoren-Design – nicht als nachträglichen Einfall, sondern als Designanforderung. Jeder Ergebnisindikator sollte die für die Equity-Überwachung erforderliche Mindestdisaggregation spezifizieren: mindestens geografische Disaggregation auf LGA-Ebene und Geschlechtsdisaggregation, wo relevant.
Das Prinzip ist, dass die Wirkung daran gemessen wird, wer zuletzt erreicht wird, nicht an durchschnittlichen Ergebnissen. Die am stärksten gefährdete Bevölkerung – geografisch abgelegen, wirtschaftlich marginalisiert, vom Gesundheitssystem unterversorgt – sollte explizit im Indikatoren-Satz verfolgt werden. Wenn sie nicht verfolgt wird, wird sie nicht gemessen, und was nicht gemessen wird, wird selten verbessert.
Häufige Fehler beim Indikatoren-Design
Verwendung von prozentualer Veränderung statt prozentualer Punktveränderung
„Die Abdeckung stieg um 20 %“ ist mehrdeutig. Bedeutet das von 50 % auf 70 % (20 Prozentpunkte) oder von 50 % auf 60 % (eine relative Steigerung von 20 %)? Geben Sie immer an, ob ein Ziel in Prozentpunkten oder als relative prozentuale Veränderung ausgedrungen wird, und verwenden Sie die gleiche Konvention konsistent bei allen Indikatoren.
Indikatorennamen, die Aktivitäten beschreiben, nicht Ergebnisse
„Anzahl der in IDSR geschulten Gesundheitsmitarbeiter“ ist ein Output-Indikator. „Prozentsatz der Gesundheitsmitarbeiter, die IDSR-Falldefinitionen am Behandlungsort korrekt anwenden“ ist ein Outcome-Indikator. Der Unterschied im Namen signalisiert den Unterschied in dem, was gemessen wird, und den Unterschied in dem, wofür das Programm rechenschaftspflichtig ist.
Kein Indikator für die Datenqualität selbst
Das M&E-System sollte einen Indikator für seine eigene Datenqualität enthalten – Berichterstattungs-Vollständigkeit, Daten-Genauigkeitsrate aus DQA oder Aktualität der Datenübermittlung. Ein Ergebnisrahmen, der Programmergebnisse überwacht, aber nicht die Qualität der zur Messung verwendeten Daten, misst mit einem unkalibrierten Instrument. Für weitere Informationen dazu siehe DHIS2 Datenqualität.
Festlegung von Zielen ohne Basisdaten
Ein Ziel ist eine Aussage über Veränderung – den Unterschied zwischen dem Startpunkt des Programms und dem, wo es sein möchte. Ohne Basiswert ist ein Ziel eine Aussage über ein absolutes Niveau, nicht über eine Veränderung. Ein Ziel von „75 % der Einrichtungen reichen wöchentliche Berichte ein“ bedeutet sehr unterschiedliche Dinge, je nachdem, ob der Basiswert 40 % oder 72 % beträgt.