Messen, Bewerten, Lernen

Was verstehen wir unter guten Projekten? Wie bemessen wir den Erfolg eines Projektes und wie stellen wir sicher, dass es eine maximale Wirkung in der Zielgruppe erreicht wird? Antworten auf diese Fragen liefern detaillierte Analysen und Daten aus abgeschlossenen und den laufenden Projekten. Ein strukturiertes Monitoring und regelmäßige Evaluierungen sind bei Malteser International daher elementarer Bestandteil des laufenden Projektmanagements. Dr. Marie T. Benner, Senior Health Advisor und verantwortlich für unser Qualitätsmanagement spricht im Interview über Qualitäts- und Wirkungsmessung bei Malteser International:

Warum ist es für Malteser International wichtig, gute Projekte umzusetzen?

Dr. Benner: Menschen in Not zu helfen, ist unser Auftrag und auch meine persönliche Motivation für meine Arbeit. Wenn wir gute Projekte durchführen, bedeutet das, dass unsere Hilfe bei den Menschen angekommen ist und wir ihre Situation verbessern konnten. Darüber hinaus ist es natürlich auch eines unserer Ziele, unseren Gebern, Spendern und Kooperationspartnern gegenüber eine hohe Qualität unserer Arbeit sicherzustellen und als verantwortungsbewusster Partner wahrgenommen zu werden.

In diesem Kontext: Was bedeutet Qualität für Malteser International?

Dr. Benner: Wir bewerten die Qualität unserer Arbeit anhand mehrerer Indikatoren. Wichtig sind für uns Fragen wie: Ist das Projekt relevant, das heißt deckt es auch wirklich den Bedarf der Menschen ab? Werden langfristige Entwicklungen und externe Faktoren, beispielsweise im politischen Kontext, berücksichtigt und erreicht unsere Hilfe die Menschen auch in abgelegenen Regionen? Ist das Projekt effektiv und erzielt dem Ressourceneinsatz entsprechend erfolgreiche Ergebnisse?

Welche Bewertungskriterien legen Sie bei Ihrer Arbeit an?

Dr. Benner: Ob die Ergebnisse erfolgreich sind, bewerten wir jeweils auf drei Ebenen: der Output-, Out- come- und Impact-Ebene. Die Output-Ebene betrachtet die Summe der erbrachten Leistungen, z.B. eine Anzahl von Schulungen von Gesundheitspersonal oder eine gelieferte Menge an Medikamenten. Auf der Outcome-Ebene bewerten wir das Resultat unserer Arbeit in Bezug auf das Projektziel. Das heißt, wir ermitteln beispielsweise, wie viele Menschen durch unsere Schulungen und Medikamentenlieferungen nun Zugang zu einer besseren Gesundheitsversorgung haben oder wie viele Malariafälle wir proportional in unserem Projekt reduzieren konnten.

Nach Möglichkeit betrachten wir auch die Impact-Ebene, d.h. die übergeordnete Wirkung unserer Maßnahmen in einem weiteren, auch überregionalen Kontext. Oft bedarf es mehrerer Faktoren, um eine Verbesserung hervorzurufen. Dies bewerkstelligen wir nicht unbedingt alleine, sondern in Gemeinschaft mit anderen Partnern wie Gesundheitsbehörden oder lokalen Zivilgesellschaften. Ein Beispiel wäre: Wenn wir in unseren Projekten Malaria behandeln, dann tragen wir mit unserer Arbeit zur Bekämpfung der Krankheit bei. Eine übergeordnete Wirkung über das Projektziel hinaus kann nur im Rahmen einer Evaluierung bewertet werden.

Wie stellt Malteser International die Qualität seiner Projekte sicher? Gibt es ein Standardvorgehen, beispielsweise regelmäßige Evaluierungen?

Dr. Benner: Fundierte Informationen über eine Situation und die von uns erbrachten Leistungen bilden die Basis für eine effiziente Projektsteuerung, die Planung, das Risikomanagement und letztlich für die gesamte Entscheidungsfindung in der Organisation. Die Qualität unserer Projekte stellen wir sicher, indem wir Monitoring und Evaluierung als wesentliche Bestandteile in unseren Projektzyklus integrieren.

Beide Begriffe werden häufig in einem Atemzug genannt. Um die für unsere Organisation zielführenden und geltenden Definitionen zu finden und ein allgemeines Verständnis über die Begriffe zu erreichen, haben wir intensive Diskussionen geführt. Unter Monitoring verstehen wir die systematische und regelmäßige Sammlung, Analyse und Interpretation qualitativer wie quantitativer Daten, um den Fortschritt eines Projekts zu messen. Evaluierungen sind dagegen systematische, objektive Prüfungen laufender oder abgeschlossener Projekte, die anhand eines vorab definierten Kriterienkatalogs erfolgen. Während das Monitoring ein fortwährender Routineprozess ist, finden Evaluierungen zu bestimmten Zeitpunkten statt, meist zur Mitte und zum Ende einer Projektlaufzeit hin.

Wichtig ist uns nicht nur, dass wir zuverlässige Daten erheben, sondern auch, dass wir innerhalb unserer Organisation Lernprozesse etablieren, um die erworbenen Informationen zu verarbeiten und zukünftige Projekte anhand dieser Erkenntnisse zu verbessern.

Um ein Projekt zu bewerten, ist es zunächst wichtig, Ziele zu definieren, die sich nach objektiven Kriterien beurteilen lassen. Welcher Art sind diese Projektziele?

Dr. Benner: Es ist in der Tat für die Bewertung wichtig, dass die Ziele für uns realistisch und messbar sind. Das heißt erstens, dass wir übersichtliche Einheiten definieren müssen. Dafür legen wir die Ziele immer auf der Projektebene fest. Wenn wir beispielsweise am Ausbau des Gesundheitssystems in der DR Kongo arbeiten, dann bedeutet das, dass wir uns konkret auf die sieben von Malteser International unterstützten Gesundheitszonen konzentrieren. So können wir bewerten, ob sich der Zugang von 1,3 Millionen Menschen zu einer Basisgesundheitsversorgung nachhaltig verbessert.

Zweitens muss das Ziel möglichst konkret gefasst sein. Ob die Menschen im Kongo wirklich nachhaltigen Zugang zu Gesundheitsleistungen haben, bewerten wir zum Beispiel danach, ob sie die bestehenden Angebote häufiger nutzen als früher, ob die Verfügbarkeit von Medikamenten und medizinischem Zubehör in lokalen Gesundheitseinrichtungen gesichert ist oder ob sich das System zur Finanzierung der Gesundheitseinrichtungen durch die Bevölkerung verbessert hat. Das sind für uns messbare Indikatoren.

Woran macht Malteser International Erfolge in seiner Projektarbeit fest?

Dr. Benner: Der Erfolg unserer Projekte lässt sich klar aus den von uns definierten Zielen ableiten. Wurden diese Ziele erreicht oder nicht? Waren Prozesse effektiv oder nicht? Im Grunde lassen sich die bereits beschriebenen Bewertungskriterien für Qualität heranziehen und die in den Zielen definierten Indikatoren anhand der Ergebnisse abgleichen. Um diese Tätigkeiten auch nach außen sichtbar zu machen und einen Überblick über unsere Gesamtaktivitäten zu erhalten, sammeln wir in den Projekten unsere sogenannten Leistungszahlen, die wir regelmäßig in unserem Jahresbericht und auf unserer Website publizieren.

Ein Erfolg ist für uns aber auch, wenn in einem Projekt die gesammelten Informationen genutzt wurden, um unseren Ansatz dort zu verbessern oder dieses Wissen auch in anderen Standorten genutzt werden kann. Lernprozesse und ein funktionierendes Wissensmanagement sind für unsere Organisation außerordentlich wichtig.

Sie reisen viel und übernehmen viele Evaluierungen selbst. Was macht für Sie persönlich ein erfolgreiches Projekt aus?

Dr. Benner: In den 24 Jahren meiner Tätigkeit für Malteser International habe ich tatsächlich zahlreiche Projekte gesehen. Ob ein Projekt erfolgreich ist oder nicht, bewerte ich nicht nur nach den objektiven Kriterien, die ich für die Evaluierung heranziehe. Wichtig sind darüber hinaus eine gute Kontextanalyse und vor allem die Einbindung der Menschen, die wir unterstützen wollen, sowie der lokalen Gemeindestrukturen und Partner. Ihnen zuhören, genau hinschauen, Probleme und ihre Ursachen verstehen und dann daraus die richtigen Schlüsse ziehen – das sind die wesentlichen Zutaten, um ein Projekt erfolgreich zu machen. Ich habe hohe Qualitätsansprüche an unsere Arbeit. Doch mir ist natürlich auch klar, dass wir immer in einem schwierigen Umfeld tätig sind, in dem nicht immer alles reibungslos verlaufen kann. Unser Ansatz ist es, in diesem komplexen Umfeld von Katastrophen, Krieg oder Epidemien Lösungen für die Menschen zu finden. Oft gelingt es uns, manch- mal, in sehr komplexen Situationen, auch nicht. Wenn wir den Menschen mit den uns zur Verfügung stehenden Mitteln wirklich helfen können, dann bin ich zufrieden.

Text übernommen aus dem Jahresbericht 2015

"Wenn wir den Menschen mit den uns zur Verfügung stehenden Mitteln wirklich helfen können, dann bin
ich zufrieden."