Wirkungsbeobachtung und Evaluation
Warum beobachtet missio die Wirkung seiner Projektarbeit?
Um einen effizienten Mitteleinsatz der missio anvertrauten Spendengelder zu gewährleisten und die Projektpartner bei der Planung und Durchführung von Projekten qualifiziert und qualifizierend zu begleiten, sind Wirkungsbeobachtung und Evaluation integrale Bestandteile der missio-Projektarbeit. Diese Überprüfungen stehen in einem engen Kontext mit der jeweils von den Projektpartnern vorgelegten Projektplanung. Wirkungsbeobachtung und Evaluation werden dabei als Mittel betrachtet, um herauszufinden, ob die im Rahmen der Projektförderung anvisierten Ziele der missio-Projektpartner in den Bereichen Ausbildung, Pastoralarbeit, Akuthilfe oder Aufbau von Infrastruktur erreicht werden konnten. Weder die Evaluation noch die Projektplanung selbst dürfen dabei zum Selbstzweck verkümmern.Letztlich zielt kirchliche Evaluation darauf ab, die Arbeit der Kirche in Afrika, Asien und Ozeanien zu optimieren, damit sie ihren Dienst an den Menschen bestmöglich leisten kann. Aus Kostengründen können nicht alle jährlich geförderten missio-Projekte durch externe Dienstleister evaluiert werden. Deshalb sind die missio-Partner angehalten, in ihren schriftlichen Abschlussberichten detaillierte, quantifizierte Auskünfte über die Wirkungen des Projektes zu geben.
Wirkungsbericht 2024
Sierra Leone - Kirche will ein sicherer Ort werden
Die missio-Partnerorganisationen und Kirchen in Afrika, Asien und Ozeanien sind daran interessiert, dass in ihren Einrichtungen sexualisierte Gewalt an Kindern, Ordensfrauen oder „schutzbedürftigen Erwachsenen“ verhindert wird. Deshalb beinhalten Projektverträge mit unseren Partnerinnen und Partnern auch einen Nachweis darüber, ob sie über eine Strategie zu diesem Safeguarding verfügen und sie umsetzen.
2024 hat sich die katholische Kirche in Sierra Leone evaluieren lassen, wie bekannt und wie wirksam ihre Safeguarding-Regelung ist, um Verbesserungspotenzial zu erkennen. Mit dieser unabhängigen Evaluation beauftragten wir Theresa Cooper, selbstständige Beraterin in Freetown, der Hauptstadt von Sierra Leone.
Zur katholischen Kirche in Sierra Leone gehören etwa 800.000 Gläubige, rund 14 Prozent der Gesamtbevölkerung, in den vier (Erz-)Diözesen Freetown, Kenema, Makeni und Bo. Die Kirche hat eigene Safeguarding-Regeln in Kraft gesetzt. Für deren Evaluation führte die Evaluatorin Theresa Cooper über 130 Interviews. Zu den Interviewten gehörten alle vier (Erz-)Bischöfe des Landes, zehn Priester, sieben Ordensleute, zehn Leiter und Mitarbeitende kirchlicher Einrichtungen wie der Caritas sowie 100 Gläubige aus den Pfarreien. Ende Januar 2025 wurden die Ergebnisse der Evaluation verschiedenen Vertretern und Vertreterinnen von Kirche und Caritas sowie den kirchlichen Verantwortlichen im Bereich Bildung vorgestellt. An dieser Vorstellung nahmen auch missio-Länderreferent Simon Kuhl und Johanna Streit von der Stabsstelle Safeguarding teil.
Dabei richtete Theresa Cooper den Fokus ihrer Befragungen vor allem auf folgende Zusammenhänge: Wie bekannt sind die eigenen Safeguarding-Regeln, das kirchliche Angebot für entsprechende Trainings und Workshops zur Bewusstseinsbildung? Wie standardisiert, öffentlich bekannt, zugänglich und wirkungsvoll sind die kirchlichen Verfahren gestaltet, in denen sich von sexualisierter Gewalt Betroffene in der Kirche ohne Furcht vor möglichen Repressalien vertrauensvoll melden können? Werden deren Fälle dann auch tatsächlich von den kirchlichen Stellen verfolgt und erhalten die Betroffenen zeitnahe Rückmeldungen? Ob solche Fälle angemessen behandelt werden, bemisst sich für Theresa Cooper auch daran, ob den Betroffenen Glauben geschenkt wird und sie geschützt werden, ob Verfahrensprotokolle geführt und zur Verfügung gestellt werden oder die Anonymität von Hinweisgebern gewahrt bleibt.
Auf Grundlage dieser Befragung entwickelte Theresa Cooper dann neun Vorschläge, wie die vier Bistümer, kirchliche Einrichtungen und Pfarreien in Sierra Leone ihre Arbeit der Prävention und Intervention im Fall sexualisierter Gewalt verbessern können. Im Kern empfiehlt die Evaluatorin, dass die Kirche ihre Safeguarding-Regeln und -Maßnahmen an allen kirchlichen Orten öffentlich stärker bekannt machen und wesentlich mehr Gruppen den Zugang zu Trainings und Workshops ermöglichen muss. Die Verfahren, um Fälle sexualisierter Gewalt im Sinne der Betroffenen zu erkennen und aufzuklären, müssen einheitlicher gestaltet und für alle kirchlichen Hierarchien und Ebenen verbindlich gemacht werden. Insbesondere kirchliche Leitungspersonen sollen Safeguarding als eine wesentliche Führungsaufgabe erkennen und damit für alle Gläubigen Vorbildfunktion übernehmen. Nicht zuletzt sollen die Diözesen und Pfarreien ihre finanziellen Mittel für Safeguarding erhöhen.
Safeguarding heißt, alle angemessenen Schritte zu unternehmen, um sexualisierte Gewalt und Missbrauch zu verhindern, Menschen, insbesondere schutzbedürftige Erwachsene und Kinder, vor diesem Schaden zu schützen, und angemessen zu reagieren, wenn ein Schaden eintritt. Die Stabsstelle Safeguarding bei missio Aachen arbeitet zu den Themen Intervention, Aufarbeitung und Prävention von sexualisierter Gewalt und Missbrauch. Einen besonderen Fokus legt missio Aachen auf das Problem Missbrauch an Ordensfrauen. Die Stabsstelle Safeguarding berät dabei unter anderem auch die missio-Partnerorganisationen und Ortskirchen in Afrika, Asien und Ozeanien bei der Einführung von Safeguarding-Maßnahmen.
Linktipp
missio Aachen unterstützt Programme der Kirche im globalen Süden, die Frauen stärken. Das ist einer der Schwerpunkte in unserer Auslandsprojektarbeit. Davon sollen insbesondere Frauen in wirtschaftlich prekären Regionen profitieren. Von September 2022 bis Dezember 2023 förderten wir das Projekt „Empowerment-Programm für vulnerable Frauen“ des Büros für Entwicklung und humanitäre Hilfe (AAIDRO) der Erzdiözese Arusha in Tansania. Mit der Evaluation beauftragten wir den unabhängigen Berater Chande S. Kawawa aus Arusha, der von der Katholischen Zentralstelle Entwicklung (KZE) in Deutschland empfohlen wird.
Die Diözese Arusha liegt im Norden Tansanias. Infrastruktur und Gesundheitsversorgung sind in der entlegenen Region in einem schlechten Zustand. Es gibt kaum Einkommensmöglichkeiten. Durch die Folgen des Klimawandels verschlechtern sich die Ernteerträge. Die meisten Menschen können als Kleinstbauern oft nur die Selbstversorgung sicherstellen. Frauen sind dadurch mehrfach benachteiligt. Sie arbeiten täglich rund 16 Stunden für das Familieneinkommen, machen den Haushalt und übernehmen die Sorgearbeit. Sie sind in hohem Maß geschlechtsspezifischer Gewalt ausgesetzt und über ihre Rechte nur unzureichend informiert.
Mehrfach benachteiligt: Frauen in Nord-Tansania
Um diese Situation zu verändern, hat das Büro für Entwicklung und humanitäre Hilfe (AAIDRO) der Erzdiözese Arusha ein Pilotprogramm für die Dörfer Mzimuni, Kigongomi, Thema ya Simba und Bwawani mit rund 14.000 Einwohnerinnen und Einwohnern aufgesetzt. Ziel ist es, den Frauen und ihren Familien neue landwirtschaftliche, ökologisch angepasste Methoden zu vermitteln, mit denen sich die Erträge steigern lassen. Gleichzeitig werden insbesondere die Frauen darin geschult, ihre Produkte selbst zu vermarkten. Daneben bietet die Erzdiözese Arusha Fortbildungen an, wie die Frauen ihre Rechte geltend machen können, um nicht weiter Diskriminierungen und Gewalt ausgesetzt zu sein. Schließlich bot das Programm auch AAIDRO selbst die Möglichkeit, seine Fähigkeiten zum Management solcher Projekte zu verbessern. Zu den Projektkosten von 210.000 Euro steuerte missio Aachen 105.000 Euro bei.
Insgesamt bescheinigt die Evaluation dem Projekt einen Erfolg und empfiehlt eine Weiterführung. An dem Programm nahmen 135 Frauen und 65 Männer teil, die insgesamt 27 Schulungen durchliefen. Davon ließen sich 42 Frauen und 18 Männer für die Auswertung interviewen.
Erfolge und Empfehlungen der Evaluation
Wichtigstes Ergebnis der Evaluation: Durch neue landwirtschaftliche Methoden konnten die Beteiligten ihre Erträge tatsächlich steigern und über die Selbstversorgung hinaus Einkommen gewinnen. Davon profitierten überwiegend Frauen, die als Kleinunternehmerinnen tätig wurden. Dies verbessert ihr Ansehen in den Dörfern und ihr Selbstbewusstsein. Durch diesen spürbaren und für alle sichtbaren Erfolg sind die Menschen in den Projektdörfern motiviert, die neuen Methoden weiter anzuwenden. Erfolgreich war insbesondere der Aufbau einer Art Musterbauernhof, auf dem das Wissen sofort praktisch angewendet werden konnte. Allerdings empfiehlt die Evaluation, das kirchliche Programm besser mit staatlichen Agrarfördermaßnahmen abzustimmen.
Die Sensibilisierung der Frauen für ihre Rechte und dafür, wie sie sich vor Gewalt schützen können, hat noch nicht zur beabsichtigten Gründung von Frauengruppen geführt, wie die Evaluation festhält. Die Autorinnen und Autoren halten es aber für wichtig, dass ein entsprechender Prozess in Gang gesetzt wurde, der nicht abreißen darf und Geduld braucht. Sie empfehlen uns und der Erzdiözese Arusha, diese Bewusstseinsarbeit zu verstärken.
Joyce Ndaya, Kleinbäuerin in der Erzdiözese Arusha, zu ihren Erfahrungen in dem Projekt:
„Bevor ich an den Projektschulungen teilnahm, hatte ich auf meinem gepachteten Land von einem Hektar Größe immer eine schlechte Maisernte. Dann stellte ich auf den Anbau von Fiwi-Bohnen um und erntete etwa acht Säcke und verkaufte sie für 120 Dollar pro Sack. Ich bin sehr glücklich, weil ich es geschafft habe, das bisher gepachtete Land als mein Eigentum zu kaufen, wofür ich die Erlöse der guten Ernte genutzt habe. Dazu werde ich weitere drei zusätzliche Hektar pachten und sie mit den neu gelernten Methoden bewirtschaften.“
missio unterstützt die Kirche in Afrika, Asien und Ozeanien bei der Prävention von sexualisierter Gewalt und anderen Formen des Missbrauchs von Kindern und Erwachsenen durch Kleriker oder kirchliche Mitarbeitende. So beauftragte missio eine unabhängige Evaluation der Präventionsarbeit der katholischen Bischofskonferenz von Bangladesch. Dazu befragte das Evaluationsteam verschiedenste Gruppen in rund 70 kirchlichen Einrichtungen der katholischen Kirche in Bangladesch. Die Untersuchung wurde im August 2022 abgeschlossen.
Die katholische Bischofskonferenz von Bangladesch war selbst mit dem Wunsch nach einer unabhängigen Evaluation ihrer Aufklärungs- und Präventionsarbeit auf missio zugekommen. Auslöser waren die Missbrauchsfälle zweier katholischer Priester aus Bangladesch, über die in nationalen und internationalen Medien umfangreich berichtet wurde. Die Bischöfe wollten erfahren, ob sie in diesen Fällen richtig gehandelt haben. Die Untersuchung bestätigte ihnen das korrekte Verhalten, empfahl aber gleichzeitig, in solchen Fällen künftig proaktiv mit Journalistinnen und Journalisten zu kommunizieren.
Meldesysteme und Präventionsrichtlinien installiert
Das von allen Bischöfen unterstützte Projekt sieht vor, in kirchlichen Einrichtungen landesweit Richtlinien zur Prävention von sexualisierter Gewalt und Missbrauch mit einem entsprechenden Meldesystem für Betroffene vorzuschreiben und mit Priorität in Schulen und Pfarrgemeinden einzuführen. Der Bericht bewertet positiv, dass dies mit wenigen Ausnahmen auch schon geschehen sei. Allerdings empfiehlt der Bericht auch, nun dafür zu sorgen, dass das Meldesystem in der Praxis genutzt wird, da es noch eindeutig zu wenige Betroffene in Anspruch nehmen. Dafür gibt die Untersuchung beispielsweise die Empfehlung, stärker mit zivilgesellschaftlichen und staatlichen Organisationen zusammenzuarbeiten, um das Problembewusstsein in der Bevölkerung zu stärken. Dabei sollen die Angehörigen von Minderheiten stärker einbezogen werden, indem das System in ihre jeweiligen Sprachen übersetzt wird.
Stärker auf gut ausgebildete Frauen setzen
Da sexualisierte Gewalt in Gesellschaft und Kirche des südasiatischen Landes mit einem Tabu belegt ist, werden sowohl Betroffene als auch Täter aus der sozialen oder kirchlichen Gemeinschaft ausgeschlossen. Dies führt oft dazu, dass sich Betroffene erst gar nicht melden. Deshalb sollen die Maßnahmen stärker als bisher an die kulturellen Umstände angepasst werden. Der Bericht empfiehlt, mehr Ressourcen für die kulturangemessene Ausbildung eigenen Personals bereitzustellen und dabei vermehrt weibliche Ansprechpartnerinnen einzubeziehen. Nicht zuletzt empfiehlt der Bericht, dass Frauen in der Kirche ein Netzwerk bilden, in dem sie sich stärkend beraten können. Dafür bietet missio Aachen Unterstützung an.
Hier können Sie ein Beispiel für Evaluationsberichte von missio aus dem Jahr 2021 lesen.
In Zeiten von Fake News, boomender Social Media und der Digitalisierung der Seelsorge ist die Medienkompetenz der Kirche im Globalen Süden wichtiger denn je. Deshalb beteiligt sich missio Aachen am „Cardinal Foley Scholarship Fund“ (CFSF). Er vergibt Studienstipendien für die akademische Weiterqualifikation von katholischen Medienführungskräften der Zukunft. Von 2015 bis 2020 waren dies 59 Stipendien. Davon profitierten 55 Männer und Frauen aus Afrika, Asien und Lateinamerika. An der Finanzierung beteiligte sich missio Aachen in diesem Zeitraum mit 325.000 Euro. Der Fonds wird vom Catholic Media Council (CAMECO) organisiert und verwaltet. Daneben fördern das Dikasterium für Kommunikation im Vatikan, die Bischofskonferenz der Vereinigten Staaten , die Hilfswerke Adveniat und Renovabis sowie das Missionswissenschaftliche Institut (MWI) das Programm.
Ziele des Programms und der Evaluation
Die Kandidatinnen und Kandidaten für die Stipendien werden von Ortsbischöfen und Ordensoberinnen und Oberen der Ortskirche in Afrika, Asien und Lateinamerika vorgeschlagen. Mit ihnen vereinbart der CFSF vertraglich, dass die Stipendiatinnen und Stipendiaten mindestens fünf Jahre Führungsaufgaben in kirchlichen Medien der Diözesen und Orden übernehmen. Dies abzusichern, ist das erste Ziel des CFSF. Sein zweites Ziel ist, die Basis an Führungskräften für künftige Medienaufgaben der Kirche in Afrika, Asien und Lateinamerika ständig zu verbreitern. Ob diese beiden Ziele erreicht wurden, hat CAMECO 2021 evaluiert.
Knapp die Hälfte der Befragten haben den Sprung ins Spitzenmanagement kirchlicher Medien geschafft
Befragt wurden 36 Stipendiatinnen und Stipendiaten, die in diesem Zeitraum ihre Weiterqualifikation abgeschlossen hatten.
- 16 (44 Prozent) waren tatsächlich als Führungskräfte für die Medienarbeit in ihren Diözesen oder Orden tätig.
- Vier (11 Prozent) arbeiteten als Redakteurinnen und Redakteure in kirchlichen Medien.
- Vier (11 Prozent) gingen in die freie Wirtschaft.
- Von fünf (14 Prozent) Stipendiatinnen und Stipendiaten konnte nicht mehr ermittelt werden, was sie tun.
- Vier (11 Prozent) brachen ihr Studium ab und zwei (6 Prozent) studierten weiter.
Von den 59 Stipendien insgesamt wurden 26 in 13 Staaten in Afrika, 13 in sechs Staaten in Asien und 20 in neun lateinamerikanische Staaten vergeben. Von den Stipendiatinnen und Stipendiaten waren 21 Priester, zwölf Ordensschwestern und 22 nicht geweihte kirchliche Mitarbeiterinnen und Mitarbeiter.
missio Aachen: Bischöfe und Ordensobere motivieren, vermehrt Laien und Ordensschwestern für Stipendien vorzuschlagen
CAMECO wertet es als gute Entwicklung, dass knapp die Hälfte der Befragten tatsächlich Führungsaufgaben in kirchlichen Medien übernommen haben. Für die Mehrzahl der Stipendiatinnen und Stipendiaten bedeutete die Weiterbildung tatsächlich eine persönliche Verbesserung der eigenen Berufskarriere. Gleichzeitig plädiert die Evaluation dafür, die entsendenden Bischöfe und Ordensleitungen stärker an ihre vertraglichen Verpflichtungen zu erinnern, die Stipendiatinnen und Stipendiaten in Führungspositionen zu bringen.
Dabei sollten auch Sanktionsmöglichkeiten diskutiert werden, wenn dies nicht der Fall ist. Gleichzeitig empfiehlt CAMECO, das Programm stärker zu bewerben, damit Anträge aus mehr Ländern in Afrika, Asien und Lateinamerika gestellt werden.
Für missio Aachen bedeutet die Auswertung: Das Hilfswerk wird sich weiter an der Finanzierung der Stipendien beteiligen. Es wird darauf hinwirken, dass vermehrt Ordensschwestern und Laien bei den Vorschlägen für die Stipendien berücksichtigt werden. Gute Medienarbeit ist für die künftige Seelsorge und insbesondere Jugendarbeit der Kirche im Globalen Süden unabdingbar.
Hier können Sie ein Beispiel für Evaluationsberichte von missio aus dem Jahr 2020 lesen.
In Afrika leiden in vielen Regionen Menschen unter Armut, Gewalt, Flucht, prekären Familienverhältnissen oder Unsicherheit. Das traumatisiert sie. Sie brauchen psychologische Begleitung. Diese Therapie bieten Mitarbeiterinnen und Mitarbeiter der katholischen Kirche in Afrika an. Als Helferinnen und Helfer benötigen sie allerdings auch selbst Begleitung, um ihre Erfahrungen verarbeiten zu können. So droht Ordensleuten, Priestern und anderen kirchlich Engagierten in Afrika Erschöpfung angesichts der Fülle und Schwere der Aufgaben, die sie erfüllen. Es gibt einen hohen Bedarf an psychologischer und spiritueller Begleitung.
Helferinnen und Helfer brauchen Hilfe
In den vergangenen Jahren hat missio Aachen die Kirche in Afrika dabei unterstützt, Strukturen und Programme für dieses – wie es im Englischen heißt – „psycho-spiritual counselling“ (zu Deutsch: psychologisch-spirituelle Beratung) aufzubauen. Wert wird auf die Verbindung der Erkenntnisse aus westlichen Psychotherapieansätzen und afrikanischen Heilungsansätzen gelegt.
Im Oktober 2019 hat missio Aachen mit den katholischen Einrichtungen des Psycho-Spiritual Institute PSI (Abuja/Nigeria), des Embulbul Education and Counselling Centre (Ngong, Kenia), der Catholic University of Eastern Africa (Nairobi/Kenia) und dem Arusha Mental Health Trust (Arusha/Tansania) eine Auswertungskonferenz in Nairobi veranstaltet. Die wichtigsten Ergebnisse der 2020 fertiggestellten Auswertung sind folgende:
- Das Bewusstsein innerhalb der Kirche in Afrika, dass die psychologisch-spirituelle Begleitung kirchlichen Personals notwendig ist, ist ständig gewachsen. Das wird als positiv gesehen. Ein Teilnehmer an der Evaluation beschreibt den Nutzen, den er von den von missio unterstützen Programmen hat, so:
The realization that I am a spiritual being in the progress of becoming a person who moves from being a wounded healer to be a healed healer. (zu Deutsch: Die Erkenntnis, dass ich ein spirituelles Wesen bin, das auf dem Weg ist, ein Mensch zu werden, der sich von einem verwundeten Heiler zu einem geheilten Heiler entwickelt.)
- Allerdings sehen die Teilnehmerinnen und Teilnehmer der Auswertung immer noch eine zu geringe Bereitschaft bei der Mehrzahl an Ordensoberen und Bischöfen, den Bedarf an dieser Begleitung anzuerkennen und sie für kirchliches Personal anzubieten. Entsprechend fehlt es für das „psycho-spiritual counselling“ immer noch an gut ausgebildetem kirchlichem Personal und an der verbindlichen Einarbeitung dieser Inhalte in die kirchlichen Lehrpläne und Ausbildungsgänge für Ordensleute, Priester und Laien. Eine Teilnehmerin der Evaluation beschreibt das so:
Psychological, spiritual an psychosocial counselling are important elements in the formation of young men into priesthood and young women into religious life if we want to be successful and have mature and stable persons in ministry. (zu Deutsch: Psychologische, spirituelle und psychosoziale Beratung sind wichtige Elemente in der Ausbildung junger Männer zum Priesteramt und junger Frauen zum Ordensleben, wenn wir erfolgreich sein und reife und stabile Personen im Dienst haben wollen.)
- Die Teilnehmer der Konferenz empfehlen missio, weitere Konferenzen an anderen Orten in Afrika zum Thema zu organisieren, um mehr interessierte kirchliche Mitarbeiterinnen und Mitarbeiter zu erreichen.
- Weiterhin soll missio die Ortskirche in Afrika nicht allein finanziell, sondern durch die Organisation von Wissenstransfer unterstützen.
- Nicht zuletzt wünschen sich die Teilnehmerinnen und Teilnehmer an der Evaluation, dass missio seinen Einfluss als Teil und mit den rund 120 weltweit organisierten Päpstlichen Missionswerke auf Bischöfe und Ordensobere in Afrika stärker geltend macht, damit diesen die Notwendigkeit des „psycho-spiritual counselling“ für das kirchliche Personal stärker bewusst wird. Ein Teilnehmer der Evaluation hatte dazu folgende Meinung:
There is the need basically of helping our leaders to acknowledge their own vulnerabillity so that they can appreciate the usefulness of counselling. (zu Deutsch: Es gibt ein grundsätzliches Interesse, unseren Führungskräften zu helfen, ihre eigene Verletzlichkeit wahrzunehmen und anzuerkennen, damit sie die Nützlichkeit von psychologisch-spiritueller Beratung und Begleitung wertschätzen können.)
missio arbeitet nun die Evaluation auf und nutzt die Vorschläge, gemeinsam mit seinen Partnerinnen und Partnern die Projektarbeit auf diesem Handlungsfeld zu verbessern.
