Das IDEA-Framework - Wirkungsorientiertes Planen, Monitoren und Evaluieren komplexer Technologievorhaben in Bildungskontexten
Ein digitaler Bildungsraum für Deutschland
Eines der größten staatlichen Vorhaben ist die Initiative Digitale Bildung des Bundesministeriums für Bildung und Forschung (BMBF). Die Initiative will es allen Generationen ermöglichen, sich in der dynamischen, digital geprägten Welt zurecht zu finden. Digitales Lernen soll so etabliert werden, dass es im Bildungsalltag uneingeschränkt eingebunden werden kann. Neben der Entwicklung von digitalen Lernwerkzeugen ist vor Allem die Entwicklung der nötigen Infrastruktur für die Umsetzung des Vorhabens essenziell. Es soll ein digitaler Bildungsraum geschaffen werden, der mithilfe einer Nationalen Bildungsplattform vernetzt wird.
Digitale Plattformen spielen eine immer zentralere Rolle. Sie vernetzen Produkte, Prozesse und Dienstleistungen und erleichtern den Zugang zu diesen für die jeweiligen Zielgruppen. Sie sind sozusagen Ökosysteme, die mehr leisten können als die Summe ihrer Einzelteile. Eine solche Plattform ist die geplante nationale Bildungsplattform des BMBF. In einer durch die Plattformökonomie geprägten Zeit wird folglich die Entwicklung und Gestaltung von Plattformvorhaben zunehmend auch zur staatlichen Gestaltungsaufgabe, einerseits durch die Regulierung der Standards und gesetzlichen Rahmenbedingungen, aber auch durch die direkte Förderung, Beauftragung bzw. Beteiligung an Plattformvorhaben.
Gleichzeitig besteht automatisch eine besonders hohe Verantwortung gegenüber der Öffentlichkeit, über die verwendeten Mittel Rechenschaft abzulegen. Um dieser Verantwortung gerecht zu werden, wäre die frühzeitige Wirkungsorientierung, die bereits in den Phasen der Planung, Ausschreibung und Vergabe von öffentlichen Projekten ansetzt, ein probates Mittel, welches in Deutschland noch nicht flächendeckend genutzt wird. Anders verhält es sich insbesondere in angelsächsischen Ländern, wie Großbritannien oder Kanada, wo Wirkungsanalysen fester Bestandteil von Monitoring und Evaluation staatlich initiierter Projektvorhaben sind. Außerdem werden in diesen Ländern häufig begleitende Ressourcen, wie z.B. Impact Evaluation Center oder entsprechende Vorgaben und Frameworks bereitgestellt. Diese dienen als Orientierung für die Praxis. Von der kanadischen Regierung werden beispielsweise Standards zur theoriebasierten Wirkungsevaluation öffentlicher Vorhaben herausgegeben und unterstützende Ressourcen zur Verfügung gestellt.
Komplexe, technologiegestützte Vorhaben, zu denen auch die in der Entwicklung befindliche Bildungsplattform des BMBF zählt, stehen vor der Herausforderung, ihren Erfolg transparent darstellen zu können. Um diese Wirkung im Bildungskontext begleitend und abschließend evaluieren zu können, braucht es ein möglichst flexibles und agiles Evaluations- und Monitoringkonzept. Somit sind gegebenenfalls bereits frühzeitig Änderungen und Korrekturen möglich. Intendierte wie nicht intendierte Wirkungsweisen sind bestmöglich zu antizipieren und auf ihre Realisierbarkeit hin zu überprüfen. Jedoch orientieren sich viele Vorhaben lediglich an einfachen Kennzahlen und Vorgaben, die wenig Aussagekraft über die Wirkungsmechanismen und die gesellschaftlichen Auswirkungen haben. Für ein ergebnisoffenes Wirkungsmonitoring kann weder auf weniger einschlägige methodische Instrumente der Evaluationsforschung zurückgegriffen werden, noch liegen bisher allgemeine Blaupausen zur Wirkungsevaluation solch komplexer bildungstechnologischer Projekte vor. Bestehende und in Deutschland genutzte Frameworks zur Wirkungsevaluation weisen eine Reihe von Unzulänglichkeiten auf, wenn es gilt, derartige Vorhaben mit verschiedenen Zielgruppen, zahlreichen Perspektiven und teilweise konfligierenden Wirkungszielen zu evaluieren.
Planung, Monitoring, Evaluation - strukturiert & formalisiert
Angesichts dieser ungelösten Herausforderungen, des bisher ungenutzten Potentials und des beispielhaften Vorgehens anderer Länder, machte STAT-UP es sich zur Aufgabe, im Rahmen eines Forschungs- und Entwicklungsprojektes nach einer Lösung zu suchen. Es bedarf eines Weges, wie eine zeitgemäße Wirkungsevaluation für komplexe Technologievorhaben nutzbar gemacht werden kann. Somit ging aus dem Forschungs- und Entwicklungsprozess das sogenannte „IDEA-Framework“ hervor. Die Grundidee hinter dem „IDEA-Framework“ ist, dem Nutzer eine formalisierte und strukturierte Vorgehensweise für Planung, Monitoring und Evaluation von Wirkungszielen komplexer technologischer Vorhaben im Bildungsbereich zu geben.
IDEA
Akzeptanz: welche Ergebnisse sollen innerhalb einer Frist erzielt werden, damit das Vorhaben Akzeptanz erzielen kann?
Engagement: welche Ergebnisse sollen einladen sich mit dem Projektvorhaben tiefer zu befassen?
Durchdringung: welche Ergebnisse sollen innerhalb einer Frist erzielt werden um das Projektvorhaben als breitenwirksamer Standard zu etablieren?
Impact: welche weitreichenden gesellschaftlichen Wirkungen sollen erzielt werden?
Die umgekehrte Reihenfolge der Anfangsbuchstaben betont den Ansatz, Wirkung systematisch „vom Ende her“ zu denken: Vorhaben wie das exemplarisch beschriebene müssen von Beginn an mit einer Wirkungsidee verknüpft werden, die – möglicherweise konfligierende – Bedürfnisse und Ansprüche unterschiedlicher Zielgruppen in Wirkungszielen formuliert.
Das Framework kann sowohl vor als auch nach Beginn eines Projektvorhabens zum Einsatz kommen und orientiert sich an Good-Practice-Ansätzen zeitgemäßer Wirkungsanalysen. Ausgangspunkt sind wissenschaftlich etablierte, theoriebasierte Ansätze, die im Hinblick auf Plattformvorhaben und den Bildungskontext weiterentwickelt wurden. Theoriebasierte Ansätze sind charakterisiert durch die Entwicklung einer Theorie (Theory of Change), die innerhalb eines Wirklogikmodells beschreibt, wie durch das Vorhaben gesellschaftliche Wirkungen erzielt werden sollen. Die Theory of Change beschreibt den Übergang von einer Wirkungsetappe zur Anderen, also den Wirkungsmechanismus. Wirklogikmodelle ermöglichen eine adäquate Formalisierung komplexer technologischer Projektvorhaben im Sinne einer Wirkungsformulierung und -erfassung. Dafür wurde ein Modell konzipiert, welches die Defizite bestehender Modelle aufgreift und korrigiert.
DABEI GEHT MAN IN FOLGENDER REIHENFOLGE VOR:
Formulierung der Auswirkungen und Outcomes mit Blick auf unterschiedliche Fokusgruppen
Ableitung der Aktivitäten (z.B. Handlungen und Leistungen) und Inputs (z.B. physische und psychische Ressourcen zur Umsetzung eines Projekts) formulieren
Formulierung der Theory of Change, bestehend aus Wirkungsnarrativ, Annahmen, Risiken und Abhängigkeiten, welche in Worte fasst wie der Übergang von einer Wirkungsetappe zu anderen vonstattengeht.
Das Modell dient schließlich als Ausgangspunkt für das Monitoring und die Evaluation der Wirkungsziele komplexer Plattformen im Bildungsbereich. Anhand einer Reflexion wird herausgearbeitet, welche Daten erhoben und analysiert werden sollen. Monitoring findet über den ganzen Prozess hinweg statt. Unter anderem zur Überprüfung des Projektfortschrittes und der Erfassung von Inputs und leicht messbaren Outputs, wie etwa der Teilnehmeranzahl. Die Evaluation hingegen findet zu einem festgelegten Zeitpunkt statt und misst längerfristige Wirkungen, die schwerer zu erfassen sind. Die Erhebung von Daten ist ein aufwendiger Prozess. Um möglichst viel widerzuspiegeln, sollten verschiedene Quellen und Daten einbezogen werden, was als Triangulation bezeichnet wird. Quantitative Informationen können durch qualitative ergänzt werden, um ein klareres Bild zu erhalten. Um festzustellen, ob die erwarteten Wirkungen auch tatsächlich eingetreten sind, findet eine Analyse des Wirkungsbeitrages statt. Ziel ist es, eine Theory of Change zu überprüfen, angegebene Übergänge zu bestätigen oder die Theorie gegebenenfalls zu revidieren.
Im Rahmen unseres F&E-Projekts ist ein Framework entstanden, welches ein formalisiertes und strukturiertes Prozedere zu Planung, Monitoring und Evaluation komplexer Technologien im Bildungsbereich anbietet und auf aktuellen sowie anerkannten Methoden der Wirkungsevaluation basiert.