Der Ablauf der internen und externen Evaluation am Studienseminar Koblenz

Die Evaluation als Kernstück der Seminarentwicklung ist ein prekärer und schwieriger Teil. Die 2001 begonnene und 2003 beendete Evaluation des Studienseminars Koblenz wurde professionell vom Zentrum für Qualitätssicherung und -entwicklung in Studium und Lehre an der Universität in Mainz durchgeführt. Die Kosten der Evaluation trug das Ministerium.

Auf der Dienstbesprechung am 5.6.2001 wird das Kollegium durch den Leiter des Zentrums Herrn Prof. Dr. Manfred Hennen und seinen Mitarbeiter Dr. Uwe Schmidt informiert. Auf der Dienstbesprechung am 13.8.2001 stimmt das Kollegium nach intensiver Diskussion in geheimer Abstimmung mit sehr großer Mehrheit einer internen und externen Evaluation nach dem Mainzer Modell zu.

Das Mainzer Modell der Evaluation ist dreistufig angelegt:

1. eine interne Evaluation,
2. eine daran anschließende externe Evaluation als Begutachtung durch Fachkollegen,
3. eine Zielvereinbarung zwischen den beteiligten Parteien.

Die interne Evaluation besteht im Wesentlichen darin, Informationen durch unterschiedliche quantitative und qualitative Verfahren zu erheben, den Prozess der Selbstbeschreibung der Einrichtung zu motivieren und die gewonnenen Ergebnisse in einem internen Evaluationsbericht zu dokumentieren.

Der interne Evaluationsbericht stellt die Grundlage für die externe Evaluation, nämlich der Begutachtung durch Fachkollegen, dar. Diese Begutachtung ist im Sinne einer erweiterten Form der Beratung und Hilfestellung zu verstehen, indem die Fachkollegen unter einer vergleichenden Perspektive mit eigenen Erfahrungen zu den in der internen Evaluation gewonnenen zentralen Fragestellungen Einschätzungen abgeben.

Mit der Zielvereinbarung schließlich sollen die Ergebnisse der Evaluation zu verbindlich festgelegten Aktivitäten überleiten. Die Zielvereinbarung basiert sowohl auf dem Gutachten externer Fachkollegen als auch auf dem internen Evaluationsbericht. Sie wird in Form einer Empfehlung vom Zentrum für Qualitätssicherung und -entwicklung vorbereitet und zwischen den Parteien – in diesem Falle dem Studienseminar und dem Ministerium – verhandelt und geschlossen.

Die Evaluation nach dem Mainzer Modell unterscheidet sich von anderen Evaluationsverfahren unter anderem darin, dass die gesprächsbasierte Erhebung von Informationen einen deutlich breiteren Raum einnimmt. Dieser Zugang hat im Wesentlichen zwei Vorteile: Zum einen garantieren die vom Zentrum moderierten Gruppen- und Einzelgespräche eine breite Einbindung nahezu aller Beteiligten und damit auch eine Transparenz des Verfahrens. Zum zweiten zeigen die Erfahrungen aus anderen Bereichen, dass in vielen Einrichtungen ein internes Wissen über die Stärken und Schwächen vorliegen, dieses aber bspw. durch quantitative Erhebungsinstrumente nur unzureichend zu erfassen ist.

Die Gesprächsprotokolle der Gruppen- und Einzelgespräche werden vor ihrer weiteren Einarbeitung in den internen Evaluationsbericht von den Gesprächsteilnehmern autorisiert. Unter der Prämisse, dass der Schwerpunkt der Evaluation nach dem Mainzer Modell nicht auf individuelle, sondern kollektive Leistungen gerichtet ist, werden die in den Gesprächen gegebenen Äußerungen und Einschätzungen vertraulich behandelt und gehen in Form zusammenfassender Synopsen in die Evaluation ein. In kleineren Organisationseinheiten birgt dies die Gefahr, dass Teile der Organisation oft identisch sind mit Personen und insofern die Zuschreibung von organisatorischen Leistungen auf individuelle Leistungen problemlos möglich ist. Ohne dies gänzlich vermeiden zu können und mit dem Wissen, dass innerhalb der Organisation auch bei weitreichenden Versuchen der Anonymisierung eine solche Zuschreibung nicht zuletzt auf dem Hintergrund langjähriger interner Kenntnisse der Organisation gemacht werden kann, sollte das Verfahren so gestaltet werden, dass für Externe die Identifizierung einzelner Personen weitgehend ausgeschlossen werden kann. Zwei vom Kollegium gewählte Vertrauenspersonen haben Einblick in alle Protokolle.

Unabhängig von der Frage der Auswertung der Gesprächsprotokolle liegt die Erstellung des internen Berichtes grundsätzlich in der Zuständigkeit des Studienseminars, wobei das Zentrum beratend tätig wird und insbesondere bei der Interpretation und Einbindung von Datenmaterialien unterstützt. Für die Berichterstellung wird eine Person durch das Studienseminar benannt, die mit den internen Strukturen des Seminars vertraut ist. Der interne Evaluationsbericht wird durch das Kollegium des Studienseminars verabschiedet.

Der interne Evaluationsbericht ist die vorbereitende Grundlage für die externe Begutachtung, durch die Gutachtergruppe, die sich zusammensetzt aus je einer Person aus der Bildungsforschung und aus der Bildungsverwaltung, sowie aus zwei Personen aus der Seminarleitung anderer Bundesländer, die Ihre Erfahrungen mit anderen Ausbildungsstrukturen einbringen. Die zweitägige Vorortbegehung (Zeitplan vgl. unten) schließt mit einem vorläufigen mündlichen Gutachten ab, das der Öffentlichkeit (Kollegium, Referendare, Ausbildungsschulen, andere Studienseminare, Presse) vorgestellt wird. Das schriftliche externe Gutachten geht zunächst an den Auftraggeber, das Ministerium, und wird von diesem nach Abschluss des Evaluationsverfahrens zur Veröffentlichung freigegeben.

Die Evaluation nach dem Mainzer Modell sieht zum Abschluss des Verfahrens auf der Basis einer Empfehlung vom Zentrum für Qualitätssicherung und -entwicklung eine Zielvereinbarung zwischen den beteiligten Parteien vor. Die externe Gutachterkommission empfiehlt u. a. strukturelle Veränderungen, die alle anderen Studienseminare des Landes betreffen, die eine Änderung der Ausbildungs- und Prüfungsordnung verlangen und beamtenrechtlich geprüft werden müssen. In Anbetracht der anstehenden Reform der Lehrerbildung in Rheinland-Pfalz sollen die Ergebnisse der Evaluation dort berücksichtigt werden. (u. a. ist Prof. Dr. Oelkers als Mitglied der externen Gutachtergruppe als Leiter der Arbeitsgruppe Bildungswissenschaften zur Erarbeitung curricularer Standards für die Lehrerbildung in Rheinland-Pfalz ernannt worden.) Zur raschen seminarinternen Umsetzung der Evaluationsergebnisse hat sich das Studienseminar zu einer Selbstverpflichtung mit Wünschen an das Ministerium und die Schulbehörde entschlossen. Mit der einstimmigen Verabschiedung der Selbstverpflichtung am 20.5.2003 ist die Evaluation formal abgeschlossen. Die Umsetzung der Ergebnisse ist in vollem Gange (vgl. Seminarentwicklung).

Der Zeitplan

September 2001	Vorbereitung der Evaluation
22.10.2001	Gruppengespräche mit dem neuen Referendarkurs (Gruppe 1: Naturwissenschaften, Gruppe 2: Sprachen )
5.11.2001	Gruppengespräche mit dem neuen Referendarkurs (Gruppe 3: Geistes-, Sozialwissenschaften, Gruppe 4: Deutsch, Sport, Kunst, Musik)
November - Dezember 2001	Gespräche mit den Schulleitern und Schulischen Ausbildungsleitern folgender Schulen: Karthause, Eichendorff, Max von Laue, Hilda, Montabaur, Lahnstein, Höhr-Grenzhausen
6.12.2001	Gespräch mit der ADD (Schulbehörde)
15.1.2002	Gruppengespräche mit dem alten Referendarkurs nach dem Examen (Gruppe 1: Naturwissenschaften, Gruppe 2: Sprachen, Deutsch)
16.1.2002	Gruppengespräche mit dem alten Referendarkurs nach dem Examen (Gruppe 3: Geistes-, Sozialwissenschaften, Gruppe 4:, Sport, Kunst, Musik)
Februar - März 2002	Einzelgespräche mit den Fachleitern und der Seminarleitung
März 2002	Erhebung von Strukturdaten
ab Januar 2002	Schriftliche Absolventenbefragung der letzten fünf Jahrgänge
August 2002	Vorlage des internen Evaluationsberichtes
23.9. - 24.9.2002	externe Begutachtung und mündliches Gutachten
Oktober 2002	Vorlage der schriftlichen Fassung des externen Gutachtens
März 2003	Zielvereinbarung mit dem Ministerium

Externe Gutachter

Bildungsforschung:	Prof. Dr. Jürgen Oelkers, Universität Zürich, Vorsitzender der Hamburger Kommission zur Reform der Lehrerbildung
Bildungsverwaltung:	Dr. Ekkehart Glässner, ehemals Landesprüfungsamt Stuttgart, Vors. Unterausschuss Lehrerbildung der KMK
Seminarleitung:	OStD Prof. Dr. Ludwig Freisel, Studienseminar Leer  OStD Dr. Hartmut Lenhard, Studienseminar Paderborn

Zeitplan für die externe Evaluation am 23.9.2002 - 24.9.2002

Sonntag, 22. September 2002
19.00 - 21.00	Vorgespräch zur Evaluation des Studienseminars zwischen Gutachtern und Gutachterinnen, der Leitung des Studienseminars und Vertretern des Zentrums für Qualitätsentwicklung
Montag, 23. September 2002
10.30-11.00	Ansprache der Vertreterin des Landesprüfungsamtes, Frau MinR' Ahrens, zur Evaluation des Studienseminars
11.00-13.00	Gespräch mit dem Fachleiterkollegium des Studienseminars
13.00-14.00	Mittagspause
14.00-15.15	Gespräch mit Referendaren (Gruppe 1: Biologie, Chemie, Erdkunde, ev. Religion, kath. Religion, Kunst, Mathematik, Musik, Physik, Sport)
15.15-15.30	Kaffeepause
15.30-16.45	Gespräch mit Referendaren (Gruppe 2: Deutsch, Englisch, Französisch, Geschichte, Latein, Philosophie, Sozialkunde)
16.45-17.00	Kaffeepause
17.00-18.30	Gespräch mit der Leitung des Studienseminars
18.30-18.45	Kaffeepause
18.45-19.45	Einzelgespräche der Gutachter und Gutachterinnen mit Fachleitern
20.00-21.30	Abendessen und Besprechung der Gutachtergruppe mit Vertretern des ZQ
Dienstag, 24. September 2002
8.30-10.00	Gespräch mit dem Vertreter der ADD, Herrn LtRSD Adam
10.00-10.15	Kaffeepause
10.15-11.45	Gespräch mit der Vertreterin des Ministeriums, Frau MinR' Ahrens
11.45-12.30	Interne Beratung der Gutachtergruppe
12.30-13.30	Mittagspause
13.30-14.30	Fortsetzung der internen Beratung
14.30-15.30	Öffentliche Präsentation des vorläufigen Gutachtens und Aussprache

Zentrum für Qualitätssicherung und -entwicklung in Studium und Lehre an der Universiät Mainz