Interne Evaluation von Bildungssystemen -
allgemeine Kriterien, institutionsspezifische Aspekte

Anna Löthman, Universität Karlstad
unter Mitarbeit von
Kerstin Bladini, Universität Karlstad

Der Begriff "Evaluation" wird in offiziellen Dokumenten und Diskussionen in der Schule immer häufiger verwendet. Allerdings gibt es kein allgemeines Verständnis darüber wie Lehrer und Schulleiter ... den Begriff verstehen. Die "Zielsteuerung" der Schule bringt einen Bedarf an Evaluation mit sich; vor allem sind es Politiker, die großes Interesse zeigen, ob die Schule die nationalen und lokalen Ziele erreicht.
Der vorliegende Beitrag beleuchtet einige unterschiedliche Modelle und Funktionen der Evaluation sowie mögliche Ergebnisse. Menschenbild und Kenntnisauffassung sind hier als wichtige Aspekte zu beachten. Evaluation kann in ihrer instrumentellen, informierenden, interaktiven, legitimierenden und taktischen Funktion gesehen werden. An Hand ausgewählter Beispiele von Evaluationsmaßnahmen in Schweden, die zur Reflexion und Adaptierung in der eigenen Schule anregen sollen, wird gezeigt, dass dabei häufig das interaktive Modell zur Anwendung kommt.

1. Einleitung
1.1. Zum besseren Verständnis womit gearbeitet wird
2. Versteckte und offene Botschaften in verschiedenen Strategien der Evaluation
3. Die fünf Aspekte der Evaluation
3.1. Ziel und Zweck
3.2. "Enlightment"
4. Der Begriff "Kenntnis"
5. Menschenbild
5.1. Ökonomisch-rationelle Motive
5.2. Soziale Motive
5.3. Selbstverwirklichungsmotive
6. Evaluation und Qualitätsuntersuchung der täglichen Arbeit in der Schule
6.1. Evaluation und Schulstufe
6.2. Funktion und Ziel der Evaluation für die tägliche Arbeit
7. Eine schwedische Ansicht
7.1. Evaluation aus schwedischer Perspektive - einige Beispiele
7.2. Evaluation am Beispiel eines schwedischen Gymnasiums
7.3. Evaluation durch Kollegen
7.4. Zusammenfassung der schwedischen Beispiele

Anregungen zur individuellen Weiterbearbeitung der Thematik
Literaturangaben

1. Einleitung

1.1. Zum besseren Verständnis womit gearbeitet wird

EKHOLM & LANDER (1993) betonen, dass die Überprüfung und Bewertung den Grund für eine Evaluation darstellen. Prüfung bedeutet hier, dass man Informationen über einige wichtige Arbeitsbereiche zusammenträgt, z. B. die Kenntnisse der Schüler, das Wohlbefinden der Lehrer, die Arbeitslast des Schulleiters u.s.w. Dass dabei die Mitglieder der Organisationen Angaben und Informationen über wichtige Tätigkeitsbereiche beschaffen, bedeutet selbstverständlich nicht, dass sie über die Ziele informiert sind. Erst wenn die Angaben analysiert und bewertet sind, ist die Grundlage für eine Fortsetzung der Arbeit geschaffen.
EKHOLM & LANDER (1993) schlagen ein strukturiertes Evaluationsmodell als Hilfe für eine interne Evaluation von Bildungssystemen vor:

	Prüfung	Bewertung
Was
Wie
Wer
Wann

 

HOLLY & HOPKINS (1988) unterscheiden zwischen "Evaluation von", "Evaluation für" und "Evaluation wie".
"Evaluation von" bedeutet hier, dass eine Zusammenfassung von den Aktivitäten der Schule und den Arbeitsergebnissen erstellt wird und für die evaluierten Bereiche Konsequenzen gezogen werden.
"Evaluation für" die schulische Tätigkeit soll die Verantwortlichen für die Entwicklungsarbeit stimulieren und anleiten.
"Evaluation wie" verweist auf die Integration von Entwicklungsarbeit und Evaluation. HOPKINS ET AL. (1995) meinen, dass unter dem Blickwinkel der "Evaluation von" zur "Evaluation für und wie" eine Veränderung auf lokaler und nationaler Ebene stattfindet.

2. Versteckte und offene Botschaften in verschiedenen Strategien der Evaluation

Organisationsforscher betonen häufig die Bedeutung der zu Grunde liegenden Annahmen von Personal und Leiter und wie diese Annahmen die Arbeit und die Ausformung der Führung steuern.
SCHEIN (1999) beschreibt solche Annahmen:
a. Wie die Beziehung zur Umgebung aufgefasst wird
b. Was als Fakten und Wahrheit aufgefasst werden
c. Was man über das Wesen/die Eigenschaften der Menschen annimmt
d. Was als richtiges und zweckmäßiges Handeln angesehen wird
e. Was als moralisches und richtiges Tun angesehen wird

FRENCH & BELL (1990) beschreiben die Aktivitäten von Organisationen wie eine Funktion eines Zusammenspiels zwischen verschiedenen Teilsystemen oder als Aspekte der Tätigkeit. Sie unterscheiden fünf solche Aspekte, die eine entscheidende Bedeutung haben für die Handlungen, die sich innerhalb der Organisation manifestieren.
Diese sind:
a. Die Ziele der Organisationen, die vor allem von der Führungsebene repräsentiert werden,
b. Die vorherrschenden strukturellen Bedingungen wie z.B. "Markt" und "Kontrolle",
c. Die menschlich-soziale Bewertung der Mitarbeiter wie z.B. "Normen", "Bewertung" und "Belohnungen"
d. Die diesbezüglichen technologischen Routinen und Kenntnisse
e. Die Aufgabe an sich

Den meisten Organisationsforschern ist gemeinsam, dass sie die Gestaltung der Aktivitäten als Funktion eines Zusammenspiels diverser Aspekte sehen. Diese Aspekte und Funktionen werden von den Mitgliedern der Organisation in Form von Vorstellungen und unausgesprochenen Annahmen eingebracht.
Wenn wir Evaluation wie eine organisatorische Handlung betrachten, ist sie auch von einer Reihe von Aspekten beeinflusst, die den Mitgliedern einverleibt sind und von ihnen verwaltet werden. (vgl. Granström, 1996).

Ausgewählt wurden fünf Aspekte und Faktoren, die möglicherweise die konkrete Evaluation beeinflussen:
1. Ziel und Zweck: gemeint ist der Zweck der Evaluation selbst;
2. Kenntnisfindung: Kenntnisse und Kenntnisauffassung, wie sie in der Evaluation definiert sind;
3. Menschenbild: hier sind Annahmen und Vorstellungen von Menschen, ihrer Arbeit und ihrer Arbeitsmotivation mit einbezogen;
4. Ethik: das moralische Recht hinter einer Handlung;
5. Macht und Verantwortung: hier sind sowohl Machtverteilung wie auch Machtausübung gemeint.

Diese fünf Aspekte und Faktoren beeinflussen die tatsächliche Evaluation, die sich in den Auswertungsstrategien und den Auswertungsgebieten sowie in der Wahl des Auswertungsverfahrens manifestieren. Es ist möglich, das Auswertungsverfahren als instrumentellen Ausdruck für die verschiedenen Aspekte zu sehen. Der Begriff "Instrument" hat in diesem Zusammenhang weiter gefasste Bedeutungen als "Formular" oder "Fragebogen".
Diese fünf Aspekte können als "Checkliste" verstanden werden, die eine Hilfe zum inhaltlichen Verständnis der eigenen Untersuchung darstellt. In der Praxis sind die einzelnen Aspekte natürlich nicht so eindeutig und unabhängig wie sie in der Liste dargestellt sind. "Kenntnisauffassung" und "Menschenbild" sind beispielsweise eng miteinander verbunden und deswegen in mancher Hinsicht kaum voneinander zu trennen. Das Modell soll eben als Modell aufgefasst werden und als solches eine vereinfachte Darstellung ermöglichen.

3. Die fünf Aspekte der Evaluation

3.1. Ziel und Zweck
Jeder Evaluation liegen ein oder mehrere Ziele zu Grunde.
Forscher wie WEISS (1979) und VEDUNG (1994) führen in ihrer Taxonomie fünf unterschiedliche Gründe zur Durchführung der Evaluation einer Organisation an:
• Instrumentelle
• Informierende
• Interaktive
• Legitimierende
• Taktische

Dem instrumentellen Aspekt liegt eine rationalistische Betrachtungsweise zu Grunde. Der zufolge geht die Evaluation davon aus, dass die Organisation ein Instrument ist, die festgesetzte Ziele realisieren muss. Dieses Modell impliziert politische Beschlüsse in zwei Schritten: Im ersten Schritt werden Reformen und Veränderungen zuerst in einem Versuch geprüft; der Versuch wird evaluiert und das Resultat dem Entscheidungsträger rückgemeldet. Im zweiten Schritt kann nun der Entscheidungsträger auf die Ergebnisse der Evaluation zurückgreifen, bevor ein Beschluss gefasst wird.
Ziel der instrumentellen Evaluation ist es, Informationen bereit zu stellen, die für organisatorische und/oder pädagogische Lösungen herangezogen werden können. Diese Informationen legitimieren eine Fortsetzung der Tätigkeit.
Zweck der informierenden Evaluation ist es, Entscheidungsträgern und anderen Auftraggebern einen fundierten Einblick in die Tätigkeit einer Organisation zu vermitteln.
Die interaktive Evaluation versteht sich als Wechselprozess zwischen den Personen, die evaluieren, und jenen, die der Evaluation ausgesetzt sind. Eine interaktive Evaluation in einer Schule versteht sich beispielsweise als Zusammenspiel zwischen Leiter, Lehrern, Schülern, Eltern und lokalen Politikern. Viele Personen sind in die Interpretation der Ergebnisse involviert. Ziel der interaktiven Evaluation ist eine möglichst umfassende Aufklärung der Situation.
Nicht immer geben Entscheidungsträger eine Evaluation in Auftrag; manchmal benötigen sie eine Evaluation zur Legitimierung eines bereits gefassten Beschlusses. Die Form der legitimierenden Evaluation wird häufig von Organisationen gebraucht, die eine Veränderung vorgenommen hat oder einen Versuch durchführt. Zweck der Evaluation ist daher nicht, eine Veränderung zu begründen, sondern Argumente für die Beibehaltung des status quo zu erhalten.
Bei der taktischen Evaluation ist der Verantwortliche am Ergebnis der Evaluation nicht interessiert; das Ziel liegt in einer berechnenden Veränderung der Beschlussprozesse. Es besteht ausschließlich Bedarf, auf die Evaluation hinweisen zu können. Auf diese Weise kann unbequemen Diskussionen eines bereits gefassten Beschlusses entgangen werden. Diskussion und Prüfung eines Entschlusses können somit verschoben werden - mit der Begründung, dass keine Resultate vorhanden seien.

3.2. "Enlightment"
BARNETT (1994) verwendet im Zusammenhang mit dem Ziel der Evaluation den Begriff "Englightment" (Aufklärung). BARNETT unterscheidet dabei zwischen emanzipatorischen und technischen Zielen.
Emanzipatorische Ziele streben mit Hilfe von Evaluationsprozessen die Verbesserung der Einsicht in interne Vorgänge an. Liegt der Schwerpunkt der Evaluation in technischen Zielen, können Politiker und Beamte dadurch Kenntnisse über Organisationen gewinnen und auf diese Weise grundlegendes Material für Beschlüsse erhalten.
Nach BARNETTs Modell (1994) fallen technische Aufklärung mit instrumenteller Evaluation zusammen. Auch eine legitimierende und taktische Evaluation kann zur technischen Aufklärung gehören. Gemeinsam ist ihnen die "nicht-emanzipatorische" Absicht. Die emanzipatorische Absicht findet sich in der interaktiven und, in gewissem Maße, in der informierenden Evaluation.
Diese Beschreibung kann wie eine zweipolige Variable angesehen werden. Das Ziel der Evaluation kann somit zwischen interner Einsicht (emanzipatorischer Aufklärung) und externer Einsicht (technischer Aufklärung) wechseln.
Wenn ein Lehrer seine Tätigkeit evaluiert, hat er ein emanzipatorisches Ziel: Er will die eigene Tätigkeit durch interne Aufklärung verbessern.
Wenn die Schulverwaltung Kosten für Unterrichtsräumlichkeiten zusammenstellt, handelt es sich um eine Form technischer Aufklärung: Die Verwaltung will eine externe Einsicht in die Aufwendungen bereitstellen.
Wenn ein Lehrer seine Schüler prüft, kann die Prüfung/das Prüfungsergebnis eine Form interner Aufklärung sein. Die Prüfung kann aber auch ein technisches Ziel haben, wie eine externe Aufklärung, wenn beispielsweise der Lehrer Noten vergibt.

4. Der Begriff "Kenntnis"

Für die Evaluation der "schulischen Tätigkeiten" ist der Einfluss der subjektiven Auslegung des Begriffes "Kenntnisse" von großer Bedeutung:
• Geht man von pädagogischen, psychologischen oder ökonomischen Theorien aus, wenn man evaluiert?
• Ist es möglich, im Zuge der Evaluation solche Theorien überhaupt wahrzunehmen? -
• Oder kommen eher induktive und deduktive Verfahren zu Anwendung?

Geht die Evaluation aus einem hypothetischen deduktiven Bildungsunterbau hervor, dann liegt die Annahme einer Verfassungsmäßigkeit zu Grunde: Alle schulischen Tätigkeiten arbeiten nach einem Prinzip. Wird die Tätigkeit umorganisiert, so soll die "neue Tätigkeit" im Prinzip funktionieren. Evaluation nach dem deduktiven Verfahren bedeutet, dass die Hypothese überprüft wird.
Beim induktiven Verfahren werden Angaben zur "schulischen Tätigkeit" gesammelt, um Hypothesen zu formulieren. Der induktive Zugang strebt also nach neuen Kenntnissen in der schulischen Tätigkeit, beim deduktiven Zugang werden Modelle oder Theorien bekräftigt oder zurückgewiesen.
Als Beispiel eines induktiven Verfahrens sei eine diagnostische Prüfung angeführt: Der Lehrer will ein Bild von den Kenntnissen der Schüler gewinnen.
Das Abprüfen sei als Beispiel des deduktiven Weges genannt: Der Lehrer will die Hypothese bekräftigen oder zurückweisen, dass der Schüler seine Hausaufgabe ausgeführt hat.

5. Menschenbild

Ferner ist für die Evaluation der "schulischen Tätigkeiten" der Einfluss der subjektiven Auslegung des Begriffes "Menschenbild" von großer Bedeutung: Der Schwerpunkt liegt auf den Werten, auf denen die Evaluation beruht. SCHEIN (1991) führt drei Modelle des Bildes vom Menschen an: ökonomisch-rationelle, soziale und Modelle der Selbstverwirklichung.
SCHEIN (1991) behauptet, dass die Form der Evaluation mit Hilfe der Werte oder Motive, die die Menschen dieser Gestaltung zuschreiben, erklärt werden kann.

5.1. Ökonomisch-rationelle Motive
Diesem Motiv folgend ist der Mensch vom "Gewinn" gesteuert. Der Mensch ist von Natur lässig, daher müssen die Menschen motiviert und kontrolliert werden um die Arbeit zu vollbringen.

5.2. Soziale Motive
Eine andere Triebfeder des Menschen für die Arbeit ist seine Steuerung von sozialen Bedürfnissen. Demnach sind eher die Kollegen als die Arbeit an sich bedeutungsvoll. Gemäß dieser Betrachtungsweise ist der Mensch um so mehr an Evaluation und Veränderungen interessiert, ein je größerer sozialer Austausch zu erwarten ist.

5.3. Motive der Selbstverwirklichung
Diese Betrachtungsweise geht davon aus, dass der Mensch seine Bedürfnisse auf verschiedenen Stufen wie z.B. Nahrung, Sicherheit, Selbstachtung und Unabhängigkeit ... befriedigen will. Arbeit ist ein Weg zur Selbstverwirklichung. Der sich selbst verwirklichende Mensch bedarf keiner kontrollierenden Evaluation: Er arbeitet bis sein Motiv befriedigt ist.

6. Evaluation und Qualitätsuntersuchung der täglichen Arbeit in der Schule

Politiker und Öffentlichkeit erwarten Schulen von guter Qualität. Ihr Zustandekommen kann durch die Evaluation der Arbeit der Schule und ihrer Leistung dokumentiert werden.
Im Rahmen einer Forschungsarbeit (vgl. Bredvold, Granström, Lander & Monsen 1999) wurden Lehrer in Schweden und Norwegen interviewt. Es fällt auf, dass die Lehrer selten von "Evaluation" sprechen; hingegen berichten sie von verschiedenen Strategien und Verfahren, die sie in Klassen anwenden um den Lernfortschritt der Kinder zu untersuchen, um herauszufinden, ob der Unterricht gefällt, ob Mobbing vorkommt, was die Eltern von der Schule halten ... Solche Verfahren wurden von Lehrern oder Lehrerteams selbst entwickelt.
GRANSTRÖM (1999) hat im Rahmen einer empirischen Studie an 570 Lehrern in Schweden untersucht, welches Vertrauen sie zu den Politikern und Beamten in der Gemeinde haben und welche Kenntnisse Politiker und Beamte von der täglichen Arbeit in der Schule haben. Die Einschätzungen wurden auf einer Skala ( "Sehr große Kenntnisse" bis "Sehr mangelhafte Kenntnisse") eingetragen.
Die Tabelle zeigt das Vertrauen der Lehrer zu den Kenntnissen der Politiker und Beamten (Granström, 1999, S. 3):

	Sehr große Kenntnisse	Ziemlich große Kenntnisse	Ziemlich mangelhafte Kenntnisse	Sehr mangelhafte Kenntnisse
Soziale Entwicklung der Schüler			x
Entwicklung der Kenntnisse der Schüler			x
Schüler mit Lernschwierigkeiten				x
Drogengewohnheit an der Schule			x
Auffassung der Eltern von der Schule			x
Der Unterricht				x
Die Leitung der Schule			x
Der ökonomische Bedarf der Schule			x

Nach der Beurteilung der Lehrer sind die Kenntnisse der Politiker und Beamten mangelhaft. Kein einziger Lehrer schreibt den Politikern und Beamten sehr große Kenntnisse in den angeführten Kategorien zu. Besondere Mängel bestehen im Bezug auf Schüler mit Lernschwierigkeiten, im Bezug auf den Unterricht und hinsichtlich des Wissens um den ökonomischen Bedarf. Die besten Kenntnisse bestehen im Bezug auf die Eltern und die Schulleitung. ...
Nach dem Untersuchungsergebnis bezweifeln die Lehrer, dass die schulverantwortlichen Politiker
die tatsächliche Arbeit in der Schule verstehen; die Politiker haben nicht genug Kenntnisse.

6.1. Evaluation auf einer bestimmten Schulstufe
Eine zentrale Beschlussfassung erfordert Kenntnisse vom Zustand und den Bedingungen in einer betreffenden Schule.
Bei der Befragung der Lehrer, wie oft jährlich gemeinsame Evaluationen auf verschiedenen Schulstufen durchgeführt werden, zeigte sich, dass gemeinsam organisierte und geplante Evaluationen nach einem Untersuchungsplan (z.B. Fragebogen, Prüfungen, Interview und Beobachtung ...) häufig verwendet werden (vgl. Granström 1999, S.5). Der Lehrer evaluiert seinen eigenen Unterricht regelmäßig mit Prüfung, Beobachtung u.s.w. Das Lehrerteam einer Klasse macht zusammen eine systematische Evaluation der Leistungen der Kinder.
Das Lehrerteam evaluiert auch regelmäßig und die meisten Schulen haben diesbezüglich Routinen ausgearbeitet: Es gibt eine wiederkehrende Evaluation, um die Schüler einer Schule zu erfassen.
Die Evaluation auf einer Schulstufe umfasst die Arbeitsbedingungen des Personals und die Arbeitssituation der Schüler. Eine solche Evaluation findet etwa einmal jährlich statt.
Auch die Arbeit des Schulleiters als pädagogischer Leiter wird hervorgehoben: Die Zeit, die der täglichen Arbeit in der Schule gewidmet wird, scheint sehr begrenzt zu sein.
Dieses Ergebnis, das auch durch eine andere Untersuchung gestützt wird, ist aus zwei Gründen beunruhigend: Einerseits ist für die Arbeit des Leiters nicht genug Zeit vorhanden, andererseits haben die Lehrer nicht die Möglichkeit, die tägliche Arbeit in der Klasse zu demonstrieren.
Hingegen führt der Leiter einmal jährlich mit den Lehrern ein Personalgespräch durch (Granström, 1999).
GRANSTRÖM (1999) unterstreicht die Bedeutung guter Beschlussunterlagen, vor allem dann, wenn auf einem Arbeitsplatz das Personal ein großes Ausmaß an Autonomie hat. Die "Qualitätssicherung" ist von großer Relevanz für die Tätigkeit, sie ist aber auch ein Instrument zur Information verantwortlicher Personen.

weiter zu: 6.2. Funktion und Ziel der Evaluation für die tägliche Arbeit