Interne Evaluation: Glossar

Interne Evaluation: Glossar

Schulinterne Evaluation, Definition und Abgrenzung

In der Fachliteratur wird zwischen verschiedenen Evaluationsformen unterschieden:

Selbstevaluation: der Durchführende einer Maßnahme / eines Projekts steuert die Evaluation selbst, z.B.: eine Lehrkraft evaluiert ihren eigenen Unterricht

interne Evaluation: Mitglieder der gleichen Organisation steuern die Evaluation, z.B.: eine schulinterne Arbeitsgruppe evaluiert ein Schulentwicklungsvorhaben der eigenen Schule

externe Evaluation: Personen, die nicht Mitglieder der entsprechenden Organisation sind, steuern die Evaluation, z.B.: ein Inspektions- bzw. Visitationsteam besucht die Schule und erstellt einen Inspektions- bzw. Visitationsbericht.

Schulinterne Evaluation

  • dient der Bewertung von schulinternen Arbeitsprozessen und Ergebnissen, nicht der Beurteilung von Personen
  • fördert das gemeinsame Nachdenken über vermeintliche Selbstverständlichkeiten sowie Stärken und Schwächen, hilft Sachverhalte klarer zu sehen und bringt Überraschendes und bisher Verborgenes hervor
  • intensiviert die interne schul- und unterrichtsbezogene Kommunikation und Kooperation
  • dokumentiert Erfahrungen und macht diese verfügbar für die weitere Verständigung über die eigene Schul- und Unterrichtsqualität sowie pädagogische Ziele
  • hilft Handlungsbedarfe zu erkennen und schafft gesicherte Grundlagen für die weitere Arbeitsplanung und Entscheidungsfindung, erhöht die Zielklarheit und bietet die Struktur für die weitere pädagogische Schulentwicklung

Methodische Anforderungen an interne Evaluation und Standards

Evaluationsvorhaben in der Schule sind nicht unumstritten.

Einerseits kommt jeder Mensch neugierig zur Welt und hat das Verlangen, Neues zu erfahren und Verborgenes kennenzulernen. Menschen sind optimistisch und dem Fortschritt zugewandt. Das eigene Innovationsbewusstsein steigt mit der Berufszufriedenheit

Andererseits wird Evaluation auch als Bedrohung empfunden. Ihre Ergebnisse hätten negative Folgen auf die eigene pädagogische Arbeit und gefährdeten die gewohnte Berufsausübung. Man werde öffentlich bloßgestellt und kritisiert und müsse sich rechtfertigen.

Grundsätzlich dienen interne Evaluationen der Bewertung von schulinternen Arbeitsprozessen und Ergebnissen, nicht der Beurteilung von Personen. Gute Evaluationen sind dadurch gekennzeichnet, dass ihre Messergebnisse reproduzierbar sind, egal welches Evaluationsteam mit welchen Evaluationsinstrumenten tätig war. Dafür gibt es Gütekriterien, wie sie auch an sozialwissenschaftliche Forschung gestellt werden. Diese sind Objektivität, Validität und Reliabilität.

Der Grad der Objektivität einer Evaluation bringt zum Ausdruck, in welchem Ausmaß die Ergebnisse unabhängig sind von denjenigen, die die Evaluation durchführen. So wird vermieden, dass nicht subjektive Wünsche, Meinungen, Neigungen, spezifische Interessen, Vorurteile, unbelegte Zuschreibungen usw. maßgeblich sind, sondern allein die Ergebnisse und Sachverhalte, auf die sich die Aussagen beziehen.

  • Objektivität / Beobachterübereinstimmung
  • Reliabilität / Reproduzierbarkeit

    Die Reliabilität eines Messinstruments beschreibt das Maß für die formale Genauigkeit und Reproduzierbarkeit von Messergebnissen und die Zuverlässigkeit und formale Genauigkeit der internen Evaluation, damit die festgestellten Unterschiede nicht durch Messfehler oder die Fluktuation des gemessenen Merkmals erklärt werden kann.

  • Validität
    Maß, ob die bei der internen Evaluation erzeugten Daten wie beabsichtigt die zu messende Größe repräsentieren. Die Validität einer Evaluation gibt den Grad der Genauigkeit an, mit dem dieser Test das Merkmal, das er messen soll oder zu messen vorgibt, tatsächlich misst.

Die Gütekriterien bauen aufeinander auf; ohne Objektivität keine Reliabilität, ohne Reliabilität keine Validität

Ergänzend hat die Deutsche Gesellschaft für Evaluation grundlegende Anforderungen an Evaluationen formuliert:

  • Nützlichkeit, d.h.: ein Konsens über den Zweck und den Inhalt der geplanten Evaluationsmaßnahme ist wichtig. Die Ergebnisse der Evaluation sollen insbesondere und unmittelbar den Personen zu Gute kommen, deren Arbeitsbereich evaluiert wurde.

    Durchführbarkeit, das bedeutet die Effektivität der Evaluationsmaßnahme sowie deren innerschulische Akzeptanz. Zu klären ist also, ob die richtigen Themen evaluiert werden, der Zeitaufwand sinnvoll und die Evaluation auch richtig und sachgemäß durchgeführt wird.

  • Fairness, d.h.: die Offenlegung aller Ergebnisse sowie Schutz individueller Rechte sowie das Recht zur Stellungnahme.

  • Genauigkeit, d.h. die Anwendung geeigneter Messverfahren sowie Genauigkeit und Zuverlässigkeit der Messung, damit die Ergebnisse über die Qualität des Evaluationsbereichs Auskunft gibt und nicht über die Einschätzungen des Evaluationsteams.

Vgl.: Hildegard Müller-Kohlenberg / Wolfgang Beywl, Standards der Selbstevaluation, Begründung und aktueller Diskussionsstand, S. 8ff. 

Für den Erfolg von Qualitätsentwicklung durch Evaluation ist entscheidend, wie der Nutzen, der Zweck und die Sinnhaftigkeit in der Schule kommuniziert und erlebt werden. In diesen Überlegungen ist der eigene Nutzen genauso wichtig wie der Sinn und Nutzen, der für die Schülerinnen und Schüler, die Eltern, Abnehmer, die Gesellschaft u.a. entsteht. Gleichzeitig müssen wir die Risiken, Widersprüche, Widerstände und Ängste ernst nehmen.

Nach oben

Evaluationsbereich und Fragestellungen formulieren

Schulinterne Evaluationen sind immer Teil der pädagogischen Schulentwicklung.

Sie dienen

  • der Bestandsaufnahme in einem Teilbereich der Schule (Ist-Analyse)
  • der abschließenden Bilanz eines schulinternen Vorhabens (summative oder Ergebnisevaluation)
  • der Fortentwicklung und Verbesserung eines Vorhabens der Schulentwicklung in seinem Verlauf mit Hilfe der erzielten Erkenntnisse (formative oder Prozessevaluation)

Die Entscheidung, welche Art der internen Evaluation Sie wählen, hat Auswirkung auf die Wahl der Evaluationsinstrumente, so eigenen sich z.B. für summative Evaluationen Feedbackverfahren besonders gut.

Obwohl Sie bereits wissen, was Sie überprüfen wollen, ist die schulinterne Klärung des Evaluationsbereichs nicht überflüssig. Kennen auch alle am Prozess Beteiligten den Evaluationsbereich? Gibt es darüber einen innerschulischen Konsens?

Klären Sie daher den genauen Evaluationsbereich je nach Fragestellung mit ihrem Lehrkräftekollegium und beteiligen Sie auch Schülerinnen, Schüler und Eltern. Sorgen Sie für Transparenz und nehmen Sie sich genügend Zeit für Aufklärungsarbeit. Halten sie die Absprachen/Ergebnisse schriftlich fest. Wenn Sie möglichst viele Personen (und Personengruppen) bereits bei der Klärung des Evaluationsbereichs einbeziehen, sind diese auch bei der Durchführung der Evaluation eher zur Mitarbeit bereit.

Leitfragen können sein:

  • Welche Arbeitsfelder der Schule oder übergreifende Ziel- und Gestaltungsbereiche der schulischen Arbeit sollen evaluiert werden?
  • Welchen Fragen soll vordringlich nachgegangen werden?
  • Welchen Bezug hat die interne Evaluation zum Schulprogramm?
  • Welchen Umfang soll die interne Evaluation haben?
  • Welchen konkreten Zielen dient die geplante Evaluation?

Verschaffen Sie sich dabei einen Überblick über alle bereits vorliegenden Informationen über den Evaluationsbereich, was Sie alles schon wissen und an Daten zur Verfügung haben. Das hilft, den konkreten Evaluationsbereich präzise zu erfassen und einzugrenzen.

Nach oben

Evaluationsteam gründen

Die Gesamtverantwortung für die interne Evaluation trägt in allen Fällen die Schulleiterin bzw. der Schulleiter.

Allerdings erscheint es sinnvoll, im Rahmen von Delegation eine kleine Arbeitsgruppe in der Schule zu bilden, die den Prozess des internen Evaluationsprojekts steuert und begleitet, aber kein neues Entscheidungsgremium bildet. Beachten Sie auch, je mehr Mitglieder dieses Arbeitsgremium hat, desto schwieriger wird der interne Arbeitsprozess. Dieses Team koordiniert die Umsetzung der von den entsprechenden Gremien der Schule abgestimmten Evaluationsvorhaben und gestaltet den schulinternen Kommunikationsprozess mit allen Beteiligten.

Helfen Sie mit, dass alle wesentlichen Bereiche Ihrer Schule in der o.g. Arbeitsgruppe vertreten sind. Schon die Diskussion über die Mitglieder, aber auch der Austausch über die jeweiligen Arbeitsaufträge und -ergebnisse der Arbeitsgruppe dient der innerschulischen Transparenz.

Zusammen mit der Schulleitung werden die die Mitwirkungs- und Beteiligungsrechte der schulischen Gremien beachtet, dazu gehören auch die Beschlüsse der jeweiligen Konferenzen.

Nach oben

Qualitätsmerkmale und - kriterien bestimmen

Was bedeutet für Sie gute Qualität bzw. schlechte Qualität?

Um die Ergebnisse einer internen Evaluation einordnen zu können, müssen vorher die Pole beschrieben werden. Qualitätsmerkmale beschreiben also den optimalen Zustand Ihres Evaluationsbereiches, aber auch die negative Grauzone. An diesen Beschreibungen wird sich Ihre Bewertung nach Abschluss der Evaluation orientieren.

Die Objektivität Ihrer internen Evaluation verlangt, dass Sie die Qualitätsmerkmale und -kriterien vor Beginn der eigentlichen Evaluationsarbeit gemeinsam mit weiteren Personen formulieren. So können Sie vermeiden, dass subjektive Meinungen, Neigungen, spezifische Interessen, Vorurteile und unbelegte Zuschreibungen maßgeblich werden für die Bewertung der Evaluationsergebnisse.

Für diese Arbeit nehmen Sie

zur Hilfe.

 

Vergessen sie nicht, Ihre gefundenen Qualitätsmerkmale und -kriterien schriftlich zu dokumentieren. Nur aufgeschriebene Merkmale sind konstruktive Qualitätsmerkmale und sorgen für Transparenz im Kollegium.

Im nächsten Schritt müssen Sie die Qualitätsmerkmale mit einzelnen Kriterien untersetzen bzw. konkretisieren. Die Qualitätskriterien weisen Teilaspekte des Qualitätsmerkmals aus und bilden so die Vielschichtigkeit Ihres Qualitätsmerkmals ab. Mit den Qualitätskriterien identifizieren Sie gleichzeitig Situationen und Handlungen, die Sie mit einer geeigneten Methode untersuchen können.

Ein Beispiel:

Im Orientierungsrahmen Schulqualität in Brandenburg (1) ist das Qualitätsmerkmal "Leistungsanforderungen und Leistungsbewertung" (QM 2.6) untersetzt mit den Qualitätskriterien:

  • Leistungsorientierung
  • transparente Grundsätze der Leistungsbewertung
  • Einbindung der Hausaufgaben in den Lernprozess
  • Würdigung von Schülerleistungen

 

(1) Der Handlungsrahmen Schulqualität aus Berlin ist vergleichbar aufgebaut.

Nach oben

Indikatoren und Messgrößen festlegen

Woran können Sie konkret erkennen, ob und in welchem Umfang Sie die Ziele (die Sie in Ihren Qualitätsmerkmalen und -kriterien formuliert haben) erreichen bzw. die gewünschten oder befürchteten Ergebnisse vorkommen?

Hier sind Sie auf Indikatoren/Messgrößen/Anzeiger angewiesen, um die Erfüllung dieser Kriterien feststellen zu können. Diese sollten nicht nur das "Monitoring" ermöglichen (d.h.: die systematische Erfassung/Protokollierung, Beobachtung oder Überwachung eines Vorgangs oder Prozesses), sondern auch deren Anforderungen und Konsequenzen verdeutlichen.

Indikatoren bilden daher sog. "Messlatten" für die einzelnen Qualitätskriterien, deren "Überspringen" das Erfüllen der Indikatoren anzeigt. Dieses Bild beschreibt auch den Unterschied von Qualitätsentwicklung durch interne Evaluation und Bewertung/Zensierung: bei der internen Evaluation kommt es darauf an, gewisse Indikatoren zu erreichen. Dabei ist es egal, wie gut und kraftvoll dieses Überspringen gelungen ist - geschafft ist geschafft.

Die Formulierung der Indikatoren steht vor dem Auswählen des geeigneten Evaluationsinstruments und markiert eine Schlüsselstelle im Evaluationszyklus. Hier zeigt sich, welche Kriterien tatsächlich Bestand haben für die Evaluation. Wenn Sie keine Indikatoren finden, die sich beobachten, beschreiben oder erfragen lassen, dann müssen Sie das entsprechende Kriterium für die Evaluation aussetzen oder überarbeiten.

Ein Beispiel aus dem Land Brandenburg:

Das Qualitätskriterium "Transparente Grundsätze der Leistungsbewertung (2.6.2)" ist im Orientierungsrahmen Schulqualität in Brandenburg(1) untersetzt mit den Indikatoren:

  1. In der Schule sind Grundsätze der Leistungsbewertung vereinbart.
  2. Für alle Fächer liegen konkrete Beschlüsse zur Leistungsbewertung vor.
  3. Die Schülerinnen und Schüler kennen die Bewertungsmaßstäbe.
  4. Schulübergreifende Fachkonferenzen haben entsprechende Beschlüsse gefasst.

Hier wird deutlich, dass die Indikatoren die Wahl des Evaluationsinstruments beeinflussen: für die Punkte 1, 2 und 4 ist z.B. eine Dokumentenanalyse das geeignete Instrument, für den Punkt 3 brauchen Sie Gespräche bzw. Interviews, um die Meinung von Schülerinnen und Schülern einzuholen.

(1) Der Handlungsrahmen Schulqualität aus Berlin ist vergleichbar aufgebaut.

Nach oben

Evaluationsinstrumente finden

Nun entscheiden Sie sich für ein geeignetes Instrument, mit dem Sie ihre Daten erheben können. Nehmen Sie dabei immer wieder Ihre Qualitätskriterien in den Blick.

Nutzen Sie unsere Linksammlung auf dem Bildungsserver Berlin-Brandenburg. Dort sind einige Instrumente ergänzt mit Hinweisen zur Anwendung/Durchführung/Auswertung und Ergebnissicherung.

Versuchen Sie zuerst, ein in einer anderen Schule bereits als gut und geeignet bewertetes Evaluationsinstrument zu übernehmen und evt. auf Ihre spezifische Fragestellung anzupassen.

Beachten Sie weiterhin, wie viele Informationen Sie für die Auswertung Ihres Evaluationsbereichs wirklich brauchen. Ein laufendes Vorhaben der Schulentwicklung mit Hilfe der erzielten Evaluationsergebnisse fortzuentwickeln und zu verbessern (formative oder Prozessevaluation) braucht unter Umständen detailliertere Ergebnisse, als eine Evaluation nach Abschluss eines Vorhabens.

Bevorzugen Sie wenig aufwändige Methoden der Datenerhebung, um die Datenmenge zu begrenzen. Manche interne Evaluation scheitert nämlich an der Menge der erhobenen Daten und Ergebnisse, die zusammen gekommen sind. Diese Datenberge sind schwierig auszuwerten, bleiben liegen und führen zu Frust und Ärger. Jetzt haben Sie noch die Möglichkeit, dies zu verhindern.

Beachten Sie folgende Leitfragen:

  • Welche Daten sind im Hinblick auf den gewählten Evaluationsbereich, die Kriterien und Indikatoren heranzuziehen?
  • Welche Daten liegen dazu schon in der Schule vor? Welche zusätzlichen Daten sind noch notwendig?
  • Wie wird die Datensammlung organisiert? Wer übernimmt die Koordinierung der Datensammlung?
  • Welcher Zeitplan ist angemessen?
  • Ermöglicht Ihr Zeitplan eine zusammenhängende Wahrnehmung von Evaluationsanlass und Evaluationsergebnis?

Nach oben

Daten sammeln, Analyse der Evaluationsergebnisse und Datenfeedback

Nachdem alle Vorbereitungen für die interne Evaluation vollzogen sind, geht es an die Datensammlung. Dazu muss geklärt werden:

  • Wo werden die einzelnen Ergebnisse eingesammelt und dokumentiert?
  • Wer stellt die Daten für die Auswertung zusammen und trägt die Verantwortung für die Datenanalyse?
  • Wer ist bei der Interpretation der gesammelten Daten beteiligt?
  • Wer muss über das Verfahren informiert werden?

Denken Sie an den Datenschutz und anonymisieren (ersatzweise pseudonymisieren) Sie angefallene Einzeldaten von Schülerinnen, Schülern, Erziehungsberechtigten und Lehrkräften vor Beginn der Auswertung.

Der erste Schritt der Auswertung der eingegangenen Daten beschränkt sich auf deren Sichtung und Gliederung.

Im Anschluss werden die Evaluationsergebnisse für eine erste Interpretation aufbereitet. Je mehr Daten Sie erhoben haben, desto schwieriger wird dieser Arbeitsschritt. Beachten Sie bei der Aufbereitung die folgenden Fragen:

  • Was sind die Ergebnisse ihrer Evaluation und wie beziehen sie sich aufeinander?
  • Welche Form der Darstellung der Ergebnisse bietet sich an?
  • Wer soll Einsicht in die Daten und die Auswertung erhalten?
  • Welche Spielregeln und Normen für die Datenanalyse müssen bedacht werden?

Im dritten Schritt werden die aufbereiteten Informationen und Daten interpretiert. Betroffene zu Beteiligten machen – das ist eine wichtige Devise bei der Interpretation von Evaluationsergebnissen.

  • Sorgen Sie daher zuerst für die Einbeziehung derjenigen, deren Arbeit evaluiert wurde. Stellen Sie deshalb Ihre eigenen Schlussfolgerungen zurück.  Legen Sie alle zusammengefassten Ergebnisse der internen Evaluation offen und erstellen Sie daraus eine Diskussionsvorlage. Die Offenlegung aller Ergebnisse erfordert zwingend das individuelle Recht der Evaluierten zur Stellungnahme.
  • Dann beziehen Sie die schulischen Gremien ein. Wichtig ist, dass alle verschiedenen Sichtweisen der Gremienmitglieder bei der Interpretation der Daten berücksichtigt werden. Auch hier ist die Offenlegung aller Ergebnisse gepaart mit dem individuellen Recht zur Stellungnahme.

Wichtig ist eine aussagekräftige Dokumentation der Interpretationsergebnisse!

Nach oben

Dokumentation

Nach dem Durchlaufen jedes Evaluationskreislaufes sollte ein "interner Evaluationsbericht" erstellt werden. Hier werden der Evaluationsbereich, das Vorgehen bei der internen Evaluation, die Evaluationsergebnisse, deren Interpretation und die aus den Ergebnissen abgeleiteten Maßnahmen schulintern dokumentiert.

Mit der Zeit entsteht so ein schulinternes "Portfolio" mit einer Sammlung der abgeschlossenen Evaluationsvorhaben, Verfahren und Handlungsoptionen. So ist die Qualitätsentwicklung der eigenen Schule durch Evaluation dokumentiert.

Dieses Portfolio bildet eine wesentliche Grundlage für den Evaluationsbericht gemäß der Berliner Ausführungsvorschriften zur Erstellung der Schulprogramme und zur internen Evaluation (AV Schulprogramm) vom 11. Juni 2008.

Nach oben

Konsequenzen ziehen

Auf der Grundlage der Auswertung Ihres Evaluationsbereichs und der verschiedenen Rückmeldungen können Sie anfangen, Konsequenzen zu ziehen.

Konsequenzen im Schulentwicklungsprozess sind oft zwingende, mindestens jedoch mögliche Folgerungen mit pädagogisch angemessenen und spürbaren Effekten als Grundlage für die Verabredung weiterer pädagogischer Ziele.

Lassen Sie sich Zeit bei der Verarbeitung der Evaluationsergebnisse und verschaffen sich Klarheit über unmittelbare und längerfristige Konsequenzen der Ergebnisse für Schulprogramm und schulinterner Arbeitsplanung.

Jetzt beginnen Sie einen neuen Schulentwicklungszyklus.

Konsequenzen ziehen funktioniert am besten mit Projektmanagement, damit sichergestellt ist, dass die Erkenntnisse und Verbesserungsvorschläge aus einer internen Evaluation auch umgesetzt werden.

Nach oben

Redaktionell verantwortlich: Marion Nagel, LIBRA

Marion Nagel, LIBRA