Wie genau ist KI-Korrektur? Unsere Testreihen

So messen wir

Beide Testreihen arbeiten mit erfundenen Klassenarbeiten. Aufgabe, Schülertext und Erwartungshorizont schreiben wir selbst und bauen gezielt Fehler ein. Für jede Aufgabe legen wir fest, wie viele Punkte wir erwarten und welche Spanne noch vertretbar ist. Das geschieht vor der ersten Messung, damit wir die Erwartung nicht nachträglich an das Ergebnis anpassen.

Die Seiten entstehen mit Handschrift-Schriftarten, als Scan oder als Handyfoto mit Schatten und Schräglage. Jede Seite läuft durch dieselbe Texterkennung wie in Zencurio und wird danach zweimal vorkorrigiert. So sehen wir auch, wie stark zwei Läufe voneinander abweichen. Gemessen wird:

• Abschrift: wie viele Wörter je 100 Wörter des Originals im erkannten Text falsch, fehlend oder zusätzlich stehen (Wortfehlerrate), ob Fehler der Schülerin oder des Schülers stehen bleiben, statt still berichtigt zu werden, und ob Gestrichenes draußen bleibt.
• Formeln: ob Rechnungen, Hochzahlen und Einheiten vollständig im erkannten Text ankommen.
• Punkte: wie weit der Vorschlag von unserer Erwartung entfernt liegt, je Aufgabe und insgesamt.
• Eingebaute Fehler: ob jeder Fehler, den wir eingebaut haben, im Vorschlag Punkte kostet oder in der Rückmeldung steht.
• Belege: ob die Zitate, die Zencurio als Beleg zu einem Vorschlag anzeigt, Wort für Wort im Schülertext stehen. Zitate und Fehlermarkierungen, die sich dort nicht finden, entfernt Zencurio, bevor du den Vorschlag siehst.

Für jede Reihe haben wir vor der ersten Messung Schwellen festgelegt, etwa wie viele Aufgaben in der Spanne liegen müssen. Beide Reihen verfehlen jeweils eine davon, die Mathe-Reihe wegen einer berichtigten Formel, die Englisch-Reihe wegen durchgerutschter Streichungen. Beides steht unten mit den Einzelheiten.

Die Texterkennung arbeitet mit Google Document AI und einem Abgleich durch Gemini 2.5 Flash, die Vorschläge macht Gemini 2.5 Pro. Die Englischarbeiten haben wir am 16. Oktober 2026 gemessen, die Arbeiten aus Mathe und den Naturwissenschaften am 20. Oktober 2026, jeweils mit dem Stand, der auch in Zencurio läuft.

Mathe, Physik, Chemie: neun Arbeiten

Neun Arbeiten aus den Klassen 7 bis 10, von linearen Gleichungen über Wahrscheinlichkeit und Mechanik bis zu Strukturformeln. Darin stecken 14 eingebaute Fehler, etwa eine falsch aufgelöste Minusklammer, km/h mal 3,6 statt geteilt durch 3,6 oder ein Kohlenstoffatom mit fünf Bindungen. Für jede der 30 Aufgaben gibt es eine erwartete Punktzahl mit Spanne.

• Punkte. Im Schnitt lag der Vorschlag 0,6 Punkte neben unserer Erwartung, höchstens 1,5 Punkte. 58 von 60 Vorschlägen für einzelne Aufgaben lagen in der vorher festgelegten Spanne. Zwei Läufe derselben Arbeit unterschieden sich um höchstens einen Punkt.
• Eingebaute Fehler. 13 von 14 haben in beiden Läufen Punkte gekostet. Das Kohlenstoffatom mit fünf Bindungen in einer gezeichneten Strukturformel hat die KI nicht erkannt und die volle Punktzahl vorgeschlagen. Bei der falsch aufgelösten Minusklammer in Klasse 8 hat ein Lauf das daraus folgende falsche Ergebnis zusätzlich abgezogen, der andere hat den Folgefehler richtig nur einmal gezählt.
• Abschrift. 54 von 56 Formeln standen vollständig im erkannten Text, und keine der sechs gestrichenen Stellen ist hineingerutscht. Einmal hat der Abgleich ein falsches Rechenzeichen des Schülers berichtigt: Aus I = U · R wurde I = U : R. Der Vorschlag hat den Fehler trotzdem gesehen, weil er den Scan mitliest, und 1 von 4 Punkten vorgeschlagen.
• Belege. 6 von 151 Zitaten und 2 von 28 Fehlermarkierungen fanden sich nicht im Schülertext und wurden entfernt.

Englisch: acht Arbeiten

Acht Arbeiten von Klasse 7 bis zur Q2: Kommentar, Essay, Summary, Analyse, formeller Brief, Mediation und zweimal Fragen zum Text. Die Vorschläge folgen einem Raster, das Inhalt und Sprache trennt. In den Texten stecken 58 Lernerfehler, die in der Abschrift stehen bleiben müssen, und je Arbeit drei Fehler, die eine gute Korrektur anmerken sollte. Fünf Arbeiten enthalten Gestrichenes, drei ein nachträglich eingefügtes Wort.

• Abschrift. Auf 100 Wörter des Originals kamen 1,8 Lesefehler, also falsche, fehlende oder zusätzliche Wörter. Ohne den Abgleich mit dem Scan wären es 6,0 gewesen. Alle 58 Lernerfehler blieben stehen, keiner wurde still berichtigt.
• Gestrichenes und Eingefügtes. Von fünf gestrichenen Stellen landeten drei im erkannten Text: zwei abgebrochene Satzanfänge und ein einzelnes Wort. Von drei eingefügten Wörtern stand eines nicht an der richtigen Stelle.
• Punkte. 10 von 16 Läufen lagen in der erwarteten Spanne, bei den einzelnen Kriterien 92 Prozent. Die übrigen 6 Läufe lagen alle darüber, keiner darunter. Am weitesten beim schwachen Essay: 16 statt 11,5 Punkte. Die Sprachpunkte lagen in 15 von 16 Läufen auf oder über unserer Erwartung.
• Fehler in der Rückmeldung. 19 von 24 eingebauten Fehlern nannte die Rückmeldung in beiden Läufen wörtlich. Drei weitere sprach sie nur gekürzt oder allgemein an, etwa den falschen Freund „become“ statt „get“. Gar nicht erwähnt waren „I have been at“ im Brief und der falsche Freund „made a photo“.
• Belege. 2 von 236 Zitaten fanden sich nicht im Schülertext und wurden entfernt, bei 168 Fehlermarkierungen keine. Zwei Läufe derselben Arbeit unterschieden sich um höchstens 2 Punkte.

Was gut funktioniert

• Rechenwege und Teilpunkte. In Mathe und den Naturwissenschaften lagen 58 von 60 Vorschlägen für einzelne Aufgaben in der Spanne, ohne einen einzigen Abzug bei einer richtig gelösten Aufgabe.
• Lernerfehler bleiben stehen. In Englisch hat die Abschrift keinen der 58 eingebauten Fehler still berichtigt. In Physik ist das einmal passiert, der Vorschlag hat den Fehler trotzdem gesehen.
• Belege werden geprüft. Zitate, die sich nicht Wort für Wort im Schülertext finden, entfernt Zencurio. Das betraf 8 von 387 angezeigten Zitaten.
• Stabile Vorschläge. Zwei Läufe derselben Arbeit lagen in Mathe und den Naturwissenschaften höchstens einen Punkt auseinander, in Englisch höchstens zwei.

Wo die Vorkorrektur danebenliegt

• Zu großzügig bei schwächeren Englischtexten. Alle Englisch-Vorschläge außerhalb der Spanne lagen zu hoch, am deutlichsten beim schwachen Essay.
• Gestrichenes in Englisch. Drei von fünf gestrichenen Stellen landeten im erkannten Text, vor allem abgebrochene Satzanfänge.
• Gezeichnete Strukturformeln. Einen Bindungsfehler hat die KI in beiden Läufen übersehen.
• Folgefehler. Meist zählte der Vorschlag einen Folgefehler nur einmal. In einem Lauf hat er bei einer Gleichung in Klasse 8 das falsche Ergebnis zusätzlich abgezogen.
• Still berichtigte Formel. In Physik hat der Abgleich der Abschrift aus einer falsch umgestellten Formel die richtige gemacht. Im erkannten Text sah die Rechnung dadurch besser aus, als sie war.
• Falsche Freunde. „made a photo“ fehlte in der Rückmeldung ganz, „become your money back“ wurde nur allgemein angesprochen.

Was die Zahlen nicht zeigen

• Erfundene Arbeiten. Die Seiten sind mit Schriftarten erzeugt. Echte Schülerschrift ist unregelmäßiger, echte Scans sind oft schlechter.
• Kleine Stichprobe. 17 Arbeiten mit je zwei Läufen zeigen Stärken und Schwächen. Für deinen Stapel garantieren sie nichts.
• Unsere Erwartung. Die Punkte, mit denen wir vergleichen, haben wir festgelegt. Eine andere Lehrkraft hätte manche Aufgabe anders bewertet, deshalb arbeiten wir mit Spannen.
• Wir messen uns selbst. Unabhängig ist diese Messung nicht. Deshalb stehen hier Methode, Einzelergebnisse und Schwächen, damit du die Zahlen selbst einordnen kannst.
• Ein Stand, kein Dauerzustand. Modelle und Software ändern sich. Die Zahlen gelten für die genannten Tage. Nach größeren Änderungen messen wir neu und passen diese Seite an.

Was das für deine Korrektur heißt

1. Sieh dir die ersten Arbeiten eines Stapels genau an. Dort zeigt sich, wie gut die Vorschläge zu deinen Aufgaben und zur Schrift deiner Klasse passen.
2. Prüfe gestrichene Stellen am Scan, besonders neu begonnene Sätze.
3. Prüfe bei schwächeren Arbeiten die Sprachpunkte. In Englisch lagen unsere Vorschläge dort eher zu hoch.
4. Sieh dir Zeichnungen, Konstruktionen und Strukturformeln selbst an.
5. Lies die Rückmeldung zum Wortschatz gegen. Falsche Freunde fehlen dort manchmal.

Die Note gibst du. Das Schulministerium NRW formuliert es so: Die Bewertungshoheit verbleibt zu jeder Zeit bei der Lehrkraft, die sich ein eigenes Bild von den Leistungen verschafft. Wie die Vorkorrektur im Alltag abläuft, steht unter Klassenarbeiten mit KI korrigieren.