Famulus Benchmark
OCR-Profile der PDAI-Sammlungen, jedes Modell in seiner optimierten Fassung. Werte in Prozent (höher ist besser), Mittel über alle Seiten, ein Ausfall zählt 0. Grün = bestes, rot = schwächstes Modell der Spalte. Sekunden je Seite sind Mediane unter paralleler Last und nur grob vergleichbar.
Gegen eine Referenz gemessen
| Modell | Moderne Prosa (en)Springer-Aufsätze, kepler-sec, 12 S. | Moderne Prosa (de)Graßhoff/Lampert 2003, 8 S. | Transliteration (Satz)ADART IV, Satz-PDF gerendert, 8 S. | Transliteration (Scan)Astronomical Diaries I–VII, 63 S. |
|---|---|---|---|---|
| minimax-m3.1-flash:cloudDiaries: gelerntes Overlay minimax (20.10.) | 98.8n=12 · min 96 · 169 s/S. | 97.4n=8 · min 90 · 262 s/S. | 93.8n=8 · min 86 · 483 s/S. | 86.4n=63 · min 0 · 352 s/S. |
| deepseek-v4.1-flash:cloudohne Reasoning; Diaries: gelerntes Overlay deepseek (20.10.) | 99.1n=12 · min 97 · 83 s/S. | 97.1n=8 · min 91 · 145 s/S. | 96.2n=8 · min 93 · 174 s/S. | 88.2n=63 · min 0 · 6 s/S. |
| kimi-k2.7-code:cloudDiaries: gelerntes Overlay kimi (r1, 19.10.) | 99.4n=12 · min 97 · 89 s/S. | 97.2n=8 · min 90 · 156 s/S. | 96.6n=8 · min 91 · 180 s/S. | 87.9n=63 · min 0 · 296 s/S. · 1 Ausfall |
| gemini-3.8-flashDiaries: gelerntes Overlay gemini38, Temperatur 0 | 98.5n=12 · min 89 · 14 s/S. | 97.1n=8 · min 91 · 21 s/S. | 97.8n=8 · min 92 · 24 s/S. | 91.2n=63 · min 0 · 64 s/S. |
| gemini-4-argonnur Benchmark; Diaries: ohne Overlay (kein gelerntes war besser), Temperatur 0 | 99.2n=12 · min 97 · 12 s/S. | 97.5n=8 · min 93 · 14 s/S. | 98.8n=8 · min 95 · 13 s/S. | 91.7n=63 · min 0 · 18 s/S. |
Ohne Referenz: Übereinstimmung mit den anderen Modellen
Für diese Vorlagen gibt es keine Transkription, die kein Modell gemacht hat. Gemessen wird, wie weit ein Modell mit der Mehrheitslesung der anderen Modellfamilien übereinstimmt: eine Stimme je Familie, die eigene Familie ausgenommen; Gemini 3.8 und Gemini 4 bilden eine Familie und stimmen nur mit den Wörtern ab, die beide gleich lesen, damit verwandte Modelle sich nicht gegenseitig hochziehen (Wort-F1). Wer Zeilen auslässt, erfindet oder gegen die anderen falsch liest, verliert; wer als Einziger richtig liest, verliert ebenfalls — deshalb heißt der Wert Übereinstimmung, nicht Genauigkeit. Bei Fraktur zusätzlich: Anteil der von Hand am Faksimile gelesenen Prüfstellen.
| Modell | FrakturKirch 0009 + Kepler KGW 13, 8 S. | HandschriftKármán: Manuskripte, Briefe, 8 S. | SchreibmaschineKármán: Briefe, Berichte, 8 S. | MathematikEuler E57, formelreichste 8 S. | ZahlentabellenSternkataloge KGW X + Brahe OO II, 8 S. |
|---|---|---|---|---|---|
| minimax-m3.1-flash:cloudDiaries: gelerntes Overlay minimax (20.10.) | 85.3n=8 · min 81 · 601 s/S. · Prüfstellen 70 % | 72.7n=8 · min 44 · 606 s/S. | 97.7n=8 · min 93 · 61 s/S. | 97.9n=8 · min 95 · 145 s/S. | 96.2n=8 · min 90 · 550 s/S. |
| deepseek-v4.1-flash:cloudohne Reasoning; Diaries: gelerntes Overlay deepseek (20.10.) | 78.3n=8 · min 1 · 7 s/S. · Prüfstellen 79 % | 76.6n=8 · min 47 · 4 s/S. | 97.6n=8 · min 92 · 3 s/S. | 98.1n=8 · min 93 · 3 s/S. | 96.2n=8 · min 90 · 5 s/S. |
| kimi-k2.7-code:cloudDiaries: gelerntes Overlay kimi (r1, 19.10.) | 87.4n=8 · min 80 · 15 s/S. · Prüfstellen 74 % | 80.9n=8 · min 55 · 8 s/S. | 98.4n=8 · min 97 · 5 s/S. | 98.8n=8 · min 95 · 8 s/S. | 96.7n=8 · min 89 · 12 s/S. |
| gemini-3.8-flashDiaries: gelerntes Overlay gemini38, Temperatur 0 | 87.9n=8 · min 81 · 96 s/S. · Prüfstellen 85 % | 78.8n=8 · min 54 · 33 s/S. | 98.3n=8 · min 95 · 20 s/S. | 97.1n=8 · min 90 · 16 s/S. | 97.5n=8 · min 92 · 41 s/S. |
| gemini-4-argonnur Benchmark; Diaries: ohne Overlay (kein gelerntes war besser), Temperatur 0 | 87.5n=8 · min 82 · 13 s/S. · Prüfstellen 82 % | 74.4n=8 · min 56 · 9 s/S. | 98.8n=8 · min 98 · 9 s/S. | 98.3n=8 · min 94 · 11 s/S. | 98.0n=8 · min 91 · 16 s/S. |
MiniMax M3.1 Flash gegen DeepSeek V4.1 Flash
- Moderne Prosa (en): 0.4 Punkte für deepseek-v4.1-flash (168.8 s vs 83.4 s je Seite)
- Moderne Prosa (de): 0.3 Punkte für minimax-m3.1-flash (262.3 s vs 145.1 s je Seite)
- Transliteration (Satz): 2.4 Punkte für deepseek-v4.1-flash (482.6 s vs 174.1 s je Seite)
- Transliteration (Scan): 1.8 Punkte für deepseek-v4.1-flash (351.6 s vs 6.4 s je Seite)
- Fraktur: 7.0 Punkte für minimax-m3.1-flash (601.1 s vs 6.7 s je Seite)
- Handschrift: 3.9 Punkte für deepseek-v4.1-flash (606.5 s vs 3.6 s je Seite)
- Schreibmaschine: 0.1 Punkte für minimax-m3.1-flash (61.2 s vs 3.2 s je Seite)
- Mathematik: 0.2 Punkte für deepseek-v4.1-flash (144.8 s vs 3.3 s je Seite)
- Zahlentabellen: 0.1 Punkte für minimax-m3.1-flash (550.2 s vs 5.0 s je Seite)
Wogegen gemessen wird
- Moderne Prosa (en) — Textschicht des PDF — kein Modell; Maß: Wort-F1
- Moderne Prosa (de) — Textschicht des PDF — kein Modell; Maß: Wort-F1
- Transliteration (Satz) — Textschicht des PDF — kein Modell; Maß: Wort-F1
- Transliteration (Scan) — Kalibrierwahrheit, vorgeschlagen (Facsimile-Urteil + Mehrheit); Maß: 1 − Fehler/Token
- Ohne Referenz — Mehrheit der anderen Modellfamilien (eine Stimme je Familie); Maß: Wort-F1
Optimierte Fassung
- Diaries: Hausinstruktion plus ein je Modell gelerntes Overlay. Kimi und Gemini: die Overlays der Hauslernschleife. MiniMax und DeepSeek: am 20.10. aus ihrem gemessenen Fehlerprofil gelernt (gemini-3.8-flash schreibt allgemeine Regeln, A/B auf 32 Trainingsseiten, bis zu drei Runden).
- Übrige Profile: dieselbe Instruktion für alle Modelle; keines hat dort ein eigenes Overlay.
- DeepSeek ohne Reasoning: mit Reasoning lieferten 26 von 63 Diaries-Seiten nach 15 min nichts.
- Befund: die gelernten Overlays ändern die Fehlerrate nur im Rauschen der Modelle (zwei Läufe derselben Fassung streuen um ~0,6 Fehler je 100 Token). DeepSeek: Training 9,00 → 8,91, zurückgehaltene Seiten 7,62 → 7,59. MiniMax: Training 10,93 → 10,67, zurückgehaltene Seiten 8,84 → 8,50 (in der Lernrunde 9,34; im Gesamtlauf nicht wiederholt).
- Gemini 4 Argon (models/gemini-4-argon, nur Benchmark — nicht in der Produktions-Allowlist): ohne jedes Overlay 5,29 Fehler je 100 Token auf den Diaries; drei gelernte Overlays waren alle schlechter (Training 5,63 → 5,66–5,81).
- MiniMax M3.1 Flash: ollama run minimax-m3.1-flash:cloud (428B, veröffentlicht 19.10.2026); denkt immer (~30 000 Token je Seite), 2 von 63 Diaries-Seiten erst im zweiten Versuch (HTTP 500/503 „temporarily overloaded“).