Alman Institut für Sprachvereinfachung
Prüfungsergebnisse · Formblatt AL-2 Almanbench v0.1 · Stand 2026-07-17

Almanbench

Almanbench misst sprachliche und grammatische Schlussfolgern, speziell in die Deutsche. Ihr 1.028 öffentliche Testfälle prüfen, ob ein Sprachmodell die vollständige Alman-Spezifikation auf echte deutsche Prosa anwenden kann, von kanonische Literatur bis zu zeitgenössische Texte.

Ergebnisse

Nr. Modell Score ↑
1 GPT-5.6 Sol
90,2 %
2 Claude Fable 5
90,0 %
3 DeepSeek V4 Flash
86,5 %
4 GPT-5.6 Terra
84,2 %
5 GPT-5.6 Luna
83,8 %
6 Kimi K2.7 Code
83,2 %
7 DeepSeek V4 Pro
82,7 %
8 Claude Sonnet 5
76,3 %
9 MiniMax M3
76,1 %
10 Nemotron 3 Ultra
71,4 %
11 Qwen3.6 35B A3B
71,1 %
12 Gemma 4 31B IT
63,5 %
13 MiMo V2.5 Pro
61,4 %
14 Ternary Bonsai 27B
47,3 %
40 % 45 % 50 % 55 % 60 % 65 % 70 % 75 % 80 % 85 % 90 % 95 %

Score nach Ebene

Modell naturalistictargetedguardscurated
GPT-5.6 Sol 87,3 % 98,1 % 87,5 % 94,4 %
Claude Fable 5 87,5 % 96,8 % 87,5 % 94,4 %
DeepSeek V4 Flash 81,7 % 96,3 % 88,3 % 92,4 %
GPT-5.6 Terra 78,2 % 94,9 % 88,3 % 93,3 %
GPT-5.6 Luna 77,5 % 96,8 % 85,8 % 92,1 %
Kimi K2.7 Code 77,0 % 93,5 % 87,5 % 93,5 %
DeepSeek V4 Pro 75,5 % 96,8 % 87,5 % 90,2 %
Claude Sonnet 5 65,5 % 94,4 % 89,2 % 87,6 %
MiniMax M3 66,2 % 94,9 % 85,0 % 84,8 %
Nemotron 3 Ultra 61,2 % 90,3 % 77,5 % 85,9 %
Qwen3.6 35B A3B 59,2 % 92,1 % 84,2 % 82,6 %
Gemma 4 31B IT 48,7 % 92,1 % 81,7 % 69,6 %
MiMo V2.5 Pro 46,3 % 86,6 % 80,8 % 75,0 %
Ternary Bonsai 27B 33,7 % 74,5 % 65,8 % 47,8 %

Zusammensetzung

Die öffentliche Satz enthält 1.028 Testfälle in vier Ebenen. Ein private zurückgehaltene Satz von rund 200 weitere Testfälle, nach dieselbe Standard geprüft, wird nie veröffentlicht und misst Trainingskontamination über die Zeit. Jede veröffentlichte Zeile trägt ein Canary-GUID, damit die Daten aus Trainingskorpora gefiltert werden können.

Ebene Testfälle Aufgabe
naturalistic 600 Echte Prosa mit zusammenwirkende Regeln. Zu die Hälfte kanonische Literatur (1500 bis 1955), zu die Hälfte zeitgenössische Deutsch aus Wikipedia, Tatoeba und handgeschriebene Sätze.
targeted 216 Handgeschriebene Testfälle, das seltene Regeln auf mindestens 25 Beobachtungen heben.
guards 120 Überkorrektur-Fallen in acht Familien. Formen, das Alman behält und das ein Oberflächenformen-Entferner fälschlich ändern würde.
curated 92 Handübersetzte demonstrative Kern. Jede Regel der Spezifikation ist die ausgewiesene Ziel von mindestens ein Testfall.

Beispiel-Testfall

Ein naturalistische Testfall aus die deutsche Wikipedia. Die Genitiv nach Familie darf der behalten oder die von-Umschreibung nehmen. Daher führt die Referenz beide gültige Wiedergaben auf.

almanbench/modern-wikipedia/pub-023
Standarddeutsch
Der Braunbär gehört zu den Säugetieren aus der Familie der Bären.
Gültige Wiedergaben
Die Braunbär gehört zu die Säugetiere aus die Familie der Bären. (kanonisch)
Die Braunbär gehört zu die Säugetiere aus die Familie von die Bären.

Die Benchmark ausführen

Die Datensatz ist auf Hugging Face veröffentlicht. Die Benchmark-Code liegt in die alman-Repository und läuft gegen jede von Inspect AI unterstützte Modell.

from datasets import load_dataset

ds = load_dataset("osolmaz/almanbench", split="test")
uv run inspect eval alman/bench/task.py --model openai/gpt-5-codex

Zitieren

@misc{almanbench2026,
  title        = {Almanbench: A Standard German to Alman Translation Benchmark},
  author       = {Solmaz, Onur},
  year         = {2026},
  howpublished = {\url{https://alman.ai/almanbench/}}
}