Alman Institut für Sprachvereinfachung
Prüfungsergebnisse · Formblatt AL-2 Almanbench v0.1 · Stand 2026-07-17

Almanbench

Almanbench misst sprachliches und grammatisches Schlussfolgern, speziell im Deutschen. Ihre 1.028 öffentlichen Testfälle prüfen, ob ein Sprachmodell die vollständige Alman-Spezifikation auf echte deutsche Prosa anwenden kann, von kanonischer Literatur bis zu zeitgenössischen Texten.

Ergebnisse

Nr. Modell Score ↑
1 GPT-5.6 Sol
90,2 %
2 Claude Fable 5
90,0 %
3 DeepSeek V4 Flash
86,5 %
4 GPT-5.6 Terra
84,2 %
5 GPT-5.6 Luna
83,8 %
6 Kimi K2.7 Code
83,2 %
7 DeepSeek V4 Pro
82,7 %
8 Claude Sonnet 5
76,3 %
9 MiniMax M3
76,1 %
10 Nemotron 3 Ultra
71,4 %
11 Qwen3.6 35B A3B
71,1 %
12 Gemma 4 31B IT
63,5 %
13 MiMo V2.5 Pro
61,4 %
14 Ternary Bonsai 27B
47,3 %
40 % 45 % 50 % 55 % 60 % 65 % 70 % 75 % 80 % 85 % 90 % 95 %

Score nach Ebene

Modell naturalistictargetedguardscurated
GPT-5.6 Sol 87,3 % 98,1 % 87,5 % 94,4 %
Claude Fable 5 87,5 % 96,8 % 87,5 % 94,4 %
DeepSeek V4 Flash 81,7 % 96,3 % 88,3 % 92,4 %
GPT-5.6 Terra 78,2 % 94,9 % 88,3 % 93,3 %
GPT-5.6 Luna 77,5 % 96,8 % 85,8 % 92,1 %
Kimi K2.7 Code 77,0 % 93,5 % 87,5 % 93,5 %
DeepSeek V4 Pro 75,5 % 96,8 % 87,5 % 90,2 %
Claude Sonnet 5 65,5 % 94,4 % 89,2 % 87,6 %
MiniMax M3 66,2 % 94,9 % 85,0 % 84,8 %
Nemotron 3 Ultra 61,2 % 90,3 % 77,5 % 85,9 %
Qwen3.6 35B A3B 59,2 % 92,1 % 84,2 % 82,6 %
Gemma 4 31B IT 48,7 % 92,1 % 81,7 % 69,6 %
MiMo V2.5 Pro 46,3 % 86,6 % 80,8 % 75,0 %
Ternary Bonsai 27B 33,7 % 74,5 % 65,8 % 47,8 %

Zusammensetzung

Der öffentliche Satz enthält 1.028 Testfälle in vier Ebenen. Ein privater zurückgehaltener Satz von rund 200 weiteren Testfällen, nach demselben Standard geprüft, wird nie veröffentlicht und misst Trainingskontamination über die Zeit. Jede veröffentlichte Zeile trägt eine Canary-GUID, damit die Daten aus Trainingskorpora gefiltert werden können.

Ebene Testfälle Aufgabe
naturalistic 600 Echte Prosa mit zusammenwirkenden Regeln. Zur Hälfte kanonische Literatur (1500 bis 1955), zur Hälfte zeitgenössisches Deutsch aus Wikipedia, Tatoeba und handgeschriebenen Sätzen.
targeted 216 Handgeschriebene Testfälle, die seltene Regeln auf mindestens 25 Beobachtungen heben.
guards 120 Überkorrektur-Fallen in acht Familien. Formen, die Alman behält und die ein Oberflächenformen-Entferner fälschlich ändern würde.
curated 92 Handübersetzter demonstrativer Kern. Jede Regel der Spezifikation ist das ausgewiesene Ziel von mindestens einem Testfall.

Beispiel-Testfall

Ein naturalistischer Testfall aus der deutschen Wikipedia. Der Genitiv nach Familie darf der behalten oder die von-Umschreibung nehmen. Daher führt die Referenz beide gültigen Wiedergaben auf.

almanbench/modern-wikipedia/pub-023
Standarddeutsch
Der Braunbär gehört zu den Säugetieren aus der Familie der Bären.
Gültige Wiedergaben
Die Braunbär gehört zu die Säugetiere aus die Familie der Bären. (kanonisch)
Die Braunbär gehört zu die Säugetiere aus die Familie von die Bären.

Die Benchmark ausführen

Der Datensatz ist auf Hugging Face veröffentlicht. Der Benchmark-Code liegt im alman-Repository und läuft gegen jedes von Inspect AI unterstützte Modell.

from datasets import load_dataset

ds = load_dataset("osolmaz/almanbench", split="test")
uv run inspect eval alman/bench/task.py --model openai/gpt-5-codex

Zitieren

@misc{almanbench2026,
  title        = {Almanbench: A Standard German to Alman Translation Benchmark},
  author       = {Solmaz, Onur},
  year         = {2026},
  howpublished = {\url{https://alman.ai/almanbench/}}
}