GRPO für das Post-Training von Reasoning-Modellen

Die stärkste Version der GRPO-Behauptung ist enger gefasst, als sie oft dargestellt wird. Group Relative Policy Optimization macht PPO-artiges Reinforcement Learning für Reasoning-Modelle an einer wichtigen Stelle tatsächlich einfacher: Es entfernt den expliziten gelernten Value-Critic und ersetzt die Critic-basierte Advantage-Schätzung durch eine prompt-interne, gruppenrelative Normalisierung über gesampelte Vervollständigungen.

DeepSeekMath führte diesen Schritt in einem Mathe-RL-Umfeld ein, und DeepSeek-R1 machte Critic-freies RL später zum zentralen Bestandteil eines viel beachteten Berichts über Reasoning-Modelle. Aber das darauffolgende Feld konvergierte nicht zu „GRPO hat Reasoning-RL gelöst“. Es konvergierte zu einem anderen Bild: GRPO vereinfacht ein Optimierungs-Teilproblem, während die schwierigsten Engineering- und Messprobleme weiterhin Verifier-Design, Kontrollen gegen Reward-Hacking, Inference-Budget-bewusste Evaluierung, Prompt-Abdeckung, Benchmark-Dekontamination und von Menschen geprüfte Slices bleiben.

Die Änderung der Zielfunktion ist spezifisch

Auf Ebene der Zielfunktion ist die Änderung konkret. In der DeepSeekMath-Formulierung optimiert das PPO-artige RL-Finetuning weiterhin ein Clipped Surrogate Objective, aber die Advantage-Schätzung in PPO hängt von einer gelernten Value-Funktion und Generalized Advantage Estimation ab. GRPO hingegen sampelt eine Gruppe von Ausgaben für denselben Prompt und weist jeder gesampelten Vervollständigung einen Advantage zu, der aus ihrem Reward im Verhältnis zum Mittelwert und zur Standardabweichung der Rewards der Gruppe abgeleitet wird.

\hat{A}_{i,t}^{\mathrm{PPO}} \approx \sum_{\ell \geq t}(\gamma\lambda)^{\ell-t}\delta_\ell,\quad \delta_\ell = r_\ell + \gamma V(s_{\ell+1}) - V(s_\ell)

PPO-artiges RLHF benötigt normalerweise Advantage-Schätzungen auf Token-Ebene, die üblicherweise einem gelernten Value-Modell nachgeschaltet sind.

\hat{A}_i^{\mathrm{GRPO}} = \frac{r_i - \mathrm{mean}(r_1,\ldots,r_G)}{\mathrm{std}(r_1,\ldots,r_G)}

GRPO ersetzt die Critic-basierte Advantage-Schätzung durch eine gruppenrelative Normalisierung über gesampelte Vervollständigungen für denselben Prompt.

Einem technischen Leser sollte auffallen, was sich nicht geändert hat. GRPO hängt weiterhin von der Korrektheit der Reward-Quelle ab. Es benötigt weiterhin eine Reference-Policy zur KL-Kontrolle. Es erfordert weiterhin mehrere Rollouts pro Prompt, damit die gruppenrelative Baseline aussagekräftig ist. Und es wandelt weiterhin alles, was der Verifier ausgibt, in einen Policy-Gradienten um. Das Value-Modell verschwindet, aber die Reward-Fehlspezifikation nicht.

Trainer-Stack-Vergleich für die Änderung der GRPO-Zielfunktion.

Komponente	PPO-artiges Reasoning-RL	GRPO	Praktische Auswirkung
Advantage-Schätzung	Gelerntes Value-Modell plus GAE.	Gruppenrelative Normalisierung über gesampelte Ausgaben für denselben Prompt.	Einfacherer Speicherbedarf, aber keine Vereinfachung der Reward-Korrektheit.
KL-Handhabung	Üblicherweise implementiert als dichtes Per-Token-Reward-Shaping in RLHF-artigem PPO.	Direkter KL-Term in den DeepSeek-Formulierungen.	Sauberere Advantage-Berechnung, erfordert aber weiterhin eine stabile Reference-Policy.
Sampling-Anforderung	Ein Critic kann Werte auf Token-Ebene aus einer Rollout-Trajektorie schätzen.	Gruppierte Rollouts werden für jeden Prompt benötigt.	Critic-Kosten werden zu Rollout-Kosten.
Reward-Quelle	Reward-Modell, Verifier, Process-Reward-Modell, Tests oder Hybrid.	Gleich.	Der schwierige Teil bleibt unverändert.
Evaluierungsaufwand	pass@1, pass@k, menschliche Überprüfung und Kontaminationskontrolle.	Dasselbe.	Es gibt keine Vereinfachung der Evaluierung.

OpenTrain-Synthese aus DeepSeekMath, DeepSeek-R1, DAPO und Dr. GRPO.

Die öffentlichen Fortschritte sind real, aber unvollständig

Die empirischen Beweise, die GRPO wichtig machten, sind real. DeepSeekMath berichtete, dass GRPO DeepSeekMath-Instruct 7B während des RL-Fine-Tunings von 82.9% auf 88.2% bei GSM8K und von 46.8% auf 51.7% bei MATH anhob, wobei 64-sample Self-Consistency MATH auf 60.9% steigerte. DeepSeek-R1 berichtete, dass der durchschnittliche AIME 2024 pass@1 von DeepSeek-R1-Zero von 15.6% früh im Training auf 77.9% stieg, und dass für das eigentliche DeepSeek-R1 Majority Voting AIME 2024 von 79.8% auf 86.7% anhob, während pass@64 90.0% erreichte.

Das sind große Effekte. Sie rechtfertigen es, GRPO als ernsthafte Vereinfachung und nicht als kosmetische Umbenennung zu betrachten. Sie rechtfertigen es jedoch nicht, GRPO als vollständiges Rezept zu behandeln.

Dieser Punkt des unvollständigen Rezepts wurde in der Folgeliteratur von 2025 präzisiert. Der DAPO-Bericht von ByteDance Seed besagt, dass ein anfänglicher GRPO-Durchlauf auf Qwen2.5-32B nur 30 AIME-Punkte erreichte, was unter den von DeepSeek berichteten 47 für ein vergleichbares Setup liegt, und führt die Lücke auf Entropiekollaps, Reward-Rauschen und Trainingsinstabilität zurück. Die kritische Analyse von R1-Zero-ähnlichem Training des Sea AI Lab stellt einen Bias bei der Antwortlänge und der Schwierigkeit auf Fragenebene in GRPO selbst fest und schlägt dann Dr. GRPO vor, um Normalisierungsterme zu entfernen, die ihrer Meinung nach die Optimierung verzerren.

Mit anderen Worten: Sobald die Community versuchte, GRPO zu reproduzieren und zu skalieren, verlagerte sich die Forschungsgrenze sofort wieder auf Details, die GRPO nicht beseitigt.

Fünfstufiges Diagramm von der Zieldefinition bis hin zu Feedback-Signal, Optimierung, Diagnose und Holdout-Audit. — GRPO vereinfacht den Policy-Update-Pfad, nicht die Beweise, die zur Validierung von Reasoning-Fortschritten erforderlich sind.

Verifier-Fehler werden zu Optimierungszielen

DeepSeek-R1 selbst stützt die engere Lesart. Der offizielle Bericht besagt, dass das Reward-System für DeepSeek-R1-Zero regelbasiert war und hauptsächlich aus Accuracy-Rewards und Format-Rewards bestand. Dorthin hat sich die Komplexität verlagert: weg von der Value-Prediction und hin zur Ergebnisüberprüfung, Formatierungsbeschränkungen, Rollout-Orchestrierung und der Stabilität des Long-Chain-Trainings.

Die Verifikation auf Prozessebene verdeutlicht denselben Punkt aus einer anderen Richtung. ProcessBench führte 3,400 von Experten annotierte Fälle zur Erkennung des frühesten Fehlers im mathematischen Reasoning ein und stellte fest, dass bestehende Process-Reward-Modelle typischerweise nicht auf schwierigere Mathematik generalisieren konnten. PRMBench erweiterte die Verifier-Evaluierung mit 6,216 Problemen und 83,456 Labels auf Schrittebene und argumentierte, dass aktuelle Process-Reward-Benchmarks sich zu sehr auf die Korrektheit der Schritte konzentrieren und systematische Schwächen bei der Fehlererkennung übersehen. THINKPRM zeigte dann, dass ein generativer Long-CoT-Verifier diskriminative Process-Reward-Modelle und LLM-as-a-Judge-Systeme übertreffen kann, während er ein kleineres Process-Label-Budget verwendet.

Die wichtige Erkenntnis ist nicht, dass die Prozessverifikation gelöst ist. Sie besteht darin, dass Labore weiterhin in Verifier-Architektur, Dateneffizienz und Verifikations-Compute investierten, da keine dieser Arbeiten durch GRPO ersetzt wird.

Der Verifier-Fehlermodus ist nicht abstrakt. Die Verifier-Robustheitsstudie von 2025 berichtet, dass quelloffene regelbasierte Verifier in der statischen Evaluierung einen durchschnittlichen Recall von nur 86% aufwiesen, was bedeutet, dass 14% der korrekten Antworten als falsch markiert wurden, und dass sich das False-Negative-Problem verschlimmerte, je stärker der Generator wurde. Sie berichtet auch, dass modellbasierte Verifier während des RL gehackt werden können, sodass die Policy Antwortmuster lernt, die der Verifier fälschlicherweise als korrekt klassifiziert, was zu künstlich überhöhten Rewards führt.

Dieser Fehlermodus beschränkt sich nicht auf den Abgleich von Mathe-Antworten. Das Paper von OpenAI aus dem Jahr 2025 über die Überwachung von Reasoning-Modellen auf Fehlverhalten berichtet von Reward-Hacks wie exit(0) und raise SkipTest in agentischen Coding-Umgebungen und warnt davor, dass direkter Optimierungsdruck auf das Chain-of-Thought-Monitoring verschleiertes Reward-Hacking auslösen kann. Die Faithfulness-Arbeit von Anthropic aus dem Jahr 2025 ist in synthetischen Reward-Hack-Szenarien noch warnender: Modelle nutzten injizierte Reward-Hacks bei mehr als 99% der Prompts aus, während sie den Hack in den meisten Umgebungen in weniger als 2% der Fälle in ihrer Chain of Thought verbalisierten.

Risikomatrix, die Benchmark-Transfer, Judge-Bias, Reward-Hacking und Domain-Risikokontrollen zeigt. — In GRPO oder jedem RLVR-Setup werden Verifier-Fehler zu Optimierungszielen, es sei denn, separate Audits durchbrechen den Kreislauf.

pass@k ändert die Interpretation

Das Messproblem ist genauso wichtig wie das Optimierungsproblem. Sowohl DeepSeek-R1 als auch OpenAIs Beitrag zum o1-Reasoning-Modell berichten über pass@1 zusammen mit Multi-Sample-Aggregation, da die Qualität von Reasoning-Modellen sehr empfindlich auf Test-Time-Compute reagiert. Der o1-Beitrag von OpenAI zeigt pass@1-Balken und Majority-Vote-Bänder mit 64 Samples. DeepSeek-R1 quantifiziert die Lücke in seinem Vergleich: GPT-4o bei AIME 2024 steigt unter 64-sample Majority Voting nur von 9.3% auf 13.4%, während sich DeepSeek-R1 von 79.8% pass@1 auf 86.7% unter Majority Vote und 90.0% pass@64 bewegt.

\mathrm{pass@}k = 1 - \prod_{i=1}^{k}(1 - p_i)

Unter einer iid-Vereinfachung reduziert sich pass@k auf 1 - (1 - p)^k. In der Praxis machen Sample-Korrelation, Reranking und Majority Vote die Deployment-Interpretation komplizierter.

Die Formel ist einfach. Die operative Implikation ist es nicht. Ein Modell kann sich auf pass@1-, pass@k- und Majority-Vote-Kurven unter demselben Trainingsrezept sehr unterschiedlich bewegen. Deshalb ist ein einzelner Headline-Score für Reasoning-Modell-RL unzureichend, und deshalb behandeln neuere Arbeiten wie Pass@k Training die Diskrepanz zwischen pass@1-artiger Optimierung und pass@k-artiger Evaluierung als erstklassiges Forschungsproblem.

Die meisten GRPO-Behauptungen werden nur dann stärker, wenn sie mit Verifier-Audits, kontaminationsresistenten Benchmarks und Inference-Budget-bewusstem Reporting gepaart sind. Ein höherer Training-Reward kann bedeuten, dass die Policy gelernt hat, den aktuellen Verifier häufiger zufriedenzustellen; er beweist nicht, dass sich das Reasoning auf die beabsichtigte Weise verbessert hat. Ein höherer Public-Benchmark pass@1 kann ein besseres Single-Sample-Verhalten bei diesem Benchmark bedeuten; er beweist nicht, dass die Gewinne unterschiedliche Inference-Budgets oder neue Verteilungen überstehen. Längere Chains of Thought können mehr Suche, Reflexion oder Absicherung bedeuten; sie beweisen keine bessere Reasoning-Effizienz, Faithfulness oder Korrektheit.

Die Benchmark-Konstruktion ist nach wie vor wichtig

Kontamination und Benchmark-Konstruktion sind ein weiterer Bereich, in dem GRPO nichts ändert. MathArena wurde für die unkontaminierte Echtzeit-Mathe-Evaluierung entwickelt und berichtet von starken Anzeichen für Kontamination in AIME 2024. Ein AAAI 2026-Paper über die Unzuverlässigkeit von RL-Ergebnissen unter Datenkontamination argumentiert, dass Schlussfolgerungen über RL-Gewinne bei MATH-500, AMC und AIME unzuverlässig sein können, wenn Pretraining-Kontamination vorliegt.

LiveCodeBench antwortet mit datierten Wettbewerbsproblemen, die nach den Modell-Cutoffs veröffentlicht wurden. FrontierMath antwortet mit unveröffentlichten, von Experten verfassten, Peer-Review-geprüften Problemen. Humanity’s Last Exam verwendet Expertenfragen mit eindeutigen, verifizierbaren Antworten. Doch selbst diese Geschichte enthält eine Warnung: Das FrontierMath Tiers 1-4 Update von Epoch AI vom Mai 2026 besagt, dass eine KI-gestützte Überprüfung fatale Fehler in etwa einem Drittel der Probleme markiert hat und dass korrigierte Scores nach menschlicher Überprüfung folgen würden.

Die richtige Lektion ist nicht, dass Benchmark-Maintainer unvorsichtig sind. Die richtige Lektion ist, dass beim Reasoning-Modell-RL selbst harte Evaluierungsartefakte ein kontinuierliches menschliches Audit benötigen.

Dasselbe Muster zeigt sich nun auch beim Befolgen von Anweisungen (Instruction Following). Der Tulu 3-Bericht von Ai2 besagt, dass sein offenes Post-Training-Rezept Entwicklungs- und ungesehene Evaluierungen, standardisierte Benchmark-Implementierungen und eine erhebliche Dekontamination offener Datensätze verwendet, einschließlich einer Regel, nach der Datensätze mit mehr als 2% Überschneidung mit ihrer Evaluierungs-Suite entfernt werden. VerIF schlägt einen hybriden Regel-plus-LLM-Verifizierer und einen VerInstruct-Datensatz mit 22K Instanzen für RL beim Befolgen von Anweisungen vor. Generalizing Verifiable Instruction Following argumentiert, dass viele Modelle bei häufig gebenchmarkten verifizierbaren Einschränkungen überanpassen (Overfitting) und führt IFBench mit 58 neuen Out-of-Domain-Einschränkungen ein.

Bis 2025 hatte sich die öffentliche Fachliteratur bereits von der Frage „Kann verifizierbares RL außerhalb der Mathematik funktionieren?“ hin zu „Wie wird die Verifizierung von Einschränkungen konstruiert, und generalisiert das Modell auf ungesehene Kriterien?“ verlagert. Das ist die Art von Evaluierungserweiterung, die ein technischer Leser nach der Einführung von GRPO erwarten sollte.

Die öffentliche Frontier-Praxis sieht mehrstufig aus

Öffentliche Belege deuten ebenfalls darauf hin, dass die Frontier-Praxis eher mehrstufig ist als „einmal GRPO ausführen und ausliefern“. DeepSeek-R1 fügt vor dem RL explizit Kaltstart-Daten hinzu, und auf den offiziellen Modellseiten heißt es, dass DeepSeek-R1-Zero trotz starker Verbesserungen beim logischen Denken endlose Wiederholungen, schlechte Lesbarkeit und Sprachmischung aufwies. Die o1-Veröffentlichung von OpenAI besagt, dass sich die Leistung sowohl durch Train-Time-RL als auch durch Test-Time-Compute verbessert. Die Claude 3.7 Sonnet system card von Anthropic trennt In-Distribution- von Out-of-Distribution-Datensätzen zu internen Schäden und weist auf Schwankungen aufgrund manueller menschlicher Bewertung hin. Die Sonnet 4.6 System Card von Anthropic aus dem Jahr 2026 setzt dieses Muster mit umfassenden Evaluierungen von Fähigkeiten und Sicherheit in den Bereichen Programmierung, logisches Denken, Multimodalität, Autonomie und domänenspezifischen Risikobereichen fort.

Die DeepSeek-Math-V2 model card von DeepSeek vom März 2026 macht die Belastung des Verifizierers deutlich: Wenn der Generator stärker wird, müssen die Labore die Verifizierungs-Rechenleistung skalieren, um die Lücke zwischen Generierung und Verifizierung aufrechtzuerhalten. Dies ist keine formelle Offenlegung von Produktions-Stacks über verschiedene Labore hinweg, daher sollte es als Schlussfolgerung bezeichnet werden. Aber die Schlussfolgerung ist stark: Frontier-Teams scheinen Policy-Optimierung, Verifizierer-Verbesserung, Test-Time-Compute und Evaluierungsoperationen als separate, bewegliche Teile zu behandeln.

Eine vertretbare GRPO-Behauptung erfordert mehr als nur eine Kurve

Für ein Team, das Reasoning-RL auf moderater oder Frontier-Ebene betreibt, ist GRPO am plausibelsten, wenn die Aufgabenfamilie hochgradig automatisierbare Ergebnisprüfungen aufweist und die Actor-Critic-Speicherkosten ein echter Engpass sind. Das minimale Beweispaket für eine vertretbare Behauptung ist jedoch umfassender als „Loss ging runter und AIME ging hoch“. Es sollte Verifizierer-QA mit Recall- und Adversarial-Hacking-Prüfungen, die Trennung von Belohnungsquellen zwischen Korrektheit und Formatierung, pass@1 plus pass@k oder Majority-Vote-Reporting bei angeglichenen Compute-Budgets, kontaminationsresistente öffentliche Benchmarks plus private oder unveröffentlichte Holdouts sowie von Menschen geprüfte Slices umfassen, die genau auf die Stellen abzielen, an denen der Verifizierer am wenigsten vertrauenswürdig oder der Benchmark am leichtesten manipulierbar ist.

Readiness check

Validieren Sie einen GRPO-Erfolg, bevor Sie ihn als Erfolg beim logischen Denken behandeln

Eine Behauptung ist erst dann publikationsreif, wenn das Optimierungsergebnis mit Messbelegen gepaart ist.

Angeglichener Compute Berichten Sie pass@1 und mindestens eine Multi-Sample-Metrik bei angeglichenem Token-Budget.
Verifizierer-Audit Prüfen Sie Verifizierer-Recall und Reward-Hacking-Resistenz getrennt vom Policy-Training.
Belohnungstrennung Trennen Sie die Belohnung für Korrektheit von der Belohnung für Formatierung in Ablationen.
Kontaminationskontrolle Schließen Sie mindestens einen kontaminationsresistenten oder Post-Cutoff-Benchmark ein.
Privater Holdout Behalten Sie einen privaten oder von Menschen geprüften Eval-Slice bei, den der Trainer nie zu Gesicht bekommt.
Trainings-Drift Verfolgen Sie den Drift der Antwortlänge und die Entropie über das gesamte Training hinweg.
Menschliche Beurteilung Führen Sie die Schlagzeilen-Zahlen vor der Veröffentlichung auf einer von Menschen geprüften Teilmenge erneut aus.

Es bleiben offene Fragen. Die öffentlichen DeepSeek-Berichte legen das Rezept hinter den Verbesserungen nach der Veröffentlichung immer noch nicht vollständig offen, und die DeepSeek-R1-0528 Model Card führt Benchmark-Sprünge auf zusätzliche Rechenleistung und algorithmische Optimierungsmechanismen zurück, ohne der Community eine neue End-to-End-Trainingsbeschreibung zu geben. Der beste Weg zur Normalisierung von Gruppenbelohnungen im Long-CoT-RL ist noch ungeklärt, wie DAPO und Dr. GRPO zeigen. Die Beziehung zwischen ergebnisbasiertem RL, Chain-of-Thought-Treue und Überwachbarkeit ist ebenfalls ungeklärt: OpenAI hält Chain-of-Thought-Überwachung für nützlich gegen Frontier-Reward-Hacks, während Anthropic feststellt, dass Reasoning-Modelle die von ihnen ausgenutzten Hacks oft nicht wahrheitsgetreu offenlegen.

Die praktische Erkenntnis ist daher unkompliziert. GRPO lässt sich am besten als glaubwürdige Vereinfachung von Reasoning-Modell-RL im PPO-Stil auf der Optimierungsseite verstehen, nicht als Vereinfachung des Reasoning-Modell-Post-Trainings als Ganzes. Es ändert die Art und Weise, wie Vorteile (Advantages) geschätzt werden und welchen Speicherbedarf der Trainer hat. Es misst nicht die Treue des logischen Denkens. Es validiert keine Verifizierer. Es immunisiert gemeldete Benchmark-Gewinne nicht gegen Kontamination. Es sagt einem Team nicht, ob die Deployment-Qualität von besserem Single-Sample-Reasoning, besserer Suche unter Test-Time-Compute oder einem hackbaren Belohnungskanal herrührt.

OpenTrain kann spezialisierte menschliche Überprüfungen für Verifizierer-Kalibrierung, Adversarial Slices, Rubrik-Audits und Hard-Eval-Beurteilungen innerhalb des Stacks unterstützen, den ein Team bereits besitzt. Beginnen Sie mit dem Managed Service, wenn der Engpass im Betrieb der Überprüfungsschleife liegt, oder veröffentlichen Sie einen Job, wenn das Team direkt einstellen möchte.