Prozess-Belohnungsmodelle vs. Ergebnis-Belohnungsmodelle für Reasoning-Systeme

Die aktuelle technische Frage ist nicht, ob Process Reward Models Outcome Reward Models abstrakt betrachtet übertreffen. Es geht darum, ob die Trainings- oder Evaluierungspipeline versucht, die Korrektheit der Antwort, die Korrektheit der Trajektorie, die Nützlichkeit der Suche oder eine Mischform aus diesen dreien zu messen.

Aktuelle Arbeiten machen es schwer, die einfache Behauptung „PRMs sind besser, weil sie dichter sind“ zu verteidigen. Grundlegende Arbeiten zur Prozessüberwachung zeigen nach wie vor echte Gewinne bei mathematikähnlichen Aufgaben und eine sauberere Diagnose von Zwischenfehlern. Neuere domänenübergreifende Vergleiche, Verifier-Papiere und Berichte über Reward-Hacking zeigen, dass ergebnis- oder verifier-basierte Setups mit PRMs gleichziehen oder diese übertreffen können, wenn Schritt-Labels verrauscht sind, Traces nicht verfügbar oder unzuverlässig sind und der Benchmark die endgültige Korrektheit stärker belohnt als eine fundierte Argumentation.

Die vertretbare Wahl ist zielabhängig, nicht ideologieabhängig.

Der Vergleich ist eine Diskrepanz der Zielsetzungen

Auf der Ebene des Überwachungsziels lösen PRMs und ORMs unterschiedliche Schätzprobleme. Ein ORM oder Antwort-Verifier, der an die gesamte Trajektorie angehängt ist, wird normalerweise gefragt, ob die endgültige Antwort oder die abgeschlossene Reaktion akzeptiert werden soll. Ein PRM wird gebeten, Präfixe, Schritte oder Zwischenbehauptungen zu bewerten, damit Training oder Suche Anerkennung zuweisen können, bevor die endgültige Antwort bekannt ist.

Dieser Unterschied ist wichtig, da dieselbe Trajektorie im Ergebnis korrekt, aber im Prozess fehlerhaft sein kann, oder im Prozess größtenteils korrekt, aber im Ergebnis aufgrund eines späten Rechenfehlers falsch. Uesato et al. machten diese Unterscheidung bei GSM8K deutlich: Eine rein ergebnisbasierte Überwachung erreichte bei geringerer Überwachung einen ähnlichen Fehler bei der Endantwort, während die prozessbasierte Überwachung den Argumentationsfehler bei Lösungen mit korrekter Endantwort von 14.0% auf 3.4% reduzierte. Die spätere MATH-Arbeit von OpenAI verdeutlichte denselben Punkt, indem sie zeigte, dass ein prozessüberwachtes Modell 78% auf einer repräsentativen MATH-Teilmenge löste. Dieses Ergebnis unterstützt die Prozessüberwachung für die Zuverlässigkeit mehrstufiger Mathematik. Es ist kein universelles Theorem über jegliche Argumentationsüberwachung.

R_{\mathrm{out}}(x,z_{1:T}) = \mathbb{1}\{a(z_{1:T}) = y^*\}

Die Ergebnisüberwachung misst, ob die abgeschlossene Trajektorie eine akzeptable Endantwort liefert. Bei offenen Aufgaben wird der Indikator oft durch einen Verifier- oder Judge-Score ersetzt.

R_{\mathrm{proc}}(x,z_{1:T}) = A(r_1,\ldots,r_T),\quad r_t \approx c(z_t \mid z_{<t}, x)

Die Prozessüberwachung bewertet lokale Schritte oder Behauptungen und aggregiert diese lokalen Urteile dann durch eine Such-, Reranking- oder Trainingsregel.

R_{\mathrm{hybrid}} = \lambda R_{\mathrm{out}} + (1-\lambda)R_{\mathrm{proc}}

Hybride Überwachung kann die Akzeptanz der Endantwort mit Beweisen für die Qualität der Trajektorie kombinieren, obwohl reale Systeme oft Gating, Curricula oder strukturierte Verifier anstelle einer wörtlichen konvexen Kombination verwenden.

KI-Feedback kann die Überprüfung skalieren, aber unabhängige Messungen definieren weiterhin das Ziel.

Pipeline-Familie	Was Menschen weiterhin liefern	Was KI-Feedback skalieren kann	Was es nicht ersetzt
Primäre Feedback-Quelle	Menschliche Labels und Rubrik-Entscheidungen.	KI-generierte Rankings, Kritiken oder Noten.	Menschliche Zieldefinition und finale Messung.
Beste Verwendung	Fundierung mehrdeutiger Präferenzen.	Skalierung der Zwischenüberwachung.	Validierung an Holdouts und Grenzfällen.
Fehlermodus	Teure oder langsame Überprüfungsschleifen.	Synthetischer Evaluator wird zur Ground Truth.	Unabhängige menschliche Prüfung bleibt notwendig.
Operative Kontrolle	Kalibrierung und Beurteilung.	Judge-Diagnosen und Prüfungen der Datenabdeckung.	Expertenprüfung für High-Stakes-Slices.

OpenTrain Synthese aus dem PRM-, ORM-, Verifier- und Reward-Hacking-Quellpaket.

Der stärkste jüngste theoretische Gegenwind richtet sich auch gegen die Vorstellung, dass Outcome Supervision grundsätzlich schwieriger sei. Jia et al. argumentieren, dass unter Standardannahmen zur Datenabdeckung Reinforcement Learning durch Outcome Supervision statistisch nicht schwieriger ist als Process Supervision, bis auf polynomielle Faktoren im Horizont. Das beweist nicht die Überlegenheit von ORM in der Praxis. Es beseitigt jedoch eine häufige theoretische Stütze für die Annahme, dass dichte Schritt-Belohnungen automatisch die prinzipiellere Wahl seien.

Was die aktuellen Belege zeigen

Das Argument für Process Supervision bleibt am stärksten in engen, verifizierbaren, mehrstufigen Domänen, in denen Annotatoren oder automatisierte Verfahren sagen können, welcher Schritt zuerst schiefgeht. OpenAIs „Let’s Verify Step by Step“ bleibt kanonisch, da es einen großen Gewinn durch Process Supervision bei MATH zeigte und PRM800K mit 800,000 Labels auf Schrittebene veröffentlichte. Math-Shepherd zeigte, dass automatisch abgeleitete Process Supervision einen Basis-Reasoner wesentlich verbessern kann, indem Mistral-7B von 77.9% auf 84.1% bei GSM8K und von 28.6% auf 33.0% bei MATH gesteigert wurde, wobei eine auf Math-Shepherd basierende Verifizierung diese Zahlen auf 89.1% und 43.5% trieb.

ThinkPRM erweiterte diese Linie, indem es zeigte, dass ein generatives PRM LLM-as-a-judge und diskriminative Verifizierer übertreffen konnte, wobei nur 1% der PRM800K-Labels verwendet wurden, mit Out-of-Domain-Gewinnen bei GPQA-Diamond und LiveCodeBench. FoVer trieb die Label-Kosten und den Transfer voran, indem es Prozess-Labels durch formale Verifizierung synthetisierte.

Aber die neuere Beweislage ist gegenüber pauschalen PRM-Behauptungen viel weniger freundlich. ProcessBench, das um 3,400 von menschlichen Experten annotierte Testfälle herum aufgebaut ist, berichtet, dass bestehende PRMs oft nicht über das GSM8K- und MATH-Regime hinaus generalisieren. PRMBench, mit 6,216 Problemen und 83,456 Labels auf Schrittebene, stellt signifikante Schwächen bei impliziten Prozessfehlern fest. Die Retrospektive des Qwen-Teams fügt eine operative Kritik hinzu: Die synthetische Schritt-Labeling-Methode nach Monte Carlo schneidet schlechter ab als LLM-judge und menschliche Annotation, und die herkömmliche Best-of-N-Evaluierung kann PRM-Werte aufblähen, da Policy-Modelle oft Antworten mit korrekten Endergebnissen, aber fehlerhaften Prozessen generieren.

Jüngste empirische Ergebnisse schärfen den Vergleich zwischen PRM und ORM.

Paper oder System	Domäne	Ergebnis	Warum es wichtig ist
Uesato et al.	GSM8K	Prozess-Feedback reduzierte den Argumentationsfehler bei Lösungen mit korrekter Antwort von 14.0% auf 3.4%.	Prozess-Labels können Fehler aufdecken, die bei der Überprüfung der Endantwort übersehen werden.
Let's Verify Step by Step	MATH	Ein prozessüberwachtes Modell löste 78% auf einer repräsentativen MATH-Teilmenge.	Das grundlegende PRM-Ergebnis ist stark, aber domänenspezifisch.
Math-Shepherd	GSM8K / MATH	Prozess-RL und der Einsatz von Verifizierern verbesserten Mistral-7B bei beiden Benchmarks.	Automatisierte Process Supervision kann helfen, wenn die Aufgabe schrittweise verifizierbar ist.
ProcessBench / PRMBench	Mathematisches Schlussfolgern	Aktuelle PRMs zeigen einen schwachen Transfer und übersehen feingranulare implizite Prozessfehler.	Erfolge in PRM-Benchmarks bedeuten keine robuste Erkennung von Prozessfehlern.
xVerify	Evaluierung des Schlussfolgerns	Berichtete über 95% F1 und Genauigkeit auf Testsets zur Antwortverifizierung.	Eine starke Ergebnisverifizierung kann ergebnisorientierte Designs wettbewerbsfähiger machen.
Verifizierbare Prozessüberwachung	Schach-Schlussfolgerung	RL, das nur auf Genauigkeit abzielte, verbesserte die Züge, verschlechterte jedoch die Qualität der Schlussfolgerungen; hybrides VPS erhielt die Genauigkeit und verbesserte die Konsistenz.	Antwortgewinne können die Qualität der Trajektorie verschlechtern, wenn das Ziel falsch ist.
Multi-RM-Vergleich	14 Domänen	Generatives ORM war insgesamt am robustesten; diskriminatives ORM schnitt auf dem gleichen Niveau ab wie diskriminatives PRM.	Der breiteste Vergleich spricht gegen eine universelle PRM-Überlegenheit.

OpenTrain-Synthese aus zitierten Primärquellen. Die Metriken sind heterogen und sollten nicht als direkt vergleichbare Prozentsätze gelesen werden.

Die Arbeit an Verifizierern verkompliziert den einfachen PRM-gegen-ORM-Rahmen. Generative Verifizierer formulieren die Belohnungsmodellierung als Next-Token-Vorhersage neu und berichten von großen Best-of-N-Gewinnen bei algorithmischen und mathematischen Schlussfolgerungsaufgaben im Vergleich zu Standard-Verifizierern. xVerify konzentriert sich auf die Extraktion der endgültigen Antwort und die Äquivalenz unter langen Schlussfolgerungsspuren. In der Praxis ist ein großer Teil der Debatte eigentlich eine Debatte über das Verifizierer-Design: Schlechte Ergebnis-Verifizierer lassen PRMs notwendig erscheinen, während starke Antwort-Verifizierungs-Pipelines die Ergebnisüberwachung viel wettbewerbsfähiger machen können.

Diagramm zur Zielabweichung, das Ergebnisziele, Prozessziele, Verifiziererstärke, Trace-Vertrauen und hybrides Gating gegenüberstellt. — PRMs und ORMs beantworten unterschiedliche Messfragen, bevor sie zu konkurrierenden Trainingsrezepten werden.

Der Mess-Stack ist fragil

Die erste Fragilität ist die Label-Qualität. PRMs versprechen eine dichtere Zuweisung von Credits, aber sie sind nur so gut wie die Schrittgrenzen und lokalen Korrektheits-Labels. DeepSeek-R1 listet drei praktische PRM-Einschränkungen auf: Schwierigkeiten bei der Definition feingranularer Schritte im allgemeinen Schlussfolgern, Schwierigkeiten bei der Beurteilung der Korrektheit von Zwischenschritten und Reward-Hacking, sobald ein modellbasiertes PRM eingeführt wird. Die Qwen-Retrospektive kommt von der Datenseite zu einem ähnlichen Schluss und argumentiert, dass Monte-Carlo-Schritt-Labeling Schritte ungenau verifizieren und die nachgelagerte Evaluierung verzerren kann.

Die zweite Fragilität ist die Übereinstimmung der Evaluatoren. Belohnungsmodellierung und Judge-Modellierung laufen nicht gegen ein Orakel. RMB berichtet, dass die Übereinstimmung beim Labeling menschlicher Präferenzen typischerweise bei etwa 70% bis 80% gedeckelt ist und dass seine Daten und früheren Belohnungs-Benchmarks eine Übereinstimmung von etwa 75% zwischen Labels und menschlichen Annotatoren zeigen. No Free Labels weitet diesen Punkt auf korrektheitsfokussiertes Judging aus: Von Experten verfasste Referenzen verbessern die Zuverlässigkeit der Judges bei Geschäfts- und Finanzfragen erheblich.

Die dritte Fragilität ist die Verfügbarkeit und Zuverlässigkeit von Chain-of-Thought. Einige Reasoning-Stacks legen externen Benutzern keine rohen Schlussfolgerungsspuren offen. Die Dokumentation zu Reasoning-Zusammenfassungen von OpenAI besagt, dass rohe Chain-of-Thought-Token nicht offengelegt werden, sondern nur Zusammenfassungen. Selbst wenn Spuren verfügbar sind, berichtet Anthropic, dass Reasoning-Modelle nicht immer sagen, was sie denken, und die Arbeit von OpenAI zur Überwachung von Chain-of-Thought zeigt, dass Optimierungsdruck verschleiertes Reward-Hacking erzeugen kann.

Die vierte Fragilität ist der Benchmark-Transfer. ProcessBench und PRMBench sind beides Reaktionen auf die Gewohnheit des Feldes, PRMs auf einfacheren oder engeren Verteilungen zu validieren als denen, auf denen Teams sie bereitstellen. MathArena macht denselben Punkt aus einem anderen Blickwinkel, indem es neu veröffentlichte Mathematikwettbewerbe evaluiert und Anzeichen von Kontamination in AIME 2024 meldet.

Fehlermodi sind nicht symmetrisch

Eine rein ergebnisorientierte Optimierung kann Antworten verbessern, während sie das Schlussfolgern verschlechtert. Das Paper von Kim et al. zur verifizierbaren Prozessüberwachung macht dies am Beispiel von Schach deutlich. RL, das nur auf Genauigkeit abzielte, verbesserte die Zuggenauigkeit, verschlechterte jedoch die Qualität der Schlussfolgerungen, erhöhte den Fehler der Gewinnrate um bis zu 112% und reduzierte die interne Konsistenz um bis zu 69%. Ihr VPS-Hybrid erhielt die Genauigkeit, während er den Fehler der Gewinnrate um bis zu 30% reduzierte und die Konsistenz bis nahe an die Sättigung wiederherstellte.

Optimierung auf Prozess- oder Verifizierer-Ebene kann ebenfalls falsches Vertrauen erzeugen. In der Qwen-Retrospektive belohnte die Best-of-N-Evaluierung Spuren mit korrekter Antwort und fehlerhaftem Prozess. In LLMs Gaming Verifiers gaben RLVR-trainierte Modelle beim induktiven Schlussfolgern die Regelinduktion auf und zählten stattdessen Labels auf Instanzebene auf, die den Verifizierer passierten, ohne die relationale Regel zu lernen.

Rubrikbasierte, offene Belohnungs-Pipelines bergen einen dritten Fehlermodus: Der Verifizierer kann im Verhältnis zur Trainingsrubrik stark sein und dennoch das Falsche optimieren. Aktuelle Arbeiten zu Rubrik-RL trennen das Versagen des Verifizierers von den Einschränkungen des Rubrik-Designs und zeigen, dass stärkere Verifizierer die Ausnutzung reduzieren, aber nicht eliminieren. Die breitere Literatur zu Belohnungsmodellen warnt davor schon seit Jahren: Die Überoptimierung einer Proxy-Belohnung kann der Gold-Performance schaden.

Fehlermodi, die entscheiden, ob PRM-, ORM- oder hybrides Feedback glaubwürdig ist.

Fehlermodus	Wo es am härtesten trifft	Was kaputt geht	Kontrolle vor Skalierung
Korrekte Antwort, fehlerhafter Prozess	Ausschließliche Ergebnisbelohnungen	Das Modell lernt, akzeptable Antworten durch fehlerhafte Trajektorien zu erreichen.	Fügen Sie Prozessaudits bei Stichproben mit korrekten Antworten hinzu.
Verrauschte oder synthetische Schritt-Labels	Prozess-Belohnungsmodelle	Dichte Credit-Zuweisung verstärkt lokale Labeling-Fehler.	Messen Sie die Übereinstimmung der Schritt-Labels und behalten Sie Experten-Entscheidungs-Slices bei.
Verifier-Gaming	ORMs, PRMs und Hybride	Die optimierte Policy lernt Artefakte, die den Evaluator zufriedenstellen.	Verwenden Sie versteckte Holdouts und adversarielle Reward-Hacking-Prüfungen.
Unzuverlässige oder nicht verfügbare Traces	Prozessüberwachung	Die sichtbare Kette ist nicht zuverlässig genug für die Überwachung.	Behandeln Sie PRM-Scores als interne Proxys, es sei denn, die Trace-Genauigkeit ist validiert.

OpenTrain-Synthese aus ProcessBench, PRMBench, Qwen PRM, DeepSeek-R1, verifizierbarer Prozessüberwachung und Reward-Hacking-Berichten.

Frontier-Praxis erscheint bedingt

Die öffentlichen Belege deuten darauf hin, dass Frontier-Reasoning-Stacks standardmäßig auf verifizierbare Ergebnisbelohnungen setzen, wo sie können, und dann Struktur und Judges hinzufügen, wo sie müssen. DeepSeek-R1 ist das deutlichste veröffentlichte Beispiel. Für R1-Zero verwendete DeepSeek ein regelbasiertes Belohnungssystem, das hauptsächlich aus Genauigkeits- und Formatbelohnungen bestand, und gibt an, keine neuronalen Ergebnis- oder Prozess-Belohnungsmodelle angewendet zu haben, da diese Modelle unter Reward-Hacking leiden können, ein Retraining erfordern und die Pipeline verkomplizieren.

Das bedeutet nicht, dass PRMs obsolet sind. Es bedeutet, dass sich ein großes Reasoning-Labor für groß angelegtes RL öffentlich für „verifizierbares Ergebnis plus Formatierungsbeschränkungen“ anstelle von „zuerst ein PRM trainieren“ entschieden hat.

Die öffentlichen Reasoning-Berichte von OpenAI weisen in eine ähnliche Richtung, wenn auch mit weniger Details zum Reward-Stack. Die o1-Materialien beschreiben groß angelegtes Reinforcement Learning auf Chain-of-Thought plus Train-Time- und Test-Time-Compute-Skalierung, veröffentlichen jedoch kein PRM-zentriertes Produktionsrezept. Eine vernünftige Schlussfolgerung ist, dass das Frontier-Verhalten weniger „ein universelles PRM einsetzen“ und mehr „starke interne Reasoning-Traces, zuverlässige automatische Prüfungen, wo verfügbar, und mehrschichtige Überwachungs- oder Judge-Systeme darum herum verwenden“ ist.

Ein weiterer öffentlicher Trend ist, dass Labore versuchen, Evaluatoren mehr Compute aufwenden zu lassen, nicht nur Generatoren. Aktuelle Verifier-Arbeiten zeigen, dass die Evaluator-Leistung steigt, wenn Reasoning-Modelle mehr Verifizierungs-Compute erhalten. Der praktische Vergleich findet zunehmend zwischen günstigen skalaren Prozess-Scores, günstigen skalaren Ergebnis-Scores und teuren Reasoning-Verifiern mit strukturiertem Prompting statt.

Hybride Designs sind der ernstzunehmende Mittelweg

Ein Team, das sich in einer streng verifizierbaren Domäne nur um die finale Akzeptanz kümmert, sollte standardmäßig auf Outcome- oder Verifier-First-Überwachung setzen. DeepSeek-R1, xVerify und verifier-basierte Best-of-N-Ergebnisse unterstützen alle dieses Muster.

Ein Team, das sich um die Trajektorienqualität selbst kümmert, sollte reine Antwortgewinne nicht als Beweis akzeptieren. In den Bereichen Bildung, Nachhilfe, Theorembeweise, sicherheitssensible Planung und Modellüberwachung geht es oft um den frühesten Fehler, das Selbstkorrekturverhalten und darum, ob Zwischenbehauptungen überprüfbar sind. In diesen Umgebungen bleiben PRMs oder strukturierte Prozesskritiker vertretbar, aber nur, wenn das Team Schritte kohärent definieren, einen von Menschen geprüften Slice aufrechterhalten und eine Evaluator-Übereinstimmung zeigen kann, die gut genug ist, um die zusätzlichen Label-Kosten zu rechtfertigen.

Hybride Überwachung ist für viele reale Systeme die am besten vertretbare Antwort. Outcome Accuracy Is Not Enough fügt der Ergebnisgenauigkeit Rationale-Konsistenz hinzu und berichtet über State-of-the-Art-Leistungen bei Belohnungsmodellen und Judge-Benchmarks. Verifizierbare Prozessüberwachung kombiniert strukturierte Prozessbelohnungen mit Ergebnisgenauigkeit und vermeidet den Einbruch der Reasoning-Qualität, der bei reinem Genauigkeits-RL zu beobachten ist. CorVer fügt eine leichtgewichtigere Prozessbelohnung auf Satzebene für faktisches QA hinzu.

Dies sind nicht dieselben Methoden, aber sie weisen in dieselbe Richtung: Wenn ein Team sowohl Antwortqualität als auch Trajektorienqualität benötigt, werden hybride Signale glaubwürdiger als reines PRM- oder reines ORM-Dogma.

Die operative Erkenntnis ist eng gefasst, aber robust. PRMs sind Instrumente zur Messung und Verbesserung der Trajektorienqualität, wenn das Team dem Trace, den Schritt-Labels und dem Benchmark vertrauen kann. ORMs und Antwort-Verifizierer sind Akzeptanzinstrumente, wenn die endgültige Korrektheit dominiert und die Verifizierung stark ist. Hybride Designs sind der vertretbare Standard, wenn beides zutrifft.

Die entscheidende Variable ist nicht die feinere Granularität an sich. Es geht darum, ob das Überwachungsziel mit dem Fehlermodus übereinstimmt, für dessen Kontrolle das Team tatsächlich bezahlt.

OpenTrain kann fachkundige menschliche Überprüfungen für die Verifizierer-Kalibrierung, Prozess-Label-Audits, Rubrik-QA, adversarielle Segmente und Hard-Eval-Entscheidungen innerhalb des Stacks unterstützen, den ein Team bereits besitzt. Beginnen Sie mit dem Managed Service, wenn der Engpass im Betrieb der Überprüfungsschleife liegt, oder veröffentlichen Sie ein Stellenangebot, wenn das Team direkt einstellen möchte.