RLHF für Jobsuchende erklärt: Die Arbeit und wie man sie bekommt

RLHF steht für Reinforcement Learning from Human Feedback. Es ist die Trainingsphase, in der Menschen einem KI-Modell beibringen, wie eine gute Antwort aussieht, indem sie seine Antworten bewerten, vergleichen und korrigieren. Das Modell wird dann so abgestimmt, dass es die Antworten bevorzugt, die von Menschen hoch bewertet wurden. Für Arbeitssuchende ist RLHF die größte Kategorie bezahlter KI-Trainingsarbeit. Auf OpenTrain macht es etwa ein Drittel aller offenen Stellen aus, die meisten davon auf Einstiegsniveau, mit einem mittleren angegebenen Stundensatz von $70 pro Stunde.

Dieser Leitfaden erklärt in einfachen Worten, wie RLHF funktioniert, wie ein RLHF-Job im Alltag aussieht, für wen die Rollen geeignet sind und wie man eine bekommt.

Wie RLHF in drei Schritten funktioniert

1. Supervised Fine-Tuning. Menschen schreiben Beispiel-Prompts und ideale Antworten. Das Modell wird darauf trainiert, diese zu imitieren. Hier kommen die Schreibrollen ins Spiel.
2. Reward Modeling. Menschen vergleichen Paare von Modellantworten und wählen die bessere aus oder bewerten Antworten anhand einer Rubrik. Ein zweites Modell, das Reward-Modell, lernt, diese menschlichen Präferenzen vorherzusagen. Hier kommen die meisten Bewertungs- und Vergleichsrollen ins Spiel.
3. Reinforcement Learning. Das KI-Modell generiert viele Antworten, das Reward-Modell bewertet sie, und das Modell wird angepasst, um Antworten mit höheren Bewertungen zu produzieren. Menschen überprüfen dann die Ergebnisse und der Zyklus wiederholt sich.

Die menschliche Arbeit in den Schritten eins und zwei macht RLHF-Jobs aus. Das Modell kann nur Präferenzen lernen, die Menschen konsistent ausdrücken. Deshalb sind die Richtlinien detailliert und Konsistenz ist die Kernkompetenz.

Wie ein RLHF-Job im Alltag aussieht

Eine typische Sitzung besteht aus einer Warteschlange von Aufgaben in einem Web-Tool. Jede Aufgabe zeigt einen Prompt, eine oder mehrere Modellantworten und eine Reihe von Fragen. Die häufigsten Aufgabenformen sind:

• Paarweiser Vergleich. Zwei Antworten, ein Prompt. Wählen Sie die bessere aus und geben Sie an, wie sicher Sie sich sind.
• Bewertung nach Rubrik. Bewerten Sie eine Antwort in Dimensionen wie Genauigkeit, Hilfsbereitschaft, Sicherheit und Tonfall und begründen Sie die Bewertung dann in ein oder zwei Sätzen.
• Umschreiben. Verfassen Sie die Antwort, die das Modell hätte schreiben sollen.
• Erstellen von Konversationen. Schreiben Sie eine mehrteilige Konversation, die dem Modell zeigt, wie es mit einem Szenario umgehen soll.
• Adversarial Prompting. Versuchen Sie, das Modell dazu zu bringen, eine Regel zu brechen, und dokumentieren Sie dann, was passiert ist.

Fachspezifische Rollen verwenden dieselben Aufgabenformen, erfordern jedoch Fachwissen, um zu beurteilen, ob eine Antwort richtig ist.

Für wen RLHF-Stellen geeignet sind

RLHF ist der Bereich, in dem die meisten Menschen im KI-Training anfangen, da die Hürde eher in den Fähigkeiten als in den Qualifikationen liegt. Von den offenen RLHF-Stellen auf OpenTrain, bei denen ein Erfahrungsniveau angegeben ist, sind 79% Einstiegspositionen. Stellen, die mittlere oder Experten-Erfahrung erfordern, sind in der Regel an ein technisches Fachgebiet oder an die Leitung eines Teams von Bewertern gebunden.

Was einen guten RLHF-Bewerter ausmacht

Teams messen Bewerter aneinander und an Gold-Beispielen. Die Eigenschaften, die gut abschneiden:

• Kalibrierung. Ihre 4 von 5 bedeutet am Montag und am Freitag dasselbe und dasselbe wie die 4 des Richtlinienautors.
• Schriftliche Begründung. Eine kurze, spezifische Begründung für jede Bewertung. „Behauptet, der Vertrag wurde 1848 unterzeichnet; es war 1846“ ist besser als „ungenau“.
• Alles lesen. Lange Antworten verbergen Fehler am Ende.
• Resistenz gegenüber Stil. Eine selbstbewusste, gut formatierte Antwort ist keine richtige Antwort.
• Ehrlichkeit bei Unsicherheit. Das Markieren von Dingen, die Sie nicht überprüfen können, wird belohnt. Raten nicht.

Wie man einen RLHF-Job bekommt

1. Erstellen Sie ein OpenTrain-Profil, das Ihre Ausbildung, Sprachen und jedes Fachgebiet auflistet, das Sie auf professionellem Niveau beurteilen können.
2. Durchsuchen Sie die Modellbewertungs- und RLHF-Jobs und bewerben Sie sich auf Stellen, die zu Ihrem Fachgebiet passen, oder beginnen Sie mit KI-Einstiegsjobs.
3. Erwarten Sie eine Bewertungsprüfung. Wie man ein KI-Trainingsinterview besteht erklärt, was dabei getestet wird.
4. Nach dem Onboarding können erfolgreiche Kandidaten an einem OpenTrain-Projekt arbeiten oder an den Kunden vermittelt oder verwiesen werden, dessen Projekt sie unterstützen.

Informationen zur Bezahlung für alle Rollentypen finden Sie im Gehaltsindex für KI-Training. Für einen umfassenderen Überblick lesen Sie, was ein KI-Trainer macht.

Häufig gestellte Fragen

Wofür steht RLHF?

Reinforcement Learning from Human Feedback. Menschen bewerten und vergleichen Modellausgaben, ein Belohnungsmodell lernt diese Präferenzen, und das KI-Modell wird dann so abgestimmt, dass es Antworten generiert, die das Belohnungsmodell hoch bewertet.

Was ist ein RLHF-Job?

Ein RLHF-Job ist bezahlte Arbeit zur Erstellung von menschlichem Feedback: Vergleichen zweier Antworten, Bewerten von Antworten anhand einer Rubrik, Umschreiben schwacher Antworten und Schreiben von Beispielkonversationen. Es ist die größte Kategorie von KI-Trainingsarbeit auf OpenTrain.

Erfordern RLHF-Jobs technische Fähigkeiten?

Die meisten nicht. Etwa 79% der offenen RLHF-Rollen sind Einstiegspositionen und erfordern sorgfältiges Lesen, klares Schreiben und Konsistenz. Rollen, die an ein Fachgebiet wie Chemie, Recht oder Software gebunden sind, erfordern Fachwissen in diesem Bereich.

Wie hoch ist die Bezahlung bei RLHF-Jobs?

Offene RLHF-Rollen auf OpenTrain weisen einen Median von $70 pro Stunde auf, wobei die mittlere Hälfte der Rollen zwischen $50 und $105 liegt. RLHF-Einstiegsrollen weisen einen Median von $72 pro Stunde auf.