RLHF expliqué aux chercheurs d'emploi : le travail et comment l'obtenir

RLHF signifie apprentissage par renforcement à partir de rétroaction humaine. C’est l’étape d’entraînement où des personnes apprennent à un modèle d’IA à quoi ressemble une bonne réponse en évaluant, comparant et corrigeant ses réponses, puis le modèle est ajusté pour privilégier les réponses que les personnes ont bien notées. Pour un chercheur d’emploi, RLHF est la plus grande catégorie de travail rémunéré d’entraînement d’IA. Sur OpenTrain, cela représente environ un tiers de tous les postes ouverts, la plupart de niveau débutant, avec un tarif médian affiché de $70 par heure.

Ce guide explique comment fonctionne RLHF en termes simples, à quoi ressemble un emploi RLHF au quotidien, à qui s’adressent ces postes et comment en obtenir un.

Comment fonctionne RLHF en trois étapes

1. Ajustement fin supervisé. Des personnes rédigent des exemples de requêtes et des réponses idéales. Le modèle est entraîné à les imiter. C’est là qu’interviennent les postes de rédaction.
2. Modélisation de la récompense. Des personnes comparent des paires de réponses du modèle et choisissent la meilleure, ou évaluent les réponses selon une grille. Un second modèle, le modèle de récompense, apprend à prédire ces préférences humaines. C’est là qu’interviennent la plupart des postes d’évaluation et de comparaison.
3. Apprentissage par renforcement. Le modèle d’IA génère de nombreuses réponses, le modèle de récompense les évalue, et le modèle est ajusté pour produire des réponses obtenant de meilleurs scores. Des humains vérifient ensuite les résultats et le cycle se répète.

Le travail humain des étapes un et deux correspond aux emplois RLHF. Le modèle ne peut apprendre que les préférences que les personnes expriment de manière cohérente, c’est pourquoi les directives sont détaillées et la cohérence est la compétence principale.

À quoi ressemble un emploi RLHF au quotidien

Une session typique est une file d’attente de tâches dans un outil web. Chaque tâche affiche une requête, une ou plusieurs réponses du modèle et un ensemble de questions. Les formats de tâches courants sont :

• Comparaison par paires. Deux réponses, une requête. Choisissez la meilleure et indiquez votre niveau de certitude.
• Évaluation par grille. Évaluez une réponse sur des critères tels que l’exactitude, l’utilité, la sécurité et le ton, puis justifiez la note en une ou deux phrases.
• Réécriture. Produisez la réponse que le modèle aurait dû écrire.
• Création de conversation. Rédigez une conversation à plusieurs tours qui montre au modèle comment gérer un scénario.
• Requêtes contradictoires. Essayez d’amener le modèle à enfreindre une règle, puis documentez ce qui s’est passé.

Les postes spécialisés par domaine utilisent les mêmes formats de tâches mais nécessitent une expertise pour juger si une réponse est correcte.

À qui s’adressent les postes RLHF

RLHF est le point de départ de la plupart des personnes dans la formation de l’IA, car la barrière à l’entrée est la compétence plutôt que le diplôme. Parmi les postes RLHF ouverts sur OpenTrain indiquant un niveau d’expérience, 79% sont de niveau débutant. Les postes qui demandent une expérience intermédiaire ou experte sont généralement liés à un sujet technique ou à la direction d’une équipe d’évaluateurs.

Ce qui fait un bon évaluateur RLHF

Les équipes évaluent les évaluateurs les uns par rapport aux autres et par rapport à des exemples de référence. Les traits qui obtiennent de bons résultats :

• Étalonnage. Votre 4 sur 5 signifie la même chose le lundi et le vendredi, et la même chose que le 4 de l’auteur des directives.
• Raisonnement par écrit. Une justification courte et précise pour chaque note. « Affirme que le traité a été signé en 1848 ; c’était en 1846 » vaut mieux que « inexact ».
• Lecture complète. Les réponses longues cachent des erreurs à la fin.
• Résistance au style. Une réponse assurée et bien formatée n’est pas forcément une réponse correcte.
• Honnêteté face à l’incertitude. Signaler ce que vous ne pouvez pas vérifier est récompensé. Deviner ne l’est pas.

Comment obtenir un emploi RLHF

1. Créez un profil OpenTrain qui liste votre formation, vos langues et tout sujet que vous pouvez évaluer à un niveau professionnel.
2. Parcourez les emplois d’évaluation de modèles et RLHF et postulez aux postes qui correspondent à votre domaine, ou commencez par les emplois en IA pour débutants.
3. Attendez-vous à une évaluation de notation. Comment réussir un entretien de formation en IA détaille ce qui y est testé.
4. Une fois intégrés, les candidats retenus peuvent travailler sur un projet OpenTrain ou être placés ou recommandés au client dont ils soutiennent le projet.

Pour connaître la rémunération de chaque type de poste, consultez l’index des taux de rémunération des formations IA. Pour une vue d’ensemble, lisez ce que fait un formateur IA.

Foire aux questions

Que signifie RLHF ?

Apprentissage par renforcement à partir des retours humains. Des personnes évaluent et comparent les résultats du modèle, un modèle de récompense apprend ces préférences, puis le modèle d'IA est ajusté pour produire des réponses que le modèle de récompense évalue positivement.

Qu'est-ce qu'un emploi RLHF ?

Un emploi RLHF est un travail rémunéré produisant des retours humains : comparer deux réponses, noter des réponses selon une grille d'évaluation, réécrire des réponses faibles et rédiger des exemples de conversations. C'est la plus grande catégorie de travail de formation IA sur OpenTrain.

Les emplois RLHF nécessitent-ils des compétences techniques ?

La plupart n'en ont pas besoin. Environ 79% des postes RLHF ouverts sont de niveau débutant et demandent une lecture attentive, une rédaction claire et de la cohérence. Les postes liés à un domaine comme la chimie, le droit ou les logiciels requièrent une expertise dans ce domaine.

Combien paient les emplois RLHF ?

Les postes RLHF ouverts sur OpenTrain affichent une médiane de $70 par heure, avec la moitié centrale des postes se situant entre $50 et $105. Les postes RLHF de niveau débutant affichent une médiane de $72 par heure.