RLHF explicado para quienes buscan empleo: el trabajo y cómo conseguirlo

RLHF significa aprendizaje por refuerzo a partir de retroalimentación humana. Es la etapa de entrenamiento donde las personas enseñan a un modelo de IA cómo se ve una buena respuesta al calificar, comparar y corregir sus respuestas, y luego el modelo se ajusta para preferir las respuestas que las personas calificaron altamente. Para un buscador de empleo, RLHF es la categoría más grande de trabajo remunerado de entrenamiento de IA. En OpenTrain representa aproximadamente un tercio de todos los roles abiertos, la mayoría de ellos de nivel de entrada, con una tarifa media publicada de $70 por hora.

Esta guía explica cómo funciona RLHF en términos sencillos, cómo es un trabajo de RLHF en el día a día, para quiénes son los roles y cómo conseguir uno.

Cómo funciona RLHF en tres pasos

1. Ajuste fino supervisado. Las personas escriben indicaciones de ejemplo y respuestas ideales. El modelo se entrena para imitarlas. Aquí es donde entran los roles de escritura.
2. Modelado de recompensas. Las personas comparan pares de respuestas del modelo y eligen la mejor, o califican las respuestas según una rúbrica. Un segundo modelo, el modelo de recompensa, aprende a predecir esas preferencias humanas. Aquí es donde entran la mayoría de los roles de calificación y comparación.
3. Aprendizaje por refuerzo. El modelo de IA genera muchas respuestas, el modelo de recompensa las califica y el modelo se ajusta para producir respuestas con puntajes más altos. Luego, los humanos verifican los resultados y el ciclo se repite.

El trabajo humano en los pasos uno y dos es en lo que consisten los trabajos de RLHF. El modelo solo puede aprender las preferencias que las personas expresan de manera consistente, por lo que las pautas son detalladas y la consistencia es la habilidad principal.

Cómo es un trabajo de RLHF en el día a día

Una sesión típica es una cola de tareas en una herramienta web. Cada tarea muestra una indicación, una o más respuestas del modelo y un conjunto de preguntas. Las formas comunes de las tareas son:

• Comparación por pares. Dos respuestas, una indicación. Elija la mejor y diga qué tan seguro está.
• Calificación por rúbrica. Califique una respuesta en dimensiones como precisión, utilidad, seguridad y tono, luego justifique el puntaje en una o dos oraciones.
• Reescritura. Produzca la respuesta que el modelo debería haber escrito.
• Creación de conversaciones. Escriba una conversación de múltiples turnos que le muestre al modelo cómo manejar un escenario.
• Indicaciones adversarias. Intente hacer que el modelo rompa una regla, luego documente lo que sucedió.

Los roles de materia específica utilizan las mismas formas de tareas pero requieren experiencia para juzgar si una respuesta es correcta.

Para quiénes son los puestos de RLHF

RLHF es donde la mayoría de las personas comienzan en el entrenamiento de IA porque la barrera es la habilidad en lugar de las credenciales. De los puestos abiertos de RLHF en OpenTrain que indican un nivel de experiencia, el 79% son de nivel inicial. Los puestos que requieren experiencia intermedia o experta generalmente están vinculados a un tema técnico o a liderar un equipo de evaluadores.

Qué hace a un buen evaluador de RLHF

Los equipos miden a los evaluadores entre sí y frente a ejemplos de referencia. Las características que obtienen buenas puntuaciones son:

• Calibración. Su 4 de 5 significa lo mismo el lunes y el viernes, y lo mismo que el 4 del autor de las pautas.
• Razonamiento por escrito. Una justificación breve y específica para cada puntuación. “Afirma que el tratado se firmó en 1848; fue en 1846” es mejor que “inexacto”.
• Leer todo el contenido. Las respuestas largas ocultan errores al final.
• Resistencia al estilo. Una respuesta segura y bien formateada no es necesariamente una respuesta correcta.
• Honestidad sobre la incertidumbre. Señalar lo que no puede verificar es recompensado. Adivinar no lo es.

Cómo conseguir un trabajo en RLHF

1. Cree un perfil en OpenTrain que enumere su educación, idiomas y cualquier tema que pueda evaluar a nivel profesional.
2. Explore los trabajos de evaluación de modelos y RLHF y postúlese a los puestos que coincidan con su especialidad, o comience con los trabajos de IA de nivel inicial.
3. Espere una evaluación de calificación. Cómo aprobar una entrevista de entrenamiento de IA explica lo que se evalúa.
4. Una vez incorporados, los candidatos seleccionados pueden trabajar en un proyecto de OpenTrain o ser asignados o referidos al cliente cuyo proyecto apoyan.

Para conocer el pago en cada tipo de rol, consulte el índice de tarifas de pago de entrenamiento de IA. Para obtener una visión más amplia, lea qué hace un/a entrenador/a de IA.

Preguntas frecuentes

¿Qué significa RLHF?

Aprendizaje por refuerzo a partir de retroalimentación humana. Las personas califican y comparan los resultados del modelo, un modelo de recompensa aprende esas preferencias y luego el modelo de IA se ajusta para producir respuestas que el modelo de recompensa califica con una puntuación alta.

¿Qué es un trabajo de RLHF?

Un trabajo de RLHF es trabajo remunerado que produce la retroalimentación humana: comparar dos respuestas, calificar respuestas según una rúbrica, reescribir respuestas débiles y escribir conversaciones de ejemplo. Es la categoría más grande de trabajo de entrenamiento de IA en OpenTrain.

¿Los trabajos de RLHF requieren habilidades técnicas?

La mayoría no. Alrededor del 79% de los roles de RLHF abiertos son de nivel de entrada y requieren lectura cuidadosa, escritura clara y consistencia. Los roles vinculados a una materia como química, derecho o software requieren experiencia en esa materia.

¿Cuánto pagan los trabajos de RLHF?

Los roles de RLHF abiertos en OpenTrain indican una mediana de $70 por hora, con la mitad central de los roles entre $50 y $105. Los roles de RLHF de nivel de entrada indican una mediana de $72 por hora.