Explicador en lenguaje claro
RLHF, explicado
¿Qué es RLHF y por qué un predictor de texto se comporta como asistente?
El preentrenamiento produce un predictor crudo que continúa texto en cualquier dirección, útil o no. RLHF es la escuela de acabado: humanos comparan pares de respuestas del modelo y eligen la mejor, un modelo de recompensa aprende a imitar esas preferencias, y el LLM se entrena después para puntuar alto en esa recompensa. El resultado responde preguntas, sigue instrucciones y rechaza pedidos dañinos, no porque le dictaran reglas, sino porque las respuestas con esa forma puntuaban mejor.
No te quedes en leerlo. Opera tú mismo el mecanismo en una lección interactiva corta.
Míralo funcionar: RLHF / post-entrenamiento →Gratis, sin código, sin registro.
Lo que la gente entiende mal
- RLHF le enseña hechos al modelo. El conocimiento viene del preentrenamiento. RLHF moldea el comportamiento, el tono y los rechazos.
- El asistente tiene valores desde los que razona. Tiene una política optimizada para producir respuestas que los humanos prefirieron.
- RLHF hace a los modelos más veraces. Puede premiar lo complaciente sobre lo exacto, y de ahí viene la adulación.
Dónde lo ves en productos reales
- Los botones de pulgar arriba y abajo recogen exactamente estos datos de preferencia.
- Los '¿qué respuesta prefieres?' lado a lado en los chats alimentan el modelo de recompensa.
- La distancia entre un modelo base crudo y el asistente educado que usas es sobre todo este paso.
Explicadores relacionados
Parte de See How AI Works, un curso interactivo gratuito, donde aprendes cómo funciona la IA moderna operándola, no viendo videos.