Explicador en lenguaje claro
Las leyes de escalado, explicadas
¿Por qué hacer los modelos más grandes los hacía mejores?
Los investigadores descubrieron que el error de un modelo baja por curvas suaves y predecibles al crecer tres cosas: parámetros, datos de entrenamiento y cómputo. Predecible es la palabra clave: los laboratorios podían pronosticar qué tan bueno saldría un entrenamiento antes de pagarlo, y eso justificó pagar más. El resultado Chinchilla añadió el equilibrio: con un presupuesto fijo de cómputo, un modelo más pequeño entrenado con más datos gana a uno más grande con menos, más o menos veinte tokens de datos por parámetro.
No te quedes en leerlo. Opera tú mismo el mecanismo en una lección interactiva corta.
Míralo funcionar: Leyes de escalado →Gratis, sin código, sin registro.
Lo que la gente entiende mal
- Las leyes de escalado prometen inteligencia. Predicen el error del siguiente token. Las habilidades útiles vienen encima, pero de forma dispareja y menos predecible.
- Más grande siempre es la respuesta. Chinchilla mostró que varios modelos famosos estaban subentrenados: demasiados parámetros para sus datos.
- El escalado se acabó. Las curvas siguen valiendo, pero los ejes se multiplicaron: la calidad de datos, el post-entrenamiento y el cómputo en inferencia también escalan.
Dónde lo ves en productos reales
- Las familias de modelos vienen en tallas porque costo y calidad se intercambian por estas curvas.
- El 'entrenado con X billones de tokens' de las fichas es el eje de datos de la ley.
- Los titulares de eficiencia, como modelos fuertes entrenados inusualmente barato, son victorias contra estas mismas curvas.
Explicadores relacionados
Parte de See How AI Works, un curso interactivo gratuito, donde aprendes cómo funciona la IA moderna operándola, no viendo videos.