Destilación: encoge al estudiante y conserva la habilidad del maestro

1. 1Predice: ¿cómo puede un modelo pequeño terminar casi tan bueno como el gigante? Elige tu respuesta antes de la revelación.
2. 2Mira al estudiante entrenar con las respuestas y las probabilidades del maestro, no con texto crudo.
3. 3Arrastra al estudiante hacia abajo. La calidad aguanta, y aguanta, y al final se quiebra.

La mayoría de lo que la gente le pide a un modelo es rutina: resúmenes, traducciones, clasificaciones rápidas. Pagar precios de frontera por cada una es un desperdicio, así que los laboratorios construyen modelos pequeños. La pregunta con la que abre este widget es cómo un modelo pequeño puede acercarse a uno gigante, y la mayoría apuesta mal. Más texto crudo no lo logra, y menos bits por peso es otro truco llamado cuantización.

La jugada rica es aprender del gigante mismo. El maestro no dice solo positivo, dice 80 por ciento positivo, 15 por ciento mixto. Cada ejemplo lleva el ranking completo del maestro, no una sola respuesta correcta, y esa es una señal de entrenamiento mucho más rica que el texto raspado de internet. El estudiante, una red separada y mucho más pequeña, entrena con esas salidas hasta imitar al maestro de cerca.

Después tomas el control de tamaño y bajas al estudiante. La barra de tamaño cae mucho y la barra de calidad apenas se mueve, hasta que te pasas y la habilidad copiada empieza a resbalar. Esa brecha entre las dos barras es todo el argumento comercial detrás de los niveles mini y flash de cada familia de modelos.

La destilación es la razón por la que los modelos rápidos y baratos que usas a diario rinden por encima de su tamaño. DeepSeek construyó sus distills de R1 afinando modelos mucho más pequeños con cientos de miles de muestras de razonamiento del modelo completo. Google describió a Gemini Flash como destilado de Pro. El estudiante hereda el estilo del maestro y sus errores, y no supera al maestro en las tareas para las que fue destilado, que es el límite honesto que vas a sentir cuando la barra de calidad se quiebre.

Pega esto en cualquier página HTML, plataforma de cursos, wiki o herramienta de diapositivas que acepte un iframe. Funciona sin cuenta, no pone cookies propias y enlaza de vuelta aquí.

La atribución ya viene incluida. Si escribes sobre él, un enlace a esta página es todo lo que pedimos.

¿La destilación es lo mismo que la cuantización?

No. La cuantización conserva el mismo modelo y guarda cada peso en menos bits. La destilación entrena un modelo genuinamente más pequeño que aprendió a imitar a uno más grande. Puedes hacer las dos: destilar primero, y después cuantizar al estudiante para un teléfono.

¿Un estudiante destilado puede superar a su maestro?

No en aquello para lo que fue destilado, aunque gana en velocidad, costo y consistencia. A veces los estudiantes puntúan más alto en benchmarks estrechos cuando los datos de entrenamiento conservaron solo las respuestas correctas del maestro, lo que quita parte de su ruido.

¿Puedo usar este widget en un curso o en una charla?

Sí. Copia el fragmento iframe de esta página en cualquier página HTML o herramienta de diapositivas. Funciona sin cuenta y enlaza de vuelta a la lección completa y al explicador sobre destilación.