Destilación, cómo un modelo chico aprende de uno grande

¿Cómo funciona la destilación de modelos en la práctica?

Empieza con dos modelos. El maestro es grande, lento y capaz. El estudiante es chico, rápido y, al principio, nada capaz. La destilación es cualquier receta de entrenamiento donde el estudiante aprende del comportamiento del maestro en vez de solo de texto crudo. Nada se copia del maestro y este nunca se encoge. El estudiante es una red aparte que se va moldeando, salida por salida, hasta imitar de cerca al maestro en las tareas que te importan.

La versión clásica, formulada para redes neuronales por Geoffrey Hinton y colegas en 2015, entrena al estudiante con etiquetas blandas, las soft labels. Cuando un modelo de lenguaje predice el siguiente token, no elige solo un ganador. Asigna una probabilidad a cada token de su vocabulario. Esa distribución completa es rica: dice que sillón era casi tan plausible como sofá, y que banana nunca tuvo chance. Entrenar al estudiante para igualar la distribución entera, a menudo suavizada con una temperatura para que las preferencias pequeñas se vean, le enseña cómo pondera opciones el maestro, no solo cuál eligió.

La versión que domina la era de los LLM es más simple: destilación con datos sintéticos. Le haces prompts al maestro a gran escala, te quedas con sus mejores salidas y haces fine-tuning del estudiante con esos pares de entrada y salida como texto de entrenamiento normal. No hace falta acceso interno, y eso importa, porque las APIs casi nunca exponen probabilidades. Así construyó DeepSeek sus distills de R1: curó unas 800 mil muestras de razonamiento del R1 completo e hizo fine-tuning de modelos Qwen y Llama mucho más chicos. La lección interactiva de destilación en este sitio te deja correr el ciclo maestro-estudiante a escala de juguete.

¿Por qué los laboratorios destilan sus modelos más grandes?

Porque el entrenamiento ocurre una vez y servir el modelo ocurre para siempre. Un modelo de frontera se entrena en una corrida gigante y después responde millones de peticiones al día, y cada respuesta cuesta cómputo. La mayoría de esas peticiones son rutinarias. Atenderlas todas con el modelo más grande es pagar precio de frontera, y latencia de frontera, por trabajo que un modelo mucho más chico podría resolver. Destilar el buque insignia en un nivel pequeño conserva la mayor parte de la calidad donde de verdad vive el tráfico, a una fracción del costo por petición.

Hay una segunda razón más silenciosa: las salidas del maestro son mejores datos de entrenamiento que internet. La web cruda es contradictoria, desordenada y llena de basura. Las respuestas de un buen maestro son consistentes, están bien formateadas y ya tienen la forma del comportamiento que quieres. Un modelo chico entrenado con ellas termina muy por delante de un modelo idéntico entrenado desde cero con texto raspado de la web.

El patrón está en todas partes cuando lo buscas. Google describió el primer Gemini Flash como destilado de su hermano Pro más grande, y su familia abierta Gemma acredita destilación de conocimiento en sus reportes técnicos. Meta contó que sus modelos Llama 3.2 tamaño teléfono se construyeron podando Llamas más grandes y recuperando calidad con destilación que usó las probabilidades de salida de los modelos mayores. Y toda familia importante vende niveles mini, flash o small con precios muy por debajo del buque insignia. Los proveedores rara vez detallan la receta, pero la destilación es la herramienta estándar para ese trabajo.

Destilación, cuantización y poda: ¿en qué se diferencian?

Las tres hacen más barato correr un modelo, y la gente las confunde todo el tiempo. La destilación entrena un modelo nuevo y más chico para imitar al grande. La cuantización conserva el mismo modelo pero guarda cada peso en menos bits, cambiando un poco de precisión por mucha memoria. La poda, pruning en inglés, borra pesos, neuronas o capas enteras de un modelo existente, casi siempre con entrenamiento extra después para reparar el daño.

La diferencia práctica: un modelo cuantizado es el mismo cerebro un poco borroso, así que se comporta casi igual. Un modelo destilado es otro cerebro educado por el primero, así que puede comportarse distinto en todo lo que nunca le enseñaron. La poda queda en el medio, el mismo cerebro con piezas quitadas. Además se apilan. Los modelos chicos de Llama 3.2 fueron podados y luego destilados, y en teléfonos es común cuantizar encima al estudiante destilado, así que un modelo en el dispositivo puede ser las tres cosas a la vez.

¿Cuánto más chico y más barato es un modelo destilado?

No hay una proporción fija, pero los ejemplos publicados caen en un rango reconocible: ahorros dramáticos en tamaño y velocidad, pérdidas modestas en las tareas medidas. El número temprano más limpio viene de DistilBERT en 2019: 40 por ciento menos parámetros y 60 por ciento más rápido, conservando cerca del 97 por ciento de la comprensión de lenguaje medida del maestro. Esa forma, casi toda la calidad por una fracción del costo, es todo el argumento de venta de la destilación.

La vitrina moderna es DeepSeek-R1. El maestro completo es un modelo mixture-of-experts de 671 mil millones de parámetros, hardware que poca gente puede correr. Sus estudiantes destilados, publicados junto con él a comienzos de 2025, van desde 70 mil millones de parámetros hasta el tamaño 1.5B. Según las propias evaluaciones de DeepSeek, el distill 32B superó a o1-mini de OpenAI en benchmarks de razonamiento con más o menos una veinteava parte de los parámetros totales del maestro, y hasta la versión 1.5B, tamaño laptop, superó a modelos generales mucho más grandes en matemática de competencia, aunque queda débil fuera de ese carril.

El precio sigue al tamaño. Dentro de la línea de un proveedor, a mediados de 2026, el nivel pequeño suele costar entre 5 y 10 veces menos por token que el nivel de frontera, y responde más rápido. Eso sí, toma con cuidado los números de calidad conservada: se miden en las tareas para las que se destiló el estudiante, y la expectativa honesta fuera de ellas es más baja.

¿Cuándo pierde la destilación?

El techo es el maestro. En las tareas para las que se destiló, un estudiante puede acercarse al maestro y, cuando los datos se filtraron para conservar solo las respuestas correctas del maestro, a veces superar su promedio. No supera lo que el maestro sabe. Y si el maestro alucina un dato, prefiere un patrón equivocado o carga un sesgo, el estudiante también lo aprende, a escala industrial.

La falla más filosa es la estrechez. La capacidad es justo lo que quitaste, y lo primero que suelta un modelo chico es el conocimiento raro y las combinaciones inusuales. Un distill afinado con trazas de razonamiento puede arrasar en concursos de matemática y aún así tropezar con preguntas generales que su maestro responde fácil. Un estudio conocido de 2023 sobre modelos de imitación encontró que los estudiantes copian el estilo seguro del maestro con más fidelidad que su exactitud factual, lo que los vuelve mejores para sonar correctos que para serlo.

También hay una trampa de evaluación. Un modelo destilado tiende a verse excelente en benchmarks cercanos a sus datos de entrenamiento, porque hacia eso fue optimizado. La brecha aparece en tu tráfico real, en las peticiones raras que ningún benchmark cubrió. Antes de cambiar un modelo de frontera por un distill, corre tus propias evals con tus propios ejemplos, sobre todo los feos.

¿Se puede destilar desde un modelo detrás de una API, y está permitido?

Técnicamente sí, y justo por eso se impuso la receta de datos sintéticos. Solo necesitas salidas, y salidas es lo que vende una API. La mayoría de las APIs comerciales no te da las distribuciones de probabilidad completas, así que la receta clásica de soft labels queda fuera de alcance, pero los pares simples de pregunta y respuesta alcanzan para mover mucha capacidad.

Otra cosa es si tienes permiso. Los términos de servicio de los grandes proveedores cerrados, incluidos OpenAI, Anthropic, Mistral y xAI, prohíben usar sus salidas para construir modelos competidores. La regla llegó a las portadas a comienzos de 2025, cuando OpenAI dijo tener evidencia de que DeepSeek había entrenado con salidas de sus modelos, después de haber bloqueado cuentas que sospechaba de cosechar datos a escala. La disputa quedó abierta más que resuelta, y convirtió la destilación de un término de laboratorio en uno geopolítico.

También hay carriles totalmente permitidos. Las licencias de pesos abiertos en general dejan destilar los modelos que descargas, a veces con reglas de atribución, y DeepSeek publicó sus propios distills abiertamente. Los proveedores hasta venden el flujo dentro de su propia familia: OpenAI ofrece en su plataforma de API un pipeline de destilación que guarda las salidas de un modelo grande y hace fine-tuning de uno más chico con ellas, y Amazon Bedrock vende destilación gestionada de la misma forma. Destilar el nivel caro que ya usas hacia el barato es un camino de producto soportado. Cruzando líneas de proveedor, lee primero los términos. Nada de esto es asesoría legal.

Lo que la gente entiende mal

Dónde lo ves en productos reales

Preguntas frecuentes

Explicadores relacionados

Más en Cómo se entrenan los modelos