Explicador en lenguaje claro
La cuantización, explicada
¿Qué es la cuantización y cómo permite correr modelos grandes en hardware pequeño?
La cuantización guarda cada peso del modelo con menos bits, por ejemplo 4 en vez de 16. El modelo conserva el mismo número de pesos, pero cada uno se vuelve un número más grueso, así que el modelo entero se encoge a un cuarto de la memoria y se mueve más rápido por el hardware. Bien hecha, la pérdida de calidad es pequeña, porque los pesos no necesitaban tanta precisión. Es la razón principal de que hoy corran modelos capaces en laptops y teléfonos.
No te quedes en leerlo. Opera tú mismo el mecanismo en una lección interactiva corta.
Míralo funcionar: Cuantización →Gratis, sin código, sin registro.
Lo que la gente entiende mal
- La cuantización borra parámetros. La cantidad no cambia, cada número solo se guarda con menos detalle.
- Menos precisión significa proporcionalmente más tonto. Una cuantización cuidadosa a 8 o 4 bits pierde sorprendentemente poco en la mayoría de tareas.
- Es solo un truco para hardware débil. Los proveedores también cuantizan a escala, porque la memoria y el ancho de banda son el costo.
Dónde lo ves en productos reales
- Los archivos de modelos locales con etiquetas Q4 o Q8 son versiones cuantizadas del mismo modelo.
- Los asistentes que corren en el teléfono dependen de una cuantización agresiva para caber en la RAM.
- Los niveles de API baratos y rápidos suelen correr variantes cuantizadas por detrás.
Explicadores relacionados
Parte de See How AI Works, un curso interactivo gratuito, donde aprendes cómo funciona la IA moderna operándola, no viendo videos.