Explicador en lenguaje claro
La KV cache, explicada
¿Qué es la KV cache y por qué importa para la velocidad y el costo?
Cuando un modelo genera texto, cada token nuevo tiene que mirar hacia atrás a todos los anteriores mediante attention. Recalcular esa mirada desde cero en cada paso sería lentísimo. La KV cache guarda las claves y valores de attention de cada token la primera vez que se calculan, así cada paso posterior los reutiliza y solo calcula el token más nuevo. El precio es memoria: la cache crece con el largo del context, y por eso las conversaciones largas consumen memoria de GPU.
No te quedes en leerlo. Opera tú mismo el mecanismo en una lección interactiva corta.
Míralo funcionar: Ventana de contexto y caché KV →Gratis, sin código, sin registro.
Lo que la gente entiende mal
- La KV cache es la memoria que el modelo tiene de ti. Es memoria de trabajo por petición, se descarta al terminar y nunca cambia el modelo.
- La cache guarda tu texto. Guarda claves y valores de attention, los vectores que el modelo derivó de tu texto.
- Una ventana de contexto más larga es solo una caja de texto más grande. Las claves y valores de cada token deben caber en la memoria de la GPU a la vez, así que el largo del context es un presupuesto de hardware.
Dónde lo ves en productos reales
- Los chats muy largos se vuelven lentos y chocan con límites porque la cache no deja de crecer.
- Las APIs venden tokens de entrada cacheados más baratos: las claves y valores de un prefijo repetido ya existen.
- Las especificaciones de context de los modelos hablan tanto de memoria de GPU como del modelo en sí.
Explicadores relacionados
Parte de See How AI Works, un curso interactivo gratuito, donde aprendes cómo funciona la IA moderna operándola, no viendo videos.