¿De dónde salen query, key y value?

Los tres se hacen a partir del mismo vector del token, multiplicado por tres matrices de pesos distintas aprendidas durante el entrenamiento. Nadie las escribe a mano. El modelo descubre, con miles de millones de ejemplos, qué proyecciones sirven como pregunta útil, como etiqueta útil y como contenido útil para pasar.

¿Qué diferencia hay entre key y value?

La key es lo que un token anuncia para que los demás decidan si vale la pena mirarlo. El value es lo que reciben cuando lo miran. Separarlos permite que un token sea fácil de encontrar por un motivo y aporte algo totalmente distinto.

¿Por qué se dividen las puntuaciones por la raíz de la dimensión?

Los dot products de vectores largos se hacen grandes, y las puntuaciones grandes hacen que el softmax colapse sobre un solo token, lo que frena el aprendizaje. Dividir por la raíz de la dimensión de las keys mantiene las puntuaciones en un rango donde los gradientes siguen sirviendo. Es higiene numérica, no una idea de modelado.

Explicador en lenguaje claro

Query, Key y Value, explicados

¿Qué significan de verdad Query, Key y Value en attention?

Attention es una búsqueda. Cada token hace una pregunta, su Query. Cada token también anuncia lo que contiene, su Key, y lleva el contenido que entregaría, su Value. Comparar una Query con todas las Keys produce puntuaciones, softmax las convierte en porciones, y la nueva representación del token es la mezcla de los Values pesada por esas porciones. Los tres papeles se calculan del mismo vector del token mediante matrices aprendidas. Nadie las escribe; el entrenamiento las encuentra.

Revisado por última vez el 25 de julio de 2026

Leer es el camino lento. Empieza con una lección gratis que puedes operar ahora mismo.

Empieza gratis: Cómo la atención mezcla el significado →

Gratis, sin código, sin registro.

Y después ve más a fondo: Query, Key, Value Bloqueada

Lo que la gente entiende mal

Q, K y V son propiedades guardadas de las palabras. Se producen al momento, por posición y por capa, multiplicando el vector del token por matrices aprendidas.
El modelo busca las palabras en una tabla fija. Las puntuaciones se calculan del context vivo, y por eso la misma palabra atiende distinto en cada frase.
Attention elige la respuesta. Solo decide qué información fluye hacia dónde. Puntuar la siguiente palabra pasa después, arriba de la pila.

Dónde lo ves en productos reales

Los mapas de calor de attention son estas puntuaciones Query-Key pintadas como color.
Que 'banco' se resuelva como río o dinero según la frase es este emparejamiento por context.
Responder preguntas sobre documentos largos funciona porque las Queries pescan el pasaje relevante entre miles de Keys.

Preguntas frecuentes

¿De dónde salen query, key y value?: Los tres se hacen a partir del mismo vector del token, multiplicado por tres matrices de pesos distintas aprendidas durante el entrenamiento. Nadie las escribe a mano. El modelo descubre, con miles de millones de ejemplos, qué proyecciones sirven como pregunta útil, como etiqueta útil y como contenido útil para pasar.
¿Qué diferencia hay entre key y value?: La key es lo que un token anuncia para que los demás decidan si vale la pena mirarlo. El value es lo que reciben cuando lo miran. Separarlos permite que un token sea fácil de encontrar por un motivo y aporte algo totalmente distinto.
¿Por qué se dividen las puntuaciones por la raíz de la dimensión?: Los dot products de vectores largos se hacen grandes, y las puntuaciones grandes hacen que el softmax colapse sobre un solo token, lo que frena el aprendizaje. Dividir por la raíz de la dimensión de las keys mantiene las puntuaciones en un rango donde los gradientes siguen sirviendo. Es higiene numérica, no una idea de modelado.

Explicadores relacionados

Attention Transformers Softmax Codificación posicional

Más en Dentro del transformer

¿Qué es un modelo Mixture of Experts y por qué lo usan los laboratorios?

Una idea a la vez, en tu correo

Lecciones y explicadores nuevos, escritos como están escritas estas páginas. De vez en cuando, no a diario, y nunca una secuencia de venta.

Primero te enviamos un enlace de confirmación. Puedes darte de baja con un clic, cuando quieras. Privacidad.

Parte de See How AI Works, un curso interactivo gratuito, donde aprendes cómo funciona la IA moderna operándola, no viendo videos.