Explicador en lenguaje claro
Query, Key y Value, explicados
¿Qué significan de verdad Query, Key y Value en attention?
Attention es una búsqueda. Cada token hace una pregunta, su Query. Cada token también anuncia lo que contiene, su Key, y lleva el contenido que entregaría, su Value. Comparar una Query con todas las Keys produce puntuaciones, softmax las convierte en porciones, y la nueva representación del token es la mezcla de los Values pesada por esas porciones. Los tres papeles se calculan del mismo vector del token mediante matrices aprendidas. Nadie las escribe; el entrenamiento las encuentra.
No te quedes en leerlo. Opera tú mismo el mecanismo en una lección interactiva corta.
Míralo funcionar: Query, Key, Value →Gratis, sin código, sin registro.
Lo que la gente entiende mal
- Q, K y V son propiedades guardadas de las palabras. Se producen al momento, por posición y por capa, multiplicando el vector del token por matrices aprendidas.
- El modelo busca las palabras en una tabla fija. Las puntuaciones se calculan del context vivo, y por eso la misma palabra atiende distinto en cada frase.
- Attention elige la respuesta. Solo decide qué información fluye hacia dónde. Puntuar la siguiente palabra pasa después, arriba de la pila.
Dónde lo ves en productos reales
- Los mapas de calor de attention son estas puntuaciones Query-Key pintadas como color.
- Que 'banco' se resuelva como río o dinero según la frase es este emparejamiento por context.
- Responder preguntas sobre documentos largos funciona porque las Queries pescan el pasaje relevante entre miles de Keys.
Explicadores relacionados
Parte de See How AI Works, un curso interactivo gratuito, donde aprendes cómo funciona la IA moderna operándola, no viendo videos.