Query, Key, Value
¿Cómo decide un token qué mirar?
La idea que hay dentro
Cada token emite una Query, una Key y un Value; empareja Q con K mediante el producto escalar.
Después de esta lección
Puedes explicar Query, Key, Value y que la atención reutiliza el producto escalar.
Adónde lleva
Esas coincidencias usaron una Query y una Key. Pero, ¿de dónde salen?
Dentro de esta lección
Ese es el escenario real de la lección, en pausa. Reclama tu pase para operarlo.
Mira cómo funciona la IA de verdad, de principio a fin.
Esta lección es solo una parada del arco completo. Desbloquéalo todo y consérvalo de por vida.
Lo que obtienes
- El camino principal de 34 lecciones, una ruta que sí se termina, de una palabra a los agentes
- Rutas por objetivo para usar IA en el trabajo y construir funciones con IA
- Labs de jefe que te hacen aplicar un acto entero, no solo reconocerlo
- Repaso espaciado que trae cada idea de vuelta antes de que la olvides
- Memoria del curso: cada término definido, con enlaces a donde aparece por primera vez
- Una tarjeta de capacidades para compartir cuando termines el camino principal
- Acceso de por vida en cualquier dispositivo, con todas las lecciones futuras incluidas
No son videos para mirar. Predices, operas la máquina y luego lo demuestras. Por eso se queda.
99 lecciones y retos interactivos. Sin videos, sin código.
Pase de lanzamiento gratis: acceso de por vida, sin tarjeta
¿Nuevo por aquí? Las primeras lecciones son gratis para probar. Empieza con la lección 0.1
Qué muestra esta lección
Cada token emite una Query, una Key y un Value; empareja Q con K mediante el producto escalar.
La pregunta con la que abre
¿Cómo decide un token qué mirar?
El recorrido, en palabras de la propia lección
- “bebe” levanta su Query. Toca la palabra cuya pestaña de carpeta (su Key) creas que coincide mejor.
- La atención reutiliza el producto punto que ya conoces.
- Correcto: “gato” es el sujeto que bebe. Observa cómo se produce la coincidencia.
- Cada palabra empieza como su único embedding (de la 1.2). El modelo multiplica ese embedding por tres rejillas de números distintas para crear tres vistas, una Query, una Key y un Value. Cada vista es un vector, así que la puntuación es simplemente su producto punto, el mismo de la Lección 1.3.
- Esas rejillas se aprenden en el entrenamiento, nadie las escribe a mano. La siguiente lección construye Query, Key y Value paso a paso y muestra exactamente de dónde salen los números.
- La atención debe funcionar con algún tipo de matemática totalmente nueva, hecha solo para el lenguaje.
- Reutiliza el dot product de 1.3. Una Query multiplicada contra cada Key da las puntuaciones, y la puntuación más alta se lleva la mayor parte del Value.
- El Value de una palabra es la información que lleva, a grandes rasgos, su significado. Como gato gana la mayor parte, la mayoría del significado de gato fluye hacia bebe, así que bebe ya sabe que un gato es su sujeto.
- En la frase “dejé el banco para pescar junto al río”, un modelo lee “banco” como la orilla del río, no como un lugar de dinero. ¿Qué maquinaria decide qué significado traer?
- “banco” envía una Query, “río” responde con una Key que puntúa alto (Q · K), así que el Value de “río” fluye y desplaza a “banco” hacia el sentido del agua. Desambiguar palabras por su contexto es simplemente la coincidencia de Query, Key y Value, la misma búsqueda por producto punto que viste aquí.
- De dónde salen Q, K y V: un embedding, reformado en tres vistas.
- Esos 2.7 y 0.4 son las mismas puntuaciones que viste en las barras. Multiplica cada casilla emparejada, súmalas, y eso es toda la puntuación.
- Números de juguete legibles. Los números reales de Query y Key se aprenden en el entrenamiento, la siguiente lección muestra de dónde salen.
La idea clave
La atención reutiliza el truco de la similitud que ya aprendí.
Qué puedes hacer después de esta lección
Puedes explicar Query, Key, Value y que la atención reutiliza el producto escalar.
Ponte a prueba: En la atención, ¿cómo decide un token en cuáles otros fijarse?
- Compara su Query contra cada Key con un dot product(correcta)
- Siempre elige los tokens más cercanos en la frase
- Se fija en las palabras más frecuentes
- Atiende a todos los tokens por igual
Cada token emite una Query y una Key. La atención puntúa una Query contra cada Key con el dot product, el mismo truco de similitud de 1.3, y se fija donde se alinean.
¿Prefieres leer primero? Esta lección tiene un explicador de compañía: Query, Key, Value
Adónde lleva: Esas coincidencias usaron una Query y una Key. Pero, ¿de dónde salen?
Este es el resumen escrito. La lección en sí es interactiva: arriba predices, arrastras y operas el mecanismo, y la revelación te responde.