Query, Key, Value: haz una búsqueda de attention a mano

1. 1Una palabra hace una pregunta. Toca la palabra anterior cuya Key crees que la responde.
2. 2Mira la puntuación del cruce: un producto punto entre la Query y cada Key, la misma operación que compara embeddings.
3. 3Mira cómo el Value de la palabra ganadora fluye hacia la palabra que pregunta, que ahora sabe cuál es su sujeto.

Attention es una búsqueda, y este widget te deja hacer una a mano. Cada palabra arranca como un solo embedding. El modelo multiplica ese embedding por tres cuadrículas de números aprendidas para obtener tres vistas de la misma palabra: una Query, que hace una pregunta, una Key, que anuncia lo que la palabra contiene, y un Value, que es el contenido que entrega cuando la eligen.

Cuando bebe levanta su Query, cada palabra anterior ofrece su Key. La puntuación de cada par es un producto punto, multiplicas las casillas que coinciden y las sumas, exactamente el truco de similitud de las lecciones de embeddings. La puntuación más alta gana la porción más grande, y el Value de esa palabra fluye hacia bebe. En la frase del escenario gana gato, así que bebe ahora carga el dato de que un gato es quien bebe.

Los números de las barras y los números de la vista expandida son los mismos números. No pasa nada oculto entre ellos. Ese es el punto de hacerlo a mano: toda la attention en una posición son unas pocas multiplicaciones y una suma.

Esta es la maquinaria que desambigua palabras por contexto. En la frase dejé el banco para pescar junto al río, banco manda una Query, río responde con una Key que puntúa alto, y el Value de río empuja a banco hacia el sentido de la orilla. La multi-head attention corre muchas de estas búsquedas en paralelo, y un transformer apila decenas de capas de ellas. Una vez que la búsqueda individual está clara, el resto de la arquitectura es repetición.

Pega esto en cualquier página HTML, plataforma de cursos, wiki o herramienta de diapositivas que acepte un iframe. Funciona sin cuenta, no pone cookies propias y enlaza de vuelta aquí.

La atribución ya viene incluida. Si escribes sobre él, un enlace a esta página es todo lo que pedimos.

¿Qué diferencia hay entre una Key y un Value?

La Key es lo que una palabra anuncia para que las demás decidan si le prestan atención. El Value es lo que la palabra entrega de verdad cuando la eligen. La puntuación usa Keys; la mezcla que actualiza a la palabra que pregunta usa Values. Ambos salen del mismo embedding a través de matrices aprendidas distintas.

¿El producto punto es de verdad todo lo que hay en la puntuación?

Para una head en una posición, sí: multiplicas las casillas que coinciden y sumas. Los modelos reales escalan esa suma por la raíz de la dimensión y aplican softmax sobre todas las puntuaciones para que se conviertan en porciones que suman uno. El widget muestra las puntuaciones crudas para que puedas revisar la aritmética tú mismo.

¿Puedo poner este widget en una clase o en la página de un curso?

Sí. El fragmento para insertar de esta página mete el escenario en cualquier página HTML o herramienta de diapositivas que acepte un iframe. Funciona sin cuenta y enlaza de vuelta a la lección completa.