Explicador en lenguaje claro
La codificación posicional, explicada
¿Cómo sabe un transformer el orden de las palabras, si attention mira todo a la vez?
Attention por sí sola trata una frase como una bolsa de palabras: 'perro muerde hombre' y 'hombre muerde perro' se verían idénticas. Por eso los modelos mezclan una señal de posición en el vector de cada token antes de que corra attention. Cada posición recibe su propio sello matemático, y el sello pasa a ser parte del significado, así que 'primera palabra' y 'séptima palabra' son distintas incluso para la misma palabra. Muchos modelos modernos usan una variante rotatoria, RoPE, que codifica la distancia relativa entre palabras.
No te quedes en leerlo. Opera tú mismo el mecanismo en una lección interactiva corta.
Míralo funcionar: Cómo el modelo sabe el orden de las palabras →Gratis, sin código, sin registro.
Lo que la gente entiende mal
- Los modelos leen de izquierda a derecha como las personas. Attention ve todos los tokens a la vez. El orden existe solo porque se selló dentro.
- El orden está guardado en las propias palabras. La misma palabra en dos posiciones recibe dos vectores distintos, y solo el sello cambia.
- La posición es un detalle menor de implementación. Estirar los modelos a contextos más largos es difícil en gran parte porque el esquema de posición debe estirarse con ellos.
Dónde lo ves en productos reales
- Los traductores mantienen claro quién hizo qué a quién porque la posición es parte del significado.
- Los asistentes de código siguen el anidado y el orden de los paréntesis con la misma señal.
- Los lanzamientos de modelos de context largo suelen nombrar sus trucos de posición, RoPE scaling entre ellos, en la letra pequeña.
Explicadores relacionados
Parte de See How AI Works, un curso interactivo gratuito, donde aprendes cómo funciona la IA moderna operándola, no viendo videos.