Explicador en lenguaje claro
Las analogías de vectores de palabras, explicadas
¿Por qué rey menos hombre más mujer cae cerca de reina?
Porque cuando las palabras se vuelven vectores, las relaciones se vuelven direcciones. En un espacio de embeddings bien entrenado, la flecha de hombre a mujer apunta casi igual que la flecha de rey a reina: una 'dirección de género' que el modelo aprendió solo de cómo co-ocurren las palabras en el texto. Suma esa flecha a rey y caes cerca de reina. La demo famosa, de word2vec en 2013, fue la primera prueba llamativa de que el significado podía ser geometría, la idea sobre la que se construye todo modelo moderno.
Revisado por última vez el
No te quedes en leerlo. Opera tú mismo el mecanismo en una lección interactiva corta.
Míralo funcionar: Embeddings: el significado como coordenadas →Gratis, sin código, sin registro.
Lo que la gente entiende mal
- Es solo un truco de fiesta. La propiedad de fondo, relaciones como direcciones, es exactamente por qué funcionan la búsqueda semántica y las recomendaciones.
- Los chats responden analogías haciendo esta aritmética. Es una propiedad del espacio de embeddings, no el procedimiento que corre el modelo.
- La matemática es exacta. Las analogías son aproximadas y los ejemplos que se muestran son los que aciertan; muchos otros fallan.
Dónde lo ves en productos reales
- Los buscadores emparejan 'vuelos baratos' con 'tarifas low-cost' porque viven en la misma zona del espacio.
- Las recomendaciones de 'artículos similares' son vecinos cercanos en un espacio de embeddings.
- Todos los cursos de ML abren con esta demo porque hace que los vectores signifiquen algo.
Preguntas frecuentes
- ¿De verdad king menos man más woman da queen?
- Funciona lo bastante seguido como para ser una demostración famosa y no lo bastante como para ser una regla. Queen suele ser el vecino más cercano, en parte porque la búsqueda normalmente excluye las propias palabras de entrada. Lo que sobrevive a los matices es lo importante: las direcciones en el espacio de embeddings cargan significado.
- ¿Se sigue usando word2vec?
- Rara vez por sí solo. Los modelos actuales dan a cada aparición de una palabra su propio vector según el contexto, así que bank en una frase de río y en una de dinero caen en posiciones distintas, algo que word2vec no podía hacer. La idea que demostró, el significado como geometría, sigue siendo la base.
- ¿Qué otras relaciones aparecen como direcciones?
- Singular a plural, presente a pasado, país a capital y muchas más, cada una como un desplazamiento más o menos constante. Son regularidades aprendidas de cómo coaparecen las palabras, no hechos guardados, así que aguantan en los casos comunes y fallan en los raros.
Explicadores relacionados
Más en Fundamentos
- ¿Cómo funciona de verdad un modelo de lenguaje grande?
- ¿Qué es un token, y por qué la IA cuenta tokens en vez de palabras?
- ¿Qué es la ventana de contexto y por qué la IA olvida cosas a mitad de conversación?
- ¿ChatGPT de verdad solo predice la siguiente palabra?
- ¿Cuál es la diferencia entre entrenamiento e inferencia?
Una idea a la vez, en tu correo
Lecciones y explicadores nuevos, escritos como están escritas estas páginas. De vez en cuando, no a diario, y nunca una secuencia de venta.
Primero te enviamos un enlace de confirmación. Puedes darte de baja con un clic, cuando quieras. Privacidad.
Parte de See How AI Works, un curso interactivo gratuito, donde aprendes cómo funciona la IA moderna operándola, no viendo videos.