Saltar al contenido

Explicador en lenguaje claro

Embeddings, explicados con geometría

Un embedding es una lista de números que representa un texto, una imagen u otro elemento como un punto en el espacio, colocado de forma que los significados parecidos queden cerca. Los modelos de lenguaje aprenden uno para cada token, y los sistemas de búsqueda y RAG convierten pasajes enteros en embeddings para encontrar texto por significado y no por palabras exactas.

¿Qué es un embedding, y cómo captura el significado?

Un embedding convierte un trozo de texto en una lista de números, un vector, colocado de forma que los significados parecidos queden cerca. El significado se vuelve geometría. Las palabras y frases que se usan de forma parecida terminan próximas, aunque no compartan ninguna palabra exacta. Eso es lo que permite que un buscador encuentre el artículo de ayuda correcto con otra redacción, y lo que permite que la recuperación traiga el documento relevante para una respuesta de IA. El modelo aprende estas posiciones a partir de cómo se usa el lenguaje de verdad.

Revisado por última vez el

No te quedes en leerlo. Opera tú mismo el mecanismo en una lección interactiva corta.

Míralo funcionar: Embeddings: el significado como coordenadas →

Gratis, sin código, sin registro.

Cómo un texto se convierte en embedding

Dentro de un modelo de lenguaje, el primer paso es una tabla. El texto se parte en tokens, cada token tiene un id y cada id apunta a una fila de números. Esa fila es el embedding del token. GPT-2 tenía una tabla de 50.257 filas con 768 números cada una, unos 38,6 millones de parámetros. Llama 3 8B tiene 128.256 filas de 4.096 números, unos 525 millones de parámetros, cerca del 6,5% del modelo entero.

Nadie rellena esos números a mano. Empiezan al azar y se ajustan durante el entrenamiento, cada vez que el modelo predice una palabra. Las palabras que aparecen en lugares parecidos, como 'perro' y 'cachorro', terminan con números parecidos porque eso mejora las predicciones. El significado acaba siendo una posición.

La búsqueda y el RAG usan un segundo tipo: los modelos de embeddings de texto. Leen una frase o un párrafo entero y devuelven un solo vector para todo. Los tamaños habituales son 384 números en el modelo abierto pequeño all-MiniLM-L6-v2, 1.536 en text-embedding-3-small de OpenAI y 3.072 en text-embedding-3-large.

Un ejemplo resuelto: medir la similitud

La cercanía entre embeddings se suele medir con la similitud coseno: cuánto apuntan dos vectores en la misma dirección. Va de 1 para la misma dirección, pasando por 0 para algo sin relación, hasta menos 1 para direcciones opuestas.

Aquí van tres embeddings inventados de solo tres números: perro [0,8, 0,3, 0,1], cachorro [0,7, 0,4, 0,1] y factura [0,1, 0,2, 0,9]. Para comparar perro y cachorro, multiplica los números que se corresponden y súmalos: 0,56 + 0,12 + 0,01 = 0,69. Divide por los dos largos, 0,86 y 0,81, y sale 0,99. Perro y factura dan 0,29.

Así que 'perro' y 'cachorro' apuntan casi igual, y 'factura' apunta a otro lado, y la forma de escribirlas no tuvo nada que ver. Los embeddings reales tienen cientos o miles de números, pero la cuenta es exactamente esta.

Similitud coseno entre tres embeddings de juguete. Cuanto más cerca de 1, más cerca en significado.
ParProducto escalarLargosSimilitud coseno
perro y cachorro0,690,86 × 0,810,99, muy cerca
perro y factura0,230,86 × 0,930,29, lejos
cachorro y factura0,240,81 × 0,930,32, lejos

Por qué los embeddings importan en productos reales

El RAG, la generación aumentada con recuperación, funciona con embeddings. Tus documentos se cortan en fragmentos, cada fragmento se convierte en embedding una vez y se guarda. Cuando llega una pregunta, también se convierte en embedding, y el sistema trae los fragmentos cuyos vectores quedan más cerca. Esos fragmentos entran en el prompt, así el modelo responde a partir de tus documentos.

El tamaño se convierte en almacenamiento. Un millón de fragmentos de 1.536 números cada uno, guardados en 4 bytes por número, ocupan unos 6 GB. El mismo millón con 384 números ocupa 1,5 GB. Por eso muchos equipos eligen a propósito un modelo de embeddings pequeño, y por eso los modelos de embeddings más nuevos de OpenAI permiten recortar los vectores conservando casi toda su calidad.

Los embeddings también muestran cuánta estructura encuentra el entrenamiento. En 2013, word2vec mostró que el vector de 'rey', menos 'hombre', más 'mujer', cae cerca de 'reina'. Nadie programó esa relación. Salió de predecir palabras, y la misma idea ordena hoy resultados de búsqueda, recomendaciones y detección de duplicados.

Lo que la gente entiende mal

  • Los embeddings guardan la definición de una palabra. Guardan una posición aprendida del uso, no una entrada de diccionario.
  • Coincidir significa compartir palabras clave. Los embeddings coinciden por significado, así que 'coche' y 'automóvil' quedan cerca sin compartir letras.
  • Un embedding es el significado verdadero de una palabra. El significado cambia con el contexto, que es lo que después ajusta la atención.

Dónde lo ves en productos reales

  • La búsqueda semántica ordena por cercanía de vectores.
  • El RAG usa embeddings para traer los documentos más relacionados con una pregunta.
  • Las recomendaciones y la deduplicación agrupan elementos que quedan cerca en el espacio de vectores.

Preguntas frecuentes

¿Cuál es la diferencia entre un token y un embedding?
Un token es un trozo de texto con un número de id, un símbolo. Un embedding es la lista de números que el modelo aprendió a asociar a ese id: una posición en un espacio de significado. El token dice qué palabra es, el embedding carga lo que el modelo sabe de ella.
¿Cuántos números tiene un embedding?
De cientos a unos miles. Los modelos de retrieval pequeños usan 384 o 768 dimensiones, los grandes varios miles. Más dimensiones pueden guardar distinciones más finas y cuestan más de almacenar y comparar, por eso muchos sistemas eligen un modelo pequeño a propósito.
¿Puedo comparar embeddings de dos modelos distintos?
No. Cada modelo aprende su propio espacio, así que la misma frase cae en un lugar sin relación en las coordenadas del otro. Si cambias de modelo de embeddings, tienes que volver a generar todo lo que tenías guardado.
¿Qué es la similitud coseno?
La similitud coseno mide cuánto apuntan dos vectores en la misma dirección, sin importar su largo. Vale 1 cuando apuntan igual, 0 cuando no tienen relación y menos 1 cuando son opuestos. Es la forma más común de decidir qué embeddings están cerca en significado.
¿Un embedding es lo mismo que una base de datos vectorial?
No. Un embedding es un vector que representa un contenido. Una base de datos vectorial es donde guardas millones de ellos y buscas rápido los más cercanos. El modelo de embeddings crea los vectores, la base de datos encuentra las coincidencias más próximas.

Explicadores relacionados

Más en Fundamentos

Una idea a la vez, en tu correo

Lecciones y explicadores nuevos, escritos como están escritas estas páginas. De vez en cuando, no a diario, y nunca una secuencia de venta.

Primero te enviamos un enlace de confirmación. Puedes darte de baja con un clic, cuando quieras. Privacidad.

Parte de See How AI Works, un curso interactivo gratuito, donde aprendes cómo funciona la IA moderna operándola, no viendo videos.