Un embedding real tiene 768 números
Un mapa plano 2-D solo tiene sitio para un vecino más cercano por palabra.
La idea que hay dentro
Un embedding real es una larga lista de números (768 en GPT-2 small), no dos; la similitud es el mismo producto punto, ahora de cientos de celdas de ancho.
Después de esta lección
Puedes explicar que un embedding es una larga lista de números y que la similitud es el mismo producto punto, escalado a cientos de dimensiones.
Adónde lleva
Una palabra es una larga lista de números. Pero, ¿cómo se convierte el texto crudo en las palabras que primero embebemos?
Dentro de esta lección
Ese es el escenario real de la lección, en pausa. Reclama tu pase para operarlo.
Mira cómo funciona la IA de verdad, de principio a fin.
Esta lección es solo una parada del arco completo. Desbloquéalo todo y consérvalo de por vida.
Lo que obtienes
- El camino principal de 34 lecciones, una ruta que sí se termina, de una palabra a los agentes
- Rutas por objetivo para usar IA en el trabajo y construir funciones con IA
- Labs de jefe que te hacen aplicar un acto entero, no solo reconocerlo
- Repaso espaciado que trae cada idea de vuelta antes de que la olvides
- Memoria del curso: cada término definido, con enlaces a donde aparece por primera vez
- Una tarjeta de capacidades para compartir cuando termines el camino principal
- Acceso de por vida en cualquier dispositivo, con todas las lecciones futuras incluidas
No son videos para mirar. Predices, operas la máquina y luego lo demuestras. Por eso se queda.
99 lecciones y retos interactivos. Sin videos, sin código.
Pase de lanzamiento gratis: acceso de por vida, sin tarjeta
¿Nuevo por aquí? Las primeras lecciones son gratis para probar. Empieza con la lección 0.1
Qué muestra esta lección
Un embedding real es una larga lista de números (768 en GPT-2 small), no dos; la similitud es el mismo producto punto, ahora de cientos de celdas de ancho.
La pregunta con la que abre
Un mapa plano 2-D solo tiene sitio para un vecino más cercano por palabra.
El recorrido, en palabras de la propia lección
- Así es como el modelo guarda de verdad a rey. No un punto, una lista.
- Las celdas encendidas son donde las dos listas coinciden. Ese conteo es la puntuación.
- ¿La lista de quién se parece más a la de rey? Elige una y mira cómo se alinean.
- Elige dos palabras cualesquiera. ¿Dónde se solapan sus listas?
- Los modelos de frontera van aún más anchos: varios miles de números por token.
- Una puntuación por debajo de cero significa que las dos listas apuntan en direcciones opuestas, como en 1.3.
- En 1.3 multiplicaste dos coordenadas y las sumaste: x₁·x₂ + y₁·y₂. Aquí haces exactamente el mismo multiplica-y-suma, solo que sobre las
- Cada dirección de este espacio puede cargar un concepto: género, realeza, parque, dinero. Con cientos de direcciones, una palabra puede estar cerca de muchas a la vez, cada una en su propio eje.
- Una aclaración honesta: en un modelo real ninguna celda significa realeza o género por sí sola. Cada rasgo está repartido entre muchas celdas a la vez (los investigadores lo llaman superposición), así que unas regiones ordenadas de un solo concepto como estas son una simplificación para enseñar.
- Una palabra como “Apple” puede significar la empresa o la fruta. ¿Cómo puede un solo vector de palabra estar cerca de términos de tecnología y de términos de fruta a la vez?
- Un embedding es una lista de cientos de números, no 2, así que una palabra puede quedar cerca de términos de tecnología en un conjunto de celdas y cerca de frutas en otro. Con tantas direcciones, una palabra puede estar cerca de vecinos muy distintos al mismo tiempo.
La idea clave
Las altas dimensiones son solo una lista larga; el espacio extra deja que una palabra quede cerca de palabras distintas en direcciones distintas.
Qué puedes hacer después de esta lección
Puedes explicar que un embedding es una larga lista de números y que la similitud es el mismo producto punto, escalado a cientos de dimensiones.
Ponte a prueba: ¿Por qué un embedding real usa cientos de números en vez de dos?
- Para que una palabra pueda estar cerca de palabras distintas por direcciones distintas(correcta)
- Para que el modelo corra más rápido
- Porque cada letra necesita un número
- Para guardar cómo se escribe la palabra
Un embedding real es una lista larga (768 en GPT-2 small), así que una palabra puede quedar cerca de palabras distintas por direcciones distintas, algo que un mapa plano 2-D no puede hacer.
Adónde lleva: Una palabra es una larga lista de números. Pero, ¿cómo se convierte el texto crudo en las palabras que primero embebemos?
Este es el resumen escrito. La lección en sí es interactiva: arriba predices, arrastras y operas el mecanismo, y la revelación te responde.