Del vector de vuelta a una palabra
El bloque devuelve un vector, no una palabra. ¿Cómo se convierte en el siguiente token?
La idea que hay dentro
El unembedding le da una puntuación a cada palabra del vocabulario (sus logits); softmax convierte esas puntuaciones en las probabilidades entre las que se elige.
Después de esta lección
Puedes explicar cómo el vector final se convierte en la siguiente palabra: el unembedding puntúa cada palabra, softmax genera probabilidades, y luego se elige una.
Adónde lleva
Ya viste cada pieza, y cómo elige una palabra. Ahora encuentra la que está rota.
Dentro de esta lección
Ese es el escenario real de la lección, en pausa. Reclama tu pase para operarlo.
Mira cómo funciona la IA de verdad, de principio a fin.
Esta lección es solo una parada del arco completo. Desbloquéalo todo y consérvalo de por vida.
Lo que obtienes
- El camino principal de 34 lecciones, una ruta que sí se termina, de una palabra a los agentes
- Rutas por objetivo para usar IA en el trabajo y construir funciones con IA
- Labs de jefe que te hacen aplicar un acto entero, no solo reconocerlo
- Repaso espaciado que trae cada idea de vuelta antes de que la olvides
- Memoria del curso: cada término definido, con enlaces a donde aparece por primera vez
- Una tarjeta de capacidades para compartir cuando termines el camino principal
- Acceso de por vida en cualquier dispositivo, con todas las lecciones futuras incluidas
No son videos para mirar. Predices, operas la máquina y luego lo demuestras. Por eso se queda.
99 lecciones y retos interactivos. Sin videos, sin código.
Pase de lanzamiento gratis: acceso de por vida, sin tarjeta
¿Nuevo por aquí? Las primeras lecciones son gratis para probar. Empieza con la lección 0.1
Qué muestra esta lección
El unembedding le da una puntuación a cada palabra del vocabulario (sus logits); softmax convierte esas puntuaciones en las probabilidades entre las que se elige.
La pregunta con la que abre
El bloque devuelve un vector, no una palabra. ¿Cómo se convierte en el siguiente token?
El recorrido, en palabras de la propia lección
- Así que el vector tiene que convertirse en puntuaciones. Mira cómo.
- El bloque devuelve este vector. Predice cómo se convierte en una palabra.
- Cada palabra recibe una puntuación, su logit. Ganan las palabras de comida.
- Softmax convierte esas puntuaciones crudas en probabilidades que suman 100%.
- Elige la palabra de arriba, agrégala, y toda la máquina corre otra vez.
- Este vector es el significado del modelo hasta ahora. ¿Cómo se convierte en una palabra?
- No hay tabla de búsqueda. El vector se compara contra cada palabra que el modelo conoce, una puntuación por cada una.
- Cada puntuación es un logit: el vector final multiplicado (dot product) con la fila de esa palabra en el unembedding. Es el espejo del embedding de 1.1: las palabras se volvieron vectores, ahora un vector se vuelve puntuaciones. Esas filas también se aprendieron en el entrenamiento.
- Softmax aplasta los logits crudos en probabilidades: cada palabra recibe una parte del 100%, y una puntuación más alta se lleva una parte mucho mayor. Ahora son probabilidades.
- El círculo se cierra. Un vector se volvió una puntuación por palabra, luego probabilidades, luego una elección. Agrega esa palabra y toda la pila corre otra vez para la siguiente.
- El vocabulario de un modelo tiene ~100,000 palabras. ¿Qué tiene que pasar por cada token que escribe?
- En cada paso, el vector final se puntúa contra las ~100,000 palabras (el unembedding), softmax lo convierte en probabilidades, se elige y agrega una palabra, y luego toda la pila corre otra vez. Esa puntuación por palabra es una multiplicación de matrices completa más, en cada token.
- Haz eso para cada palabra, y tienes una puntuación por cada una. Eso es el unembedding.
La idea clave
Puedo cerrar el círculo: un vector se convierte en una puntuación por palabra, y luego en una elección.
Qué puedes hacer después de esta lección
Puedes explicar cómo el vector final se convierte en la siguiente palabra: el unembedding puntúa cada palabra, softmax genera probabilidades, y luego se elige una.
Ponte a prueba: El bloque transformer produce un vector. ¿Cómo se convierte en la siguiente palabra?
- Puntuar cada palabra (logits), softmax a probabilidades, y luego elegir una(correcta)
- Buscar la palabra en un diccionario
- Devolver el vector al usuario tal cual
- Elegir la palabra cuyo vector sea más largo
El vector final se puntúa contra cada palabra (el unembedding da un logit por cada una), softmax convierte esos logits en probabilidades, y se elige una palabra. Luego todo se repite.
Adónde lleva: Ya viste cada pieza, y cómo elige una palabra. Ahora encuentra la que está rota.
Este es el resumen escrito. La lección en sí es interactiva: arriba predices, arrastras y operas el mecanismo, y la revelación te responde.