Explicador en lenguaje claro
Softmax, explicado
¿Qué hace softmax y dónde lo usa un LLM?
Softmax convierte una lista de puntuaciones crudas en porcentajes que suman 100. Exagera las diferencias: una puntuación apenas por delante se vuelve una porción muy por delante, y las bajas se encogen hacia cero sin llegar a tocarlo. Los modelos de lenguaje lo usan en los dos lugares que más importan: en la salida, para convertir puntuaciones de palabras en las probabilidades de la siguiente palabra, y dentro de attention, para decidir cuánto aporta cada palabra anterior a la actual.
No te quedes en leerlo. Opera tú mismo el mecanismo en una lección interactiva corta.
Míralo funcionar: Cómo la atención mezcla el significado →Gratis, sin código, sin registro.
Lo que la gente entiende mal
- Softmax elige al ganador. Solo convierte puntuaciones en porciones. La elección, muestrear o tomar la primera, viene después.
- Los porcentajes son la confianza del modelo sobre hechos. Describen texto probable, no verdad, y por eso una respuesta errónea puede llevar una porción alta.
- Es un detalle oscuro. El control de temperatura que ves en los productos funciona remodelando puntuaciones justo antes de este paso.
Dónde lo ves en productos reales
- Las APIs que devuelven logprobs te muestran las porciones que produjo softmax.
- El ajuste de temperatura es aritmética aplicada justo antes de softmax.
- Los mapas de calor de attention en las visualizaciones son porciones de softmax pintadas como color.
Explicadores relacionados
Parte de See How AI Works, un curso interactivo gratuito, donde aprendes cómo funciona la IA moderna operándola, no viendo videos.