Descenso de gradiente: rodar cuesta abajo
Millones de perillas: ¿cómo ajustarlas todas?
La idea que hay dentro
Sigue la pendiente de la pérdida cuesta abajo.
Después de esta lección
Puedes explicar cómo funciona el entrenamiento: rodar cuesta abajo, y por qué importa el tamaño del paso.
Adónde lleva
Ajustamos las perillas para predecir mejor, ¿pero de dónde salió el mapa de significados de la lección 1.1?
Dentro de esta lección
Ese es el escenario real de la lección, en pausa. Reclama tu pase para operarlo.
Mira cómo funciona la IA de verdad, de principio a fin.
Esta lección es solo una parada del arco completo. Desbloquéalo todo y consérvalo de por vida.
Lo que obtienes
- El camino principal de 34 lecciones, una ruta que sí se termina, de una palabra a los agentes
- Rutas por objetivo para usar IA en el trabajo y construir funciones con IA
- Labs de jefe que te hacen aplicar un acto entero, no solo reconocerlo
- Repaso espaciado que trae cada idea de vuelta antes de que la olvides
- Memoria del curso: cada término definido, con enlaces a donde aparece por primera vez
- Una tarjeta de capacidades para compartir cuando termines el camino principal
- Acceso de por vida en cualquier dispositivo, con todas las lecciones futuras incluidas
No son videos para mirar. Predices, operas la máquina y luego lo demuestras. Por eso se queda.
99 lecciones y retos interactivos. Sin videos, sin código.
Pase de lanzamiento gratis: acceso de por vida, sin tarjeta
¿Nuevo por aquí? Las primeras lecciones son gratis para probar. Empieza con la lección 0.1
Qué muestra esta lección
Sigue la pendiente de la pérdida cuesta abajo.
La pregunta con la que abre
Millones de perillas: ¿cómo ajustarlas todas?
El recorrido, en palabras de la propia lección
- Agarra la pelota. Arrástrala por la colina y mira cómo la flecha de la pendiente se voltea.
- Estás parado en algún punto de la colina. Haz una apuesta antes de rodar.
- Mira una corrida: cada paso baja por la pendiente según tasa × pendiente.
- Ahora conduces tú. Agarra la pelota para empezar donde quieras, luego arrastra el tamaño del paso.
- Una perilla es un número dentro del modelo. Mover la coordenada izquierda-derecha de gato del Acto 1 es girar una perilla; el modelo tiene millones.
- Millones de perillas: no puedes revisarlas todas. Pero siempre puedes sentir hacia dónde está lo
- La lección pasada, la pérdida era tu marcador: más baja significa menos sorpresa. Imagínala como altura en una colina: una mala suposición te deja muy arriba, una buena te baja. Esta curva es esa altura, dibujada para una perilla a la vez.
- Estás en algún punto de la colina de la pérdida y no ves todo el paisaje. ¿Qué puedes averiguar de verdad, justo donde estás parado?
- Tentador, pero hay millones de perillas: probar cada combinación tardaría más de lo que ha durado el universo. Demasiado lento.
- Los picotazos al azar vagan para siempre sin noción de mejor o peor. Hay una señal más lista escondida bajo tus pies.
- Exacto. Puedes medir la pendiente, qué tan empinada está la pérdida en tu punto, y dar un paso en sentido contrario. Esa dirección es el gradiente.
- La flecha ámbar apunta cuesta abajo: esa es la pendiente, el gradiente. La pelota da un paso en esa dirección, la pérdida baja, y se frena a medida que la colina se aplana cerca del fondo.
- Eso es todo el entrenamiento: mide la pérdida, encuentra la pendiente, da un paso cuesta abajo y repite. Un paso muy grande se pasa de largo; uno muy pequeño avanza a paso de tortuga.
- Haz esto en millones de perillas a la vez, cada una en su propia colina, todas rodadas en paralelo, y todo el modelo mejora.
- Entrenar un modelo tipo GPT toma meses en miles de computadoras. ¿Qué hacen todas durante todo ese tiempo?
- Este mismo movimiento diminuto: medir el loss, sentir la pendiente, ajustar cada perilla, repetido billones de veces sobre el texto de todo internet. La pelota que rodaste es una perilla de millones ajustadas a la vez. El tamaño del paso sigue importando a esa escala: muy grande y el entrenamiento explota, muy pequeño y los meses se vuelven años.
- Estamos mirando solo UNA de los millones de perillas.
- Cada perilla tiene su propia colina, todas rodadas a la vez.
La idea clave
Entrenar es simplemente ir cuesta abajo.
Qué puedes hacer después de esta lección
Puedes explicar cómo funciona el entrenamiento: rodar cuesta abajo, y por qué importa el tamaño del paso.
Ponte a prueba: ¿Cómo mejora realmente el entrenamiento al modelo?
- Sigue la pérdida cuesta abajo (descenso de gradiente)(correcta)
- Agrega más frases de ejemplo a mano
- Sube la temperatura
- Reinicia desde cero en cada paso
Cada paso empuja los pesos en la dirección que baja la loss, un pasito cuesta abajo. Repítelo miles de millones de veces y las predicciones se vuelven buenas.
¿Prefieres leer primero? Esta lección tiene un explicador de compañía: Descenso de gradiente
Adónde lleva: Ajustamos las perillas para predecir mejor, ¿pero de dónde salió el mapa de significados de la lección 1.1?
Este es el resumen escrito. La lección en sí es interactiva: arriba predices, arrastras y operas el mecanismo, y la revelación te responde.