Qué hace en realidad una capa neuronal
¿Qué hace en realidad el bloque 'feed-forward'?
La idea que hay dentro
Una multiplicación de matrices es una capa; rota / escala el vector.
Después de esta lección
Puedes explicar que una capa neuronal es una matriz que remodela un vector.
Adónde lleva
Apila muchas capas y la señal se pierde…
Dentro de esta lección
Ese es el escenario real de la lección, en pausa. Reclama tu pase para operarlo.
Mira cómo funciona la IA de verdad, de principio a fin.
Esta lección es solo una parada del arco completo. Desbloquéalo todo y consérvalo de por vida.
Lo que obtienes
- El camino principal de 34 lecciones, una ruta que sí se termina, de una palabra a los agentes
- Rutas por objetivo para usar IA en el trabajo y construir funciones con IA
- Labs de jefe que te hacen aplicar un acto entero, no solo reconocerlo
- Repaso espaciado que trae cada idea de vuelta antes de que la olvides
- Memoria del curso: cada término definido, con enlaces a donde aparece por primera vez
- Una tarjeta de capacidades para compartir cuando termines el camino principal
- Acceso de por vida en cualquier dispositivo, con todas las lecciones futuras incluidas
No son videos para mirar. Predices, operas la máquina y luego lo demuestras. Por eso se queda.
99 lecciones y retos interactivos. Sin videos, sin código.
Pase de lanzamiento gratis: acceso de por vida, sin tarjeta
¿Nuevo por aquí? Las primeras lecciones son gratis para probar. Empieza con la lección 0.1
Qué muestra esta lección
Una multiplicación de matrices es una capa; rota / escala el vector.
La pregunta con la que abre
¿Qué hace en realidad el bloque 'feed-forward'?
El recorrido, en palabras de la propia lección
- Esta fila de pesos multiplica el input. ¿Su salida quedará arriba, cerca de cero o abajo?
- Mira cómo la fila multiplica-y-suma, término a término, hasta dar un solo número de salida.
- Una fila de pesos, multiplicada-y-sumada con el input: la suma ponderada de 1.3.
- Apila una fila por salida. Esa pila es una matriz.
- Elige una celda de salida. Mira cómo suma una fila de pesos por el input.
- Una capa se construye sobre una matriz: la jugada clave que acabas de ver.
- Correcto: queda algo arriba. El peso + grande tira fuerte, el peso − resta, y la fila se asienta en un número nuevo. Esa remodelación es lo que hace una capa.
- En realidad queda arriba, no abajo. El peso − resta, pero el peso + grande gana, así que la suma sale positiva. Una capa remodela: amplía unas direcciones y reduce otras.
- Casi, pero el peso + grande la lleva claramente por encima de cero. El peso − solo recorta la suma. Una capa remodela el vector: amplía unas direcciones y reduce otras.
- La fila de arriba por el input, sumado: la suma ponderada de 1.3. Entra una fila, sale un número.
- Un peso puede ser negativo: esa dirección se empuja hacia abajo en lugar de hacia arriba, así que su término resta en la suma. Así es como una capa puede amplificar unas direcciones y reducir otras.
- Pesos y entrada inventados. El multiplicar y sumar es exactamente lo que hace una capa real; solo los números son inventados.
- Ya usaste esta misma multiplicación para construir Query, Key y Value a partir del embedding de una palabra. La misma maniobra, con una rejilla aprendida distinta, es también
- Una capa busca datos guardados sobre una palabra, como una entrada de diccionario que recupera.
- Una capa no guarda palabras. Solo multiplica el vector de la palabra por una cuadrícula de números, remodelándolo. Esos números son lo único que cambia el entrenamiento.
- Un ingrediente extra que veremos más adelante: un paso no lineal que permite que una pila de capas haga mucho más de lo que podría cualquier matriz por sí sola.
- La gente dice que el “conocimiento” de un modelo vive en sus pesos, y que afinar un modelo solo ajusta un poco esos números. ¿Qué son esos pesos, en concreto?
- Son los números de las matrices de pesos, exactamente las filas que acabas de multiplicar. Cada capa remodela el vector de una palabra multiplicándolo por una matriz, así que entrenar y afinar no son más que ajustar esos pesos para que la remodelación salga útil.
- Una fila de pesos por el vector de input. Predice la salida.
La idea clave
El temido matmul no es más que una transformación.
Qué puedes hacer después de esta lección
Puedes explicar que una capa neuronal es una matriz que remodela un vector.
Ponte a prueba: ¿Qué le hace una capa de red neuronal al vector de una palabra?
- Lo remodela, escalando algunas direcciones hacia arriba y otras hacia abajo(correcta)
- Busca la palabra en un diccionario guardado
- Borra las partes que no necesita
- Lo traduce a otro idioma
Una capa es un matrix multiply: remodela el vector de cada palabra, escalando algunas direcciones hacia arriba y otras hacia abajo, para que la representación lleve rasgos más útiles a la siguiente capa.
Adónde lleva: Apila muchas capas y la señal se pierde…
Este es el resumen escrito. La lección en sí es interactiva: arriba predices, arrastras y operas el mecanismo, y la revelación te responde.