Saltar al contenido

Explicador en lenguaje claro

Entrenamiento e inferencia, las dos mitades de la IA

¿Cuál es la diferencia entre entrenamiento e inferencia?

El entrenamiento es donde se aprenden los números: el modelo lee cantidades enormes de texto, se equivoca, y cada peso se ajusta para fallar menos. Ocurre una vez, cuesta una fortuna y se detiene. La inferencia es cada vez que usas el resultado: los pesos están congelados y se leen, no se cambian. Nada de lo que escribes durante la inferencia se aprende. Ese solo hecho explica por qué el modelo no sabe las noticias de hoy, por qué olvida tu conversación anterior y por qué se cobra por token.

Revisado por última vez el

No te quedes en leerlo. Opera tú mismo el mecanismo en una lección interactiva corta.

Míralo funcionar: Del internet a tu respuesta

Gratis, sin código, sin registro.

Lo que la gente entiende mal

  • El modelo sigue aprendiendo de tus chats. Los pesos están congelados en la inferencia. Todo lo que parece recordar se lo volvió a pegar el producto en el prompt.
  • El entrenamiento es la parte cara. Es un gasto enorme de una vez, y en un producto popular el costo acumulado de servir respuestas lo supera.
  • Un modelo se puede actualizar con datos nuevos sin más. Cambiar pesos significa una corrida de entrenamiento; por eso la información actual llega por retrieval y herramientas.

Dónde lo ves en productos reales

  • La fecha de corte de conocimiento en la descripción del propio modelo.
  • El precio por token de las APIs, que es un precio solo de la inferencia.
  • Un chat que te olvida entre sesiones salvo que el producto guarde notas y las vuelva a pegar.

Preguntas frecuentes

¿El modelo aprende de mi conversación?
Durante la conversación, no. Los pesos no cambian en la inferencia. El proveedor puede después usar las conversaciones recogidas para entrenar una versión futura, que es una decisión aparte regida por su configuración de datos, no algo que pase en vivo en tu chat.
¿Por qué el entrenamiento necesita tanto más hardware?
El entrenamiento procesa lotes enormes y tiene que guardar gradientes y estado del optimizador para cada peso, varias veces el tamaño del propio modelo. La inferencia solo lee los pesos hacia adelante. Por eso el entrenamiento corre en clusters grandes durante meses y una respuesta corre en una fracción de eso.
¿Y entonces qué es el fine-tuning?
Una ronda de entrenamiento pequeña y tardía sobre un conjunto de datos concreto, después del preentrenamiento caro. Cambia pesos, así que es entrenamiento, pero a una escala que un equipo chico puede pagar. Cuando termina, usar el resultado vuelve a ser inferencia.

Explicadores relacionados

Más en Fundamentos

Parte de See How AI Works, un curso interactivo gratuito, donde aprendes cómo funciona la IA moderna operándola, no viendo videos.