Entrenamiento e inferencia, las dos mitades de la IA

¿Qué cambia exactamente durante el entrenamiento?

Un modelo de lenguaje es, físicamente, una lista gigante de números llamados pesos, miles de millones. Al inicio del entrenamiento son aleatorios y las predicciones del modelo son basura. El entrenamiento le muestra al modelo un pedazo de texto con el siguiente token oculto, lo deja adivinar, mide qué tan equivocado estuvo, y luego empuja cada peso un paso diminuto en la dirección que habría hecho el error más chico. Ese ciclo es el descenso de gradiente, y se repite billones de veces sobre una montaña de texto.

El hecho mecánico que define la fase: los pesos cambian. Cada paso de entrenamiento es una escritura. Nada se guarda como frases o datos que puedas señalar. Lo que se acumula es un moldeado lento de los mismos miles de millones de números, hasta que los patrones del lenguaje, y con ellos mucho conocimiento del mundo, quedan impresos en sus valores.

El entrenamiento además carga con mucha contabilidad. Para saber hacia dónde empujar cada peso, el sistema guarda gradientes y estado del optimizador junto a los pesos, lo que en montajes estándar ocupa varias veces la memoria del propio modelo. Esa es buena parte de la razón por la que entrenar necesita un cluster y responderte no. Cuando la corrida termina, la contabilidad se descarta y los pesos se escriben a disco. Ese archivo de números congelados es el modelo.

¿Qué pasa en la inferencia, si los pesos nunca cambian?

La inferencia es todo lo que viene después: cada vez que mandas un prompt, los pesos se leen, nunca se escriben. Tu texto se convierte en tokens, los tokens fluyen hacia adelante por las capas, y sale un puntaje para cada posible siguiente token. Uno se elige, se agrega al texto, y la pasada completa se repite para el token siguiente, hasta que la respuesta termina. Es lectura pura, una pasada hacia adelante por cada token generado.

Las consecuencias salen solas. El modelo no puede absorber datos nuevos de tu conversación, porque aprender significa cambiar pesos y la inferencia nunca los toca. Su conocimiento se detiene en la fecha de corte del entrenamiento. Te olvida entre sesiones salvo que el producto guarde notas y las vuelva a pegar en el prompt. Cuando un chatbot parece recordar tus preferencias, eso es una función del producto envuelta alrededor de un modelo congelado, no el modelo aprendiendo.

La frontera entre las fases es nítida, pero se puede cruzar a propósito. El fine-tuning es un regreso deliberado al entrenamiento: una corrida corta y comparativamente barata sobre un conjunto de datos concreto que sí cambia los pesos, y luego los vuelve a congelar. Lo que no pasa en los productos comunes, a mediados de 2026, es aprendizaje en vivo de tus chats. La lección interactiva de este sitio te deja correr las dos mitades: empujas pesos cuesta abajo para corregir una predicción fallida, luego los congelas y ves a los mismos números responder un prompt.

¿Qué tan distinto es el hardware de entrenamiento y el de inferencia?

Entrenar un modelo de frontera es un solo trabajo enorme y sincronizado. El modelo y su contabilidad se rebanan entre decenas de miles de chips aceleradores que deben intercambiar actualizaciones de gradiente en cada paso, así que viven en un solo cluster físico cableado con enlaces rapidísimos, corriendo semanas o meses. Meta reporta unos 31 millones de horas-GPU en chips H100 para entrenar Llama 3.1 405B, sobre hasta unas 16,000 GPUs a la vez, y los clusters de entrenamiento más grandes reportados en 2026 pasan de 100,000 chips.

La inferencia tiene la forma opuesta. Una respuesta necesita solo el hardware suficiente para sostener los pesos y leerlos en flujo, típicamente una sola máquina con un puñado de chips. Un proveedor atiende a millones de usuarios corriendo miles de copias independientes del modelo, repartidas en centros de datos cerca de esos usuarios. Nada se sincroniza con nada. El entrenamiento es una computación gigante. La inferencia es un enjambre de computaciones chicas.

Los cuellos de botella también difieren. El entrenamiento quiere aritmética bruta y enlaces veloces entre chips. Generar texto está limitado sobre todo por el ancho de banda de memoria: para producir cada token, el chip saca de la memoria los pesos activos del modelo, así que importa más qué tan rápido la memoria alimenta al procesador que qué tan rápido multiplica. Por eso existen chips enfocados en inferencia, de los TPU de Google a Inferentia de AWS y los procesadores de Groq, afinados para servir respuestas barato y no para entrenar nada.

¿Qué cuesta más, el entrenamiento o la inferencia?

Por evento, no hay competencia. Una corrida de entrenamiento de frontera está entre las computaciones individuales más caras jamás ejecutadas. El AI Index de Stanford, con estimaciones de Epoch AI, puso el cómputo de entrenamiento de GPT-4 en unos US$80 millones y el de Gemini Ultra en unos US$190 millones, y ejecutivos de los laboratorios han hablado abiertamente de corridas de mil millones de dólares. Una petición de inferencia le cuesta al proveedor mucho menos: fracciones de centavo para una respuesta corta de un modelo chico, y de centavos a algunos dólares para una respuesta larga con razonamiento de uno de frontera.

Pero el entrenamiento se paga más o menos una vez, y la inferencia se paga en cada petición, para siempre, escalando con tus usuarios. Un producto exitoso responde miles de millones de prompts al día, una cifra que OpenAI reportó cruzar en 2025 solo con ChatGPT. Las estimaciones de la industria suelen poner la inferencia en 80 a 90 por ciento del costo de cómputo de por vida de un sistema de IA en producción. La fortuna de una sola vez pierde contra el goteo que nunca para.

La tabla muestra la asimetría en números redondeados a mediados de 2026. Las cifras exactas se mueven todo el tiempo. La forma no.

¿Por qué la inferencia se está quedando con la cuenta total de cómputo?

Durante años la historia del cómputo de IA fue el entrenamiento: corridas más grandes en clusters más grandes. Luego los productos consiguieron usuarios y el balance se volteó. Deloitte ha estimado que la inferencia era cerca de un tercio del cómputo de IA en 2023, cerca de la mitad en 2025 y alrededor de dos tercios en 2026, y Gartner proyecta que la mayoría del gasto en infraestructura de IA sostiene inferencia de 2026 en adelante. La razón es mecánica. El entrenamiento crece con el número de modelos nuevos. La inferencia crece con el número de usos, y los usos crecen mucho más rápido.

Los modelos de razonamiento aceleraron el volteo. Un modelo de razonamiento gasta cómputo extra al momento de responder, generando una cadena de pensamiento oculta antes de contestar, así que una pregunta difícil puede quemar miles de tokens en lugar de unos cientos. Los investigadores lo llaman test-time compute, cómputo en el momento de la respuesta: capacidad comprada en la inferencia en vez de en el entrenamiento. En el extremo, una corrida de benchmark muy reportada de un modelo de razonamiento de OpenAI en su ajuste más alto gastó cómputo por miles de dólares en una sola tarea. Todo eso es inferencia.

Los agents lo multiplican otra vez. Un agent que atiende una petición puede llamar al modelo docenas de veces mientras lee archivos, navega y reintenta, y cada paso es más inferencia. En términos contables, la apuesta de la industria por razonamiento y agents mueve todavía más de la cuenta total de una línea de entrenamiento de una sola vez a una línea de inferencia por uso. Por eso los centros de datos nuevos se describen cada vez más como capacidad de inferencia y no de entrenamiento.

¿Por qué servir respuestas rápido es su propio problema de ingeniería?

El entrenamiento no tiene a nadie esperando. Si un paso tarda un segundo más, nadie lo nota. La inferencia tiene a un humano mirando una pantalla vacía, así que se juzga con dos relojes: el tiempo hasta el primer token, y los tokens por segundo después. Los equipos que sirven modelos viven dentro de un intercambio entre la latencia de un usuario y el rendimiento de todos, y dos técnicas dominan el campo.

El batching. Producir un token significa sacar de la memoria los pesos activos del modelo, y hacerlo para un solo usuario deja ociosa casi toda la aritmética del chip. Así que los sistemas de serving pasan juntas las peticiones de muchos usuarios por el modelo, compartiendo cada lectura de los pesos entre todo el lote, y el batching continuo agrega y quita peticiones en pleno vuelo para mantener el chip lleno. Es la razón principal de que servir a millones de usuarios no requiera millones de GPUs.

El KV cache. La atención necesita los vectores Key y Value de cada token anterior de la conversación. Recalcularlos para cada token nuevo haría que los chats largos se arrastraran, así que el servidor los guarda en caché y cada token nuevo computa solo contra ese caché. El precio es memoria: el KV cache crece con el largo del contexto y con cada usuario simultáneo, y en contextos largos puede rivalizar con los propios pesos. El prompt caching, reutilizar ese trabajo guardado entre peticiones, es la razón de que los proveedores cobren con descuento los prefijos repetidos del prompt. Nada de esta maquinaria existe en el entrenamiento. Servir es una disciplina propia.

Lo que la gente entiende mal

Dónde lo ves en productos reales

Preguntas frecuentes

Explicadores relacionados

Más en Fundamentos