La ventana de contexto, explicada

¿Qué es exactamente la ventana de contexto?

La ventana de contexto es la cantidad de texto que un modelo puede considerar a la vez, medida en tokens, los fragmentos de palabra que los modelos leen en realidad. Cada petición tiene un máximo fijo, y lo que no cabe simplemente no existe para el modelo mientras escribe. Es su memoria de trabajo: no lo que sabe por su entrenamiento, ni una transcripción guardada, solo lo que tiene enfrente ahora mismo.

Todo comparte ese único presupuesto. Las instrucciones ocultas que agrega el producto, la conversación completa hasta ahora, los documentos que pegaste, los resultados de herramientas como la búsqueda web y la respuesta que el modelo va escribiendo salen del mismo fondo. Entrada y salida son un solo presupuesto, y por eso pegar un archivo enorme puede dejar muy poco espacio para una respuesta larga.

La parte sin estado sorprende. El modelo no conserva nada entre peticiones. Cada vez que envías un mensaje, el producto reenvía el historial visible y el modelo lo relee todo desde cero antes de predecir los siguientes tokens. Lo que se siente como memoria es repetición. Y cuando algo ya no cabe y se descarta, no queda archivado en ningún lugar al alcance del modelo. Desaparece.

¿Qué tan grandes son las ventanas de contexto ahora?

El crecimiento fue empinado. GPT-2 salió en 2019 con una ventana de 1,024 tokens. ChatGPT se lanzó a fines de 2022 con unos 4,000. En 2023 la familia GPT-4 fue de 8k a 128k, y entre 2024 y 2025, 128k a 200k se volvió el estándar cotidiano mientras llegaban los primeros modelos de un millón de tokens. A mediados de 2026, los modelos insignia de los grandes laboratorios anuncian ventanas de alrededor de un millón de tokens, con el largo de la respuesta limitado por separado, a menudo cerca de 128k tokens.

Para convertir tokens en algo tangible, usa la regla práctica estándar: un token promedia unos cuatro caracteres de inglés, así que 100 tokens son unas 75 palabras. El código, las palabras raras y la mayoría de los idiomas no ingleses cuestan más tokens por palabra, así que la misma ventana les alcanza para menos.

¿Qué llena la ventana en un producto real?

Mucho más que tu mensaje. Delante de lo que escribes, un producto de chat apila un system prompt con instrucciones de tono, formato, reglas de seguridad y la fecha actual, más tu memoria guardada si el producto tiene esa función. Si el asistente puede usar herramientas, el nombre, la descripción y los parámetros de cada herramienta también van escritos en la ventana como texto. En un asistente completo, ese costo fijo puede llegar a miles de tokens antes de que digas una palabra.

Después viene lo dinámico. La conversación visible completa se reenvía en cada turno. Si el producto hace recuperación, lo que se conoce como RAG, los pasajes que trajo de tus documentos se pegan adentro. Y cuando un modelo usa herramientas, cada resultado, una página web, un archivo, la salida de un comando, cae en la ventana como más texto. En productos con agents, los resultados de herramientas suelen ser de lejos lo que más consume la ventana, muy por encima de lo que tú escribiste.

Por eso ahora se habla de ingeniería de contexto: recortar salidas de herramientas, resumir turnos viejos, recuperar solo los fragmentos más relevantes. Cada token de plomería es un token que no queda disponible para tu problema, y como toda la ventana se reprocesa en cada turno, el desperdicio también cuesta dinero real, suavizado en la práctica por el prompt caching.

¿Qué pasa cuando la conversación supera la ventana?

Algo tiene que salir. Una petición cruda a la API que excede el límite se rechaza con un error. Los productos de chat lo evitan haciendo espacio en silencio: algunos mantienen una ventana deslizante con solo los turnos más recientes, otros llevan un resumen continuo que reemplaza los mensajes viejos con una recapitulación corta. En ambos casos el modelo responde como si lo recortado nunca hubiera pasado, y justo por eso un chat largo recuerda perfecto los últimos mensajes y pierde lo que acordaron hace una hora.

Los agentes lo hacen a propósito y lo llaman compactación. Un agente de código que lleva una hora leyendo archivos y corriendo comandos se va a acercar al techo a mitad de la tarea, así que el harness pausa, le pide al modelo un resumen denso de la sesión, conserva los pasos recientes tal cual y continúa desde ahí. Funciona, pero el resumen de un resumen se vuelve borroso, así que los agentes bien construidos también escriben el estado importante en archivos que viven fuera de la ventana.

La otra salida es no llenar la ventana desde el principio. La recuperación mantiene tus documentos fuera del modelo y pega solo los pasajes relevantes para la pregunta actual. Y si quieres sentir la mecánica, la lección interactiva de este sitio te deja ver cómo una ventana se llena turno a turno y qué mensajes se caen primero.

¿Por qué una ventana más grande no sale gratis?

Primero, el cómputo. Para escribir cada token nuevo, la attention lo compara contra los tokens que ya están en la ventana, así que el trabajo sube empinado con el largo, cuadrático en el diseño básico del transformer. Servir un contexto largo también implica guardar un estado de trabajo por token llamado KV cache, que en modelos grandes puede ocupar decenas de gigabytes de memoria del acelerador con la ventana llena. Lo sientes como latencia, los prompts largos esperan un buen rato antes de la primera palabra, y como precio: pagas por token de entrada, y a mediados de 2026 algunos proveedores cobran aproximadamente el doble por token cuando una petición cruza un umbral como 200k.

Segundo, la confiabilidad. La ventana anunciada es una promesa de capacidad, no de comprensión. Investigadores de Stanford mostraron en 2023 que los modelos aprovechan mucho mejor la información al inicio y al final de un contexto largo que la enterrada en el medio, con caídas de decenas de puntos de precisión en la misma pregunta. El hallazgo se conoce como lost in the middle, perdido en el medio. Benchmarks posteriores como RULER midieron que el largo efectivo de muchos modelos es una fracción del anunciado, y un benchmark de 2025 llamado NoLiMa encontró a la mayoría de los modelos probados por debajo de la mitad de su precisión de contexto corto ya a los 32k tokens cuando la pregunta dejaba de compartir palabras con el texto.

Un informe de julio de 2025 de Chroma le puso nombre a la versión cotidiana: context rot, el deterioro del contexto. De los 18 modelos de frontera que probó, todos sin excepción se volvieron menos confiables a medida que crecía la entrada, incluso en tareas deliberadamente simples. Una ventana de un millón de tokens es capacidad real. No es un millón de tokens de atención plena.

¿Cómo trabajas con la ventana en vez de contra ella?

Las reglas prácticas salen directo de la mecánica. Un chat largo no falla solo cuando se desborda. Se degrada antes, porque cada turno viejo es una distracción más que compite por la atención del modelo y un aporte más al context rot.

• Abre un chat nuevo cuando cambies de tarea. Arrastrar una hora de historial ajeno en cada petición cuesta dinero, latencia y precisión, y no te compra nada.
• ¿Cierras una sesión larga a mitad de proyecto? Pide un resumen corto de decisiones y pendientes, y pégalo en el chat fresco.
• Pon lo importante en los bordes. Las instrucciones clave y la pregunta real rinden mejor al inicio o al final de un prompt largo, no enterradas en el medio.
• Pega la sección relevante, no el documento entero. Diez párrafos bien elegidos suelen ganarle a trescientas páginas quizá relevantes.
• En herramientas de agentes, mira el medidor de contexto y compacta en una pausa natural, sin dejar que se dispare a mitad de un trabajo delicado.
• Para datos que el modelo siempre debería saber, usa la memoria o las instrucciones personalizadas del producto en vez de reescribirlos en cada conversación.

Lo que la gente entiende mal

Dónde lo ves en productos reales

Preguntas frecuentes

Explicadores relacionados

Más en Fundamentos