La ventana de contexto: por qué tu chat se vuelve olvidadizo
La ventana de contexto es todo lo que un LLM puede procesar a la vez. Entiende por qué falla con textos largos y aprende tres técnicas para mantener el control.
Piensa en la ventana de contexto como un escritorio: los tokens son las hojas visibles encima. Si el escritorio tiene espacio para 10 hojas y colocas 20, ¿cómo decides cuáles mirar? El modelo se enfrenta al mismo problema. Tu trabajo es elegir las hojas correctas, mantener el escritorio ordenado y saber cuándo reorganizarlo en una ventana nueva.
¿Qué es la ventana de contexto?
Es la cantidad total de información que un LLM puede procesar a la vez en una sola interacción. Incluye todos los mensajes de la conversación (los tuyos y los del modelo), las instrucciones iniciales o de sistema y los archivos que subas. Se mide en tokens y se llena tanto alargando un chat como subiendo documentos.
Atención y tokens
El mecanismo de atención es lo que separa a un LLM de un teclado predictivo: pondera la importancia de cada palabra del prompt para captar la intención y el significado. Pero la atención es un recurso finito: cuanto más contenido hay en la ventana, más se diluye.
Los tokens son la unidad con la que el modelo lee tu prompt, y no equivalen a palabras una a una. Durante el entrenamiento el modelo aprende dónde "cortar" el lenguaje, como un cocinero que sabe cómo rebanar cada ingrediente. Por ejemplo, en español "¿" y "?" son tokens separados porque cada uno aporta significado. Regla práctica en inglés: 1 token ≈ ¾ de palabra.
| Modelo (según la clase) | Ventana | Equivalente aproximado |
|---|---|---|
| ChatGPT | 128.000 tokens | ~300 páginas de libro |
| Gemini | 1.000.000 tokens | más de 120.000 páginas |
Son límites aproximados que cambian según el modelo y la versión. Más capacidad ayuda, pero no lo resuelve todo.
Por qué los LLM fallan con contextos largos
El problema se llama aguja en un pajar (needle in a haystack): con demasiada información, el modelo debe encontrar un dato concreto entre miles de páginas. La atención se diluye y sube el riesgo de alucinación. Incluso los modelos con ventanas enormes pierden eficiencia más allá de ~128.000 tokens.
Las tres fallas más comunes:
- Alucinar u olvidar información del documento que estás analizando.
- Mezclar tareas o roles. Ejemplo: primero pides "actúa como investigador del calentamiento global" y luego "actúa como community manager", y el modelo mezcla ambos.
- Olvidar las instrucciones iniciales. Ejemplo: pediste resúmenes de 500 palabras, pragmáticos y accionables, y poco a poco vuelve a respuestas largas y poéticas.
¿Por qué olvida instrucciones? Porque la atención da más peso al final del prompt. A medida que el chat crece, las instrucciones tempranas pierden peso frente a los mensajes recientes.
Tres técnicas de optimización
Técnica 1: pon lo importante al final. El LLM da más peso a la última parte del prompt, así que en un chat largo repite los factores clave justo antes de la nueva tarea.
Técnica 2: usa señales que tu idioma ya entiende. Si algo tiene significado en el lenguaje humano, lo tiene también para el LLM:
- MAYÚSCULAS para enfatizar instrucciones críticas.
- Repetición de información clave en distintos puntos.
- Signos de exclamación para marcar urgencia o importancia.
Técnica 3: detecta contradicciones y empieza un chat limpio. Haz preguntas de verificación (por ejemplo, "¿qué departamentos cubriste?"). Si la respuesta es incompleta o inconsistente, lleva la información útil hasta ese punto a un chat nuevo con la ventana limpia y retoma la tarea allí.
Resume el informe de cada departamento en 500 palabras, de forma pragmática y accionable.
RECUERDA: son 5 DEPARTAMENTOS. Cubre los cinco, sin omitir ninguno.Qué subir a un LLM
Regla de oro: incluye solo lo necesario para resolver el problema. La información de más dispara el problema de la aguja en el pajar y aumenta la probabilidad de alucinaciones.
Checklist rápido
- ¿Cada archivo y mensaje que incluyo es necesario para esta tarea?
- ¿Mis instrucciones críticas están al final del prompt?
- ¿Enfaticé las reglas clave (mayúsculas, repetición, "!")?
- ¿Estoy cambiando de rol o de tarea a mitad del chat? Si es así, empieza un chat nuevo.
- ¿La salida está incompleta o ignora instrucciones anteriores? Verifica y reinicia con una ventana limpia.
Ideas clave
- La ventana de contexto es todo lo que el modelo procesa a la vez, y crece con cada turno.
- La atención es finita: más contenido significa más dilución.
- El final del prompt pesa más: repite ahí lo crítico.
- Sube solo lo necesario y no cambies de rol a mitad del chat.
- Si la salida es incompleta o contradictoria, verifica y empieza un chat limpio.