Los planes no persisten: Por qué la gestión del contexto es fundamental para los agentes de LLM

Resumen

Los agentes de horizonte largo dependen de la gestión de contexto: los sistemas comprimen, resumen y eliminan tokens antiguos para que las tareas puedan continuar más allá de ventanas finitas. Esto solo es seguro cuando la información descartada ya no es necesaria o ha sido internalizada. Los planes representan el caso crítico: se redactan al inicio, se utilizan durante muchos pasos y son los primeros en ser eliminados. Introducimos el emparejamiento de repetición, un diagnóstico que ejecuta la misma trayectoria con y sin el plan en el historial y mide la distancia coseno del estado oculto. En Llama-3.1-70B, la señal del plan alcanza un pico de 0,453 un paso después del plan y luego cae 4,1 veces en un solo paso de acción-observación; en HotpotQA cae 12,4 veces. Esto evidencia que los agentes LLM estándar no trasladan los planes como estado persistente, sino que dependen de que el plan permanezca en el contexto. Una sonda de capa L32 detecta esta decadencia como diagnóstico, no como prueba de que lea el contenido del plan en sí. Los modelos de razonamiento añaden un factor de confusión en la medición: sus trazas de `<think>` re-derivan el contenido del plan, por lo que la eliminación estándar deja evidencia del plan en la condición sin plan. Denominamos a esto el factor de confusión de trazas de razonamiento y lo corregimos con una eliminación estricta, que solo elimina los bloques `<think>` previos en la ejecución sin plan. Esto recupera un +163% de la señal del paso+1 dentro de la muestra y un +153% fuera de la muestra, mientras que no altera significativamente a Llama, que no es de razonamiento (+4,8%). En DeepSeek-R1-Distill-Llama-70B, una sonda entrenada en Llama se transfiere con un AUROC de 0,748 (p=6e-4), mientras que las sondas específicas para R1 alcanzan 1,000, lo que sugiere que R1 codifica la señal del plan en una dirección diferente del estado oculto. Finalmente, una prueba de estrés de compresión muestra el costo práctico: la eliminación ingenua del plan reduce el éxito en ALFWorld en 34,7 puntos porcentuales, mientras que la reaparición controlada por sonda no lo recupera. La contribución es un marco de medición y prueba de estrés que demuestra que la información crítica para el agente puede residir en el contexto en lugar de ser persistente. La gestión de contexto es fundamental, pero la protección del plan por sí sola no es suficiente.

English

Long-horizon agents depend on context management: systems compress, summarize, and evict old tokens so tasks can continue beyond finite windows. That is safe only when dropped information is no longer needed or has been internalized. Plans are the stress case: they are written early, used for many steps, and first to be evicted. We introduce replay pairing, a diagnostic that runs the same trajectory with and without the plan in history and measures hidden-state cosine distance. On Llama-3.1-70B, plan signal spikes to 0.453 one step after the plan, then falls 4.1x in a single action-observation step; HotpotQA falls 12.4x. This is evidence that standard LLM agents do not carry plans forward as persistent state, and instead depend on the plan remaining in context. A layer-L32 probe detects this decay as a diagnostic, not as proof that it reads plan content itself. Reasoning models add a measurement confound: their `<think>` traces re-derive plan content, so standard stripping leaves plan evidence in the stripped condition. We name this the reasoning-trace confound and fix it with strict stripping, which removes prior `<think>` blocks from the stripped run only. It recovers +163% of the step+1 signal in-sample and +153% held out, while not meaningfully changing non-reasoning Llama (+4.8%). On DeepSeek-R1-Distill-Llama-70B, a Llama-trained probe transfers at AUROC 0.748 (p=6e-4), while R1-specific probes reach 1.000, suggesting R1 encodes plan signal in a different hidden-state direction. Finally, a compression stress test shows the practical cost: naive plan eviction cuts ALFWorld success by 34.7pp, while probe-gated re-surfacing does not recover it. The contribution is a measurement and stress-test framework showing that agent-critical information can be context-resident rather than persistent. Context management is load bearing, but plan protection alone is not enough.