Lost in Compaction: Evaluating Side-Constraint Loss under Context Compaction

arXiv:2608.11242v1 Announce Type: new Abstract: When the context window is under pressure, LLM systems compact prior context to continue ongoing tasks. We identify a class of user-issued instructions, Session Constraint

导读摘要

上下文压缩的隐形代价

大语言模型（LLM）的上下文窗口是有限的。当对话过长、超出窗口容量时，系统通常会采用「上下文压缩」（Context Compaction）策略——将较早的对话内容摘要、截断或合并，以便为后续交互腾出空间。这种做法看似高效，却可能带来一个被忽视的问题：用户在对话早期设定的会话级约束（Session Constraint）——例如「请始终用正式语气回复」「不要透露我的个人信息」「所有代码必须兼容 Python 3.8」——是否会在压缩过程中被悄然丢弃？

这篇题为《Lost in Compaction》的论文正是针对这一盲区展开研究。作者识别出一类由用户发出的、贯穿整个会话的指令性约束，并评估了它们在上下文压缩后的存留情况来源。从摘要透露的信息来看，研究关注的核心场景是：当系统对前文进行压缩后，模型是否仍然遵守那些在压缩前明确给出的约束条件。原文未提供具体的实验规模、模型种类或量化结果，但问题的提出本身已切中当前 LLM 应用中的一个实际痛点。

为什么这个问题值得关注

上下文压缩并非边缘技术。几乎所有主流 LLM 产品在长对话场景下都会触发某种形式的上下文管理机制，无论是隐式的注意力截断，还是显式的摘要替换。如果会话约束在压缩中丢失，后果可能从轻微的不便（语气风格变化）延伸到严重的安全隐患（忘记保密要求）。这与近期关于 AI 系统「记忆」与「身份连续性」的讨论形成了有趣的呼应——例如有研究从外部视角探讨 AI 人格克隆的身份界定问题来源，而本文则从更工程化的角度切入：模型在对话中「记得什么」，直接取决于上下文管理策略是否尊重了用户的原始指令。

从技术层面看，这一问题的难点在于：约束条件往往以自然语言形式嵌入在对话流中，而非结构化存储的独立字段。压缩算法在追求信息密度时，很难区分「这段内容是一次性的事实陈述，还是需要长期遵守的规则」。原文未提供作者提出的具体解决方案或评估指标，但可以合理推测，研究的方向可能涉及约束的显式提取、压缩前后的行为对比测试，或对现有压缩方法的系统性审计。

对开发者和用户的意义

对于 LLM 应用开发者而言，这项研究提示了一个明确的工程检查点：上下文压缩策略需要将「约束保持」纳入评估指标，而不能仅以压缩率或下游任务完成度作为优化目标。类似地，近期关于多 LLM 智能体系统的动态治理研究也指出，缺乏共享目标函数时，多轮交互可能产生非预期的行为漂移来源——这与单模型在压缩后「忘记」约束的行为漂移在本质上相通。

对普通用户来说，一个实用的启示是：关键约束应尽量在对话后期重复强调，或使用系统级提示词（system prompt）而非普通对话消息来设定，因为后者在压缩时被保留的概率通常更高。当然，这一建议是通用实践层面的推断，原文未提供针对具体产品的测试数据。