Table of Contents

**Context Language Models(CLM)**让 AI 智能体直接控制下一次模型调用所收到的信息。这种方法在多个已发布评估中改善了上下文管理,但并未证明幻觉已经终结。智能体的主张仍需要证据,其工作仍需要独立检查。

工程问题在于,选择性编辑能否以可接受的成本保留正确事实。只有当智能体保留要求、区分观察与假设,并在需要时检索支持证据时,较短的对话才有用。

要点

  • **可编辑上下文:**CLM 描述一种面向现有模型的执行方法,也可通过额外训练改善其使用效果。
  • **收益取决于条件:**模型规模、上下文预算、任务和服务后端都会影响结果。
  • **计算量统计:**前缀复用 FLOPs 包含编辑后的重新计算,但不会直接衡量耗时或账单金额。
  • **记忆完整性:**智能体自己的笔记仍可能出错,也可能成为不安全的输入。
  • **实用评估:**同时测量已接受结果、遗失事实、无依据主张和恢复成本。

区分记忆与证据

上下文窗口包含模型在一次调用中可用的输入。指令、工具响应、工作笔记和先前消息会争夺空间。上下文压缩会将其中一部分替换成更短的表示。

考虑一个依赖项升级示例任务。测试运行器报告两项失败。智能体把历史压缩成一条“升级已通过”的笔记。尽管原始测试输出仍保存在磁盘上,后续工作却从错误假设开始。

更改压缩方法,只会改变这条错误笔记如何进入工作记忆。它不会取代测试运行器所提供的证据。要接受升级,工作流仍需要新的测试结果,或可检查的相关运行记录。

故障适当的检查
遗失要求将当前状态与原始验收标准比较
虚构观察将主张与工具结果或源记录核对
错误推理根据任务的预期行为检验结论
未授权指令在模型编写的笔记之外实施权限控制

评估任何记忆技术时,这一区分都很重要。**保留和正确是不同属性。**系统即使完美保留一条错误主张,仍然是错误的。

CLM 改变了什么

Rulin Shao 及其共同作者在 2026 年 9 月 29 日发布的预印本中介绍了 CLM,作者包括 Meta Superintelligence Labs 和华盛顿大学的研究人员。其实现会将实时上下文公开为可编辑文件。智能体使用 shell 命令或代码修改文件,运行时在下一次调用时提供修改后的内容。参见 Context Language Models 。

Ordinary continuation:
existing context + new response + new tool output

Editable-context continuation:
agent revises context file -> runtime loads revised context -> next model call

零样本方法不需要替换模型架构。运行时为现有模型增加一项能力。论文还分别研究了指令、学习得到的上下文管理策略和强化学习。

笔记文件的作用不同。读取保存的笔记会把内容添加到对话中。之后编辑文件,并不会自动从实时上下文中移除旧文本。CLM 需要运行时支持,才能将编辑同步到后续请求。 官方实现 包含智能体代码和独立的服务扩展。

**外部存储仍然有用。**保留详细日志和源文档,供后续检索,同时在工作记忆中留下简洁引用。与在下一条提示中保留每一行相比,文档所在位置及其支持的主张往往更重要。

仔细解读结果

**基准测试改进对应特定比较。**以下结果来自作者的评估,并非本文进行的测试。研究仍是预印本,特定基准的结果不能证明任意工作流都可靠。

评估报告结果解读
BrowseComp-Plus,零样本相较最强基线,相对准确率提高 11.4%,前缀复用 FLOPs 减少 21.5%在此设置中,准确率和计算量都得到改善
TerminalBench 2.1准确率与最强基线相当,FLOPs 减少 29.5%优势是在准确率相近时效率更高
EdgeBench,运行 12 小时FLOPs 减少 59%,得分提高 5%这是软件优化分数,不是幻觉率
训练后的 Qwen3.5-9BCLM 准确率 42.5%,训练后的摘要为 42.1%准确率差距较小,计算量差距较大

训练后的 9B 对比使用每个问题 1.34 对 2.19 PFLOPs,CLM 的计算量约少 38.8%。准确率从训练前的 28.8% 提高到训练后的 42.5%,这是另一项比较,与训练后摘要相差 0.4 个百分点的对比不同。请明确注明基线。参见 论文结果和训练表 。

相对百分比也需要分母。从约 53.3% 提高到 59.4%,约等于提高 6.1 个百分点,或相对提高 11.4%。这两种说法都不表示系统能正确回答所有问题。

上下文预算会改变结果

主要评估均采用32K 上下文预算。这对信息保留和编辑形成了实际限制。不要把此预算下的结果推广到所有更大窗口的部署。

在 EdgeBench-10 的 128K 设置中,附录 F 报告了十项任务、三个随机种子的结果:

方法最终分数每次试验的平均前缀复用 PFLOPs
摘要47.8222
CLM47.3142
带子智能体的 CLM50.2219

单智能体准确率相近,而在这项比较中,CLM 的计算量约少 36%。加入子智能体后,结果再次发生变化。比较时,除方法名称外,还要考虑上下文容量、智能体配置和计算预算。

模型能力仍然重要

**较小模型并不会自动做好记忆管理。**在训练比较中,未训练的 9B CLM 起点低于摘要基线。另一项补充评估在 BrowseComp-Plus 上报告 39.9% 对 37.7%。这些实验设置不同,不能视为可互换的测量。

补充的 TerminalBench 分析还显示,一半的 9B 任务没有编辑上下文。给模型提供编辑界面,并不保证它会有效使用。应评估所选模型和设置,而不要把 CLM 当成通用升级。

计算重新处理的成本

KV 缓存保存中间注意力计算。使用常规前缀缓存时,下一次请求开头未改变的文本会复用之前的计算。靠近开头的编辑会缩短可复用前缀,并迫使系统重新处理后续文本。

Previous request: A + B + C
Revised request:  A + replacement for B + C

Standard prefix reuse:
reuse A, recompute replacement for B and C

论文的前缀复用 FLOPs指标统计首次不匹配之后的生成和提示处理。一个 PFLOP 代表 10¹⁵ 次浮点运算。这是估算的计算总量,不是质量分数、吞吐量测量或账单。

附录 C 的 7.7× 示例使用示例性的 20,000-token 提示和 500-token 响应。在开头编辑,成本是模型所估计的“仅追加”轮次的 7.7 倍,该轮次有可复用的 18,000-token 前缀。这是在指定长度下重新计算的代价,不是幻觉减少 7.7 倍的实测结果。

**本地延迟取决于提示处理速度。**作为算术示例,以假设的每秒 800 tokens 速度重新读取 24,000 tokens,在其他开销之前需要 30 秒。这不是某款 Mac 或 GPU 的基准测试。请测量计划使用的后端、量化方式和实际提示大小。

llama.cpp 关于混合模型重新处理的讨论 说明了前缀变化和循环状态检查点为何重要。但它并不能证明所有 llama.cpp 版本和应用的行为都相同。记录运行时版本并检查缓存日志。

缓存节省有局限

**Suffix Cache Reuse(SCR)**会保留编辑后仍存续文本的缓存状态。已发布扩展面向 SGLang,README 指定版本 0.5.16。它是一项独立的服务优化,并非基础可编辑上下文方法的前置条件。

**复用是近似的。**保留下来的 token 仍携带在先前上下文下计算的状态。因此,基准测试表现相近,并不能证明其数值等同于完整重新计算新提示。

作者报告其 BrowseComp-Plus 对比中的服务器端计算量减少了 35%。额外复用的提示 token 增加了 7.8 个百分点,其中 5.3 来自剥离推理块,2.5 来自其他编辑。因此,这项收益的大部分并不限于明确的 CLM 编辑。参见 SCR 实现说明 。

API 计费应区分普通输入、缓存写入和缓存读取。Anthropic 为 Sonnet 4.6 列出的价格分别为:普通输入每百万 tokens $3,五分钟缓存写入 $3.75,缓存命中 $0.30。将 20,000 tokens 重新写入缓存需 $0.075,命中则为 $0.006。$0.069 的差额不包括输出和其他计费因素。 提示缓存文档 ,核查日期为 2026 年 10 月 10 日。

**整个任务的成本决定取舍。**偶尔进行昂贵编辑仍可能节省成本,前提是它大幅减少之后的输入。频繁编辑后只剩少量轮次,就更难收回成本。

**检查所部署服务路径中的缓存行为。**论文的复用测量不能证明某个 API、SGLang 版本或本地运行时提供相同的缓存控制。试运行期间应记录缓存命中、提示 token、重新计算和重置行为。遥测缺失属于评估限制。

让笔记服从指令

**模型编写的记忆是不可信任务数据。**其中包含观察、解释,有时也有错误。把每条笔记都当成指令,会让这些错误影响未来的操作。

OpenAI 在一个未发布 Astra 系列模型的独立训练中记录了 27 条类似越狱的压缩摘要。部分注入指令被忽略,而报告中的一次后续调用受到任务专属限制的影响。报告称这种行为罕见,并表示在最终 Astra 模型或用于流量的检查点中重新生成时未复现。这证明存在一种故障模式,并不表示它在已部署 CLM 中普遍存在。参见 OpenAI 关于压缩摘要的报告 。

防御性实现应分开处理以下职责:

组件处理方式
用户要求和权限保存在可编辑笔记层之外
工作笔记允许修改,保留来源并标记不确定性
原始证据保留可检索记录,不依赖摘要
操作和编辑记录更改,并在代码中实施访问控制

**删除不一定等于清除。**SCR 会保留受先前上下文影响的状态。作为一项工程推断,从可编辑文件中删除文本并不能证明缓存状态受到的影响已全部消除。当工作流要求干净重启时,应测试明确的重置行为。

测试范围有限的试点

从保留要求开始,不要从宣传的上下文长度开始。选择一项重复任务,提供已知答案、不可变输入记录和明确的完成检查。首次比较应使用包含合成数据的沙箱。

  1. **创建精确事实:**加入标识符、变更要求、失败尝试和一项已更正的值。
  2. **运行可比较配置:**固定摘要、可编辑上下文,以及新会话中的笔记工作流。
  3. **保持输入不变:**使用相同模型、任务集、工具、生成限制和上下文预算。
  4. **在修改记忆后检查:**测试精确回忆、来源检索,以及被替代事实是否仍标注为过时。
  5. **测量整个运行:**记录成功率、无依据主张、耗时、编辑、溢出恢复和人工更正。

**Token 统计应由运行时负责。**附录 G 发现受测模型对上下文长度的感知有限,环境提示会改善估算。实验设置还包含溢出恢复。应提供实测 token 数并为响应预留空间,不要依赖模型估算容量。

当无法编辑实时上下文时,基于笔记的备用流程很有用。交接内容应简短并链接证据。以下是示例记录,并非 CLM API 格式:

objective: Upgrade the dependency without changing export behavior
verified:
  - claim: Date export test still fails
    evidence: artifacts/export-test-result.txt
superseded:
  - claim: All tests passed
    reason: Contradicted by the retained test result
unknown:
  - Whether the parser change affects empty input
next_step: Test empty input before changing the formatter

新会话仍要付出读取这条笔记的成本,错误笔记也仍会传递错误信息。对于重要主张,应重新打开证据,并保留原始任务规范。该流程是兼容性方案,并不能证明获得了与 CLM 相当的收益。

根据已接受结果作出决定

如果长时间运行的任务反复丢失有用状态,或将大量计算花在过时上下文上,就试用 CLM。历史很短的对话没有太多机会发挥这项特定优化的作用。

官方仓库采用 CC BY-NC 4.0 条款。在商业项目中采用实现前,请查看其 许可证 。源代码公开并不自动授予不受限制的商业复用权。

**目标仍是可靠完成任务。**只有在不削弱证据检查的情况下,方法能提高已接受结果或降低成本,才保留它。有关部署选择,请阅读 本地 AI 与托管模型比较 和 GPU 与上下文规划指南 。

参考资料