跳到主要内容Skip to main content

做模型专题How models are made 训练管线 · 第 6 站training pipeline · stage 6

长上下文:窗口、有效利用与成本Long context: window size, effective use and cost从业者视角的方法论 · 关键事实挂官方出处practitioner-perspective methodology · key facts carry official sources

「支持 128K」只是上限,不等于能在中间找到信息。长上下文选型要同时看位置鲁棒性、注意力成本、KV cache 显存和任务验收。“Supports 128K” is an upper bound, not a guarantee that information in the middle will be found. Long-context selection must consider position robustness, attention cost, KV-cache memory and task-level acceptance.

窗口不等于会用A window is not effective use

Lost in the Middle 的实验很直接:把相关信息放在长输入的开头或结尾,模型表现最好;
放到中间,性能显著下降,即使模型宣称支持长上下文。
所以「窗口多大」只是准入条件,「中间能不能找到」要在你的任务上单独测。

位置编码决定能不能外推Position encoding decides extrapolation

主流模型用 RoPE:把绝对位置写成旋转矩阵,同时在注意力里保留相对位置依赖。
RoPE 的序列长度灵活性是外推的基础,但超出训练长度仍会退化;
常见做法是位置插值、频率缩放或在更长数据上继续训练。
看到「支持 1M」时,先问训练长度是多少、用了哪种外推方法、在什么任务上验证过。

注意力成本与预填充Attention cost and prefill

标准注意力的计算随序列长度呈二次增长,长输入的预填充阶段最贵。
解码阶段每生成一个 token 都要读历史 KV,长上下文会把带宽压力放大。
工程上会用分块预填充、FlashAttention、前缀缓存来摊薄,但这些优化不改变「中间信息难找」这个模型问题。

KV cache 的显存账The KV-cache bill

KV cache 随「层数 × 头数 × 头维度 × 序列长度 × 批量 × 字节」增长。
上下文翻倍,KV cache 也大致翻倍;这往往比权重更早撞墙。
估算顺序:先算权重,再算目标上下文与批量下的 KV cache,最后留运行时余量。
长上下文服务要按「并发 × 长度」定价,而不是按单次请求定价。

长上下文还是 RAGLong context or RAG

资料总量小、需要整体推理、且能接受预填充成本时,长上下文更简单;
资料量大、更新频繁、需要引用定位时,RAG 更可控。
两者可以叠加:先用检索把候选缩到几十 K,再让模型在窗口内做跨段推理。

验收方法How to accept it

  • 位置测试:同一关键信息放开头、中间、结尾,各测 20 次,记录命中率。
  • 干扰测试:加入大量相似但无关的段落,看是否被带偏。
  • 成本测试:目标长度与并发下的首字延迟、吞吐、显存峰值。
  • 任务测试:用真实合同、日志或代码库,不用「大海捞针」一根针代替全部能力。

边界:论文结论来自特定模型与任务;不同模型、不同外推方法与不同推理框架的表现不能直接移植。

先补概念:上下文窗口 与 长上下文 是学 AI 站的相关科普。

出处Sources

基础来源快照:2026-11-17;单项补充与核验范围见正文和来源标签。请回原始说明核对规格、方法与适用条件。Base source snapshot: 2026-11-17; item-specific additions and check scope appear in the text and source labels. Check original specifications, methods and conditions.