跳到主要内容Skip to main content

做模型专题How models are made 训练管线 · 第 8 站training pipeline · stage 8

端侧部署:带宽、量化与功耗的三重约束Edge deployment: bandwidth, quantisation and power从业者视角的方法论 · 关键事实挂官方出处practitioner-perspective methodology · key facts carry official sources

端侧不是「小一号的服务器」:内存带宽、功耗和散热先于算力成为上限。选型要按 token/s、内存峰值和持续功耗验收。An edge device is not a small server: memory bandwidth, power and cooling become the ceiling before compute does. Accept on tokens per second, peak memory and sustained power.

带宽先撞墙Bandwidth hits first

解码每生成一个 token 都要把激活的权重读一遍,端侧常见的瓶颈是内存带宽,而不是峰值算力。
以 Jetson AGX Thor 为例:128GB LPDDR5X、273 GB/s、40–130W。
粗算:7B 模型 4-bit 约 3.5GB 权重,理想情况下每 token 至少读一遍,273 GB/s 给出一个很粗的上界;
实际还要加上 KV cache、采样与框架开销,达不到纸面上限。

量化档位决定能不能装Quantisation decides fit

端侧优先看 4-bit 与混合精度:Q4 通常比 FP16 小 3–4 倍,质量损失要在自己的任务上测。
低于 4-bit 时,质量下降与算子支持问题都会变多;不是所有推理框架都支持同一套量化格式。
先确认框架支持的格式(GGUF、ONNX、MLX 等),再谈模型。

统一内存 vs 独立显存Unified vs discrete memory

统一内存(CPU/GPU 共享)能把更大的模型装进同一池,但带宽通常低于独立显存;
独立显存快,但容量固定,装不下就要卸载到内存或闪存。
LLM in a Flash 的思路是把权重放在闪存、按需换入 DRAM,能跑约两倍于 DRAM 的模型,但速度取决于闪存带宽与读取连续性。

功耗与散热Power and cooling

端侧设备常有 40–130W 的功耗窗口,持续推理会触发降频。
验收要测「连续跑 30 分钟后的 token/s」,而不是开机第一分钟。
风扇与外壳设计会改变可持续功耗,进而改变真实吞吐。

验收清单Acceptance checklist

  • 目标模型 + 目标量化格式,能否在设备上加载并跑满上下文。
  • batch=1 的首字延迟与 decode token/s;连续 30 分钟后的衰减。
  • 内存峰值与是否触发交换/卸载。
  • 断电重启后的冷启动时间。
  • 真实任务的答案质量,不只看困惑度。

边界:端侧数字高度依赖具体设备、量化格式与推理框架;本文只给估算方法,不给跨设备排名。

先补概念:量化 是学 AI 站的相关科普。

出处Sources

基础来源快照:2026-11-17;单项补充与核验范围见正文和来源标签。请回原始说明核对规格、方法与适用条件。Base source snapshot: 2026-11-17; item-specific additions and check scope appear in the text and source labels. Check original specifications, methods and conditions.