Gemma 4Gemma 4

定位：量化覆盖面最广、下载量最高的第三方量化者。

擅长什么：几乎每个主流基础模型都第一时间跟 GGUF，且档位最全——从极限压缩到近似无损一应俱全。提供静态（static）与动态（dynamic，用 UD- 前缀）两套量化。

• 为什么要认 unsloth 版：
• 覆盖率高 → 你想要的档位通常都有
• 命名规范 → Q4_K_M 就是 Q4_K_M，不会同档不同名
• 带 importance matrix（imatrix）→ 量化质量比纯 RTN 更稳
• 官方教程与 LM Studio / llama.cpp 集成路径最顺

注意：unsloth 的动态量化（UD-Q4_K_XL 等）在同档位下体积略大、速度略慢，换来的是质量通常更好。是否值得取决于你的瓶颈是显存还是速度——这是我们的口径，不是实测结论。

官方发布页：https://huggingface.co/unsloth

定位：llama.cpp 自己的官方量化发布渠道。

为什么重要：ggml 是 llama.cpp 的底层张量库，ggml-org 发的 GGUF 由项目核心作者把关。遇到新架构（比如新出的 MoE 稀疏模型），ggml-org 通常是第一个支持并发布可用 GGUF 的。

• 特点：
• 档位偏保守，优先保证能正确加载与推理不出错
• 覆盖不一定全（作者精力有限，只跟进自己关心的模型）
• 适合作为「该架构能不能在 llama.cpp 上跑」的权威参考

适合谁：想第一时间在新架构上尝鲜、或者需要确认某个模型是否已被 llama.cpp 支持。

发布页：https://huggingface.co/ggml-org

定位：老牌量化者，档位命名规范、说明文档最完整。

• 特点：
• 每档位都写清「这个档适合什么场景」，不是只丢一堆文件
• 命名遵循 llama.cpp 约定，Q4_K_M 就是社区通义的那个 Q4_K_M
• 同一个模型常常同时提供静态量化与 imatrix 量化两个目录

怎么选他的包：看仓库里的 README 分档说明，那是少数把「为什么这档质量损失小、那档损失大」写清楚的地方。

注意：他的仓库名常带 Qwen_ Meta-Llama_ 这类前缀（因为 HF 仓库名不允许重复，量化者要加模型组织名消歧），搜仓时别漏掉前缀。

发布页：https://huggingface.co/bartowski

定位：LM Studio 桌面客户端的官方社区组织，为其 GUI 供包。

• 特点：
• 档位偏保守务实，以「在 LM Studio 里能顺畅跑起来」为目标筛选
• 文件命名与 LM Studio 的模型库索引对得上，下载后能被客户端直接识别
• 也会带 MTP / 投机采样相关的特殊版本

适合谁：如果你用 LM Studio 而不是自己敲 llama-server 命令行，这个组织的包省心程度最高。

不适合谁：如果你要精细控制加载参数（tensor split、n_gpu_layers、上下文分配），社区包往往不针对你的硬件调优，仍要自己调。

发布页：https://huggingface.co/lmstudio-community

代表：openbmb（面壁智能）、google、Qwen、unsloth 转发的 Qwen/Qwen3-30B-A3B-GGUF。

• 为什么优先级最高：
• 只有模型作者完全知道哪几层权重对质量最敏感
• 官方量化档位数量通常很少（往往只有 Q4_K_M / Q8_0 两三档），因为官方只覆盖「安全」的选择
• 出错时责任明确，不会因为第三方的错误 imatrix 导致质量异常

如果官方出了量化版，优先用它。 除非你需要官方没提供的极低比特档位。

• 例外情况：
• 官方可能只出 1~2 档，你实际需要 Q3 或 IQ4_XS 之类，还是得找第三方
• 官方 GGUF 的更新频率依赖官方团队节奏，可能比第三方慢

核验方式：在本站系列页里，标有「官方」的条目会排在第三方之前。每条的许可都从 HF 发布页的 cardData.license 字段读取，以发布页原文为准。

代表：openbmb（面壁智能）、google、Qwen、unsloth 转发的 Qwen/Qwen3-30B-A3B-GGUF。

• 为什么优先级最高：
• 只有模型作者完全知道哪几层权重对质量最敏感
• 官方量化档位数量通常很少（往往只有 Q4_K_M / Q8_0 两三档），因为官方只覆盖「安全」的选择
• 出错时责任明确，不会因为第三方的错误 imatrix 导致质量异常

如果官方出了量化版，优先用它。 除非你需要官方没提供的极低比特档位。

• 例外情况：
• 官方可能只出 1~2 档，你实际需要 Q3 或 IQ4_XS 之类，还是得找第三方
• 官方 GGUF 的更新频率依赖官方团队节奏，可能比第三方慢

核验方式：在本站系列页里，标有「官方」的条目会排在第三方之前。每条的许可都从 HF 发布页的 cardData.license 字段读取，以发布页原文为准。

定位：Mirostat 采样算法作者，长期做低比特实验性量化。

• 特点：
• 愿意发别人不敢发的极低比特档位（IQ2_XXS、Q2_K 这类）
• 关注点在「量化方法本身」——会试不同的 imatrix、不同的重要性矩阵来源
• 文件命名带 i1 h2 之类的后缀，标明用的是哪一版重要性矩阵

适合谁：在做「极小显存里塞下最大模型」这类实验，或者想对比不同重要性矩阵对质量的影响。

不适合谁：日常使用。极低比特档位的质量损失通常已经很明显了，除非你确实没有别的选择，否则不建议作为主力。

发布页：https://huggingface.co/mradermacher

代表：openbmb（面壁智能）、google、Qwen、unsloth 转发的 Qwen/Qwen3-30B-A3B-GGUF。

• 为什么优先级最高：
• 只有模型作者完全知道哪几层权重对质量最敏感
• 官方量化档位数量通常很少（往往只有 Q4_K_M / Q8_0 两三档），因为官方只覆盖「安全」的选择
• 出错时责任明确，不会因为第三方的错误 imatrix 导致质量异常

如果官方出了量化版，优先用它。 除非你需要官方没提供的极低比特档位。

• 例外情况：
• 官方可能只出 1~2 档，你实际需要 Q3 或 IQ4_XS 之类，还是得找第三方
• 官方 GGUF 的更新频率依赖官方团队节奏，可能比第三方慢

核验方式：在本站系列页里，标有「官方」的条目会排在第三方之前。每条的许可都从 HF 发布页的 cardData.license 字段读取，以发布页原文为准。

定位：量化覆盖面最广、下载量最高的第三方量化者。

擅长什么：几乎每个主流基础模型都第一时间跟 GGUF，且档位最全——从极限压缩到近似无损一应俱全。提供静态（static）与动态（dynamic，用 UD- 前缀）两套量化。

• 为什么要认 unsloth 版：
• 覆盖率高 → 你想要的档位通常都有
• 命名规范 → Q4_K_M 就是 Q4_K_M，不会同档不同名
• 带 importance matrix（imatrix）→ 量化质量比纯 RTN 更稳
• 官方教程与 LM Studio / llama.cpp 集成路径最顺

注意：unsloth 的动态量化（UD-Q4_K_XL 等）在同档位下体积略大、速度略慢，换来的是质量通常更好。是否值得取决于你的瓶颈是显存还是速度——这是我们的口径，不是实测结论。

官方发布页：https://huggingface.co/unsloth

定位：老牌量化者，档位命名规范、说明文档最完整。

• 特点：
• 每档位都写清「这个档适合什么场景」，不是只丢一堆文件
• 命名遵循 llama.cpp 约定，Q4_K_M 就是社区通义的那个 Q4_K_M
• 同一个模型常常同时提供静态量化与 imatrix 量化两个目录

怎么选他的包：看仓库里的 README 分档说明，那是少数把「为什么这档质量损失小、那档损失大」写清楚的地方。

注意：他的仓库名常带 Qwen_ Meta-Llama_ 这类前缀（因为 HF 仓库名不允许重复，量化者要加模型组织名消歧），搜仓时别漏掉前缀。

发布页：https://huggingface.co/bartowski

定位：LM Studio 桌面客户端的官方社区组织，为其 GUI 供包。

• 特点：
• 档位偏保守务实，以「在 LM Studio 里能顺畅跑起来」为目标筛选
• 文件命名与 LM Studio 的模型库索引对得上，下载后能被客户端直接识别
• 也会带 MTP / 投机采样相关的特殊版本

适合谁：如果你用 LM Studio 而不是自己敲 llama-server 命令行，这个组织的包省心程度最高。

不适合谁：如果你要精细控制加载参数（tensor split、n_gpu_layers、上下文分配），社区包往往不针对你的硬件调优，仍要自己调。

发布页：https://huggingface.co/lmstudio-community

定位：llama.cpp 自己的官方量化发布渠道。

为什么重要：ggml 是 llama.cpp 的底层张量库，ggml-org 发的 GGUF 由项目核心作者把关。遇到新架构（比如新出的 MoE 稀疏模型），ggml-org 通常是第一个支持并发布可用 GGUF 的。

• 特点：
• 档位偏保守，优先保证能正确加载与推理不出错
• 覆盖不一定全（作者精力有限，只跟进自己关心的模型）
• 适合作为「该架构能不能在 llama.cpp 上跑」的权威参考

适合谁：想第一时间在新架构上尝鲜、或者需要确认某个模型是否已被 llama.cpp 支持。

发布页：https://huggingface.co/ggml-org

代表：openbmb（面壁智能）、google、Qwen、unsloth 转发的 Qwen/Qwen3-30B-A3B-GGUF。

• 为什么优先级最高：
• 只有模型作者完全知道哪几层权重对质量最敏感
• 官方量化档位数量通常很少（往往只有 Q4_K_M / Q8_0 两三档），因为官方只覆盖「安全」的选择
• 出错时责任明确，不会因为第三方的错误 imatrix 导致质量异常

如果官方出了量化版，优先用它。 除非你需要官方没提供的极低比特档位。

• 例外情况：
• 官方可能只出 1~2 档，你实际需要 Q3 或 IQ4_XS 之类，还是得找第三方
• 官方 GGUF 的更新频率依赖官方团队节奏，可能比第三方慢

核验方式：在本站系列页里，标有「官方」的条目会排在第三方之前。每条的许可都从 HF 发布页的 cardData.license 字段读取，以发布页原文为准。

代表：openbmb（面壁智能）、google、Qwen、unsloth 转发的 Qwen/Qwen3-30B-A3B-GGUF。

• 为什么优先级最高：
• 只有模型作者完全知道哪几层权重对质量最敏感
• 官方量化档位数量通常很少（往往只有 Q4_K_M / Q8_0 两三档），因为官方只覆盖「安全」的选择
• 出错时责任明确，不会因为第三方的错误 imatrix 导致质量异常

如果官方出了量化版，优先用它。 除非你需要官方没提供的极低比特档位。

• 例外情况：
• 官方可能只出 1~2 档，你实际需要 Q3 或 IQ4_XS 之类，还是得找第三方
• 官方 GGUF 的更新频率依赖官方团队节奏，可能比第三方慢

核验方式：在本站系列页里，标有「官方」的条目会排在第三方之前。每条的许可都从 HF 发布页的 cardData.license 字段读取，以发布页原文为准。

代表：openbmb（面壁智能）、google、Qwen、unsloth 转发的 Qwen/Qwen3-30B-A3B-GGUF。

• 为什么优先级最高：
• 只有模型作者完全知道哪几层权重对质量最敏感
• 官方量化档位数量通常很少（往往只有 Q4_K_M / Q8_0 两三档），因为官方只覆盖「安全」的选择
• 出错时责任明确，不会因为第三方的错误 imatrix 导致质量异常

如果官方出了量化版，优先用它。 除非你需要官方没提供的极低比特档位。

• 例外情况：
• 官方可能只出 1~2 档，你实际需要 Q3 或 IQ4_XS 之类，还是得找第三方
• 官方 GGUF 的更新频率依赖官方团队节奏，可能比第三方慢

核验方式：在本站系列页里，标有「官方」的条目会排在第三方之前。每条的许可都从 HF 发布页的 cardData.license 字段读取，以发布页原文为准。

定位：Mirostat 采样算法作者，长期做低比特实验性量化。

• 特点：
• 愿意发别人不敢发的极低比特档位（IQ2_XXS、Q2_K 这类）
• 关注点在「量化方法本身」——会试不同的 imatrix、不同的重要性矩阵来源
• 文件命名带 i1 h2 之类的后缀，标明用的是哪一版重要性矩阵

适合谁：在做「极小显存里塞下最大模型」这类实验，或者想对比不同重要性矩阵对质量的影响。

不适合谁：日常使用。极低比特档位的质量损失通常已经很明显了，除非你确实没有别的选择，否则不建议作为主力。

发布页：https://huggingface.co/mradermacher

定位：llama.cpp 自己的官方量化发布渠道。

为什么重要：ggml 是 llama.cpp 的底层张量库，ggml-org 发的 GGUF 由项目核心作者把关。遇到新架构（比如新出的 MoE 稀疏模型），ggml-org 通常是第一个支持并发布可用 GGUF 的。

• 特点：
• 档位偏保守，优先保证能正确加载与推理不出错
• 覆盖不一定全（作者精力有限，只跟进自己关心的模型）
• 适合作为「该架构能不能在 llama.cpp 上跑」的权威参考

适合谁：想第一时间在新架构上尝鲜、或者需要确认某个模型是否已被 llama.cpp 支持。

发布页：https://huggingface.co/ggml-org

定位：量化覆盖面最广、下载量最高的第三方量化者。

擅长什么：几乎每个主流基础模型都第一时间跟 GGUF，且档位最全——从极限压缩到近似无损一应俱全。提供静态（static）与动态（dynamic，用 UD- 前缀）两套量化。

• 为什么要认 unsloth 版：
• 覆盖率高 → 你想要的档位通常都有
• 命名规范 → Q4_K_M 就是 Q4_K_M，不会同档不同名
• 带 importance matrix（imatrix）→ 量化质量比纯 RTN 更稳
• 官方教程与 LM Studio / llama.cpp 集成路径最顺

注意：unsloth 的动态量化（UD-Q4_K_XL 等）在同档位下体积略大、速度略慢，换来的是质量通常更好。是否值得取决于你的瓶颈是显存还是速度——这是我们的口径，不是实测结论。

官方发布页：https://huggingface.co/unsloth

定位：LM Studio 桌面客户端的官方社区组织，为其 GUI 供包。

• 特点：
• 档位偏保守务实，以「在 LM Studio 里能顺畅跑起来」为目标筛选
• 文件命名与 LM Studio 的模型库索引对得上，下载后能被客户端直接识别
• 也会带 MTP / 投机采样相关的特殊版本

适合谁：如果你用 LM Studio 而不是自己敲 llama-server 命令行，这个组织的包省心程度最高。

不适合谁：如果你要精细控制加载参数（tensor split、n_gpu_layers、上下文分配），社区包往往不针对你的硬件调优，仍要自己调。

发布页：https://huggingface.co/lmstudio-community

定位：老牌量化者，档位命名规范、说明文档最完整。

• 特点：
• 每档位都写清「这个档适合什么场景」，不是只丢一堆文件
• 命名遵循 llama.cpp 约定，Q4_K_M 就是社区通义的那个 Q4_K_M
• 同一个模型常常同时提供静态量化与 imatrix 量化两个目录

怎么选他的包：看仓库里的 README 分档说明，那是少数把「为什么这档质量损失小、那档损失大」写清楚的地方。

注意：他的仓库名常带 Qwen_ Meta-Llama_ 这类前缀（因为 HF 仓库名不允许重复，量化者要加模型组织名消歧），搜仓时别漏掉前缀。

发布页：https://huggingface.co/bartowski

代表：openbmb（面壁智能）、google、Qwen、unsloth 转发的 Qwen/Qwen3-30B-A3B-GGUF。

• 为什么优先级最高：
• 只有模型作者完全知道哪几层权重对质量最敏感
• 官方量化档位数量通常很少（往往只有 Q4_K_M / Q8_0 两三档），因为官方只覆盖「安全」的选择
• 出错时责任明确，不会因为第三方的错误 imatrix 导致质量异常

如果官方出了量化版，优先用它。 除非你需要官方没提供的极低比特档位。

• 例外情况：
• 官方可能只出 1~2 档，你实际需要 Q3 或 IQ4_XS 之类，还是得找第三方
• 官方 GGUF 的更新频率依赖官方团队节奏，可能比第三方慢

核验方式：在本站系列页里，标有「官方」的条目会排在第三方之前。每条的许可都从 HF 发布页的 cardData.license 字段读取，以发布页原文为准。

代表：openbmb（面壁智能）、google、Qwen、unsloth 转发的 Qwen/Qwen3-30B-A3B-GGUF。

• 为什么优先级最高：
• 只有模型作者完全知道哪几层权重对质量最敏感
• 官方量化档位数量通常很少（往往只有 Q4_K_M / Q8_0 两三档），因为官方只覆盖「安全」的选择
• 出错时责任明确，不会因为第三方的错误 imatrix 导致质量异常

如果官方出了量化版，优先用它。 除非你需要官方没提供的极低比特档位。

• 例外情况：
• 官方可能只出 1~2 档，你实际需要 Q3 或 IQ4_XS 之类，还是得找第三方
• 官方 GGUF 的更新频率依赖官方团队节奏，可能比第三方慢

核验方式：在本站系列页里，标有「官方」的条目会排在第三方之前。每条的许可都从 HF 发布页的 cardData.license 字段读取，以发布页原文为准。

代表：openbmb（面壁智能）、google、Qwen、unsloth 转发的 Qwen/Qwen3-30B-A3B-GGUF。

• 为什么优先级最高：
• 只有模型作者完全知道哪几层权重对质量最敏感
• 官方量化档位数量通常很少（往往只有 Q4_K_M / Q8_0 两三档），因为官方只覆盖「安全」的选择
• 出错时责任明确，不会因为第三方的错误 imatrix 导致质量异常

如果官方出了量化版，优先用它。 除非你需要官方没提供的极低比特档位。

• 例外情况：
• 官方可能只出 1~2 档，你实际需要 Q3 或 IQ4_XS 之类，还是得找第三方
• 官方 GGUF 的更新频率依赖官方团队节奏，可能比第三方慢

核验方式：在本站系列页里，标有「官方」的条目会排在第三方之前。每条的许可都从 HF 发布页的 cardData.license 字段读取，以发布页原文为准。

定位：Mirostat 采样算法作者，长期做低比特实验性量化。

• 特点：
• 愿意发别人不敢发的极低比特档位（IQ2_XXS、Q2_K 这类）
• 关注点在「量化方法本身」——会试不同的 imatrix、不同的重要性矩阵来源
• 文件命名带 i1 h2 之类的后缀，标明用的是哪一版重要性矩阵

适合谁：在做「极小显存里塞下最大模型」这类实验，或者想对比不同重要性矩阵对质量的影响。

不适合谁：日常使用。极低比特档位的质量损失通常已经很明显了，除非你确实没有别的选择，否则不建议作为主力。

发布页：https://huggingface.co/mradermacher

代表：openbmb（面壁智能）、google、Qwen、unsloth 转发的 Qwen/Qwen3-30B-A3B-GGUF。

• 为什么优先级最高：
• 只有模型作者完全知道哪几层权重对质量最敏感
• 官方量化档位数量通常很少（往往只有 Q4_K_M / Q8_0 两三档），因为官方只覆盖「安全」的选择
• 出错时责任明确，不会因为第三方的错误 imatrix 导致质量异常

如果官方出了量化版，优先用它。 除非你需要官方没提供的极低比特档位。

• 例外情况：
• 官方可能只出 1~2 档，你实际需要 Q3 或 IQ4_XS 之类，还是得找第三方
• 官方 GGUF 的更新频率依赖官方团队节奏，可能比第三方慢

核验方式：在本站系列页里，标有「官方」的条目会排在第三方之前。每条的许可都从 HF 发布页的 cardData.license 字段读取，以发布页原文为准。

代表：openbmb（面壁智能）、google、Qwen、unsloth 转发的 Qwen/Qwen3-30B-A3B-GGUF。

• 为什么优先级最高：
• 只有模型作者完全知道哪几层权重对质量最敏感
• 官方量化档位数量通常很少（往往只有 Q4_K_M / Q8_0 两三档），因为官方只覆盖「安全」的选择
• 出错时责任明确，不会因为第三方的错误 imatrix 导致质量异常

如果官方出了量化版，优先用它。 除非你需要官方没提供的极低比特档位。

• 例外情况：
• 官方可能只出 1~2 档，你实际需要 Q3 或 IQ4_XS 之类，还是得找第三方
• 官方 GGUF 的更新频率依赖官方团队节奏，可能比第三方慢

核验方式：在本站系列页里，标有「官方」的条目会排在第三方之前。每条的许可都从 HF 发布页的 cardData.license 字段读取，以发布页原文为准。