跳到主要内容

面壁智能 · OpenBMBOpenBMB · 发布于 2026-08-27

MiniCPM 5MiniCPM 5

国产小尺寸代表,2B 规模适合低显存与端侧。

  • 端侧
  • 小尺寸
  • 中文强项

先说清楚:这个站的数据怎么来的

✅ 实测字段

直接从 Hugging Face 公开 API 读取的客观数据:文件体积(字节)、上下文长度、架构、许可、下载量、更新时间。

✅ 推导

由实测字段按公开规则算出:每权重比特数(依 llama.cpp 命名标准)、档位归属、显存需求区间。推导规则在 METHODOLOGY.md 完整公开,任何人可复算。

❌ 我们不说的

哪个量化质量更高、哪个更快、哪个模型更强——这些需要实测,本站不跑 benchmark,所以不装作知道。凡我们给出的主观判断,一律显式标注「我们的口径」。

本站不下载、不托管任何模型权重文件。所有数字都来自公开元数据,点击即可回到发布页核对。 采集时间:2026-09-30(数据快照,非实时)

成员 1MiniCPM5 2B

2B 密集 · 端侧首选 · 10 个量化来源

A基础模型卡 这一档位是什么

官方发布页openbmb/MiniCPM5-2B ↗
许可apache-2.0
规模2B 密集
架构llama
上下文长度131,072 tokens
定位端侧首选
官方下载量854k 点赞 2k
最近更新2026-09-29

官方自己也出 GGUF(openbmb 249k 下载)。

B该选哪个 按你的显存倒推

按「你实际有多少显存能装」选档位,而不是按参数猜。下面每档的体积都是实测值(来自发布页文件列表),加权 15% 余量给运行时与 KV cache。

显存 → 档位速查(体积最小的可行档,质量最高的那一档)
8 GB 显存 Q8_0(2.7 GB · 近似无损)
更省:Q6_K 2.1 GB / BF16 5.0 GB
消费级入门卡、共享显卡
12 GB 显存 Q8_0(2.7 GB · 近似无损)
更省:BF16 5.0 GB / F32 10 GB
RTX 3060 12G / 4060Ti 16G 降配使用
16 GB 显存 Q8_0(2.7 GB · 近似无损)
更省:BF16 5.0 GB / F32 10 GB
RTX 4060Ti 16G / 4070S 超配
24 GB 显存 Q8_0(2.7 GB · 近似无损)
更省:BF16 5.0 GB / F32 10 GB
RTX 3090 / 4090
48 GB+ 显存 Q8_0(2.7 GB · 近似无损)
更省:BF16 5.0 GB / F32 10 GB
A6000 / L40S / Mac 统一内存
展开:本系列所有档位的实测体积(29 档)
量化档体积每权重比特档位最小体积来源
IQ1_S 0.7 GB 1.62 bpw 极限压缩 NANI-Nithin
Q1_0 0.5 GB 1.65 bpw 极限压缩 NANI-Nithin
IQ1_M 0.7 GB 1.90 bpw 极限压缩 NANI-Nithin
IQ2_XXS 0.8 GB 2.13 bpw 极限压缩 NANI-Nithin
IQ2_XS 0.9 GB 2.31 bpw 极限压缩 NANI-Nithin
IQ2_M 1.0 GB 2.39 bpw 极限压缩 bartowski
IQ2_S 0.9 GB 2.46 bpw 极限压缩 NANI-Nithin
Q2_0 0.9 GB 2.62 bpw 极限压缩 NANI-Nithin
Q2_K 1.0 GB 2.80 bpw 极限压缩 NANI-Nithin
IQ3_XXS 1.1 GB 3.06 bpw 长上下文优先 NANI-Nithin
IQ3_S 1.2 GB 3.35 bpw 长上下文优先 NANI-Nithin
IQ3_XS 1.1 GB 3.36 bpw 长上下文优先 gooseyai
Q3_K 1.2 GB 3.55 bpw 长上下文优先 bartowski
IQ3_M 1.2 GB 3.66 bpw 长上下文优先 NANI-Nithin
IQ4_NL 1.5 GB 4.05 bpw 平衡档 NANI-Nithin
IQ4_XS 1.4 GB 4.25 bpw 平衡档 NANI-Nithin
Q4_0 1.4 GB 4.55 bpw 平衡档 Mungert
Q4_1 1.6 GB 4.83 bpw 平衡档 Mungert
Q4_1_L 1.8 GB 4.83 bpw 平衡档 Mungert
Q4_K 1.5 GB 4.85 bpw 平衡档 NANI-Nithin
Q5_0 1.7 GB 5.54 bpw 保守档 Mungert
Q5_0_L 1.9 GB 5.54 bpw 保守档 Mungert
Q5_K 1.8 GB 5.69 bpw 保守档 NANI-Nithin
Q5_1 1.9 GB 5.69 bpw 保守档 Mungert
Q5_1_L 2.1 GB 5.69 bpw 保守档 Mungert
Q6_K 2.1 GB 6.59 bpw 保守档 NANI-Nithin
Q8_0 2.7 GB 8.50 bpw 近似无损 openbmb
BF16 5.0 GB 16.00 bpw 近似无损 openbmb
F32 10 GB 32.00 bpw 近似无损 prithivMLmods

「每权重比特」是按 llama.cpp 公开命名标准从文件名推导的,同一档位在不同模型上的真实值会略有差异。这是 B 级推导,不是实测值。

C量化版本总表 横向对比

量化者许可档数总体积 上下文建议档下载量更新
官方 openbmb
llama
apache-2.0 3 8.6 GB 131,072 Q4_K
1.6 GB
242k 2026-09-12
bartowski
llama
apache-2.0 15 34 GB 131,072 Q4_K
1.7 GB
23k 2026-09-10
NANI-Nithin
llama
apache-2.0 25 40 GB 131,072 Q4_1
1.6 GB
16k 2026-09-07
abenzerps apache-2.0 10 16 GB — Q4_K
1.6 GB
8k 2026-09-07
Abiray
llama
apache-2.0 5 10 GB 131,072 Q4_K
1.6 GB
7k 2026-09-08
ngquocvinh imatrix
llama
apache-2.0 13 22 GB 131,072 Q4_K
1.6 GB
4k 2026-09-13
gooseyai
llama
cc0-1.0 7 19 GB 131,072 Q4_K
1.8 GB
2k 2026-09-13
prithivMLmods
llama
apache-2.0 9 36 GB 131,072 Q4_K
1.6 GB
2k 2026-09-08
Mungert
llama
apache-2.0 19 58 GB 131,072 Q4_1_L
1.8 GB
2k 2026-09-16
mradermacher
llama
apache-2.0 8 21 GB 131,072 Q4_K
1.6 GB
2k 2026-09-08

「建议档」是本站按体积最小且落在平衡档的规则自动选出的,不是质量排名。官方量化排在最前;带 imatrix 标记的仓库带重要性矩阵数据。

D每个变体详解 七字段

每个变体按七个字段展开:它是什么 → 量化者做了什么 → 与同系列其他变体的区别 → 存在的意义 → 优势 → 为什么选它 → 已知取舍。最后一项是本站唯一会写主观判断的地方,且都标注了「我们的口径」。

官方 openbmb

apache-2.0 3 档 · 8.6 GB · 242k 下载
它是什么openbmb/MiniCPM5-2B-GGUF ↗,提供 3 个 GGUF 量化档,合计 8.6 GB。这是模型方自己发布的,不是第三方。
量化者做了什么模型作者自行量化,只有覆盖不到的档位才需要考虑第三方;未提供重要性矩阵(imatrix),走的是纯权重量化路线;针对 llama 架构优化;声明上下文 131,072 tokens;权重总字节 9.3 GB(发布页 gguf.total 字段)。
与同系列其他变体的区别同系列另有 9 个量化来源(bartowski 15 档、NANI-Nithin 25 档、abenzerps 10 档、Abiray 5 档 等)。 本仓 3 档,覆盖最少。
存在的意义模型作者最清楚哪几层权重对质量敏感,官方量化通常是最保守、最不会出错的选择——官方出了就优先用它。
优势· 官方出品,出错时责任明确
· 平衡档落在 Q4_K(1.6 GB),是大多数人的起点
为什么选它 / 目的如果你的瓶颈是显存:直接下 Q4_K(1.6 GB,平衡档)。
如果你的瓶颈是速度:这个仓里没有更快的档位(GGUF 的速度主要由架构与后端决定,不由量化档决定),换量化者意义不大。
如果你的瓶颈是质量:往上走一档到保守档(Q5_K_M / Q6_K)。
已知取舍· 档位极少,没有升降空间,被显存卡住时无路可退

bartowski

apache-2.0 15 档 · 34 GB · 23k 下载
它是什么bartowski/MiniCPM5-2B-GGUF ↗,提供 15 个 GGUF 量化档,合计 34 GB。由 bartowski 发布。
量化者做了什么未提供重要性矩阵(imatrix),走的是纯权重量化路线;针对 llama 架构优化;声明上下文 131,072 tokens;发布页声明溯源到 openbmb/MiniCPM5-2B;权重总字节 36.3 GB(发布页 gguf.total 字段)。
与同系列其他变体的区别同系列另有 9 个量化来源(openbmb 3 档、NANI-Nithin 25 档、abenzerps 10 档、Abiray 5 档 等)。 本仓 15 档,覆盖中等。
存在的意义补上官方没覆盖的档位(Q4_K 这类),让你能在有限显存里凑合跑起来,或者反过来用更高精度换质量。
优势· 平衡档落在 Q4_K(1.7 GB),是大多数人的起点
为什么选它 / 目的如果你的瓶颈是显存:直接下 Q4_K(1.7 GB,平衡档)。
如果你的瓶颈是速度:这个仓里没有更快的档位(GGUF 的速度主要由架构与后端决定,不由量化档决定),换量化者意义不大。
如果你的瓶颈是质量:往上走一档到保守档(Q5_K_M / Q6_K)。
已知取舍· 无 imatrix,同档位下质量损失可能比带 imatrix 的版本更明显(我们的口径,需实测验证)

NANI-Nithin

apache-2.0 25 档 · 40 GB · 16k 下载
它是什么NANI-Nithin/MiniCPM5-2B-GGUF ↗,提供 25 个 GGUF 量化档,合计 40 GB。由 NANI-Nithin 发布。
量化者做了什么未提供重要性矩阵(imatrix),走的是纯权重量化路线;针对 llama 架构优化;声明上下文 131,072 tokens;发布页声明溯源到 openbmb/MiniCPM5-2B;权重总字节 43.1 GB(发布页 gguf.total 字段)。
与同系列其他变体的区别同系列另有 9 个量化来源(openbmb 3 档、bartowski 15 档、abenzerps 10 档、Abiray 5 档 等)。 本仓 25 档,覆盖最全。
存在的意义补上官方没覆盖的档位(Q4_1 这类),让你能在有限显存里凑合跑起来,或者反过来用更高精度换质量。
优势· 档位覆盖最广的一档(25 档),从极限压缩到近似无损都能选
· 平衡档落在 Q4_1(1.6 GB),是大多数人的起点
为什么选它 / 目的如果你的瓶颈是显存:直接下 Q4_1(1.6 GB,平衡档)。
如果你的瓶颈是速度:这个仓里没有更快的档位(GGUF 的速度主要由架构与后端决定,不由量化档决定),换量化者意义不大。
如果你的瓶颈是质量:往上走一档到保守档(Q5_K_M / Q6_K)。
已知取舍· 无 imatrix,同档位下质量损失可能比带 imatrix 的版本更明显(我们的口径,需实测验证)

abenzerps

apache-2.0 10 档 · 16 GB · 8k 下载
它是什么abenzerps/MiniCPM5-2B-GGUF ↗,提供 10 个 GGUF 量化档,合计 16 GB。由 abenzerps 发布。
量化者做了什么未提供重要性矩阵(imatrix),走的是纯权重量化路线;发布页声明溯源到 openbmb/MiniCPM5-2B;权重总字节 17.1 GB(发布页 gguf.total 字段)。
与同系列其他变体的区别同系列另有 9 个量化来源(openbmb 3 档、bartowski 15 档、NANI-Nithin 25 档、Abiray 5 档 等)。 本仓 10 档,覆盖中等。
存在的意义补上官方没覆盖的档位(Q4_K 这类),让你能在有限显存里凑合跑起来,或者反过来用更高精度换质量。
优势· 平衡档落在 Q4_K(1.6 GB),是大多数人的起点
为什么选它 / 目的如果你的瓶颈是显存:直接下 Q4_K(1.6 GB,平衡档)。
如果你的瓶颈是速度:这个仓里没有更快的档位(GGUF 的速度主要由架构与后端决定,不由量化档决定),换量化者意义不大。
如果你的瓶颈是质量:往上走一档到保守档(Q5_K_M / Q6_K)。
已知取舍· 无 imatrix,同档位下质量损失可能比带 imatrix 的版本更明显(我们的口径,需实测验证)

Abiray

apache-2.0 5 档 · 10 GB · 7k 下载
它是什么Abiray/MiniCPM5-2B-GGUF ↗,提供 5 个 GGUF 量化档,合计 10 GB。由 Abiray 发布。
量化者做了什么未提供重要性矩阵(imatrix),走的是纯权重量化路线;针对 llama 架构优化;声明上下文 131,072 tokens;发布页声明溯源到 openbmb/MiniCPM5-2B;权重总字节 10.9 GB(发布页 gguf.total 字段)。
与同系列其他变体的区别同系列另有 9 个量化来源(openbmb 3 档、bartowski 15 档、NANI-Nithin 25 档、abenzerps 10 档 等)。 本仓 5 档,覆盖中等。
存在的意义补上官方没覆盖的档位(Q4_K 这类),让你能在有限显存里凑合跑起来,或者反过来用更高精度换质量。
优势· 平衡档落在 Q4_K(1.6 GB),是大多数人的起点
为什么选它 / 目的如果你的瓶颈是显存:直接下 Q4_K(1.6 GB,平衡档)。
如果你的瓶颈是速度:这个仓里没有更快的档位(GGUF 的速度主要由架构与后端决定,不由量化档决定),换量化者意义不大。
如果你的瓶颈是质量:往上走一档到保守档(Q5_K_M / Q6_K)。
已知取舍· 无 imatrix,同档位下质量损失可能比带 imatrix 的版本更明显(我们的口径,需实测验证)

ngquocvinh

apache-2.0 13 档 · 22 GB · 4k 下载
它是什么ngquocvinh/MiniCPM5-2B-GGUF ↗,提供 13 个 GGUF 量化档,合计 22 GB。由 ngquocvinh 发布。
量化者做了什么带重要性矩阵(imatrix:/root/workspace/HF/calibration/minicpm5-2b/minicpm5_2b_combined_gpu0.imatrix.gguf),用激活数据统计各层重要性后再量化,通常比纯 RTN 稳;针对 llama 架构优化;声明上下文 131,072 tokens;发布页声明溯源到 openbmb/MiniCPM5-2B;权重总字节 23.2 GB(发布页 gguf.total 字段)。
与同系列其他变体的区别同系列另有 9 个量化来源(openbmb 3 档、bartowski 15 档、NANI-Nithin 25 档、abenzerps 10 档 等)。 本仓 13 档,覆盖中等。
存在的意义补上官方没覆盖的档位(Q4_K 这类),让你能在有限显存里凑合跑起来,或者反过来用更高精度换质量。
优势· 带 imatrix,同档位下质量通常更稳
· 平衡档落在 Q4_K(1.6 GB),是大多数人的起点
为什么选它 / 目的如果你的瓶颈是显存:直接下 Q4_K(1.6 GB,平衡档)。
如果你的瓶颈是速度:这个仓里没有更快的档位(GGUF 的速度主要由架构与后端决定,不由量化档决定),换量化者意义不大。
如果你的瓶颈是质量:往上走一档到保守档(Q5_K_M / Q6_K)。
已知取舍· 暂未发现明显取舍(不代表没有,建议先下一档实测)

gooseyai

cc0-1.0 7 档 · 19 GB · 2k 下载
它是什么gooseyai/MiniCPM5-2B-GGUF ↗,提供 7 个 GGUF 量化档,合计 19 GB。由 gooseyai 发布。
量化者做了什么未提供重要性矩阵(imatrix),走的是纯权重量化路线;针对 llama 架构优化;声明上下文 131,072 tokens;发布页声明溯源到 openbmb/MiniCPM5-2B;权重总字节 20.6 GB(发布页 gguf.total 字段)。
与同系列其他变体的区别同系列另有 9 个量化来源(openbmb 3 档、bartowski 15 档、NANI-Nithin 25 档、abenzerps 10 档 等)。 本仓 7 档,覆盖中等。
存在的意义补上官方没覆盖的档位(Q4_K 这类),让你能在有限显存里凑合跑起来,或者反过来用更高精度换质量。
优势· 平衡档落在 Q4_K(1.8 GB),是大多数人的起点
为什么选它 / 目的如果你的瓶颈是显存:直接下 Q4_K(1.8 GB,平衡档)。
如果你的瓶颈是速度:这个仓里没有更快的档位(GGUF 的速度主要由架构与后端决定,不由量化档决定),换量化者意义不大。
如果你的瓶颈是质量:往上走一档到保守档(Q5_K_M / Q6_K)。
已知取舍· 无 imatrix,同档位下质量损失可能比带 imatrix 的版本更明显(我们的口径,需实测验证)

prithivMLmods

apache-2.0 9 档 · 36 GB · 2k 下载
它是什么prithivMLmods/MiniCPM5-2B-GGUF ↗,提供 9 个 GGUF 量化档,合计 36 GB。由 prithivMLmods 发布。
量化者做了什么未提供重要性矩阵(imatrix),走的是纯权重量化路线;针对 llama 架构优化;声明上下文 131,072 tokens;发布页声明溯源到 openbmb/MiniCPM5-2B;权重总字节 38.7 GB(发布页 gguf.total 字段)。
与同系列其他变体的区别同系列另有 9 个量化来源(openbmb 3 档、bartowski 15 档、NANI-Nithin 25 档、abenzerps 10 档 等)。 本仓 9 档,覆盖中等。
存在的意义补上官方没覆盖的档位(Q4_K 这类),让你能在有限显存里凑合跑起来,或者反过来用更高精度换质量。
优势· 平衡档落在 Q4_K(1.6 GB),是大多数人的起点
为什么选它 / 目的如果你的瓶颈是显存:直接下 Q4_K(1.6 GB,平衡档)。
如果你的瓶颈是速度:这个仓里没有更快的档位(GGUF 的速度主要由架构与后端决定,不由量化档决定),换量化者意义不大。
如果你的瓶颈是质量:往上走一档到保守档(Q5_K_M / Q6_K)。
已知取舍· 无 imatrix,同档位下质量损失可能比带 imatrix 的版本更明显(我们的口径,需实测验证)

Mungert

apache-2.0 19 档 · 58 GB · 2k 下载
它是什么Mungert/MiniCPM5-2B-GGUF ↗,提供 19 个 GGUF 量化档,合计 58 GB。由 Mungert 发布。
量化者做了什么未提供重要性矩阵(imatrix),走的是纯权重量化路线;针对 llama 架构优化;声明上下文 131,072 tokens;权重总字节 61.8 GB(发布页 gguf.total 字段)。
与同系列其他变体的区别同系列另有 9 个量化来源(openbmb 3 档、bartowski 15 档、NANI-Nithin 25 档、abenzerps 10 档 等)。 本仓 19 档,覆盖中等。
存在的意义补上官方没覆盖的档位(Q4_1_L 这类),让你能在有限显存里凑合跑起来,或者反过来用更高精度换质量。
优势· 平衡档落在 Q4_1_L(1.8 GB),是大多数人的起点
为什么选它 / 目的如果你的瓶颈是显存:直接下 Q4_1_L(1.8 GB,平衡档)。
如果你的瓶颈是速度:这个仓里没有更快的档位(GGUF 的速度主要由架构与后端决定,不由量化档决定),换量化者意义不大。
如果你的瓶颈是质量:往上走一档到保守档(Q5_K_M / Q6_K)。
已知取舍· 无 imatrix,同档位下质量损失可能比带 imatrix 的版本更明显(我们的口径,需实测验证)

mradermacher

apache-2.0 8 档 · 21 GB · 2k 下载
它是什么mradermacher/MiniCPM5-2B-GGUF ↗,提供 8 个 GGUF 量化档,合计 21 GB。由 mradermacher 发布。
量化者做了什么未提供重要性矩阵(imatrix),走的是纯权重量化路线;针对 llama 架构优化;声明上下文 131,072 tokens;发布页声明溯源到 openbmb/MiniCPM5-2B;权重总字节 22.8 GB(发布页 gguf.total 字段)。
与同系列其他变体的区别同系列另有 9 个量化来源(openbmb 3 档、bartowski 15 档、NANI-Nithin 25 档、abenzerps 10 档 等)。 本仓 8 档,覆盖中等。
存在的意义补上官方没覆盖的档位(Q4_K 这类),让你能在有限显存里凑合跑起来,或者反过来用更高精度换质量。
优势· 平衡档落在 Q4_K(1.6 GB),是大多数人的起点
为什么选它 / 目的如果你的瓶颈是显存:直接下 Q4_K(1.6 GB,平衡档)。
如果你的瓶颈是速度:这个仓里没有更快的档位(GGUF 的速度主要由架构与后端决定,不由量化档决定),换量化者意义不大。
如果你的瓶颈是质量:往上走一档到保守档(Q5_K_M / Q6_K)。
已知取舍· 无 imatrix,同档位下质量损失可能比带 imatrix 的版本更明显(我们的口径,需实测验证)

E量化者档案 选量化者意味着什么

量化者决定了这个包的档位覆盖、命名规范、是否带 imatrix、什么时候跟进新模型。这一区块说明「选这个量化者的量化意味着什么」。

openbmb 模型方自己出的 GGUF(最可信的一档)

在本系列:1 个仓 · 242k 下载 · 含官方仓

代表:openbmb(面壁智能)、google、Qwen、unsloth 转发的 Qwen/Qwen3-30B-A3B-GGUF。

  • 为什么优先级最高:
  • 只有模型作者完全知道哪几层权重对质量最敏感
  • 官方量化档位数量通常很少(往往只有 Q4_K_M / Q8_0 两三档),因为官方只覆盖「安全」的选择
  • 出错时责任明确,不会因为第三方的错误 imatrix 导致质量异常

如果官方出了量化版,优先用它。 除非你需要官方没提供的极低比特档位。

  • 例外情况:
  • 官方可能只出 1~2 档,你实际需要 Q3 或 IQ4_XS 之类,还是得找第三方
  • 官方 GGUF 的更新频率依赖官方团队节奏,可能比第三方慢

核验方式:在本站系列页里,标有「官方」的条目会排在第三方之前。每条的许可都从 HF 发布页的 cardData.license 字段读取,以发布页原文为准。

发布页 ↗

bartowski 老牌量化者,档位命名规范、说明文档最完整

在本系列:1 个仓 · 23k 下载

定位:老牌量化者,档位命名规范、说明文档最完整。

  • 特点:
  • 每档位都写清「这个档适合什么场景」,不是只丢一堆文件
  • 命名遵循 llama.cpp 约定,Q4_K_M 就是社区通义的那个 Q4_K_M
  • 同一个模型常常同时提供静态量化与 imatrix 量化两个目录

怎么选他的包:看仓库里的 README 分档说明,那是少数把「为什么这档质量损失小、那档损失大」写清楚的地方。

注意:他的仓库名常带 Qwen_ Meta-Llama_ 这类前缀(因为 HF 仓库名不允许重复,量化者要加模型组织名消歧),搜仓时别漏掉前缀。

发布页:https://huggingface.co/bartowski

发布页 ↗

NANI-Nithin

在本系列:1 个仓 · 16k 下载

代表:openbmb(面壁智能)、google、Qwen、unsloth 转发的 Qwen/Qwen3-30B-A3B-GGUF。

  • 为什么优先级最高:
  • 只有模型作者完全知道哪几层权重对质量最敏感
  • 官方量化档位数量通常很少(往往只有 Q4_K_M / Q8_0 两三档),因为官方只覆盖「安全」的选择
  • 出错时责任明确,不会因为第三方的错误 imatrix 导致质量异常

如果官方出了量化版,优先用它。 除非你需要官方没提供的极低比特档位。

  • 例外情况:
  • 官方可能只出 1~2 档,你实际需要 Q3 或 IQ4_XS 之类,还是得找第三方
  • 官方 GGUF 的更新频率依赖官方团队节奏,可能比第三方慢

核验方式:在本站系列页里,标有「官方」的条目会排在第三方之前。每条的许可都从 HF 发布页的 cardData.license 字段读取,以发布页原文为准。

发布页 ↗

abenzerps

在本系列:1 个仓 · 8k 下载

代表:openbmb(面壁智能)、google、Qwen、unsloth 转发的 Qwen/Qwen3-30B-A3B-GGUF。

  • 为什么优先级最高:
  • 只有模型作者完全知道哪几层权重对质量最敏感
  • 官方量化档位数量通常很少(往往只有 Q4_K_M / Q8_0 两三档),因为官方只覆盖「安全」的选择
  • 出错时责任明确,不会因为第三方的错误 imatrix 导致质量异常

如果官方出了量化版,优先用它。 除非你需要官方没提供的极低比特档位。

  • 例外情况:
  • 官方可能只出 1~2 档,你实际需要 Q3 或 IQ4_XS 之类,还是得找第三方
  • 官方 GGUF 的更新频率依赖官方团队节奏,可能比第三方慢

核验方式:在本站系列页里,标有「官方」的条目会排在第三方之前。每条的许可都从 HF 发布页的 cardData.license 字段读取,以发布页原文为准。

发布页 ↗

Abiray

在本系列:1 个仓 · 7k 下载

代表:openbmb(面壁智能)、google、Qwen、unsloth 转发的 Qwen/Qwen3-30B-A3B-GGUF。

  • 为什么优先级最高:
  • 只有模型作者完全知道哪几层权重对质量最敏感
  • 官方量化档位数量通常很少(往往只有 Q4_K_M / Q8_0 两三档),因为官方只覆盖「安全」的选择
  • 出错时责任明确,不会因为第三方的错误 imatrix 导致质量异常

如果官方出了量化版,优先用它。 除非你需要官方没提供的极低比特档位。

  • 例外情况:
  • 官方可能只出 1~2 档,你实际需要 Q3 或 IQ4_XS 之类,还是得找第三方
  • 官方 GGUF 的更新频率依赖官方团队节奏,可能比第三方慢

核验方式:在本站系列页里,标有「官方」的条目会排在第三方之前。每条的许可都从 HF 发布页的 cardData.license 字段读取,以发布页原文为准。

发布页 ↗

ngquocvinh

在本系列:1 个仓 · 4k 下载

代表:openbmb(面壁智能)、google、Qwen、unsloth 转发的 Qwen/Qwen3-30B-A3B-GGUF。

  • 为什么优先级最高:
  • 只有模型作者完全知道哪几层权重对质量最敏感
  • 官方量化档位数量通常很少(往往只有 Q4_K_M / Q8_0 两三档),因为官方只覆盖「安全」的选择
  • 出错时责任明确,不会因为第三方的错误 imatrix 导致质量异常

如果官方出了量化版,优先用它。 除非你需要官方没提供的极低比特档位。

  • 例外情况:
  • 官方可能只出 1~2 档,你实际需要 Q3 或 IQ4_XS 之类,还是得找第三方
  • 官方 GGUF 的更新频率依赖官方团队节奏,可能比第三方慢

核验方式:在本站系列页里,标有「官方」的条目会排在第三方之前。每条的许可都从 HF 发布页的 cardData.license 字段读取,以发布页原文为准。

发布页 ↗

gooseyai

在本系列:1 个仓 · 2k 下载

代表:openbmb(面壁智能)、google、Qwen、unsloth 转发的 Qwen/Qwen3-30B-A3B-GGUF。

  • 为什么优先级最高:
  • 只有模型作者完全知道哪几层权重对质量最敏感
  • 官方量化档位数量通常很少(往往只有 Q4_K_M / Q8_0 两三档),因为官方只覆盖「安全」的选择
  • 出错时责任明确,不会因为第三方的错误 imatrix 导致质量异常

如果官方出了量化版,优先用它。 除非你需要官方没提供的极低比特档位。

  • 例外情况:
  • 官方可能只出 1~2 档,你实际需要 Q3 或 IQ4_XS 之类,还是得找第三方
  • 官方 GGUF 的更新频率依赖官方团队节奏,可能比第三方慢

核验方式:在本站系列页里,标有「官方」的条目会排在第三方之前。每条的许可都从 HF 发布页的 cardData.license 字段读取,以发布页原文为准。

发布页 ↗

prithivMLmods

在本系列:1 个仓 · 2k 下载

代表:openbmb(面壁智能)、google、Qwen、unsloth 转发的 Qwen/Qwen3-30B-A3B-GGUF。

  • 为什么优先级最高:
  • 只有模型作者完全知道哪几层权重对质量最敏感
  • 官方量化档位数量通常很少(往往只有 Q4_K_M / Q8_0 两三档),因为官方只覆盖「安全」的选择
  • 出错时责任明确,不会因为第三方的错误 imatrix 导致质量异常

如果官方出了量化版,优先用它。 除非你需要官方没提供的极低比特档位。

  • 例外情况:
  • 官方可能只出 1~2 档,你实际需要 Q3 或 IQ4_XS 之类,还是得找第三方
  • 官方 GGUF 的更新频率依赖官方团队节奏,可能比第三方慢

核验方式:在本站系列页里,标有「官方」的条目会排在第三方之前。每条的许可都从 HF 发布页的 cardData.license 字段读取,以发布页原文为准。

发布页 ↗

Mungert

在本系列:1 个仓 · 2k 下载

代表:openbmb(面壁智能)、google、Qwen、unsloth 转发的 Qwen/Qwen3-30B-A3B-GGUF。

  • 为什么优先级最高:
  • 只有模型作者完全知道哪几层权重对质量最敏感
  • 官方量化档位数量通常很少(往往只有 Q4_K_M / Q8_0 两三档),因为官方只覆盖「安全」的选择
  • 出错时责任明确,不会因为第三方的错误 imatrix 导致质量异常

如果官方出了量化版,优先用它。 除非你需要官方没提供的极低比特档位。

  • 例外情况:
  • 官方可能只出 1~2 档,你实际需要 Q3 或 IQ4_XS 之类,还是得找第三方
  • 官方 GGUF 的更新频率依赖官方团队节奏,可能比第三方慢

核验方式:在本站系列页里,标有「官方」的条目会排在第三方之前。每条的许可都从 HF 发布页的 cardData.license 字段读取,以发布页原文为准。

发布页 ↗

mradermacher Mirostat 作者,长期做低比特实验性量化

在本系列:1 个仓 · 2k 下载

定位:Mirostat 采样算法作者,长期做低比特实验性量化。

  • 特点:
  • 愿意发别人不敢发的极低比特档位(IQ2_XXS、Q2_K 这类)
  • 关注点在「量化方法本身」——会试不同的 imatrix、不同的重要性矩阵来源
  • 文件命名带 i1 h2 之类的后缀,标明用的是哪一版重要性矩阵

适合谁:在做「极小显存里塞下最大模型」这类实验,或者想对比不同重要性矩阵对质量的影响。

不适合谁:日常使用。极低比特档位的质量损失通常已经很明显了,除非你确实没有别的选择,否则不建议作为主力。

发布页:https://huggingface.co/mradermacher

发布页 ↗

F更新记录 谁在跟进

按更新时间倒序。更新频繁说明该量化者在跟进新版本;长期不更新则基础模型升版后可能不同步。

基础模型 openbmb/MiniCPM5-2B 最近更新:2026-09-29 · 本站采集时间:2026-09-30