D每个变体详解 七字段
每个变体按七个字段展开:它是什么 → 量化者做了什么 → 与同系列其他变体的区别 → 存在的意义 → 优势 → 为什么选它 → 已知取舍。最后一项是本站唯一会写主观判断的地方,且都标注了「我们的口径」。
量化者做了什么未提供重要性矩阵(imatrix),走的是纯权重量化路线;针对 glm5next 架构优化;声明上下文 1,048,576 tokens;发布页声明溯源到 zai-org/GLM-5.3-Flash;权重总字节 2540.4 GB(发布页 gguf.total 字段)。
与同系列其他变体的区别同系列另有 9 个量化来源(aj9o9 2 档、vcruz305 2 档、batiai 5 档、AesSedai 5 档 等)。 本仓 12 档,覆盖最全。
存在的意义补上官方没覆盖的档位(UD-IQ4_XS 这类),让你能在有限显存里凑合跑起来,或者反过来用更高精度换质量。
优势· 平衡档落在 UD-IQ4_XS(157 GB),是大多数人的起点
为什么选它 / 目的如果你的瓶颈是显存:直接下 UD-IQ4_XS(157 GB,平衡档)。
如果你的瓶颈是速度:这个仓里没有更快的档位(GGUF 的速度主要由架构与后端决定,不由量化档决定),换量化者意义不大。
如果你的瓶颈是质量:往上走一档到保守档(Q5_K_M / Q6_K)。
已知取舍· 无 imatrix,同档位下质量损失可能比带 imatrix 的版本更明显(我们的口径,需实测验证)
· 全仓 2366 GB,硬盘紧张的话建议只下需要的 1~2 个档位
量化者做了什么带重要性矩阵(imatrix:imatrix_unsloth.gguf_file),用激活数据统计各层重要性后再量化,通常比纯 RTN 稳;针对 glm5next 架构优化;声明上下文 1,048,576 tokens;发布页声明溯源到 zai-org/GLM-5.3-Flash;权重总字节 199.8 GB(发布页 gguf.total 字段)。
与同系列其他变体的区别同系列另有 9 个量化来源(unsloth 12 档、vcruz305 2 档、batiai 5 档、AesSedai 5 档 等)。 本仓 2 档,覆盖中等。
存在的意义补上官方没覆盖的档位(IQ3_XXS 这类),让你能在有限显存里凑合跑起来,或者反过来用更高精度换质量。
优势· 带 imatrix,同档位下质量通常更稳
· 平衡档落在 IQ3_XXS(112 GB),是大多数人的起点
为什么选它 / 目的如果你的瓶颈是显存:直接下 IQ3_XXS(112 GB,长上下文优先)。
如果你的瓶颈是速度:这个仓里没有更快的档位(GGUF 的速度主要由架构与后端决定,不由量化档决定),换量化者意义不大。
如果你的瓶颈是质量:往上走一档到保守档(Q5_K_M / Q6_K)。
已知取舍· 档位极少,没有升降空间,被显存卡住时无路可退
量化者做了什么未提供重要性矩阵(imatrix),走的是纯权重量化路线;针对 glm5next 架构优化;声明上下文 1,048,576 tokens;发布页声明溯源到 zai-org/GLM-5.3-Flash-BF16;权重总字节 309.6 GB(发布页 gguf.total 字段)。
与同系列其他变体的区别同系列另有 9 个量化来源(unsloth 12 档、aj9o9 2 档、batiai 5 档、AesSedai 5 档 等)。 本仓 2 档,覆盖中等。
存在的意义补上官方没覆盖的档位(Q4_K 这类),让你能在有限显存里凑合跑起来,或者反过来用更高精度换质量。
优势· 平衡档落在 Q4_K(193 GB),是大多数人的起点
为什么选它 / 目的如果你的瓶颈是显存:直接下 Q4_K(193 GB,平衡档)。
如果你的瓶颈是速度:这个仓里没有更快的档位(GGUF 的速度主要由架构与后端决定,不由量化档决定),换量化者意义不大。
如果你的瓶颈是质量:往上走一档到保守档(Q5_K_M / Q6_K)。
已知取舍· 档位极少,没有升降空间,被显存卡住时无路可退
· 无 imatrix,同档位下质量损失可能比带 imatrix 的版本更明显(我们的口径,需实测验证)
· 全仓 288 GB,硬盘紧张的话建议只下需要的 1~2 个档位
量化者做了什么带重要性矩阵(imatrix:/mnt/nas/batiai-models/GLM-5.3-Flash-workspace/imatrix.dat),用激活数据统计各层重要性后再量化,通常比纯 RTN 稳;针对 glm5next 架构优化;声明上下文 1,048,576 tokens;发布页声明溯源到 zai-org/GLM-5.3-Flash;权重总字节 654.8 GB(发布页 gguf.total 字段)。
与同系列其他变体的区别同系列另有 9 个量化来源(unsloth 12 档、aj9o9 2 档、vcruz305 2 档、AesSedai 5 档 等)。 本仓 5 档,覆盖中等。
存在的意义补上官方没覆盖的档位(Q4_K 这类),让你能在有限显存里凑合跑起来,或者反过来用更高精度换质量。
优势· 带 imatrix,同档位下质量通常更稳
· 平衡档落在 Q4_K(189 GB),是大多数人的起点
为什么选它 / 目的如果你的瓶颈是显存:直接下 Q4_K(189 GB,平衡档)。
如果你的瓶颈是速度:这个仓里没有更快的档位(GGUF 的速度主要由架构与后端决定,不由量化档决定),换量化者意义不大。
如果你的瓶颈是质量:往上走一档到保守档(Q5_K_M / Q6_K)。
已知取舍· 全仓 610 GB,硬盘紧张的话建议只下需要的 1~2 个档位
量化者做了什么带重要性矩阵(imatrix:/mnt/srv/snowdrift/fp16/GLM-5.3-Flash/imatrix.gguf),用激活数据统计各层重要性后再量化,通常比纯 RTN 稳;针对 glm5-next 架构优化;声明上下文 1,048,576 tokens;发布页声明溯源到 zai-org/GLM-5.3-Flash-BF16;权重总字节 840.3 GB(发布页 gguf.total 字段)。
与同系列其他变体的区别同系列另有 9 个量化来源(unsloth 12 档、aj9o9 2 档、vcruz305 2 档、batiai 5 档 等)。 本仓 5 档,覆盖中等。
存在的意义补上官方没覆盖的档位(Q4_K 这类),让你能在有限显存里凑合跑起来,或者反过来用更高精度换质量。
优势· 带 imatrix,同档位下质量通常更稳
· 平衡档落在 Q4_K(202 GB),是大多数人的起点
为什么选它 / 目的如果你的瓶颈是显存:直接下 Q4_K(202 GB,平衡档)。
如果你的瓶颈是速度:这个仓里没有更快的档位(GGUF 的速度主要由架构与后端决定,不由量化档决定),换量化者意义不大。
如果你的瓶颈是质量:往上走一档到保守档(Q5_K_M / Q6_K)。
已知取舍· 全仓 783 GB,硬盘紧张的话建议只下需要的 1~2 个档位
量化者做了什么带重要性矩阵(imatrix:imatrix.gguf),用激活数据统计各层重要性后再量化,通常比纯 RTN 稳;针对 glm5next 架构优化;声明上下文 1,048,576 tokens;发布页声明溯源到 zai-org/GLM-5.3-Flash;权重总字节 451.1 GB(发布页 gguf.total 字段)。
与同系列其他变体的区别同系列另有 9 个量化来源(unsloth 12 档、aj9o9 2 档、vcruz305 2 档、batiai 5 档 等)。 本仓 4 档,覆盖中等。
存在的意义补上官方没覆盖的档位(IQ4_XS 这类),让你能在有限显存里凑合跑起来,或者反过来用更高精度换质量。
优势· 带 imatrix,同档位下质量通常更稳
· 平衡档落在 IQ4_XS(167 GB),是大多数人的起点
为什么选它 / 目的如果你的瓶颈是显存:直接下 IQ4_XS(167 GB,平衡档)。
如果你的瓶颈是速度:这个仓里没有更快的档位(GGUF 的速度主要由架构与后端决定,不由量化档决定),换量化者意义不大。
如果你的瓶颈是质量:往上走一档到保守档(Q5_K_M / Q6_K)。
已知取舍· 全仓 420 GB,硬盘紧张的话建议只下需要的 1~2 个档位
量化者做了什么未提供重要性矩阵(imatrix),走的是纯权重量化路线;针对 glm5next 架构优化;声明上下文 1,048,576 tokens;发布页声明溯源到 zai-org/GLM-5.3-Flash;权重总字节 2540.4 GB(发布页 gguf.total 字段)。
与同系列其他变体的区别同系列另有 9 个量化来源(unsloth 12 档、aj9o9 2 档、vcruz305 2 档、batiai 5 档 等)。 本仓 12 档,覆盖最全。
存在的意义补上官方没覆盖的档位(UD-IQ4_XS 这类),让你能在有限显存里凑合跑起来,或者反过来用更高精度换质量。
优势· 平衡档落在 UD-IQ4_XS(157 GB),是大多数人的起点
为什么选它 / 目的如果你的瓶颈是显存:直接下 UD-IQ4_XS(157 GB,平衡档)。
如果你的瓶颈是速度:这个仓里没有更快的档位(GGUF 的速度主要由架构与后端决定,不由量化档决定),换量化者意义不大。
如果你的瓶颈是质量:往上走一档到保守档(Q5_K_M / Q6_K)。
已知取舍· 无 imatrix,同档位下质量损失可能比带 imatrix 的版本更明显(我们的口径,需实测验证)
· 全仓 2366 GB,硬盘紧张的话建议只下需要的 1~2 个档位
量化者做了什么未提供重要性矩阵(imatrix),走的是纯权重量化路线;针对 glm5next 架构优化;声明上下文 1,048,576 tokens;发布页声明溯源到 zai-org/GLM-5.3-Flash;权重总字节 2540.4 GB(发布页 gguf.total 字段)。
与同系列其他变体的区别同系列另有 9 个量化来源(unsloth 12 档、aj9o9 2 档、vcruz305 2 档、batiai 5 档 等)。 本仓 12 档,覆盖最全。
存在的意义补上官方没覆盖的档位(UD-IQ4_XS 这类),让你能在有限显存里凑合跑起来,或者反过来用更高精度换质量。
优势· 平衡档落在 UD-IQ4_XS(157 GB),是大多数人的起点
为什么选它 / 目的如果你的瓶颈是显存:直接下 UD-IQ4_XS(157 GB,平衡档)。
如果你的瓶颈是速度:这个仓里没有更快的档位(GGUF 的速度主要由架构与后端决定,不由量化档决定),换量化者意义不大。
如果你的瓶颈是质量:往上走一档到保守档(Q5_K_M / Q6_K)。
已知取舍· 无 imatrix,同档位下质量损失可能比带 imatrix 的版本更明显(我们的口径,需实测验证)
· 全仓 2366 GB,硬盘紧张的话建议只下需要的 1~2 个档位
量化者做了什么带重要性矩阵(imatrix:./imatrices/GLM-5.3-Flash-imatrix.gguf),用激活数据统计各层重要性后再量化,通常比纯 RTN 稳;针对 glm5-next 架构优化;声明上下文 1,048,576 tokens;发布页声明溯源到 zai-org/GLM-5.3-Flash;权重总字节 139.8 GB(发布页 gguf.total 字段)。
与同系列其他变体的区别同系列另有 9 个量化来源(unsloth 12 档、aj9o9 2 档、vcruz305 2 档、batiai 5 档 等)。 本仓 1 档,覆盖最少。
存在的意义补上官方没覆盖的档位(作者标注 3.49bpw 这类),让你能在有限显存里凑合跑起来,或者反过来用更高精度换质量。
优势· 带 imatrix,同档位下质量通常更稳
· 平衡档落在 作者标注 3.49bpw(140 GB),是大多数人的起点
为什么选它 / 目的如果你的瓶颈是显存:直接下 作者标注 3.49bpw(140 GB,长上下文优先)。
如果你的瓶颈是速度:这个仓里没有更快的档位(GGUF 的速度主要由架构与后端决定,不由量化档决定),换量化者意义不大。
如果你的瓶颈是质量:往上走一档到保守档(Q5_K_M / Q6_K)。
已知取舍· 档位极少,没有升降空间,被显存卡住时无路可退
量化者做了什么未提供重要性矩阵(imatrix),走的是纯权重量化路线;针对 glm5-next 架构优化;声明上下文 1,048,576 tokens;发布页声明溯源到 zai-org/GLM-5.3-Flash;权重总字节 193.8 GB(发布页 gguf.total 字段)。
与同系列其他变体的区别同系列另有 9 个量化来源(unsloth 12 档、aj9o9 2 档、vcruz305 2 档、batiai 5 档 等)。 本仓 1 档,覆盖最少。
存在的意义补上官方没覆盖的档位(Q4_K 这类),让你能在有限显存里凑合跑起来,或者反过来用更高精度换质量。
优势· 平衡档落在 Q4_K(194 GB),是大多数人的起点
为什么选它 / 目的如果你的瓶颈是显存:直接下 Q4_K(194 GB,平衡档)。
如果你的瓶颈是速度:这个仓里没有更快的档位(GGUF 的速度主要由架构与后端决定,不由量化档决定),换量化者意义不大。
如果你的瓶颈是质量:往上走一档到保守档(Q5_K_M / Q6_K)。
已知取舍· 档位极少,没有升降空间,被显存卡住时无路可退
· 无 imatrix,同档位下质量损失可能比带 imatrix 的版本更明显(我们的口径,需实测验证)