r/LocalLLaMAでQwen3.5-27B Q4量子化を比較、KLDと容量のトレードオフを可視化

実務志向のコミュニティ比較

r/LocalLLaMAの投稿 Qwen3.5-27B Q4 Quantization Comparison は、2026-03-03 23:50:33 UTCに公開され、クロール時点で198ポイント・73コメントを記録した。内容は単なる感想ではなく、複数のQ4 GGUFファイルを同一の評価軸で比較した実測レポートである。

中心指標はKLD（KL Divergence）で、投稿では「BF16基準に対する分布の近さ」を示す値として使われている。値が低いほど忠実度が高いという整理だ。評価は2系統で、ChatML形式のカスタムデータ（47 chunks, context 4096）と、wikitext2テスト（72 chunks, context 4096）を併用している。

投稿で示された主要結果

• KLD最良: unsloth_Qwen3.5-27B-UD-Q4_K_XL（16.411 GiB, KLD 0.005087）
• 上位候補: bartowski Q4_K_M、unsloth Q4_K_M などが続く
• 効率スコア最良: bartowski_Qwen3.5-27B-IQ4_XS（14.130 GiB, KLD 0.007062）
• 検証環境: i3-12100F / 64GB DDR4-3200 / RTX 3060 12GB / llama.cpp 8189

重要なのは、「最もBF16に近い量子化」と「実運用で効率が高い量子化」が一致しない点である。ローカル推論ではVRAM上限や容量制約が厳しいため、わずかな忠実度差より、導入しやすさや処理速度が優先される場面が多い。

解釈時の注意

本結果はコミュニティ主導の検証であり、公式ベンチマークや査読論文の代替ではない。データセット構成、推論設定、ランタイム差で順位は変わり得る。ただし、同条件で多数の人気ファイルを並べ、数値テーブルを公開している点は、実務判断の材料として十分に価値がある。

コメント欄でも有用性を評価する反応が多く、一部ユーザーは追加プロットで傾向を再検証していた。検証結果を相互に補強する流れは、コミュニティ由来データの信頼性を高める重要な要素といえる。

Sources: Reddit post (r/LocalLLaMA).