qwen3.8-27b-abliterated-3.69bpw-12GB-MTP.ggufは、Qwen3.8-27Bの拒否傾向を弱めたAEON-7版を、ローカル推論向けに圧縮したGGUFです。27Bパラメーターの重みを公称3.69bpw、約11.73GiBの単一ファイルに収め、llama.cppで動かせる形にしています。単にビット数を一律で落としたモデルではなく、壊れやすい場所へ精度を残す配分が見どころです。(モデルカード)
量子化の強さをテンソルごとに変える
土台のQwen3.8-27Bは、Gated DeltaNetと通常のAttentionを組み合わせた64層のハイブリッド構成です。今回のGGUFは、その構造を見ながら量子化方式を振り分けています。中間層のFFNには主にIQ2_Sを使う一方、Gated DeltaNetの状態経路にあるssm_alphaとssm_betaはQ8_0、通常AttentionのQ/K/VはQ5_K、出力・埋め込み・MTPはQ6_Kで保持。normや一部の状態値にはF32も残しています。(Qwen3.8-27B, モデルカード)
小さくしたいからといって、全層を同じ粒度で削るわけではありません。容量を大きく使うFFNは強めに圧縮し、推論の流れを支える経路には多めのビットを渡す。12GB級というサイズそのものより、この優先順位に設計の輪郭があります。なお、量子化に使った重要度行列は、英語WikiText、日本語Wikipedia、llama.cppのソースコードを混ぜた独自の校正データから作られています。Ridgeの考え方を参照していますが、公式Ridge版とは別の重みです。(モデルカード)
MTPは残したまま、llama.cppで先読みする
Qwen3.8-27BはMulti-Token Prediction（MTP）を複数段で学習しています。このGGUFではMTPテンソルを落とさず、重要度行列をかけずにQ6_Kで収録しました。llama.cppのdraft-mtpを使うと、MTPヘッドが複数トークンを先読みし、本体がまとめて検証します。逐次生成を減らせるかどうかは、先読みがどれだけ受理されるか次第です。(Qwen3.8-27B, llama.cppの解説)
モデルカードは--spec-draft-n-max 3を開始点にしています。ただし、公開されている最高約37 tokens/sは、RTX 5060 Ti 16GBとRTX 3070 8GBを併用した作者環境での値です。長く先読みすれば必ず速くなるわけではなく、コンテキスト長やKVキャッシュ、llama.cppの版、受理率で結果は変わります。まずMTPなしを基準に取り、同じプロンプトで速度と受理率を比べるのが堅実です。(モデルカード, llama.cppの解説)
11.73GiBだけを見て決めない
ファイル容量と、実行時に必要なメモリは同じではありません。262,144トークンという値はGGUFに入ったコンテキスト情報であり、長い文脈ほどKVキャッシュも膨らみます。また、この配布物はテキスト用GGUFです。画像入力には互換性のあるmmprojが別途必要になります。(モデルカード, GGUFの概要)
もう一つ外せないのが、元のAEON-7がEarly Access Draftであることです。拒否除去によって安全層を当てにできず、非常に長い出力では反復やループが起きる場合もあると明記されています。外部公開するなら、localhostへのバインド、認証、入出力の検査、ログ、レート制限をモデルの外側に置く必要があります。軽さ、応答品質、MTPの効き方、安全策を別々に測る。そこまで含めて、このGGUFを選ぶ判断になります。(AEON-7モデルカード, モデルカード)