Bonsai 27Bは、PrismMLがQwen3.6-27Bを低ビット化したマルチモーダルモデルです。狙いは27B級のモデルを小さな別モデルへ蒸留することではなく、同じ27Bの重みを極端に細く表現し、ノートPCやスマートフォン、WebGPU対応ブラウザへ載せること。1ビット版と三値版がApache 2.0で公開されています。(公式発表, モデルカード)
1ビットでも、実際には1.125ビット
1ビット版の重みは -1 と +1 のどちらかです。ただし128個の重みごとにFP16のスケール値をひとつ持つため、実効ビット幅は1重みあたり1.125ビット。FP16で約54GBだった言語モデル部分を約3.9GBに収めています。埋め込み、Attention、MLP、LM Headまで低ビット化し、推論時もFP16へ展開せず、専用カーネルがパック済みの重みを直接読みます。(モデルカード, ホワイトペーパー)
もうひとつの三値版は、重みを -1、0、+1 で表します。実効1.71ビットで、論理上のサイズは約5.9GB。現在のGGUFでは高速なカーネル向けに2ビット枠へ格納するため、配布ファイルは約7.2GBになります。小ささを優先するなら1ビット、品質側へ寄せるなら三値版という分け方です。(ホワイトペーパー, デモリポジトリ)
WebGPUでは、展開より「そのまま計算する」
公開されているWebGPUデモは、モデルをブラウザへダウンロードし、会話も推論も端末内で処理します。HTML内にはWGSLの計算シェーダーが含まれ、32ビットの語から符号を取り出し、共有スケールを掛けながら行列積を進める実装を確認できます。低ビット化は保存容量だけの話ではありません。生成時に毎トークン読み出す重みの量を減らし、その表現のままGPUで計算できることが効いてきます。(WebGPUデモ)
3.9GBだけを見てはいけない
モデルサイズと実行時のピークメモリは別です。公式デモの目安では、1ビットGGUFは重みが3.53GiBでも、4Kコンテキストで約4.8GiB、100Kでは約10.8GiBを使います。画像を扱うなら、量子化されたVision Projectorも追加で必要です。最大262,144トークンのコンテキストを掲げていても、端末のメモリに応じて現実的な長さを選ぶ必要があります。(デモリポジトリ)
品質について、PrismMLは15種類のベンチマーク平均でFP16版85.07、三値版80.49、1ビット版76.11と報告しています。保持率に直すと約94.6%と89.5%です。これは開発元による評価であり、独立検証の代わりにはなりません。モデルカードも長時間のエージェント型コーディングを現時点の得意分野とはしていません。まず1ビット版が手元のメモリへ収まるかを確認し、必要なタスクで三値版やFP16版と出力を比べる。Bonsai 27Bは、派手な圧縮率より、その比較をローカル環境へ持ち込める点が面白いモデルです。