Edge0-35B-A3B-previewは、Qwen3.6-35B-A3Bをベースにした4ビット量子化モデルです。推論フレームワークのedge0と組み合わせ、必要なエキスパートの重みをSSDから読み込みます。狙いは、35B級のモデルを丸ごとRAMに置かずに動かすこと。モデルの配布物には、量子化済みの重みだけでなく、この実行方式に合わせたLoRAとprerouterのアダプターも含まれます。
計算量が少なくても、重みは大きい
MoEは、トークンごとに一部のエキスパートを選んで計算する仕組みです。ただし、計算に参加する重みが少ないことと、モデル全体を保存する容量が小さいことは別です。
edge0は重みをストレージに残し、必要な部分を読み出します。公式READMEによれば、35B版のチェックポイントは約23 GB。省メモリ化しても、ダウンロード容量やディスクの空き容量まで小さくなるわけではありません。
難しいのは読み込むタイミングです。通常のルーティング結果を待ってからSSDにアクセスすると、重みが届くまで計算が止まります。単に保存先をRAMからSSDへ移すだけでは、この待ち時間が残ります。
先読みの結果を、実際のルーティングに使う
prerouterは、小さな学習済みネットワークでエキスパートの選択を先読みします。公式ドキュメントでは、ある層が前のトークンで作った予測を、次の層が現在のトークンで使う設計です。読み込みを前倒しし、計算と重ねる時間を作ります。
ここで面白いのは、予測を単なるキャッシュのヒントで終わらせない点です。予測したエキスパートを実際のルーティング先として使うため、用意した重みと実行する対象が一致します。元のモデルと同じ選択を保ったまま、読み込みだけを速くする方式ではありません。
その変更と量子化による品質低下を補うのがRecover-LoRAです。4ビットのベースを固定し、浮動小数点モデルを教師に蒸留したアダプターを使います。アダプターはベースへマージせず、別ファイルのまま読み込む構成です。速度だけでなく、変更後の推論経路に合わせて品質を戻すところまでが、このモデルの設計に含まれています。
「2.9 GiB」の条件を分けて読む
モデルカードが示す測定環境は、メモリ24 GBのMac mini M4 Proです。公表値はデコード速度14.9〜17.7 tok/s、ピークのアクティブメモリ2.9 GiB。この記事で実機測定した値ではなく、開発元のベンチマークです。
2.9 GiBは短いコンテキストでの値であり、長い入力ではKVキャッシュが増えます。OSやトークナイザーの余裕も別に必要です。したがって、「総メモリ3 GiBの端末なら同じ速度で動く」とは読めません。READMEの要件欄はApple Silicon搭載macOSを対象としており、このMacでの数値をiPhoneの速度として扱うこともできません。
モデルカードには、プレビュー版ではツール使用や複数段階の計画など、エージェント用途がまだ弱いという制約もあります。まずは対応するMacで短い対話を試し、出力の品質とメモリ使用量を確認するのがよさそうです。見るべきなのは「何Bのモデルが動いたか」だけでなく、自分の入力長とストレージで、読み込み待ちをどこまで抑えられるかでしょう。