24GBグラボで動くAIモデル比較

本格的なローカル推論を行う上で、24GBのグラフィックカードは実用的な最低ラインです。これは十分に高性能なモデルに対応でき、1つのGPUに収まるほど小さいです。RTX 3090やRTX 4090がこのティアに該当します。所有しているカードよりも、そのカードに選ぶモデルの方が重要です。以前の愛好家のやり方は、最大の70B quantをカードに詰め込むことでしたが、そのアドバイスは今では時代遅れです。2026年のより強力な戦略は、きれいに収まる最新の20B〜35Bクラスのモデルを使用することです。これらはコンテキストのための余地を残し、コーディング、チャット、エージェントにとっても十分な速さで応答します。このガイドでは、実際に収まるモデル、それぞれの実行価値、そして24GBがどのように使われるかを解説します。 24GBのVRAMが実際にどのように使われるか 推論中には3つのものがメモリを消費します。この配分を正しく理解することが、モデルが収まるかどうかを決定します。1つ目はmodel weights（モデルの重み）です。そのサイズはパラメータ数とquantization（量子化）に依存します。一般的なホーム推論のデフォルトであるQ4_K_Mでは、各パラメータは約0.58バイトを消費します。したがって、32Bモデルは重みだけで約18〜20GBを必要とします。Mixtral-styleのMixture-of-Experts (MoE) モデルは、ここでの一般的な落とし穴です。トークンごとにごく一部しかルーティングされない場合でも、すべてのexpertがVRAMに常駐します。そのため、MoEのメモリサイズは総パラメータ数で計算し、アクティブなパラメータ数では計算しません。2つ目はKV cacheで、これはコンテキスト長とともに増加します。長いプロンプトや長いセッションは、より多くのVRAMを消費します。3つ目はserving stackからのruntime overhead（実行時オーバーヘッド）です。短いコンテキストでは、KV cacheとランタイムのために約1〜2GBを追加するのが安全な経験則です。 Quantizationは24GBを機能させるための鍵です。Q4_K_Mは品質とフットプリントの標準的なバランスです。Q5_K_MとQ6_Kはメモリコストを伴いながら品質を向上させます。Q8_0とBF16は通常、単一の24GBカード上の30Bクラスのモデルには大きすぎます。以下のインタラクティブツールを使用すると、quantizationを切り替えて、各モデルの適合状況がリアルタイムで変化するのを確認できます。(function(){var f=document.getElementById("mtp24gb"); window.addEventListener("message",function(e){if(f&&e.source===f.contentWindow&&e.data&&e.data.__mtpH){f.style.height=e.data.__mtpH+"px";}});