巨大AIが個人PCで動く新技術

最先端のオープンウェイトモデルは、それらを取り巻くハードウェアの前提よりも速く提供されています。Kimi-K3、GLM-5.2、DeepSeek-V4-Flashは、プロプライエタリなシステムとの性能差を縮めていますが、パラメータの公開はモデルを入手できる人を決定するだけで、それを実行する余裕がある人を決定するものではありません。それらのモデルを動かすには依然としてデータセンター級のGPUクラスターが想定されており、エージェント的なワークロードが推論の需要を押し上げるにつれて、そのコストは個人の開発者や小規模チームに最も重くのしかかります。一方、1億台以上のコンシューマーマシンにはすでにディスクリートGPUが搭載されています。Aチームの研究者からUC BerkeleyとUT AustinはFreeTokenを提案しています。研究チームは、欠けているのはハードウェアではなく、サービングシステムであると主張しました。これは、個人のマシンを小さなGPUとしてではなく、統一された弾力的な推論プラットフォームとして扱い、マシンが実際に持つGPU、CPU、メモリ、相互接続帯域幅のすべてに計算とモデルの状態を継続的にマッピングします。その結果、8 GBのノートPC GPUで35Bモデルがインタラクティブな速度で動作し、ゲーミングデスクトップで284B、そして単一のワークステーションカードで753BのGLM-5.2が動作します。展開可能でしょうか？はい、FreeTokenはGitHubでApache-2.0ライセンスで公開されており、PyPIにはfreetoken v0.1.2として（uv pip install "freetoken[accel]"で）公開され、flashml.aiではWindowsおよびLinux向けのワンクリックデスクトップアプリとして提供されています。CLIは、ドライバーr580+（CUDA 13）を搭載したNVIDIA GPUを持つLinux x86_64を対象としています。ft serveはポート1919でOpenAIおよびAnthropic互換のエンドポイントを公開し、ft launch claudeはClaude Code、Codex、OpenCode、またはOpenClawを自身のマシンに接続します。対象ユーザー：エージェントのトークン料金がすでに所有するGPUのコストを超えている個人開発者、スタートアップ、SMBのエンジニアリングチーム。エンタープライズ企業は、データセンターの代替としてではなく、エアギャップ環境や規制されたワークロードのパスとして扱うべきです。最も適した業界：ヘルスケアおよび法務（データがマシンから離れないため）、防衛、金融、およびIPを多用するR&D。典型的なアプリケーション：ローカルのコーディングエージェント、プライベートなコードレビュー、オフラインの契約分析、合成データ生成、ba