Hermes DesktopでAI動かすのがワンクリックに

オープンウェイトモデルを自分のパソコンで動かす上で本当に大変だったのは、モデルそのものではありませんでした。それは、VRAMの仕様を読み解き、どのquantizationが合うか推測し、context lengthやGPU layer countを設定し、そして読み込み時にファイルが3ギガバイトも大きすぎると判明する、といったそれ以前の全ての作業でした。Nous Researchは、その一連の作業をHermes Desktop内でワンクリックに集約しました。新しい簡単なセットアップフローは、あなたのハードウェアを読み取り、それに合うモデルを選択し、ウェイトをダウンロードし、inference runtimeを自動で設定します。これは展開可能でしょうか？はい。Hermes DesktopはMITライセンスのオープンソースHermes Agentの無料ビルドであり、macOS 12以降、Windows 10/11、およびあらゆるLinuxディストリビューションで動作し、ローカルモデルのためにアカウントは一切必要ありません。 実際に提供されたもの この発表は具体的かつ限定的です。Hermes Desktopは、あなたのハードウェアを読み取り、モデルを選択し、ダウンロードし、runtimeを設定することで、ローカルモデルをワンクリックでセットアップできるようになりました。このフローは初回起動時に自動的に表示され、後から「Settings → Providers → Local Models」からアクセスできます。内部では、Hermesがinference engine自体を管理しています。Local Modelsのドキュメントによると、Hermesはあなたのハードウェアに合った公式のllama.cppビルド（数百メガバイト）を取得し、それを検証し、常に最新の状態に保ちます。BackendsはCUDA、Metal、Vulkan、HIP、およびCPUをサポートしています。固定されたリリースタグはconfig.yamlのlocal_runtimeブロックにあり、デスクトップUIが自動で書き込みますが、headlessユーザーは手動で設定することもできます。 Hermesがあなたのマシンに対してモデルをどのように評価するか カタログ内の全てのモデルは、ダウンロードする前にあなたの特定のマシンに対して評価されます。各行にはmemory-fit verdictが表示されます。緑色はGPUメモリ内で完全に動作することを示し、琥珀色はシステムRAMに溢れて速度が低下することを示し、赤色はこのマシンには大きすぎることを示します。各行はまた、開始および最大context windowsと、あなたのハードウェア用に選択されたビルドのダウンロードサイズも表示します。Quantizationの選択は一つのルールに従います。Hermesは、あなたのGPU上で完全に動作する最高品質のビルドを選択し、メモリが少ないマシンでは