AIの会話を仲介する新ツール登場

コーディングエージェントを運用するチームは、同じ壁にぶつかっていました。Claude CodeはAnthropic Messages APIを話し、Codex CLIはOpenAIを話し、そしてチームが実際に提供したいモデルはvLLM、NVIDIA NIM、またはOllamaの背後にあります。エージェントを書き直すことは選択肢になく、そのため変換レイヤーは別の場所に存在する必要があります。SwitchyardはNVIDIAの答えです。これは、プロバイダー間でリクエストをルーティングし、OpenAIとAnthropicの形式間で翻訳し、運用メトリクスを記録し、型付けされた構成可能なルーティングアルゴリズムを公開する、LLMトラフィックのためのRust製プロキシおよびライブラリです。Apache 2.0ライセンスでリリースされ、ドキュメントはdocs.nvidia.com/nemo/switchyardで提供されています。デプロイ可能か？はい、しかし評価目的のみです。バイナリはcrates.ioから、ランチャーはPyPIからインストールでき、どこでもセルフホスト可能ですが、NVIDIAはSwitchyardを「pre-alpha」および「experimental」と位置づけており、本番環境での使用は推奨せず、v1.0までにAPIとアルゴリズムが大幅に変更される可能性があると警告しています。What Switchyard does クライアントは自身のネイティブAPIを保持します。Switchyardは、受信したリクエストをプロバイダーに依存しないRustの型にデコードし、ルーティングアルゴリズムを実行してバックエンドを選択し、そのバックエンド独自のワイヤー形式でリクエストを再エンコードし、それを呼び出し、ストリーミングイベントを含む応答をクライアントが期待する形式に翻訳し直します。サーバーは3つの受信形式を受け入れます：OpenAI Chat Completions、OpenAI Responses、およびAnthropic Messages。これら3つのいずれも任意のルートに対応でき、各設定されたLLMクライアントは独自のアップストリーム形式を1つ選択します。この分離がポイントです。エージェントのAPIとバックエンドのAPIが一致する必要がなくなります。Three ways to run it ランチャーパスはコーディングエージェントを対象としています。公開されているツールをuv tool install --python 3.12 "nemo-switchyard[cli]"でインストールし、その後 switchyard launch claude 、 switchyard を実行します。