NVIDIA、AIを速く動かす新ツール

NVIDIAは、TensorRT Model Connect（TRTMC）のパブリックプレビューを公開しました。これは、サポートされているHugging Faceまたはローカルのチェックポイントを、たった2つのコマンドでエンドツーエンドのTensorRT推論に変換するオープンソースプロジェクトです。中間的なONNXエクスポートのステップは不要です。ビルドによって、ネイティブのC++タスクAPIを介して実行されるバージョン管理された.bundleアーティファクトが生成されるため、実行時にPyTorchなしで、C++サービス、組み込みアプリケーション、またはロボティクススタックで推論を実行できます。このプロジェクトはApache-2.0ライセンスで提供され、単一の汎用コンバーターではなく、ファミリーごとに所有されるリファレンス実装のコレクションとして出荷されます。NVIDIAはまた、モデルの実装、パフォーマンスチューニング、テスト、統合、ドキュメントを含むプロジェクト全体が、人間の指示とレビューのもと、OpenAI Codexエージェントを使用して構築されたと述べています。デプロイ可能か？ はい、評価およびネイティブ統合作業向けに、実際の条件下で可能です。コードはオープンでインストール可能です。現在のリリースホイールは、Python 3.10または3.12、glibc 2.39以降、およびTensorRT 11.1.0.106を搭載したLinux aarch64のみを対象としています。x86_64ホイールは公開されていません。x86_64ユーザーはDockerのソースビルドパスを使用する必要があります。企業レベル：現在最も適しているのは、すでに独自の推論スタックを所有しているチームです。具体的には、NVIDIAを主力とするスタートアップ、ロボットおよびデバイス企業、中規模および大規模企業のプラットフォームまたは推論チームです。Pythonサービスを提供している小規模チームは、これによる恩恵は少ないでしょう。規制対象企業は、これを標準化する前にタグ付きリリースを待つべきです。産業：ロボット工学および自律型機械、産業検査および製造、車載コンピューティング、医療機器、防衛および航空宇宙のエッジシステム、メディア処理など、推論がPythonサーバーではなくC++バイナリ内で実行される必要があるあらゆる場所です。アプリケーション：デバイス上での文章生成、音声認識と合成、OCRとドキュメント解析、C++で書かれた検索サービスのためのembeddingsとreranking、拡散モデルによる画像と動画生成、セグメンテーション、時系列予測などです。2つのコマンド