テンセントが賢い文章AI「Hy3」公開

テンセントのHyチームはHy3をリリースしました。Hy3は2950億パラメータのMixture-of-Experts (MoE) モデルです。これはトークンごとに210億パラメータのみを活性化します。重みはApache License 2.0の下で提供されます。Hy3は推論、エージェントワークフロー、および長文コンテキストタスクを目的としています。 Hy3とは何か？ Hy3のアーキテクチャは、192のエキスパートとtop-8ルーティングを持つスパースMoEを含んでいます。トークンごとに8つのエキスパートのみが起動するため、計算量は低く抑えられます。このモデルはMulti-Token Prediction (MTP) レイヤーも使用しています。MTPは、より高速なデコードのために一度に複数のトークンを予測します。vLLMとSGLangの両方が投機的デコーディングを通じてこれを可能にします。 主な特性は以下の通りです。 アーキテクチャ: Mixture-of-Experts (MoE) 総パラメータ数: 295B 活性化パラメータ数: 21B MTPレイヤーパラメータ数: 3.8B レイヤー数 (MTPを除く): 80 MTPレイヤー数: 1 アテンションヘッド数: 64 (GQA, 8 KV heads, head dim 128) 隠れ層サイズ: 4096 中間層サイズ: 13312 コンテキスト長: 256K 語彙サイズ: 120832 エキスパート数: 192エキスパート、top-8活性化 サポートされる精度: BF16 別途、Hy3-FP8チェックポイントもリリースされています。FP8はメモリフットプリントを削減し、より安価なサービス提供を可能にします。 ベンチマークとパフォーマンス 研究チームは、コーディング、エージェント、STEM（科学、技術、工学、数学）にわたるスコアを公開しました。コーディングでは、Hy3はSWE-Bench Verifiedで78.0を報告しています。また、SWE-Bench Proで57.9、SWE-Bench Multilingualで75.8を報告しています。Terminal-Bench 2.1では71.7、DeepSWEでは28.0を記録しています。 STEMと推論では、数値はさらに高くなります。Hy3はGPQA Diamondで90.4、USAMO 2026で72.0を報告しています。IMOAnswerBenchは90.0に達し、HLE (ツール使用時) は53.2に達しています。 研究チームは270人の専門家によるブラインドテストを実施しました。このテストでは、実際のワークフローに関する312件の有効な比較が収集されました。Hy3は4点中2.67点を獲得し、GLM-5.1の2.51点を上回りました。この優位性は、フロントエンド開発、CI/CD、データとストレージの分野で最も明確でした。 詳細はこちら: https://hy.tencent.com/research/hy3 信頼性と本番環境での動作 研究チームは、このリリースにおいて本番環境での信頼性に重点を置きました。内部データに基づき、3つの障害モードに直接的な注意が払われました。ツール呼び出しと出力フォーマット：チームは修正しました