StepFunが長い文章を扱うAIを公開

StepFunはStep 5 Previewをオープンウェイトとしてリリースしました。FP8とBF16のチェックポイントはHugging FaceとModelScopeで公開されています。Step 5 Previewは、StepFunが長期間にわたるエージェント的な作業のために構築した、疎なMixture-of-Expertsモデルです。これは合計600Bのパラメータを持ち、トークンあたり27Bがアクティブで、最大1Mトークンのコンテキストを扱えます。開発者にとって、これはコーディングエージェント、文書分析、金融ワークフロー向けの新しい自己ホスト可能なオプションです。TL;DR サイズ：合計600B、トークンあたり27Bアクティブ、最大1Mトークンのコンテキスト。動作環境：データセンターGPUのみ。FP8には4x B300または8x H200が必要です。BF16には8x B300または16x H200が必要です。パフォーマンス：コーディングにおいて、オープンウェイトの競合であるGLM-5.3およびKimi K3に近い性能。GPT-6 AstraおよびClaude Opus 5には劣ります。最高：AA-LCR（Artificial Analysis）の長文コンテキスト推論で88.3%。最低：Terminal-Bench 4.0で33.3%（GLM-5.3は41.9%）。Step 5 Previewとは？Step 5 Previewは、StepFunのエージェント的な作業向けの主力モデルです。StepFunはこれをソフトウェアエンジニアリング、専門知識を要する作業、金融向けに位置付けています。このモデルは、大規模なコードベースをナビゲートし、複数ファイルの変更を調整し、コードを実行し、結果を反復処理します。また、長文の文書、チャート、スクリーンショット、ビデオを分析して構造化されたレポートを作成します。APIは9月20日にローンチされ、ウェイトは10月14日に公開されました。アーキテクチャはどのように機能しますか？600Bのパラメータのうち、トークンあたり27Bのみがアクティブになります。StepFunの技術チームは内部構造を追加しています：Depth：狭く深い設計の92のtransformerブロック。Attention mix：ゲート付きsliding-window attentionとfull attentionレイヤーを3:1の比率で交互に配置。Sparse GQA：full-attentionレイヤーはクエリごとに4,096の履歴トークンを選択し、8ブロックでスコアリングします。Speculative decoding：MTP-3ヘッドにより、エンドツーエンドで約30%の速度向上を実現します。トレーニング：FP8混合精度で、数百万レベルの検証可能なエージェント環境でのRLを使用しています。Step 5 Previewはベンチマークでどのように機能しますか？StepFunはHigh reasoning設定で独自の評価を実施しました。チャート内の競合モデルはMax effort設定で実行されたため、比較は同等ではありません。結果は