Reflection AIが、コードに強いAI「Beam」を公開

Reflection AIは、初のオープンウェイトモデルであるBeamを発表しました。Beamは、5010億の総パラメータと、トークンあたり230億のアクティブパラメータを持つスパースなMixture-of-Experts (MoE) モデルで、コーディング、推論、エージェントワークロード向けに構築されています。Reflection AIチームによると、BeamはGLM 5.2のようなより大規模なオープンモデルと直接競合しつつ、推論ベンチマークで3〜4倍少ない推論計算量を使用します。今日からデプロイ可能でしょうか？まだセルフホスティングはできません。Beamは最終的なred-teaming段階にあります。早期アクセスはReflectionプラットフォームのウェイティングリストを通じて提供されます。Reflection Beamとは何ですか？Beamは、Reflection AIによってゼロからトレーニングされた汎用エージェントモデルです。エンタープライズのコーディングおよびエージェントワークロードを対象としています。Reflectionは、Beamを西洋のオープンウェイトフロンティアを進歩させるものとして位置付けています。研究チームは、ギャップについて率直です。Kimi K3は生の能力では先行しているため、Beamの売りは推論時の効率性です。ユーザーはreasoning effort parameterを取得します。低い設定では短い回答が優先されます。高い設定では、難しいタスクに対してより長い推論が可能になります。チームは、タスクの難易度と計算予算に合わせてeffortを調整できます。Beamの事前学習方法 Beamは、ウェブ、公開ソース、および独自のライセンスデータセットから23.8兆トークンで事前学習されました。Reflectionチームは、キュレーションにより約95%の生のインターネットトークンを削除したと述べています。また、従来のフィルターでは削除されていたであろう約1.8兆の高品質トークンも保持しました。アーキテクチャは、ローカルアテンションとグローバルアテンションを、きめ細かくルーティングされたexpertsと交互に配置します。ロードバランシングは、DeepSeek-V3の補助損失なしのバランシングに基づいて構築され、expert-bias更新のコサイン減衰を追加しています。事前学習の終了時、最も忙しいexpertは平均負荷のわずか1.04倍に達しました。全52層にわたり、depth-based scaling、SandwichNorm、attention gating、FP32 residual accumulationを使用して、residual normsは制限されたままでした。事前学習は、6,144基のNVIDIA GB300 NVL72 GPUで4週間以内に完了しました。終了間際ではGoodputが92.3%に達し、9回の半自動リワインドが行われました。中間学習では、有効なコンテキストが100万トークンに拡張されました。