ミストラルAI、Google超えの予測AI

Mistral AIは、初の時系列基盤モデルファミリーであるTimestralをリリースしました。Timestralは、Mistral AIによる5Mから209Mパラメータの4つのゼロショット予測モデルのセットです。最大のチェックポイントは、GIFT-Eval、TIME、およびfev-benchにおいて、事前学習済みゼロショットモデルの中で1位にランク付けされています。推論時にGPUを必要としません。開発者にとって、このTimestral時系列基盤モデルは、標準的なサーバーCPU上で確率的予測を可能にし、オープンなweightsと推論コードを提供します。TL;DR サイズ: 4つのモデル: 5M、28M、123M、209Mパラメータ（dense）。最大32,768タイムステップのコンテキスト。動作環境: 標準的なサーバーCPU、GPU不要。209Mのweightsはfp32で837MB。GPUはオプション。性能: GIFT-Eval、TIME、およびfev-benchにおいて、ゼロショット事前学習済みモデルの中で1位（Mistral報告）。最高: fev-bench SQL skill scoreは50.39で、TimesFM-3の48.99を上回る。最低: GIFT-Eval MASEは0.658で、t0-gamma（0.661）をわずか0.003上回る。Timestralとは？ Timestralは時系列基盤モデル（TSFM）です。大規模で多様なコーパスで事前学習され、その後、一度も見たことのないデータに対してゼロショット予測を行います。ARIMAのような古典的なツールは一度に1つの時系列に適合させます。PatchTSTのようなディープモデルは通常、各データセットでゼロから学習します。Timestralは代わりにドメイン間でパターンを転移させます。各モデルはタイムステップごとに21のquantileを出力します。多変量ターゲットを共同で予測します。過去のみ、既知の未来、およびカテゴリカルな共変量を受け入れます。Timestralはどのように機能しますか？ Timestralは、時間アテンションと変量アテンションを備えた因果的でパッチベースのTransformerです。209Mモデルは24層と768のembedding dimensionを使用します。各パッチは32タイムステップをカバーします。1回の順方向パスで最大1,024ステップを予測します。より長い予測期間はブロックごとに実行され、各ブロックのmedianがコンテキストとしてフィードバックされます。Mistralは4つの技術的貢献を挙げています: Decoupled Horizon Forecasting (DHF): 学習された予測トークンは完全な履歴を読み取ります。Toto 2.0のような連続的なパッチマスキングとは異なり、観測値はマスクされずにコンテキストに残ります。