Yandex、新しい推薦AI「Sona」

ほとんどの製品推薦システムはカスケード型です。候補生成器が事前ランク付け器に情報を送り、それが何百もの設計された特徴に基づいて構築された重いランク付け器に情報を送ります。YandexのSona Technical Reportは異なる設計を記述しています。Sonaは、候補生成とランク付けを単一のシステムに統合する生成AIモデルであり、推薦パイプラインで通常使用される複数のステージを置き換えます。Yandexは、このモデルをスマートスピーカーで7日間の実稼働実験でテストしました。オンラインA/Bテストでは、15以上の候補生成器、事前ランク付けステージ、およびランク付けステージを、1つの提供されるtransformerに置き換えました。何の問題をSonaは解決するのか？カスケードは、別々に訓練されたモデル間で1つの決定を分割します。各ステージは自身の目的を最適化し、ランク付け器は上流ステージが通過させたものしか見ません。Yandex MusicのYandexの以前のスタックは、Yandexの以前の推薦transformerであるArgusからの信号を含む何百もの特徴を使用していました。Sonaは、候補生成とランク付けを1つの共有ユーザー表現の周りに配置します。encoderはリクエストごとにリスナーの履歴を一度読み取ります。decoderは候補を生成します。Ranking Moduleは、同じencoderの状態に対してそれらをスコアリングします。どのコンポーネントも手作業で設計された特徴を使用しません。入力は、ログに記録されたイベントフィールド（track ID、artist ID、duration、likes、played time、surface flags）と学習されたSemantic IDsです。Yandexスマートスピーカーでは、ユーザーが最初にアーティスト、ジャンル、またはムードを選択しなくても再生を開始できます。研究チームはこれを純粋な推薦設定と表現しています。Sonaのアーキテクチャの仕組み 1. Semantic tokenizer Rajput et al.のSemantic IDの定式化に従い、すべてのトラックは3つの離散コードのタプルになります。凍結されたマルチモーダルLLMは、タイトル、アーティスト、タグとともに最初の90秒のメルスペクトログラムを読み取ります。これはprefill-onlyモードで実行されます。その後、4層のrefinement transformerが、共同トラックペアに対するInfoNCEを使用して、これらの特徴をリスニング行動と整合させます。Res