「場所の使い方」をAIに教える新技術

Google ResearchとUSCのチームは、集計された人の動きをテキストベースの場所の埋め込み（place embeddings）に組み込むフレームワークであるMobility-Embedded POIs（ME-POIs）を発表しました。この前提は、言語モデルは「場所が何であるか」は記述するが、「どのように使われるか」は記述しないというものです。2つのコーヒーショップが同じカテゴリ、住所ブロック、テキストベクトルを共有していても、一方は通勤客の回転が速く、もう一方は顧客が90分間滞在するといった違いがあります。ME-POIsは、各訪問を文脈化されたベクトルとしてエンコードし、その後、対照学習（contrastive learning）を使用して、それらの訪問をPOIごとに1つの学習可能なプロトタイプに合わせます。ロサンゼルスとヒューストンの移動データを用いた5つの地図強化タスクにおいて、強力なテキストエンコーダーにME-POIsを追加することで、ロサンゼルスでは35のモデルとタスクの組み合わせのうち34で改善が見られ、訪問意図では最大81.9%のF1スコアの相対的向上、混雑度では24.7%のMAE削減を達成しました。特筆すべきは、移動データのみで訓練されたバリアントが、価格レベル分類においてGemini embeddingsを上回ったことです。これは展開可能でしょうか？ 部分的には可能です。これはダウンロードするチェックポイントではなく、再構築するフレームワークです。発表時点では、Google Researchは論文を公開していますが、公開されたコードや重みはありません。計算コストは低く、モデルは約53.7Mパラメータで、単一のNVIDIA Tesla V100 16GBで事前学習されました。本当の障壁はデータです。ライセンスされた人流データまたは自社訪問ログとPOIポリゴンが必要です。フレームワークの仕組み 各訪問は座標、到着時刻、出発時刻の3つの要素で構成されます。これらを処理するために3つの因数分解されたエンコーダーが使用されます。Space2Vecはマルチスケールの位置情報を、2つのTime2Vecエンコーダーは到着と出発を別々に処理し、開始時刻と滞在時間を区別できるようにします。連結されたベクトルは正弦波位置エンコーディング（sinusoidal positional encoding）を受け取り、4層8ヘッドのTransformer（d_h = 512）を通過して、文脈化された訪問埋め込み（contextualized visit embeddings）を生成します。中心となる目的は対照的です。すべてのPOIは学習可能なプロトタイプを所有しており、InfoNCE lossは各訪問埋め込みを自身のPOIのプロトタイプに引き寄せると同時に、ミニバッチ内の他のPOIから遠ざけます。プロトタイプは機能的な