表計算AIがコンテスト優勝解超え
Prior Labs Releases TabPFN-3.5: A Tabular Foundation Model That Beats the Winning Otto Kaggle Solution With Default Settings
Prior Labsの新しい表計算AI「TabPFN-3.5」が、データごとの調整なしで、過去のデータ分析コンテストの優勝解を上回る性能を示し、表データの高精度な分析をより手軽にする可能性を秘めています。
Prior Labsは、表形式の基盤モデルの最新バージョンであるTabPFN-3.5をリリースしました。これは、データセットごとの学習やチューニングなしに、フォワードパスで表の予測を行います。Prior Labsは、7つの表形式ベンチマークで1位を獲得したと報告しています。別のデモンストレーションでは、有名な2015年のKaggleコンペティションの優勝ソリューションを打ち破ったことが示されています。展開可能か？はい、ライセンスが必要です。研究、評価、Kaggle向けにはオープンウェイトがローカルで実行されますが、本番環境での使用にはPrior Labs' APIまたは商用ライセンスが必要です。The Otto Result
Otto Group Product Classification Challengeは2015年にKaggleで開催されました。10,000ドルの賞金をかけて3,505チームが競い合いました。参加者は、93個の難読化されたカウント特徴量を使用して、製品を9つのカテゴリに分類しました。提出物は多クラス対数損失（multi-class log loss）で採点され、値が低いほど優れています。優勝ソリューションはGilberto TitericzとStanislav Semenovによってもたらされました。両者ともKaggleグランドマスターの世界ランキング1位を獲得した経験があります。彼らのエントリーは、手作業で作成された特徴量に基づいて構築された36個のモデルの多層スタックでした。
AutoGluonの共同作成者でありPrior LabsのAI研究者であるNick Ericksonは、長年そのスコアを追いかけてきました。Ericksonによると、AutoGluonは2020年の論文で23位でした。AutoGluon 1.0は2023年に14位に達し、AutoGluon 1.6は2026年8月に9位に達しました。最後の追い込みが最も困難でした。50位から10位への移動で、対数損失は0.41から0.40に減少しました。10位から優勝スコアである0.382に到達するには、さらに0.018、ほぼ2倍の改善が必要でした。TabPFN-3.5はプライベートリーダーボードで0.375を記録しました。Ericksonは、デフォルト設定の生データで実行されたと述べています。RTX PRO 6000 GPUで約1分かかりました。このモデルは合成データのみで事前学習されており、OttoやKaggleのデータセットは一切見ていません。再現可能なKaggleノートブックは公開されています。
Benchmark Results
技術レポートでは、TabArena、BeyondArena、STRABLE、MulTaBench、RelArena-α、TALENT、ScoringBenchで1位を獲得したと記載されています。トップエントリーが常にベースモデルとは限りません。TabPFN-3.5-Thinkingは、TabArena、BeyondArena、STRABLE、MulTaBenchで1位を獲得しています。社内のTabP
この記事について質問
記事の内容に答えます。記事外のことは都度ウェブで調べます。