NVIDIA、表データ予測AIを公開

NVIDIAは、分類と回帰のための新しい表形式基盤モデル（TFMs）ファミリーであるKumo Tabularをリリースしました。TabPFNやTabICLを追っていた方には、この設定は見慣れたものに見えるでしょう。このモデルは、ラベル付けされた行をコンテキストとして受け取り、一度のフォワードパスで新しい行を予測します。トレーニング、ハイパーパラメータチューニング、特徴量エンジニアリングは不要です。Kumo Tabularには、約28Mから215Mのパラメータを持つSmall、Medium、Largeバージョンがあります。これはNVIDIAのオープンソースのstructured-data-models (SDM) ライブラリを通じて実行されます。デプロイ可能ですか？はい。ウェイトはOpenMDW-1.1ライセンスの下で提供され、商用利用が可能です。SDMコードはApache-2.0であり、Python 3.11+とPyTorch 2.7+が必要で、例はCUDA GPUを対象としています。SDMライブラリが追加するものSDMは、構造化データ基盤モデルと前処理のためのGPUネイティブライブラリです。Kumo Tabularの他に、TabICLv2、GoogleのTabFM、マルチテーブルデータ用のKumoRelationalも提供しています。すべてのモデルは、TableTensorコンテナ上に構築された単一のin-context learningインターフェースを共有します。このライブラリは、前処理、アンサンブル、多クラス予測も処理します。Kumo Tabularの仕組みKumo Tabularは、テーブルの構造を中心に構築されたTransformerです。TabICLとTabPFNで導入された、列、行、およびin-context attentionを使用します。パイプラインには3つのステージがあります：セル埋め込み：数値およびカテゴリ値は、学習されたフーリエ特徴量を通過し、タイプごとに個別の重みを使用します。欠損値の補完は不要です。行埋め込み：列アテンションは誘導型自己アテンションを使用するため、コストは行数に比例して増加します。ロータリーポジションを持つ行アテンションは、特徴量間の相互作用を学習します。4つの学習可能な[CLS]トークンが各行を圧縮します。In-context learning：最終的なTransformerが行埋め込み上で実行されます。コンテキスト行は互いにアテンションし、クエリ行はコンテキスト行にのみアテンションします。コンテキストはクエリを一度も見ないため、そのキーと値は一度計算され、再利用されます。ヘッドはクラス確率、または回帰の場合は999分位を出力します。これは