Nums AI、表データAIで新記録

Nums AIは、分類と回帰のための事前学習済み表形式基盤モデルであるCausiloをリリースしました。Causiloは、scikit-learnインターフェース、Apache-2.0コード、Hugging Faceで公開されている事前学習済み重みとともに提供されます。TabArenaでは、分類と回帰の両方で単一モデルの中で最高のEloスコアを記録しています。展開可能か？はい、現在のところ研究および評価目的で、CUDAまたはCPU上で利用可能です。商用、製品、ホスト型APIでの使用には、Nums AIからの別途ライセンスが必要です。Causiloの機能 Causiloは、インコンテキスト学習モデルです。fitを呼び出しても、事前学習済みの重みは更新されません。トレーニング行をコンテキストとして保存し、1回のフォワードパスでクエリ行を予測します。TabArenaへの提出によると、Nums AIはCausiloをTabArenaデータセットを使用せず、合成データのみで事前学習しました。入力は、カテゴリカル特徴量や欠損値を含むNumPy arraysまたはpandas DataFramesにすることができます。分類は最大10クラスまでサポートします。回帰はデフォルトで平均予測を返します。バージョン1.0.1では、999個のネイティブな分位数に基づいて、中央値と分位数出力が追加されました。アーキテクチャ：洗練、圧縮、インコンテキスト学習 Nums AIはネットワークを3つのフェーズに分割しています：洗練、圧縮、インコンテキスト学習です。公開されているコードと設定は、各フェーズがどのように機能するかを示しています。特徴量は3つのセットにグループ化されます。各値は16個の学習済みサインおよびコサイン周波数で埋め込まれます。欠損値には独自の学習済みベクトルが与えられます。2つの列ステージが各特徴量グループを要約します。各ステージでは、128個の潜在スロットがトレーニング行のみを読み取り、その要約をすべての行に渡します。2つの列ステージの間には、行ステージがあり、4つの潜在トークンを介して特徴量グループが相互作用できるようにします。Nums AIによると、これは完全なself-attentionの代わりにcross-attentionを使用することで、特徴量数に対してコストを線形に保ちます。その後、プーリングブロックが各行を固定された512次元ベクトルに圧縮します。ラベルはトレーニング行に追加されます。12層の予測ブロックにより、クエリ行はこれらのラベル付き行にアテンションを向けます。クエリ行はトレーニングコンテキストや互いを変更することはできません。デフォルトでは、8