軽量AI「Julia 1」CPUで動く

ブラジルの小規模AIラボであるSupersonic Labsは、Julia 1をリリースしました。これはチャットボットではなく、コンパクトな意思決定モデルです。コンテキスト、質問、および2〜20個の候補となる回答を与えると、モデルは1つを選択し、各オプションの確率を返します。このモデルは144.3Mパラメータを持ち、通常のCPUで動作します。デプロイ可能か？はい。重みはApache 2.0ライセンスでHugging Faceに公開されており、Python 3.11+を使用してCPUまたはBF16対応GPUでローカルに実行できます。ONNXビルドはWebGPUを介してブラウザでも動作します。ホスト型APIも発表されていますが、まだ公開されていません。 What Julia 1 Does Julia 1は、1つのAPIを通じて3種類の意思決定を処理します。choice: 2〜20個の記述されたオプションから1つのラベルを選択します（classification, routing）。score: 低、中、高などの順序付けられた評価基準における期待されるインデックスを返します。noul: はい/いいえのステートメントが真である確率を返します。結果は、呼び出し元のオプション順序で完全なsoftmax確率とともに返されます。請求などの呼び出し元IDは変更されずに返されます。このモデルはテキストを生成しません。 Architecture and Training Budget Julia 1は、JHU CLSPのmmBERT-smallをベースとしています。これは、1,800以上の言語でトレーニングされた140Mパラメータの多言語ModernBERTエンコーダーです。Supersonic Labsはエンコーダーとトークナイザーを維持し、意思決定ヘッドを追加し、意思決定形式の例でトレーニングしました。ラボは、Julia 1がfine-tunedされたQwenモデルではないと述べています。ランタイムは8,192の結合トークンをサポートしますが、公開されているベンチマークでは1,024トークンの制限が使用されました。トレーニングと実験にかかったクラウドGPUの総費用は約R$540（US$104.08）でした。FP32の重みは550.5 MiBを占めます。プライベートなトレーニングパイプラインは公開されていません。ラボ独自の基盤アーキテクチャを持つJulia 2は開発中です。 Benchmark Results 2026年9月24日の評価は、厳密なエンコーディングでH200 BF16上で実行されました。比較のベースラインはTypeSafeのJevで、新しいJevの実行ではなく、Jevベンチマークプロトコルからの参照値を使用しています。Typed Decisions: 73.15% (1,463/2,000) vs 72.70%参照。AG News、4ラベル: 94/100 vs 91%参照。DAIR Emotion、6 l