超軽量AI、小型機器で活躍

Cactus Computeは、tool calling、device use、structured extraction向けのオープンな45M-parameterモデルであるNeedle 2をリリースしました。モデル全体は単一の14MB binaryとして提供され、約28MBのRAMでフルセッションを実行します。WeightsはCactus Quantsを使用してCQ2-bitで学習およびデプロイされており、モデルは同社独自のC++ engine内に封じ込められているため、runtimeのインストールや推論時のダウンロードは不要です。 報告されているdecode throughputは、Raspberry Pi 5で500 tokens/sec、Meta Quest 3SおよびApple Vision Proで400～1,500 tokens/sec、200ドル以下のスマートフォンで300～700 tokens/secです。 設計の前提は狭く、チームによって明確に述べられています。つまり、曖昧な文を型付きのfunction signatureにマッピングするのに、世界に関する知識や自由形式の文章は不要である、というものです。この考え方こそが、45M parametersで十分である理由であり、GPUやNPUを持たないハードウェアをモデルがターゲットとしている理由です。 デプロイ可能でしょうか？はい、Needle 2はmacOS、Linux (x86-64, ARM64, ARMv7, RISC-V, MIPS32el)、Windows、Android、iOS/watchOS/tvOS、およびWebAssembly向けに、prebuilt binariesおよびstatic libraryとして提供されます。Cactusは、PebbleがIndex 01アプリでオフラインのvoice actionsのためにNeedleをすでにローカルで実行していると述べています。 対象となる企業：制約のあるハードウェア上でファームウェアやアプリを出荷するあらゆるチーム。シード段階のウェアラブルおよびIoTスタートアップ、中規模の家電OEM、ロボティクスチーム、オフラインフォールバックを必要とする大規模なデバイスメーカー。クラウドファーストのSaaSチームは恩恵が少ないでしょう。 対象となる産業：スマートホーム、ウェアラブル、ローエンドモバイル、車載インキャビン制御、サービスロボティクス、小売キオスクおよびPOS、ルーターおよびIPカメラ、および音声がデバイスから離れることができない規制された環境。 アプリケーション：スクリーンレスデバイスでのvoice-to-action、オフライン家電制御、レシートおよび請求書のfield extraction、enum tagging、および信頼度が低い場合にのみクラウドにエスカレートするローカルルーティング。 アーキテクチャ：Simple Attention Network Needle 2は、CactusチームがSimple Attention Networkと呼ぶものを使用しています。この手法は、FFNをHadamard MLPに置き換え、GQA attentionを維持し、engraを追加します。