Bonsai 2 AI、9分の1サイズに

Ternary Bonsai 2 27Bは、Bonsaiシリーズに、より強力な推論、コーディング、視覚、およびエージェント能力をもたらします。これは、FP16 group-wise scalingを用いたternary {−1, 0, +1} weightsを使用し、1ウェイトあたり実質1.76ビット、モデル全体のフットプリントは5.9GBです。このモデルは、262K-tokenのcontext windowと、マルチモーダルなテキストおよび画像入力をサポートします。Nvidia GPUではCUDAを介して、AppleデバイスではMLXを介して、カスタムのlow-bit kernelsを通じて実行できます。