アメリカ発、調整できるAI登場

Thinking Machinesは7月にInklingというモデルをリリースしました。Inklingは、同社がゼロから学習させた初のモデルです。そのweightsは、Apache 2.0ライセンスの下、Hugging Faceで公開されています。この記事では、Thinking MachinesがInklingを構築する際に下した様々な選択について解説します。具体的には、model architecture、position encoding、画像や音声が別途pretrained encoderなしでモデルに入力される方法、thinking effort settingなどについて触れています。