アリババのAI、小型から超大型へ進化

2023年4月、Alibaba Cloudは、その名前がおおよそ「千の問いから真実を」を意味するチャットボットをデモしました。それから3年半後、その子孫は2.4兆のパラメータを持つオープンウェイトモデルとして出荷されています。これは、Qwenがリリースを重ねてどのようにそこに到達したかの物語です。 2023年：千の問い AlibabaはChatGPTの後に動きましたが、それほど遅れてはいませんでした。2023年4月7日、Alibaba CloudはTongyi Qianwenと呼ばれるモデルの招待コードを法人顧客に配布し始めました。この名前は哲学者孟子に一部由来しています。4日後、北京で開催されたAlibaba Cloud Summitで、当時のCEOであるDaniel Zhangがこれを一般公開しました。Alibabaは、DingTalkとTmall Genie音声アシスタントを皮切りに、このモデルをすべてのビジネスに導入すると述べました（China Daily）。 本当の転機は8月に訪れました。2023年8月3日、AlibabaはMetaのLlama 2への直接的な回答として、Qwen-7BとQwen-7B-Chatをオープンソース化しました。Qwen-7Bは2.2兆以上のトークンと2,048トークンのコンテキストで事前学習されました。そのライセンスは、月間ユーザー数1億人未満の商用利用に対して無料でした。 数週間以内にビジョン機能が続きました。最初のビジョン言語ブランチであるQwen-VLは、2023年8月下旬にリリースされました。2023年9月13日、Tongyi Qianwenは一般公開され、これは中国の規制当局の承認の兆候でした。同じ月、チームはarXivでQwen Technical Reportを発表しました。 その年はスケールアップで締めくくられました。Alibabaは2023年12月1日頃に72Bと1.8Bのモデルをダウンロード用にリリースしました。Qwenはこれで、ノートパソコンサイズからフロンティアサイズのオープンウェイトモデルまでを網羅しました。 2024年：オープンウェイトマシン 2024年は、Qwenが開発者にとってデフォルトの選択肢となった年です。チームは8ヶ月で3世代を出荷しました。 Qwen1.5（2月）：2024年2月5日、チームはQwen2のベータ版として位置づけられたQwen1.5をリリースしました。これは0.5Bから72Bの密なモデルをカバーしていました。