ゼロから自分だけの文章AIを作る

この投稿では、ある開発者がゼロから独自のLLMを作成した方法を紹介しています。彼らがどのように独自のベーストレーニングおよびfine-tuningスクリプト、データ処理パイプライン、そしてカスタムデータセットを作成したかを説明しています。プロジェクトの総費用は約80ドルでしたが、データを処理するための十分な性能のPCを持っていました。モデルとコードはこの投稿で公開されています。