AIの動きが増えると学習が複雑に

エージェントのユースケースで reinforcement learning を行うことは、概念的には決して複雑なことではありません。それぞれの問題に対し、ハーネスと新しい model context を備えた VM を設定し、プロンプトを送信し、モデルに tool calls を実行させ、最後に全体を評価し、weights を更新します。Agentic post-training とは、モデルだけでなく考慮すべき点が他にもあることを意味します。ハーネスが一貫している場合でも、trajectory そのもので off-policy になる可能性があります。エージェントは subagents を生成し、parallel tool calls を行い、大規模な sessions を compact 化するため、複雑さが増します。