AIが人の行動から学び成長する仕組み登場

はじめに

AIエージェントを大規模に展開するチームは、常に同じパターンに遭遇しています。FableやAstraのような一流モデルを基盤とするエージェントでさえ、特定の製品内で複雑なエンドツーエンドのタスクを一貫して実行するには苦労し、デプロイに至りません。そのため、チームは最も重要なワークフローについて、しばしば数百から数千もの手書きのケースでevals（評価）を徹底的に行い、プロンプトの編集、ハーネスの修正、特殊ケースの追加を通じてエージェントを少しずつ改善し、十分な評価をクリアして稼働させます。

一方、製品のユーザー自身は毎日同じタスクを実行しており、どの操作をどの順序で行うべきかを知っています。オープンソースのCopilotKitフレームワークとAG-UIプロトコルの開発元であるCopilotKitは、フルスタックの軌跡から継続的に学習するためのプラットフォームであるCLiFを早期アクセスでリリースしました。CLiFは、エージェントが何を行い、ユーザーが製品内で何を行うかを安全に捕捉し、その記録をスキル、本番環境に基づいたevals、そしてfine-tuning datasetsに変換します。これらはすべて、生の軌跡とともにエクスポート可能です。CopilotKitはオープンソースであり、GitHubで38,000以上のスターを獲得しています。

TL;DR

エージェントのtracing（追跡）はエージェントがどこで間違ったかを示しますが、正しい経路はユーザーが製品内で行うことの中にあり、ほとんどのスタックはこれを捕捉しません。現在早期アクセス中のCLiFは、フルスタックの軌跡（エージェントのtraceと製品内でのユーザーの操作）から学習します。これらはAG-UIを介して一つのタイムラインとして安全に捕捉されます。CopilotKitのAutomatic Learningに基づいて構築された4段階のループは、これらのフルスタックの軌跡をスキル、本番環境に基づいたevals、fine-tuning datasets、そして生データのエクスポートに変換し、すべてのスキルは人間がレビューします。実例では、チームリーダーがどのようにスプリントを実際に完了させるかをエージェントが学習する方法が示されています。CLiFは、evals、context bloat、コスト、断片化されたスタック、シャドウAIの使用など、エージェントチームを遅らせる課題をターゲットにしており、完全にセルフホストで動作します。

エージェントのtracingが見落とすもの

今日のほとんどのエージェントのobservability（可観測性）はエージェントに集中しています。tracingツールはプロンプト、tool calls、モデルの出力を捕捉しますが、これは