AIの動き方3パターンと費用

ほとんどのチームは「どのモデルを使うか」が重要な決定だと考えています。しかし、ハーネスエンジニアリングの文献は別のことを示し続けています。LangChainのTerminal-Bench実験では、ハーネスだけを変更したところ（モデルは同じ）、コーディングエージェントが約30位からトップ5に浮上しました。この結果は、問いを再構築します。もしハーネスが品質を決定するなら、ループの実行方法はデプロイメントの詳細ではなく、アーキテクチャの決定になります。Paul Iusztin氏のオープンソースコース「Building a Coding Agent From Scratch」は、DecodeというPythonエージェントを構築します。Decoding AIを通じて公開されたこのコースは、3つの実行モードを区別しています。各モードは異なるlatency profileを持っています。そのため、それぞれ異なるinference providerを必要とします。ヘッドレスコア、3つの形状

システムの中心は、それ自体にはインターフェースを持たないheadless harnessです。その内部では、すべてのharnessが共有するagent loopが実行されます。LLMがアクションを選択し、ツールが実行され、観測結果がフィードバックされます。すべてがcontext windowから読み書きされます。エージェント自体は小さいです。Decodeでは、モデル、ツール、出力タイプを構成する約20行のPydantic AI definitionです。Claude Codeの流出したソースでは、コアループは約150行です。メモリ、スキル、サンドボックス、パーミッション、LSP feedback、compactionなど、その他すべてがharnessです。

その後、インターフェースがそのコアに接続されます。そこに3つのモードが現れます。

モード1：インタラクティブ、オンライン

ターミナルUIは、同じプロセス内でメモリ上に存在する1つのライブセッションに接続されます。トークンが到着すると、イベントはasync generatorsを通じてストリーミングされます。ここでの難しい問題はsteeringです。ツール呼び出し中にタイプすると、メッセージをすぐに挿入することでターンが破損します。Decodeの解決策は、steering queueとpriority gateです。入力は到着時にバッファリングされ、安全な境界でのみ挿入されます。ループは2つの境界を公開します。次のモデル呼び出し前のMODEL_REQUESTと、ターンが終了するWOULD_STOPです。3つの入力モードがこれに対応します。Plain Enterはターン内でsteeringします。Alt+Enterはfをキューに入れます。