AIのコード作成、道具選びが重要

言語モデルは、ソフトウェアの構築方法や計算問題の解決方法を変えつつあります。何百万人もの人々がすでにcoding agents（コードを書くAI）を使用しているにもかかわらず、harness（道具）の選択が与える影響は不明なままでした。7つのモデルと3つのharnessにわたる21のmodel-harness pairsを評価した結果、harnessの選択はタスクの成功率にはほとんど影響しないものの、コストには大きく影響する可能性があることが分かりました。シンプルなharnessでも競争力を持つことができます。