AIが道具を先読みして高速化

Speculative Programmatic Tool Calling (sPTC) は、トークン生成中にツール呼び出しを事前に開始することで、recursive language models を最適化し、高遅延ツールやコンテキスト生成による遅延を削減します。この方法は JIT compiler のように機能し、非ブロッキングなツール呼び出しの並列実行を可能にし、1〜1.2倍の実行時速度向上を提供します。sPTC は、計算と実行時間を重ね合わせることで、メモリ制約のあるローカル LLM や大量のサービス提供システムで特に有用であり、RLMs のようなハーネス内での複雑なプログラム実行において大幅な性能向上をもたらします。