AIが使うたび賢くなる方法

Test-time trainingは、AIモデルが使用中にそのweightsを更新することで適応することを可能にします。これは、GPSが永続的な交通の近道を学習するのと似ています。このアプローチは、線形に増加するKV-cacheの代わりに固定サイズのweightsセットを使用することでメモリ要件を削減しますが、ユーザーごとに個別のモデルが必要となり、計算需要が増加します。トレードオフは、パーソナライズされたサービスのための長いcontextsの効率的な処理と、標準モデルのより広範なアクセシビリティの間にあります。