AIが考える特別な場所

「J-space」とは、モデルが人間でいう「意識的な推論」を行うために物事が利用可能となる、意識的なアクセス領域です。これは、Jacobian Lensと呼ばれる解釈技術にちなんで名付けられました。この技術は、幅広い様々な文脈で平均化された、モデルの最終的な出力における残差ストリームの変化の平均的な因果効果を、各層について計算します。これにより、研究者はモデルが処理を進めるにつれて、各層にどのような概念が関連付けられているかを追跡できます。J-spaceとJ-lensは非常に効果的なツールであり、LLMの理解における大きな進歩を示しています。