AIの答え、話す前にわかる

LLMが1つのトークンを生成する前でも、その隠れた状態にはすでに答えが存在していることがよくあります。最後のプロンプトトークンでの隠れた状態を取得し、それを小さなmultilayer perceptronに供給し、出力を調整することで、生成を完全にスキップすることが可能です。これにより、英語で書かれたあらゆる分類器として機能する、固定されたモデルが実現します。