AIが過去を覚える仕組み7種

大規模言語モデルは、デフォルトではステートレスです。各API呼び出しは最初から始まります。モデルは応答を返すと、前回のメッセージを忘れてしまいます。これは単一の質問には問題ありませんが、agentを構築する際には破綻します。agentは計画を立て、ツールを呼び出し、多くのステップを実行します。それらは記憶する必要があります。Memoryはこれを解決するインフラストラクチャです。ステートレスなモデルを、コンテキストを保持するシステムに変えます。そのシステムは経験から学び、時間をかけて行動することができます。 記憶とは何か 記憶とは、モデルの推論全体に情報を伝えるあらゆるメカニズムです。その一部はcontext window内に存在します。一部は外部のデータベースやmodel weights内に存在します。各タイプは異なる種類の情報を異なる期間保存します。Memoryは形式と時間によって異なります。形式とは、weightsに保存されるparametricなものか、テキストとして保存されるnon-parametricなものかを意味します。時間とは、short-termかlong-termかを意味します。以下の7つのタイプは、これら2つの軸にマッピングされます。 記憶の7つのタイプ 1. In-Context / Working Memory (Short-Term) : これは、モデルが現在context window内で見ることができるすべてのものです。システムプロンプト、最近のメッセージ、tool outputs、推論ステップが含まれます。RAMのようなものだと考えてください。高速で不可欠ですが、一時的でサイズに制限があります。他のすべてのmemoryタイプは、ここでスペースを競合します。 2. Semantic Memory (Long-Term) : これは、事実、好み、ドメイン知識の永続的なストアです。「ユーザーはJavaScriptよりもPythonを好む」といったエントリを保持します。知識は学習された時期とは切り離されています。これは、ユーザーやトピックに関するagentの整理された百科事典です。 3. Episodic Memory (Long-Term) : これは、特定の過去のイベント、完全な会話、タスクの実行をログに記録します。何がうまくいき、何が失敗したかを記録します。agentはこれを使用して経験から学びます。ReflexionやExpeLのようなシステムは、口頭での事後分析を作成し、将来の実行のために結論を保存します。 4. Procedural Memory (Long-Term) : これは、agentが物事を行う方法に関する知識です。スキル、tool usa