AIの部品を減らす実験

feed-forward network (FFN)は、Transformerブロックが導入されて以来、その固定された構成要素でした。現代のデコーダー構成では、非embeddingパラメーターの約3分の2を占めています。かなりの量の解釈可能性に関する文献は、これらの層がモデルのパラメトリックメモリとして機能すると主張しています。この実験は、FFNが完全に削除されたときに実際に何が失われるのかを調べています。