AIの構造を再学習なしで変更？

Primingは、学習済みのTransformer weightsを利用して、元のtraining costの1%未満で、スループットを最大2倍に高めた、より効率的なarchitecturesを持つモデルを構築する技術です。これにより、研究者はdesign space、layer type、hybrid ratio、そしてlayer placementを安価かつ体系的に探索できます。すべてのvariantは同じ強力なinitializationから始まり、pretrainingと比較して最小限のtrainingしか必要としません。Primingは特定のTransformer familyやmodel classに縛られるものではなく、他のモデルに拡張する際にもalgorithmic changesは必要ありません。