FreeToken: 個人端末で賢いAIを動かす

FreeTokenは、エキスパート、モデルの状態、CPU/GPUの作業、およびエージェントの状態の再利用を、個人用マシンで実際に利用可能な帯域幅とメモリに継続的に再マッピングします。著者らは、8GBのノートPCのGPUで35Bモデルから、1台のワークステーションGPUで753BのGLMモデルまで、20以上のMoEモデルをサポートしていると報告しています。