AI利用費用をざっくり計算

ユーザーあたりのドル単価を計算するには、GPU hardware specs、context length、モデルのactive parameter count、そして製品固有の要素が必要です。 モデルのarchitectureの詳細は、diffusionのような全く異なるものでない限り、驚くほど重要ではありません。 この記事では、紙の上で計算する方法を示します。 この演習は、inference enginesにおける様々な最適化が、SaaS製品が利益を維持するのにどのように役立つかを明らかにするはずです。