AIを効率よく動かす技術の解説

Inference engineeringとは、訓練されたAIモデルを本番環境で効率的に実行するための専門分野です。これは、低レベルのGPUコード、モデルサービングフレームワーク、そしてそれらを結びつけるクラウドインフラストラクチャを扱うことを含みます。エンジニアは、サポートする製品に応じて、レイテンシ、スループット、コスト、品質の組み合わせを最適化する必要があります。Inference engineeringは現在、本格的なAIワークロードを実行するあらゆる企業が投資する幅広い専門分野となっています。