推論にはGPUまたはCPUを使用する必要がありますか？

GPUによってトレーニングされたディープラーニングニューラルネットワークを実行しています。これを複数のホストに展開して推論します。問題は、推論にGPUとCPUのどちらを使用するかを決定するための条件は何ですか？

以下のコメントから詳細を追加します。

私はこれが初めてなので、指導に感謝します。

• メモリ：GPUはK80

• フレームワーク：CudaおよびcuDNN

• ワークロードあたりのデータサイズ：20G

• 消費するノードの計算：スケールオプションを検討したいが、ジョブごとに1つ

• コスト：理由が理にかなっている場合は、GPUオプションを購入できます

• 展開：クラウドではなく、ホストされた独自のベアメタルサーバーで実行します。

現在、アプリケーションが正常に実行されているという理由だけでCPUで実行しています。しかし、その理由以外に、なぜGPUを検討するのかさえわかりません。

@Dan @SmallChess、私は完全に同意しません。トレーニングでは、GPUが多くの視差を活用できるため、トレーニングがはるかに高速になります。推論の場合、この視差ははるかに少なくなる可能性がありますが、CNNはこれから利点を得て推論を高速化します。さて、あなたは自分自身に問いかける必要があります。この追加の依存関係（適切なGPU、適切なファイルのインストールなど）が必要ですか？

速度が問題でない場合は、CPUを使用してください。ただし、GPUを使用すると、私の経験ではGPUを1桁速くできることに注意してください。

CPUの代わりにGPUで推論を実行すると、トレーニングの場合とほぼ同じスピードアップが得られ、メモリのオーバーヘッドが少し減ります。

ただし、あなたが言ったように、アプリケーションはCPU上で問題なく実行されます。推論速度がアプリケーションのボトルネックになるところまで来たら、GPUにアップグレードするとそのボトルネックが緩和されます。

深層学習では最適なソリューションに到達するために大量の計算が必要になるため、トレーニングにはGPUのみを使用します。ただし、デプロイに GPUマシンは必要ありません。

Appleの新しいiPhone Xを例にとってみましょう。新しいiPhone Xには、ファクシミリ検出のための高度な機械学習アルゴリズムがあります。Appleの従業員は、トレーニングと検証のためにマシンのクラスターを持っている必要があります。しかし、iPhone Xはモデルを実行するためだけにGPUを必要としません。