サーバーレスGPU推論（Cerebrium）

サーバーレスGPU推論（Cerebrium）

こんにちは！Fusic 機械学習チームのトシュコフです。 機械学習モデルの開発から運用までなんでもしてい...概要を表示 こんにちは！Fusic 機械学習チームのトシュコフです。 機械学習モデルの開発から運用までなんでもしています。もし、機械学習で困っていることがあれば、気軽にお問い合わせください。 本記事ではCerebriumという新しいサーバーレスGPUサービスを紹介します。 注意：まだベータであるため、不安定が多くバグもありますが、Slackチャンネルでの対応が非常によく、問題を経験した時に是非連絡してみてください。 概要 AIモデルをデプロイする時、GPUを利用することによって推論時間を非常に押せえる事ができます。リアルタイム推論をする時に推論時間が非常に大事になりますので、GPUで推論することが望ましいです。 ただし、クラウドのGPUインスタンスで推論する時にいくつかの問題が発生します： 1つのインスタンスをずっと借りる事で無駄の費用が発生します。 TorchServeのようなツールがありますが、設

• 機械学習
• 技術
• あとで読む