気に入った記事をブックマーク
- 気に入った記事を保存できます
保存した記事の一覧は、はてなブックマークで確認・編集ができます
- 記事を読んだ感想やメモを書き残せます
- 非公開でブックマークすることもできます
機械学習モデルのServingとONNX Runtime Serverについて - Qiita
18 users
qiita.com/lain21
qiita.com/lain21
qiita.com/lain21
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
機械学習を実際のプロダクションで使う時に大切な概念として serving というものがあります。以下、この... 機械学習を実際のプロダクションで使う時に大切な概念として serving というものがあります。以下、このservingの概要にさらっと触れ、つい最近しれっとリリースされたMS社製のOSS、ONNX Runtimeでのservingについてまとめたいと思います。 Servingとは？ 機械学習の実応用において、推論（inference）をコスパ良く行うことは、モデルの精度を高めることと同様に重要です。というのも、オフラインで実行するのならともかく、現在稼働しているWebサービスなどのシステム上でオンラインで実行する時は、モデルからのレスポンスの速さやその運用コストがサービスのボトルネックになることが多いからです。 学習済みのモデルをサービスとしてデプロイしてオンラインの推論APIを提供することを広くservingと呼びます。servingと対になるのはオフライン実行ですね。例えばデータの塊
qiita.com/lain21
qiita.com/lain21
anond.hatelabo.jp
news.yahoo.co.jp
togetter.com
www.kokumoto.com
internet.watch.impress.co.jp
p2ptk.org
blog.tinect.jp
k-tai.watch.impress.co.jp
github.com/vercel
forest.watch.impress.co.jp
blog.ja.dev
inulab.com
detail.chiebukuro.yahoo.co.jp
2020/10/05 リンク