PythonでApache beam 入門

テクノロジーカテゴリーの変更を依頼記事元:

shunyaueta.com

87 usersがブックマークコメント

コメント

4

記事へのコメント4件

注目コメント
新着コメント

tmatsuu メモ。わいわい

2021/01/10 リンク

misshiki “TensorFlowの勉強をしていたら、Apache beam を前処理に採用していたケースがあり、興味を持ったので深堀りしてみます。”

前処理

2020/12/28 リンク

legoboku 個人的にはScalaで書く方がしっくりくると思う

2020/12/26 リンク

atsuizo ちょうど興味を持ち始めてGCPのDataflowがBeamの実行環境という認識をしたところ。続編期待。

apache
beam

2020/12/26 リンク

注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています

規約違反を報告

アプリのスクリーンショット

いまの話題をアプリでチェック！

バナー広告なし
ミュート機能あり
ダークモード搭載

アプリをダウンロード

関連記事

{{ total_bookmarks_with_user_postfix }}{{ root_title }}

PythonでApache beam 入門

2020-12-26 TensorFlowの勉強をしていたら、Apache beam を前処理に採用していたケースがあり、興味を持... 2020-12-26 TensorFlowの勉強をしていたら、Apache beam を前処理に採用していたケースがあり、興味を持ったので深堀りしてみます。興味が湧いたモチベーションとしては、データ量が増加しても前処理部分を難なくスケールできそう(前処理部分をスケールさせて高速に実験を回したい、並列化などはすべて良い感じにbeamに任せれそうバッチとストリーミングの両者に対応可能なので、柔軟な機械学習の推論サービスが提供できるのでは? (GCPの参考資料 Data preprocessing for machine learning: options and recommendations)Apache beam を触りつつ分散データ処理を学びたいhttps://github.com/jhuangtw/xg2xg#services を見てみるとGoogle 内部のFlume という並列

ブックマークしたユーザー

syou61622024/06/01
techtech05212024/04/11
ahirak2021/01/14
ishideo2021/01/10
tmatsuu2021/01/10
samurairodeo2021/01/05
misshiki2020/12/28
nukosan5552020/12/27
civitaspo2020/12/26
e44119rt2020/12/26
sakito09022020/12/26
l080842020/12/26
karumado2020/12/26
udzura2020/12/26
kuyo2020/12/26
jamalen2020/12/26
hrytshtk2020/12/26
yujiorama2020/12/26

同じサイトの新着

同じサイトの新着をもっと読む

いま人気の記事

いま人気の記事をもっと読む

いま人気の記事 - テクノロジー

いま人気の記事 - テクノロジーをもっと読む

新着記事 - テクノロジー

新着記事 - テクノロジーをもっと読む

設定を変更しましたx