バッチ処理、ジョブ管理について書いてみる - wyukawa's diary

テクノロジーカテゴリーの変更を依頼記事元:

wyukawa.hatenablog.com

171 usersがブックマークコメント

コメント

15

記事へのコメント15件

注目コメント
新着コメント

注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています

規約違反を報告

アプリのスクリーンショット

いまの話題をアプリでチェック！

バナー広告なし
ミュート機能あり
ダークモード搭載

アプリをダウンロード

関連記事

{{ total_bookmarks_with_user_postfix }}{{ root_title }}

バッチ処理、ジョブ管理について書いてみる - wyukawa's diary

僕はHive, Pythonでバッチ処理を書いてAzkabanでジョブ管理するシステムを構築、運用した経験が2年ほど... 僕はHive, Pythonでバッチ処理を書いてAzkabanでジョブ管理するシステムを構築、運用した経験が2年ほどあるので今日はバッチ処理、ジョブ管理について書いてみようと思います。僕の経験上Hadoop特有の部分、例えばテスト環境が作りづらいとかバッチサーバーはジョブをsubmitするだけなので負荷はそんなにかからないとか、はあるけれど割と汎用的なのではないかと思います。そもそもバッチ処理、ジョブ管理について書かれたものはほとんど見た事がないので参考になれば嬉しいし、こういう良い方法もあるよ！とかあれば是非ブログ等に書いてほしいと思っております。最初に言っておくとバッチ処理、ジョブ管理において重要なのは障害時のリカバリのしやすさです。正常時はまあいいでしょ。なので例えば引数に日付を持てないようなバッチ書いたら辛いですし、LL言語で書く方がコンパイル、パッケージングとか楽です。CP

ブックマークしたユーザー

techtech05212023/12/01
wozaki2018/10/01
kiichi692512017/06/18
mk_12112017/06/17
dencygon2017/01/24
daimatz2016/12/05
hifi00002016/07/03
yassan06272016/05/14
brains-kot2016/02/29
mikesorae2016/02/29
lefsy2015/10/05
TaRO2015/07/23
kwy2015/07/18
T-miura2015/07/16
InoHiro2015/07/12
nobeans2015/07/10
tjun12015/07/08
satom9to52015/07/06

同じサイトの新着

同じサイトの新着をもっと読む

いま人気の記事

いま人気の記事をもっと読む

いま人気の記事 - テクノロジー

いま人気の記事 - テクノロジーをもっと読む

新着記事 - テクノロジー

新着記事 - テクノロジーをもっと読む

設定を変更しましたx