気に入った記事をブックマーク
- 気に入った記事を保存できます
保存した記事の一覧は、はてなブックマークで確認・編集ができます
- 記事を読んだ感想やメモを書き残せます
- 非公開でブックマークすることもできます
AWS Data Pipelineをスケジューラとして使う - Qiita
14 users
qiita.com/imaifactory
qiita.com/imaifactory
qiita.com/imaifactory
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
AWS Data Pipeline。名前からするとETLやデータの移動のために使われるイメージが強いんだけど、実はCro... AWS Data Pipeline。名前からするとETLやデータの移動のために使われるイメージが強いんだけど、実はCronぽいスケジューラとしても使えるので、ポイントをまとめておく。 方針は単純で、 Data Pipelineをシェルスクリプトを起動するためだけに利用するという感じ。 Data Pipeline、いろいろ覚えることがあって若干めんどくさいところもあるが 個別のサーバーに依存しないスケジューラを使える というのはそれなりに価値があるところだと思う。 処理の定義(アクティビティオブジェクト) Data PipelineのアクティビティにはShellCommandActivityというものがあって、これはOS上で単純にシェルスクリプトを実行してくれる。 Commandというパラメータに直接シェルスクリプトを渡してやればOK。もう少しちゃんと管理したいならScriptUrlというパ
qiita.com/imaifactory
qiita.com/imaifactory
qiita.com/imaifactory
qiita.com/imaifactory
www.dailyshincho.jp
brutus.jp
nordot.app
news.yahoo.co.jp
www.memory-lovers.blog
gigazine.net
note.com/nyakuso5601
spiess.dev
speakerdeck.com/minorun365
gigazine.net
engineers.ntt.com
www.itmedia.co.jp
qiita.com/imaimiami
qiita.com/inasync
qiita.com/in_silico_
qiita.com/inductor
qiita.com/inductor
suumo.jp
engineers.ntt.com
onaji.me
2016/08/26 リンク