気に入った記事をブックマーク
- 気に入った記事を保存できます
保存した記事の一覧は、はてなブックマークで確認・編集ができます
- 記事を読んだ感想やメモを書き残せます
- 非公開でブックマークすることもできます
Airflow の流れを制す - kencharosの日記
7 users
kencharos.hatenablog.com
kencharos.hatenablog.com
kencharos.hatenablog.com
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
最近バックグラウンドのジョブスケジューラとして使用しているのが、 Apache Airflow だ。 https://airf... 最近バックグラウンドのジョブスケジューラとして使用しているのが、 Apache Airflow だ。 https://airflow.apache.org/ Pythonで複数ジョブ(Operator)の依存関係をDAGとしてDSL的に書けるのは魅力的だが、 一方でスケジューラーとしては、UI付きのcronだと思っていたら相当なハマりどころを感じたので、 同じくハマりそうな人や将来の自分に向けてAirfronのスケジューリングの知見を残しておきたいというのが趣旨。 TL;DR 以下の通り、ちゃんと公式でも書いてあるが、正直なところ自分でやってみないとわかりづらく、 ちゃんと補足してある資料があったので紹介しておく。 自分で試しつつ、以下の資料と照らし合わせて自分の認識が一致したことを再確認した。 airflow.apache.org towardsdatascience.com Airfl
kencharos.hatenablog.com
kencharos.hatenablog.com
kencharos.hatenablog.com
kencharos.hatenablog.com
huyukiitoichi.hatenadiary.jp
zenn.dev/lugendre
agnozingdays.hatenablog.com
note.com/yatima
anond.hatelabo.jp
anond.hatelabo.jp
www.cnn.co.jp
anond.hatelabo.jp
dailyportalz.jp
soredoko.jp
togetter.com
nextwisdom.org
www.ebis.ne.jp
rakukan.net
2021/04/13 リンク