気に入った記事をブックマーク
- 気に入った記事を保存できます
保存した記事の一覧は、はてなブックマークで確認・編集ができます
- 記事を読んだ感想やメモを書き残せます
- 非公開でブックマークすることもできます
Airflowはすごいぞ！100行未満で本格的なデータパイプライン - Qiita
93 users
qiita.com/hankehly
qiita.com/hankehly
qiita.com/hankehly
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
はじめに ワークフローを作成、実行、監視するためのプラットフォーム「Airflow」が、近年人気を集めて... はじめに ワークフローを作成、実行、監視するためのプラットフォーム「Airflow」が、近年人気を集めていて、多くの企業に利用されています。Airflow Summit 2022 のようなグローバルイベントも開催されるようになり、世界中から2000人以上のコントリビュータ（私もその1人）が貢献しているアツいプロジェクトです。 この記事で Airflow を使う意味と主要コンセプトを説明します。最後に、100行未満で実装できる本格的なデータパイプラインの実例をお見せしたいと思います。 Airflowとは 概要 Airflowは ワークフロー を作成、実行、監視するためのプラットフォームです。ここで言う「ワークフロー」は、依存関係にある複数の タスク を、下図のように繋いだ形で、パイプラインとして実行していくものと思ってください。 Airflowを使うと、より早く、よりロバストなワークフローが
qiita.com/hankehly
qiita.com/hankehly
qiita.com/hankehly
qiita.com/hankehly
www.dailyshincho.jp
www.renosy.com
togetter.com
note.com/nyakuso5601
www.memory-lovers.blog
www.gizmodo.jp
gigazine.net
speakerdeck.com/minorun365
engineers.ntt.com
speakerdeck.com/upamune
dev.to/jagroop2001
ift.tt
www.lifehacker.jp
suumo.jp
engineers.ntt.com
onaji.me
2023/03/14 リンク