タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
Cloud Composerによるデータバリデーション ～常に正確なデータ集計を実現するために～ - ZOZO TECH BLOG
こんにちは。ECプラットフォーム部データエンジニアの遠藤です。現在、私は推薦基盤チームに所属して、データ集計基盤の運用やDMP・広告まわりのデータエンジニアリングなどに従事しています。 以前、私たちのチームではクエリ管理にLookerを導入することで、データガバナンスを効かせたデータ集計基盤を実現しました。詳細は、以前紹介したデータ集計基盤については以下の過去記事をご覧ください。 techblog.zozo.com 本記事では、データ集計基盤に「データバリデーション」の機能を加えて常に正確なデータ集計を行えるように改良する手段をお伝えします。 データバリデーションとは バリデーション導入後のデータ集計基盤 ジョブネット構築 テンプレートによる効率的なDAGの作成 DAG間の依存関係の設定方法 バリデーションDAGのタスク構成 まとめ データバリデーションとは データバリデーションとはデータ
こんにちは、MLデータ部データ基盤ブロックの奥山（@pokoyakazan）です。趣味の範疇ですが、「ぽこやかざん」という名前でラジオ投稿や大喜利の大会に出たり、「下町モルモット」というコンビで週末に漫才をしたりしています。私は普段、全社データ基盤の開発・運用を担当しており、このデータ基盤はGCPのBigQuery上に構築されています。そして、データ基盤内の各テーブルは、大きく分けて以下の2種類に分類されます。 システムDBのデータやログデータなどが、特に加工されることなく連携されている一次テーブル 一次テーブルから必要なデータを使いやすい形に集計したデータマート 本記事では、後者のデータマートを集計するジョブを制御するワークフローエンジンを、DigdagからCloud Composerに移行した事例について紹介します。Cloud Composerとは、GCPにてApache Airflo
Cloud Composer 2上でApache Airflow 2のワークフローを実装する - ZOZO TECH BLOG
はじめに こんにちはZOZOデータサイエンス部MLOpsブロック松岡です。 本記事では先日リリースされたGCP（Google Cloud Platform）Cloud Composerの最新バージョンCloud Composer 2について紹介します。 ZOZOTOWNでは、多種多様な商品が毎日新たに出品されています。現在MLOpsブロックでは、機械学習で商品情報の登録を補佐するシステムを開発しています。 このシステムでは商品情報を保存するデータベースへ大量の書き込み処理が発生します。このアクセスによる負荷が日常業務に影響を及ぼすリスクを最小限に抑えるため、推論処理は夜間に行います。夜間に処理を完了させるには強力なマシンリソースを使用する必要があります。コストの観点から処理が行われていない時間はマシンリソースを使用停止する必要もあります。また、人手を介さずに安定して稼働出来る仕組みも求めら
Cloud Composer環境における信頼性向上のためのトラブルシュート事例、あるいはOSSにコントリビュートしたらそのOSSを壊してしまった経験について - Pepabo Tech Portal
技術部の染矢です。 最近は社内のデータ基盤「Bigfoot」の信頼性向上や機能開発をおこなっています。 Bigfootは、Google CloudのBigQueryとCloud Composerで主に構築された社内システムです。 この記事では、Cloud Composer環境におけるデータパイプラインの信頼性を向上させた事例を紹介します。 前半では、Cloud Composer環境において信頼性を低下させる原因であったソフトウェアのバグに気付くまでの調査過程を説明します。Cloud Composer環境で調査可能なメトリクスやログ、そして具体的なコマンドを紹介しながら説明していきます。 後半では、そのバグに関連する修正のためにOSSにコントリビュートしようとしたら、さらにバグを作ってしまった失敗談を綴ります。OSSのコードリーディングをしながら、そのバグの原因であったPythonのshal
Google Cloud ComposerでGPUを使ったタスクを安定稼働するために行ったこと - ZOZO TECH BLOG
はじめに こんにちは、ML・データ部MLOpsブロックの松岡です。 本記事ではCloud Composerのワークフローにおいて、GPUを使うタスクで発生したGoogle CloudのGPU枯渇問題と、その解決のために行った対策を紹介します。 ZOZOが運営するZOZOTOWN・WEARでは、特定の商品やコーディネート画像に含まれるアイテムの類似商品を検索する類似アイテム検索機能があります。本記事ではこの機能を画像検索と呼びます。 画像検索では類似商品の検索を高速に行うため、画像特徴量の近傍探索Indexを事前に作成しています。近傍探索Indexはワークフローを日次実行して作成しています。 このワークフローでは大きく次のように処理を行っています。 当日追加された商品の情報を取得し、商品情報をもとに商品画像を取得する。 物体検出器で商品画像から商品が存在する座標とカテゴリーを検出する。 検出
こんにちは！ 2022年2月からLuupにデータエンジニアとしてジョインした河野(@matako1124) です！ 元々マイクロモビリティに興味があり、データ基盤もこれからきっちり作っていきたいという0からのフェーズで、お声がけをいただけたことに感謝です。 現在、Luupのデータチームの構成は、Data Strategy部の中にData EngineeringチームとData Scienceチームの２つがある形となっています。 Data Engineeringチームとしては前回の記事執筆者@t-kurimuraと私の二人で取り組んでいます！ ということで、まだ入社数ヶ月の私ですが、Luupでのデータ基盤としてGoogle Cloud Composerを導入し、どのように冪等性を担保した設計にしようとしているかご紹介していきたいと思います。 注意 記事執筆から半年ほど経過しており、現在の最新
Cloud Composerの活用事例と料金体系について調べてみました。 Cloud Compoer とは？ Cloud Compoer活用事例 メルペイ メルカリ DeNA JapanTaxi エウレカ リブセンス SmartNews BrainPad 料金体系について 所感 Cloud Compoer とは？ Cloud ComposerはGCPが管理するフルマネージドなAirflowで、バッチ処理等のワークフローの管理を行うことができます。例えばDataflowを実行し、BigQueryのテーブルを作り、作ったテーブルを参照するDataflowの逐次処理を実現できます。GUIで実行履歴や状況を管理できることも採用されてる理由のようです。 cloud.google.com Cloud Compoer活用事例 Cloud ComposerやDataflowを使ったデータパイプラインを構築
Cloud Composer で Airflow 環境を立ち上げて、GCS から BigQuery へのデータロードを実行してみた | DevelopersIO
Cloud Composer で Airflow 環境を立ち上げて、GCS から BigQuery へのデータロードを実行してみた こんにちは、みかみです。 OSS の ワークフローエンジン Airflow は、特に Python 実装の環境では利用されることも多いのではないかと思いますが、Airflow の実行環境をゼロから作成しようとすると少し手間がかかります。 Google Cloud Composer を使うとマネージドな Airflow 環境がすぐに利用可能とのことなので、ためしてみました。 サービスの概要 ｜ Cloud Composer ドキュメント Cloud Composer の概要 ｜ Cloud Composer ドキュメント やりたいこと Cloud Composer をさわってみたい Cloud Composer は通常の Airflow と同じような使い勝手かど
Cloud Composer（Airflow）で分析者向けBigQuery SQL実行基盤をつくりました - スタディサプリ Product Team Blog
はじめに こんにちは。Data Engineer の @shase です。 弊社ではいくつかのユースケースでCloud Composer（Airflow）を使っているのですが、今回はデータチームで開発している、分析者向けBigQuery SQL実行基盤（社内の通称はSaved Query Workflow）について紹介します。 このシステムは今年の春から動いているものです。 システム概要 今回紹介するシステムの概要です。 分析者はSQLとYAMLをGitHubにコミットしてPRを作成します。 エンジニアがレビューをします。 Cloud ComposerでSQLがスケジュール実行され、結果がGoogle Sheets などに出力されます。 背景 組織全体のKPI集計やレポーティングとは別に、分析者個人や特定のチームが使うテーブルやレポートを定期的に作成する場合を想定したユースケースとして、分
Cloud Composer 1 はメンテナンス後のモードです。Google は、Airflow の新しいバージョン、バグの修正、セキュリティ アップデートなど、Cloud Composer 1 への今後のアップデートはリリースしません。 Cloud Composer 2 への移行を計画することをおすすめします。 Cloud Composer 1 | Cloud Composer 2 Cloud Composer は、フルマネージドのワークフロー オーケストレーション サービスです。クラウドとオンプレミス データセンターにまたがるワークフロー パイプラインの作成、スケジューリング、モニタリング、管理ができます。 Cloud Composer は一般的な Apache Airflow のオープンソース プロジェクトを基に構築されており、Python プログラミング言語を使用して動作します。
Apahe Airflow tutorial編 Apache Airflowとは 有向非巡回グラフ（DAG)理論を応用したタスク管理システム Apache Airflowでは一連の処理の名称をDAG名とし、処理単位がグラフのノードとなる。 各ノードにtask_idと呼ばれる一意となる名称をつける。 DAGの定義手順は次の2フェーズにわけることができる。 最初のフェーズでは一連の処理に名前をつけ、処理の内容を記述する 次のフェーズで処理群の関係（依存関係）を記述する Apache Airflowのインストール 概要 とりあえずdocker-airflowのtutorialをやってみる docker composeをインストール docker composeが入ってなかったのでdocker composeをいれます $ cd docker-airflow $ ls -la drwxr-xr-x
Google Cloud Composerをcomposer-1.17.6-airflow-2.1.4にバージョンアップしました - Pepabo Tech Portal
Airflow v2のリリースブログに"Massive Scheduler performance improvements"とあるように、Airflow v2ではスケジューラの性能が大幅に強化されています。 キューに入ったタスクが開始するまで、Airflow v1.10.14では最長で5分ほどかかっていたのですが、v2.1.4に上げたところ数秒に短縮され、全体的なDAG実行時間を短縮することができました。 また、Cloud Composerを構成するコンポーネントのバージョンが全体的に新しくなったことで、それぞれに関連する既知の脆弱性に対応できたことも、バージョンアップによる恩恵のひとつです。 Cloud Composerは、AirflowやGoogle Kubernetes Engine、Google Cloud SQL、そして多くのPyPIパッケージの組み合わせで構成されています。
Cloud Composer で GCS から SFTP サーバ にファイル転送してみた 〜パスワード認証編〜 | DevelopersIO
本記事はGCP(Google Cloud Platform) Advent Calendar 2022 11日目の記事です。 こんにちは！エノカワです。 Cloud Composer は、Apache Airflow で構築されたフルマネージドのワークフローオーケストレーションサービスです。 Apache Airflow のオープンソース プロジェクトを基に構築されており、Python プログラミング言語を使用して動作します。 今回は、Cloud Storage にあるファイルをSFTPサーバに転送するというワークロードを Cloud Composer で試してみたのでご紹介します。 下記エントリでは、同様のワークロードを Cloud Functions を使って実現した事例が紹介されていますので、こちらも是非ご参照ください！ SFTPサーバをたてる ファイル転送先のSFTPサーバをたてま
目的 PythonOperatorの中で何かしらデータに加工処理を行って、その上でCloudSQLへ接続してInsertしたい、といったこともありそうです。 後継の参照サイトに沿って試してみました。 なお、Google Cloud Sql Operators というOperatorはあります。 公式ドキュメント Cloud IAM 「プロジェクト編集権限」のあるサービスアカウントを作成する。 上記サービスアカウントのサービストークンを取得する。 後継の「credentials.json」が、サービストークンをリネームしたものです。
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Cloud Composerにデータマート集計基盤を移行しました - ZOZO TECH BLOG
冪等性を担保したGoogle Cloud Composerの設計と実装
Cloud Composerの活用事例と料金体系について - case-kの備忘録
BigQuery のワークフローを Cloud Composer 以外で動かす方法を模索する - データデザイン（富士通クラウドテクノロジーズ）
Cloud Composer の概要 | Google Cloud
GCP Cloud Composerを使いこなすまでの道のり - Qiita
Cloud Composer からCloud SQL へ接続しQueryを投げる方法 - Qiita
www.youtube.com
www.youtube.com
toyokeizai.net
qiita.com/e52yamada
www.youtube.com
qiita.com