Hatena Blog Tags
はてなブログ トップ
digdag
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

digdag

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
dely Tech Blog•2年前

クラシルリワードのデータ基盤

はじめに クラシルリワードについて データ基盤の全体構成 BigQueryの選定理由 データ基盤における重要な役割 アプリのイベントログのscan量削減 DynamoDBやRDSをBigQueryにSync Snowflakeの活用 BIツール(Redash, Looker) Redash Redash repositoryのフォルダ・ファイル構成 git管理下のSQLクエリをRedashに反映 Lookerについて さいごに はじめに こんにちは！クラシルリワードで開発責任者をしているfunzinです。 この記事ではクラシルリワードのデータ基盤の構成について紹介していきます。 クラシルリワー…

#データ基盤#BigQuery#Snowflake#Embulk#digdag

関連ブログ

FLINTERS Engineer's Blog•2年前

DigdagからBigQueryを動かす - ChatGPTを使用してエラーを解決した話

こんにちは、植村です。今回は弊チームで使用しているワークフローエンジンのdigdag(AWS, EC2)からGCPへアクセスしてBigQueryを動かした時のお話を書きます。やりたいこと：DigdagからBigQueryのExport機能を使用してGCSにデータを格納するGCPの環境は既にできているとします。手順は以下の通りになります。 BigQueryからデータを取得してGCSに格納するクエリを作成する BigQuery API クライアント ライブラリを使用してPythonから1のSQLを使用する Digdag secretsによりGCPへサービスアカウントキー(Json)を登録 digd…

#digdag#BigQuery#Chat GPT
Gunosy Tech Blog•2年前

Digdag が突然止まった障害を受けて

こんにちは。 GunosyTechLab の Ads ML チームの村田（id:marice0819）です。スプラトゥーン3 で 2022 冬 Chill Season が開始しましたね。 こちらの記事は Gunosy Advent Calendar 2022 - Adventar の 5 日目の記事です。昨日の記事は takashi yamaguchi さんの「AWS Security Hubの導入から運用を回すためにやってきたこと」というタイトルでSecurity-JAWS#27に登壇しました - Gunosy Tech Blog でした。 要約 障害当日 原因調査 対策 （1）Gradl…

#digdag
MicroAd Developers Blog•2年前

Digdag REST APIによるバッチの並列実行数の制御

はじめに マイクロアドでサーバサイドエンジニアをしている高橋です。 今までの技術ブログでも記事になっていますが、マイクロアドでは主にDigdagとPythonを用いてデータ処理バッチを開発しています。 developers.microad.co.jp developers.microad.co.jp developers.microad.co.jp 今回はバッチの並列実行数を制御する必要が生じた際のお話をします。 バッチの並列実行数を制御する必要があるとき 定期実行されているバッチは、基本的に次の実行までに処理が完了するように実装されています。 毎時実行される場合は1時間以内に、毎日実行される…

#Python#バッチ処理
MicroAd Developers Blog•3年前

Pythonのdigdagモジュールを利用してDigdagバッチの処理継続可能なエラーをハンドリングする

はじめに サーバサイドエンジニアの前西です。主にETL処理1のバッチ開発を行っています。 マイクロアドでは、データ処理バッチを主にDigdagとPythonで開発2しています。 今回は、マイクロアドで開発しているDigdagバッチでのエラー処理について、簡単に紹介したいと思います。 処理中断すべきエラーと処理継続可能なエラー エラーには下記の2種類があります。 処理中断すべきエラー 処理継続可能なエラー 特に何もエラーハンドリングをしない場合、エラー発生時には処理が中断されます。今回の記事では2の処理継続可能なエラーのハンドリングについて考えます。 処理継続可能なエラーが発生する場面 例えば、…

#Python
カピバラ好きなエンジニアブログ•4年前

digdag v0.10.0でPowerShellを使えなかったので調査してみた

以前以下のような記事を書きました。 www.capybara-engineer.com 最近digdagの新しいバージョンv0.10.0でdigdag serverに認証を設定する記事を書いたのですが、その環境でPowershellを実行したところ何故かうまく実行できなかったので、今回はそれを調査してみました。 www.capybara-engineer.com 【実施環境】Cloud：AWS OS：Windows Server 2019 IIS：Version 10.0.17763.1 digdag：0.10.0 PSVersion：5.1.17763.1007 ※前回同様ある程度は過去使用…

#digdag
VEGA TECH LAB•4年前

digdag + embulk データ分析基盤の初期運用をEC2で構築

こんにちは、ベガコーポレーション データ戦略部 分析基盤エンジニア 新卒3年目の武本です。今回は今まで公開していなかった分析基盤の初期運用について紹介します。 この記事を書こうと思った背景 先日 【データ分析基盤構築】digdag+embulkをFargate運用 という記事を公開したのですが、いきなり大掛かりなものを実装するのは一苦労ですよね。なので、必要最小限でかつ安全にデータ基盤を作るにはどうすれば良いのか？ ということを考えると思います。 そこで今回は初期運用をどうしていたのかという部分について紹介しようと思います。 結論 1. 定期実行Amazon Linux2のCronでdigda…

#データ分析#digdag#Embulk#初心者向け
VEGA TECH LAB•4年前

【データ分析基盤構築】digdag+embulkをFargate運用

初めまして、ベガコーポレーション データ戦略部 分析基盤エンジニア 新卒3年目の武本です。分析基盤の構築をメインに担当しています。digdag+embulkでデータを同期するツールを開発しFargateでHA構成にしたのでご紹介したいと思います。 入社した当初の分析基盤の状況 分析基盤をご紹介する前に開発前の状況についてお話しします。 かれこれ2年前の話になりますが私が入社した頃にBigQueryを導入しようという話になっていました。 分析に必要なデータを一元管理し、クエリを高速に実行させ、ストレスなく分析業務ができる環境を作るというのが一つの目標でした。 とりあえず必要になったのがBigQu…

#データ分析#digdag#Embulk
kurosame’s diary•4年前

Digdag から Amazon SNS 経由でエラーを通知する方法を考えた

Digdag から Amazon SNS 経由で Slack にエラーを通知するやつを今までは AWS Lambda を使ってやっていたが、Lambda を使うとコード管理どうするとか色々考えると面倒なので、今年使えるようになった AWS Chatbot が使えたら、いいなーって思ったので調査した ただし、こちらにあるようにSNS -> Chatbotという経路では、使えません https://docs.aws.amazon.com/chatbot/latest/adminguide/related-services.html でも簡単に設定できるので、一応試してみた 結果、できなかったが、や…

#Amazon SNS#AWS Chatbot#digdag
カピバラ好きなエンジニアブログ•4年前

Digdag Serverの実行ログをAWS S3に出力する

前回の記事でDigdag Serverを設定しましたが、サーバのログをローカルに保持し続けていると、障害時のログ確認にいちいちサーバにログインする手間が発生してしまいます。そこで今回はdigdagの実行ログをAWSのS3に出力するように設定します。(以降Digdagはdigdagと表記します)www.capybara-engineer.com

#digdag