DigdagとEmbulkで行うDB同期の管理 - LIVESENSE Data Analytics Blog

テクノロジーカテゴリーの変更を依頼記事元:

analytics.livesense.co.jp

3 usersがブックマークコメント

コメント

1

記事へのコメント1件

注目コメント
新着コメント

somemo “Airflowで統一するより用途によりツールを使い分けた方が運用が容易なのでは、という結論になりました。”

2019/07/18 リンク

注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています

規約違反を報告

アプリのスクリーンショット

いまの話題をアプリでチェック！

バナー広告なし
ミュート機能あり
ダークモード搭載

アプリをダウンロード

関連記事

{{ total_bookmarks_with_user_postfix }}{{ root_title }}

DigdagとEmbulkで行うDB同期の管理 - LIVESENSE Data Analytics Blog

データプラットフォームグループの松原です。弊社各サービスのデータ分析基盤であるLivesense Analytic... データプラットフォームグループの松原です。弊社各サービスのデータ分析基盤であるLivesense Analytics（以降LA）の開発、運用を行っています。今回はLAで行っている分析のためにサービス側のデータ(テーブル)を、Redshiftへ同期を行う処理について紹介します。概要 LAではデータウェアハウスとしてRedshiftを運用しており、社内から比較的自由に利用できる様にしています。 LAで取り扱っているデータはアクセスログが中心ですが、分析を行う利用者からはLA由来のデータ以外にも自分たちのサービスのデータを用いて分析を行いたい、という要望がよく出てきます。サービスのデータには個人情報を含むものも少なくありませんが、分析基盤として社内にデータを解放するためにはそのような情報は削る必要があります。そこで個人情報をマスキングしたサービス側データを利用できるよう、Redshif

ブックマークしたユーザー

knj29182023/03/27
proxy07212021/08/05
somemo2019/07/18

同じサイトの新着

同じサイトの新着をもっと読む

いま人気の記事

いま人気の記事をもっと読む

いま人気の記事 - テクノロジー

いま人気の記事 - テクノロジーをもっと読む

新着記事 - テクノロジー

新着記事 - テクノロジーをもっと読む

設定を変更しましたx