節約になる理由 ここから考察や料金体系の確認、検証内容など長文が始まります。興味のある方は最後までお付き合いください。 節約になる理由は BigQuery を経由すると GCS からの読み取り料金がかからないからです。本来アーカイブストレージはデータ保存の料金が安い代わりに読み書きの料金が高くつきます。しかしこのバグのような仕様によって読み取りの料金を無視して安い保存料金の恩恵だけを受けることができます。 GCS からの読み取り料金が無料な理由はおそらくバッチ読み込みオペレーションが無料なためではないでしょうか。 BigQuery の料金#データ取り込みの料金 注意事項 上記の裏技ですがもちろんいつでも使えるわけではありません。下記の理由から利用については慎重に検討しなければなりません。 Google がいつまでも BigQuery への読み込みオペレーションを無料にするとは限らない。 仮

はじめに ※Timeeのカレンダー | Advent Calendar 2023 - Qiitaの12月8日分の記事です。 okodooooooonです BigQueryの料金爆発。怖いですよね。 dbtでの開発が進んでたくさんのモデルを作るようになると、デイリーのビルドだけでも凄まじいお金が消えていったりします（僕はもう現職で数え切れないくらいやらかしてます）。 コストの対策として「パーティショニング」「クラスタリング」などが挙げられますが、今回は「増分更新」の観点で話せたらと思います。 「dbtのmaterialized=’incremental’って増分更新できておしゃれでかっこよくてコストもなんとなく軽くなりそう！」くらいの認識でさまざまな失敗を経てきた僕が、BigQueryにおけるincrementalの挙動を説明した上で、タイミーデータ基盤における増分更新の使い方についてまとめ

【LayerX／プレイド／マネーフォワード】データマネジメントの勘所－マルチプロダクトSaaSを支えるデータ戦略の重要性－ https://techplay.jp/event/908124 動画 ＜あとでURL貼る＞

[GCP]Log AnalyticsとLooker StudioでBigQueryのクエリコストをユーザー別に見える化するBigQueryLogAnalyticsGoogleCloudLookerStudio 先々月～先月（2022年9, 10月）頃、Cloud LoggingシリーズにLog Analyticsの公開プレビュー版が利用可能になったので、使ってみつつ、Looker Studio（旧Google Data Portal）でBigQueryのクエリコストをユーザー別に見える化するところまで実施してみたので、覚書きを残しておきます。 ※本記事は、2022年11月1日に執筆しました。 用語解説 Log AnalyticsとLooker Studioについて、簡単に解説しておきます。 Log Analytics Cloud Loggingシリーズの機能セットのひとつで、BigQuer

こんにちは、データ基盤の開発、運用をしていた谷口（case-k）です。最近は配信基盤の開発と運用をしています。 ZOZOではオンプレやクラウドにあるデータをBigQueryへ連携し、分析やシステムで活用しています。BigQueryに連携されたテーブルは共通データ基盤として全社的に利用されています。 共通データ基盤は随分前に作られたこともあり、様々な負債を抱えていました。負債を解消しようにも利用者が約300人以上おり、影響範囲が大きく改善したくても改善できずにいました。 本記事では旧データ基盤の課題や新データ基盤の紹介に加え、どのようにリプレイスを進めたかご紹介します。同じような課題を抱えている方や新しくデータ基盤を作ろうとしている方の参考になると嬉しいです。 データ基盤の紹介 旧データ基盤の紹介 旧データ基盤の課題 変更があっても更新されないデータ 性質の異なるテーブルを同じ命名規則で管理

こんにちは。アーキテクト部の廣瀬です。 弊社ではサービスの一部にSQL Serverを使用しており、BigQuery上のデータ基盤へテーブルを連携しています。連携の仕組みは非常によくできているものの、データ不整合や遅延が発生し得るという課題を抱えていました。しかし、SQL Serverのスナップショット分離レベルを導入することでそれらを解決できました。本記事では、抱えていた課題および解決までの流れと、スナップショット分離レベルを導入する際に気を付ける点を紹介します。 データ基盤連携の方法と課題 データ基盤との連携方法は、日次連携とリアルタイム連携の2種類です。それぞれの連携方法と抱えていた課題について説明します。 日次連携 1日1回、SQL Server専用の一括コピーツールである「bcp」を使用してテーブル全体のデータを取得する連携方法です。データ取得時のSQLのイメージは以下の通りです

Google アナリティクス for Firebase （以下GA4F）は、GA360と同様、サンプリングされていない生データを無料でBigQueryへエクスポートできます。 BigQueryへエクスポートしたデータを利用すると、GA4FやGoogle アナリティクス 4 プロパティ （以下GA4）のレポート画面では難しいカスタム分析やアプリ以外の外部データと組み合わせた分析が可能になります。 さらに、BigQueryへエクスポートしたデータはデータポータルなどのBIツールと連携すればカスタムレポートの作成も可能となります。 今回はGA4Fのデータ活用をテーマに、次の内容を紹介します。 BigQueryエクスポートの設定手順データポータルのBigQuery接続方法・レポートの作成方法 BigQueryエクスポートの設定手順GA4FのデータをBigQueryへエクスポートする方法は2種類あり

こんにちは。SRE部MA基盤チームの川津です。 私たちのチームでは今年サービスを終了した「IQON」の10TBを超える大規模データをBigQueryからS3へ移行しました。本記事ではデータ移行を行った際に検討したこと、実際にどのようにデータ移行を行ったかを紹介します。 データ移行の経緯 IQONは2020年4月6日をもってサービスを終了しました。そのIQONではデータ分析にBigQueryを利用していましたが、Amazon Web Services(AWS)上にもIQONに関するリソースが存在します。そのため、IQONはGCPとAWSの2つのクラウドで運用していました。 しかし、サービス終了に伴いGCP・AWSどちらかにリソースを統一する必要が出てきました。統一する意図としては、終了したサービスが利用する取引先を減らし、請求対応などの事務的なコストを減らしたい意図がありました。そのためGC

こんにちは。開発部データエンジニアの遠藤です。現在、私はデータ×テクノロジーでZOZOグループのマーケティングを支援するデータチームに所属して、データ処理基盤の運用などに従事しています。 本記事では、Lookerを用いて運用中のデータ集計基盤をきれいなデータをスマートに取り出せる基盤に改良した件について報告します。 データ集計基盤で燻っていた問題 1. クエリ管理の限界 2. 集計定義に対するデータの信憑性が謎 Lookerは何が良い？ ～データガバナンス機能～ LookML データディクショナリ Gitによるバージョン管理 データ集計基盤（改）の設定フロー データ集計基盤（改）でのデータマート更新 まとめ データ集計基盤で燻っていた問題 ZOZOでは、サービスに関するあらゆるデータをBigQueryに集約しています。BigQueryに集約した大量のデータからデータマートとして必要なデータ

別の記事を書く前に、いろいろ試したことの備忘録。 Firestoreのデータをいろいろ見たかったけど、 別プロジェクトの移動してみることにした経緯のまとめ。 試したのは以下の3つ エクスポートデータをBigQueryにインポートしてBigQuery上で確認 node-firestore-import-exportを使ってローカルのJSONファイルとしてエクスポートして確認 別プロジェクトにデータを移行して、別プロジェクト上で確認(この記事) それぞれの方法と注意点は以下の通り。 1. BigQueryにインポートして確認 公式ドキュメントなどで紹介されている通り、 FirestoreのデータをBigQueryにインポートできるらしい。 これが一番いい方法だが、後述するカラム10000制約に引っかかったので、諦める形に。。 流れとしては、こんな感じ。 バックファイルファイルを配置できるようC

Googleアナリティクスで収集しているデータ（メジャメントプロトコル）をBigQueryに送り、集計・可視化できるようにする。無料版のGAにも対応し、しかもサーバレスでシンプルに実装できる。 本来BigQueryを使ったウェブ行動の詳細分析はGA360を使うべきなのだが、限りなく低コストでこんなことができるという参考程度で紹介する。 通常無料版のGoogleアナリティクスではできないログベースの行動分析をするのに使ったり、有料版であったとしてもGAはどのようなトラフィックを除外して集計しているのか、Googlebotなどのクローラがどんな動きをしているのかなどを検証するのに使うといいかもしれない。 原理はGoogleアナリティクスのJavaScriptがGoogleの計測サーバに送っているパケットを自前のサーバに送ってログ化するというシンプルなものである。 従来はデータ収集用のサーバを構

TLDR「BigQuery IP 制限」でこの記事にたどり着いた方、この記事はあなたのための記事です :)VPC Service Controls を利用することで、 BigQuery や GCS に対する IP 制限だけでなく、データエクスポートの制限なども含めた統合的なセキュリティを、簡単に実装できますこの記事は Part 3 あるうちの Part 1 です (Part 2, Part 3) オンプレミスとの混在環境や、すでにあるオンプレを前提としたセキュリティポリシー、あるいはコンプライアンスなどに対応する際には様々なセキュリティ要件が存在すると思います。 そのような対応に Google Cloud Platform (GCP) 上で利用できる機能の一つが VPC Service Controls (以下、VPC SC)です。VPC SC は 2019 年 1 月 21 日現在、GC

こんにちは!! 私はメルカリでSREをしている k-oguma ( ktykogm ) です。 ちょうど1年くらい前にジョインしました。 よろしくお願いします! 今日は、タイトルの件で対応した方法をご紹介したいと思います。 それはある日突然やってきた TL;DR BigQueryへLOADさせる方法を考える 初期の検討 見直し Embulk Embulk 説明 Digdag Digdag 説明 Digdag呼び出し処理 Dry-run いざ、実行 補足: もっと高速化させたいなら 終わったあとは 最後に 参考にしたURL それはある日突然やってきた ある日、ETL作業 (データ分析基盤運用)の依頼がUSチームからやってきました。 要件は次のようなものでした。 1.4TB サイズの MySQL innodb tableを1つをBigQueryに上げる 約1年分。期間指定。 期限数日、なる早

この記事はGoogle Cloud Platform その１ Advent Calendar 2018 - 18日目の記事です。 以前こういうブコメをしたのですが、言いっ放しだとダサいので、具体的なやり方を書きます。 "アカウントごと/日付ごとのBigQueryコストを可視化できるダッシュボード" なら Stackdriver + BQ + Datastudio を使うと作業時間10分・ほぼ無料で作れるので、うちはそのやり方を採用していますね。… https://t.co/9yoni22iw7— ゆずたそ (@yuzutas0) August 17, 2018 もくじ もくじ はじめに この記事のゴール 解決したい課題 課題の背景 実行方針 完成イメージ 作業手順 1: BQクエリ実行ログを流す 2: DataStudioでダッシュボードに表示する 応用編 1: 全体コストを可視化する 2

Big Important Update: As of August 1st, 2019, you can now upgrade your Firebase project to the full Google Analytics experience which means that you can create closed funnels for your Firebase project in the GA console without ever having to do anything in BigQuery. Still, this post might come in handy if you want to do more advanced analysis, or are just trying to figure out to use BigQuery. Less

Private content!This content has been marked as private by the uploader.

こんにちは！ なんでもディープラーニングでやりたがる癖が抜けず、3ヶ月のディープラーニング禁止令を言い渡されていた後藤です。 本記事ではVASILYで利用しているデータ分析の環境について紹介します。 VASILYではデータ分析が必要な場面で、BigQueryとTableauを組み合わせて利用することが多いため、これらの実際の活用例とTableauの選定理由について紹介したいと思います。 以前、CTOがデータ周りの環境の全体像を紹介しました。 tech.vasily.jp 社内ではBigQueryを中心にデータ周りの環境が構築されており、そこからデータ活用のあらゆる業務へつながります。 データの可視化と社内への共有は主にTableauを使っています。 まずは、BigQueryとTableauの説明から始めます。 BigQuery とは BigQueryとは、Googleが提供しているデータウ

BigQuery MLは、機械学習を利用した売上の予測や顧客セグメンテーションの作成といった予測分析を実現する、シンプルなSQL拡張セット。 BigQuery MLのバックエンド開発にあたっては、BigQueryサーバから、機械学習アルゴリズムを実行する専用サーバへの大量のデータ転送には時間がかかり、セキュリティやプライバシー面での問題もあった。しかし、機械学習アルゴリズムの最適化手法において主流である最急降下法のコアコンポーネントが、一般的なSQL処理によって実装できたため、既存のBigQuery SQL処理エンジンを機会学習用に再利用することが可能だったという。 BigQueryのエンジンは、ランダムなサンプルの抽出よりも巨大なデータセットのスキャンに適した設計なので、BigQuery MLは確率的勾配降下法ではなく、バッチ最急降下法を採用している。なお、大規模機械学習システムにおいて

前書き この記事はFirebase Advent Calendar 2016の12/23の記事です qiita.com 概要 FirebaseにはデフォルトでFirebase Analyticsという解析機能がある Firebase Analytics  |  Firebase いろいろFirebase Analyticsには機能があるがイベント機能がよくつかわれる Firebase Analyticsはユーザーがどのような操作をしているかに絞っているため、ga的な使い方をしようとすると面倒くさいことがある 例えば反映時間が少し遅かったり、デフォルトに設定されているタグ以外を使うとイベントに設定されている値が取得できない、イベント発生日時が取得できない、など developers-jp.googleblog.com デフォルトで使えるタグ イベント: すべてのアプリ - Firebase

SRE所属の @siroken3 です。最近はもっぱらパートナー会社様とのデータ連携環境構築を主に、時々プロダクションのMySQL環境と分析基盤との連携インフラの構築が多いです。 本記事は、メルカリに出品された過去すべての商品をBigQueryへ同期するにあたって取り組んだ時のお話です。 背景 当社では分析目的などでBigQueryを以前から使用しており、プロダクションのMySQLからBigQueryへデータを同期して分析に活用してきました。特に商品を表すテーブルは重要です。 しかし、後述する課題によりBigQueryにアップロードすることができなかったため、分析用のMySQLDBのスレーブとBigQueryを併用せざるを得ませんでした。とはいえ不便なので以前からBigQueryのみで商品テーブルも分析対象としたい要望がありました。 課題 メルカリでは販売済み商品を物理削除していないため、