今回のエントリーは『機械学習チームアドベントカレンダー2022』の2日目の記事です。 BigQuery MLにおいてたくさんのデータを効率的に学習する方法について学びました！ 皆さん、こんにちは。 クルトンです。 『機械学習チームアドベントカレンダー2022』に参加しており、今回のエントリーは『機械学習チームアドベントカレンダー2022』の2日目の記事になります。 前日(12/01)の記事はこちらです。是非ご覧ください。 今回、Google CloudのチュートリアルでBigQuery MLをしてみました。 STEP1~10に分かれており、予測と評価を繰り返しているチュートリアルになります。最後のSTEP10では、STEP9までで学んだ内容を使って100万の時系列データを予測しています。 今回はSTEP9までを実施して、100万の時系列データ予測をする際に知っておくと良い事柄を学びます。

弊家では銀行やクレジットカードの明細を BigQuery に取り込んでダッシュボードを作ったりしています。 また、そのために作った BigQuery 向けの Go 製 ETL フレームワークを OSS として公開しました。 本記事ではざっくりどんなもんかを紹介して、どう作るのかを説明します。 Google Cloud Platform Advent Calendar 2020 の 13 日目の記事です。 Google Cloud Japan の Customer Engineer の Advent Calendar もぜひご覧ください。 TL; DR 明細が BigQuery にあると、可視化もできるしアラートも出せるし、まぁなんでもできて便利 銀行明細レベルのデータならほぼ無料で保存、ETL、分析できる ETL フレームワーク bqloader を OSS として公開したから使ってくれよ

吉川@広島です。 掲題の通り、 Node.js で JSON データを BigQuery にインポートする検証をしてみましたので共有します。 本記事の実施にあたり、 BigQuery に JSON 形式のファイルデータをロードする場合の挙動や制限事項を確認してみた こちらのブログを大いに参考にさせて頂きました。ありがとうございます。 環境 Node.js 14.13.0 TypeScript 4.1.3 dotenv 8.2.0 @google-cloud/bigquery 5.6.0 データセットの作成 GCP メニューから BigQuery を選択し開きます。 本記事の目標はテーブルを作成しそこにデータを保存することですが、その前に BigQuery のデータセットというリソースを作成する必要があります。 データセットの概要 プロジェクト > データセット > テーブル のような階層構

当エントリは『クラスメソッド BigQuery Advent Calendar 2020』1日目のエントリです。 本アドベントカレンダーでは、本日(12/01)〜12/25までの間、弊社DA（データアナリィクス）事業本部のメンバーがBigQueryに関連するブログを公開していきます。 まず1本目ということで、BigQuery初心者向けの超入門ブログとしてまとめていきたいと思います。 BigQueryとは BigQueryはGoogle Cloud Platform（GCP）で提供されているるエンタープライズ向けのデータウェアハウス（DWH）になります。 もともとはGoogle社内で利用していた「Dremel（ドレメル）」という大規模なクエリ実行サービスを社外向けのサービスとして公開されたのがBigQueryのはじまりです。 最大の特徴は、「高速なデータ処理」と言われています。 数TB（テラ

ノンコーディングでデータを抽出・整形して BigQuery に格納できるデータプレパレーションツール Dataprep を使ってみた こんにちは、みかみです。 GCP のマネージドサービス Cloud Dataprep by Trifacta を使うと、データの抽出、加工、ロードの一連の処理が画面操作だけで簡単に実現できるようなので、実際のところどうなのかさわってみました。 Dataprep とは Cloud Dataprep は、GCP 管理コンソールから、GUI 操作でデータの抽出、加工、ロードが簡単に行える、データプレパレーションツールです。 Cloud Dataprep by Trifacta Cloud Dataprep by Trifacta の名前の通り、分析用途のデータ加工ツールを開発している米 Trifacta 社が運営する統合パートナーサービスとのことで、システム設定や

ぶっちゃけ pandas は大規模なデータセットを扱うのが苦手だ。 だいたい一桁 GB なら我慢と工夫で何とかなるけど、二桁 GB を超えると現実的な処理時間で捌けなくなってくる。 そこで、今回は pandas を Google BigQuery と連携させることで重たい処理をオフロードする方法を試してみる。 使った環境は次の通り。 $ sw_vers ProductName: Mac OS X ProductVersion: 10.13.5 BuildVersion: 17F77 $ python -V Python 3.6.5 $ pip list --format=columns | grep -i pandas pandas 0.23.3 pandas-gbq 0.5.0 Google BigQuery を使う下準備 ここから BigQuery を使うための下準備が結構長いので、既

この記事は Busting 12 myths about BigQuery の著者の許可を得た上で @yutah_3 が日本語訳、補足したものです。個人的に気になった話等を含めて “訳者注” を入れながら翻訳します。 割と最近、 Forrester Research のレポート The Forrester Wave™: Insight Platforms-As-A-Service, Q3 2017 では Google Cloud は Leader のポジションとして位置付けられました。 BigQuery がこの中で果たした功績は間違いなく大きいでしょう。 私達は日々、スタートアップから大企業のお客様に至るまで、多様な Google BigQuery をお使いのお客様と、お客様の分析やデータウェアハウスに関する課題を解決するために一緒に取り組んでいます。多くの場合、私達のお客様は BigQu

データ分析部インターン生の小川です。インターンでは主に動画収集のロジック実装に取り組んでいました。 Gunosyではログの管理にRedshiftとBigQueryを使用しています。 サービスはAWS上で動いているものも多いので基本はRedshiftで、ログの量が多いものやアドホック分析に用いるものはBigQueryに格納しています。 この2つのサービスでSQLの書き方が微妙に異なるところがあり、もどかしい経験をしたので、今回は、よく使うSQLの文法でRedshiftとBigQueryで表現が異なる所をまとめてみようと思います。 BigQueryの導入についてはこちらの記事をご覧ください。 また、この記事ではBigQueryはStandard SQLで記述していきます。 data.gunosy.io 日付・時刻関数 現在時刻(UTC) 現在時刻(JST) 現在の日付(UTC) 現在の日付(J

4. What s Next • 著者の方が大変親切、かつBigQuery 愛が感じられます • 私：「ここ、動かないんだけど」 Tigani：「あ、書いた時にはそれ実装 される予定だったんだわ。結局ボツに なって実装されなかったんで、削って くれたらいいよ」 私：「さいですか」 • たぶん3月発売!!

Pelletkachels waren ooit eenvoudige apparaten voor verwarming, maar ze hebben een opmerkelijke evolutie doorgemaakt sinds hun bescheiden begin in de jaren ’80 van de vorige eeuw. In dit artikel duiken we diep in de geschiedenis van pelletkachel, bespreken we de belangrijkste mijlpalen en ontwikkelingen op het gebied van subsidiemogelijkheden en werpen we een blik op de transformatie tot moderne en

PerlCasual #06 2014/10/24 Yusuke Wada a.k.a. yusukebeRead less

・08.Google App EngineとBigQuery 導入編(1/3) ・09.Google App EngineとBigQuery 実践編(2/3) ・10.Google App EngineとBigQuery ノウハウ編(3/3) CA Beat エンジニアリーダーのヤマサキ(@vierjp)です。 前回の続きで「09.Google App EngineとBigQuery 実践編(2/3)」です。 「08.Google App EngineとBigQuery 導入編(1/3)」で クエリを実行するための環境は整ったので、 今回はRDBとの違いも含めたクエリの構文や関数をご紹介しようと思います。 ○クエリの実行方法や関数の紹介 ・SELECT 「SELECT * FROM ~」という書き方はできません。個別にカラム名を指定する必要があります。 BigQueryでは条件指定も含め参

こんにちは。斎藤です。 先日のGoogle Compute EngineとGoogle Cloud DNSの解説に続き、今回はGoogle BigQueryを試したいと思います。ビッグデータという言葉がもてはやされる今日、DWHシステムは外せませんよね。 データがそろっていれば、操作は全てWebインタフェースから進められます。そのため、操作のハードルはそれほど高くありませんので、ぜひ試してみて下さい。 前提条件 全ての記述内容は、執筆時点である2014年6月時点の情報を基にしています。今後、変わる可能性があります。 まず、次の条件が揃っている事を確認して下さい。 先日のエントリ「Google Cloud Platformをはじめようチュートリアル #gcpja」をお読みになられていて、かつ操作が完了している。 簡単なSQLが書ける 次に、今回使うデータについて簡単にご紹介します。 内容:

最近話題のDockerやGoogle Cloud Platformを用いて大規模データのための解析基盤を作ります。今回はデータソースとしてTwitter Streaming APIを利用しますが、アクセスログなどに応用することももちろん可能です。コードは一行も書きません。解析基盤をつくためにマシンを用意する必要はもちろんありません。 BigQueryについては、 Googleの虎の子「BigQuery」をFluentdユーザーが使わない理由がなくなった理由 #gcpja が参考になります。 利用するプロダクト/サービス Google Cloud Platform Google Compute Engine BigQuery Docker fluentd fluent-plugin-twitter fluent-plugin-bigquery Twitter Streamping API 想

BigQueryはカラム型データストアの一種で、テラバイトクラスの大規模データに対して大量の並列処理を行うことで高速に結果を得ることが可能。グーグル 佐藤一憲氏の発言によると、 OLAP/DWH/Data Miningで行われるようなread onlyのad hocクエリをきわめて高速（数秒〜数十秒）に実行します。 とのこと。 SQLによる問い合わせが可能 この高速性に加え、BigQueryではSQLを問い合わせ言語に使えるという点にも大きな特徴があります。数秒程度のレスポンスとSQL文による記述は、大規模データに対するアドホックな処理を行うのに適したサービスだといえるでしょう。 BigQueryのSQLの構文は「Query Reference」で解説されていますが、SELECT文にFROM、WHERE、JOIN、HAVING、GROUP BY、ORDER BY、LIMITなどが使えるため

先週行われたグーグルのイベント「Google I/O」で発表された、大規模データをSQLライクな命令によって高速に処理してくれる新サービス「BigQuery」。3日前に公開した記事「グーグルによるMapReduceサービス「BigQuery」が登場。SQLライクな命令で大規模データ操作」で、その概要をお伝えしました。 そのBigQueryについて、Google I/Oのセッションに参加されていたスティルハウス 佐藤一憲氏が「BigQueryってなんぞ？」とエントリをブログに書いています。自由にコピペしていいと許可をいただいたので、あらためてBigQueryとはどんなものなのか、ポイントを紹介しましょう。 大規模なデータを処理できるといえば、思い浮かぶのはMapReduceです。佐藤氏はBigQueryとMapReduceの違いをこう書いています。 MapReduceとはどう違う？ 大規模な