※注意：2015年5月末くらいに試した内容なので今後も使い続けられる方法かどうかはわかりません。 BigQueryにデータをインポートしたけど間違いがあったのでインポートし直したい、ということありますよね。 普通のDBみたいにtruncateやdeleteができれば楽なのですがBigQueryにはそのような機能は用意されていないようです。 しかし、クエリ実行のオプションを使うことで擬似truncateすることができたのでメモしておきます。 擬似truncate まず、WebUIを開き、truncateしたいテーブルのselect文を書きます。この時、LIMIT 0を付けておきます。 そして右下のShow Optionsボタンをクリックします。 Destination Tableに同じテーブルを指定し、Write PreferenceをOverwrite tableにします。 データ量が多い

Embulkのアウトプット・プラグインであるembulk-output-bigqueryを使って、JSONデータをGoogle BigQueryに投入します。 JSONのサンプルデータを用意。 # emacs /tmp/json_sample.json { "first_name":"John", "last_name":"Lennon", "age":20 } { "first_name":"Paul", "last_name":"Maccartney", "age":22 } Google BigQueryのスキーマファイルを用意。 # emacs /tmp/schema.json [ {"name":"first_name","mode":"REQUIRED","type":"STRING"}, {"name":"last_name","mode":"REQUIRED","type"

経緯 ちょうどログ解析基盤を移行しようとしていたところに、下記の記事が。 Googleの虎の子「BigQuery」をFluentdユーザーが使わない理由がなくなった理由 #gcpja BigQueryは、社内の利用者も多いGoogle Apps Script用のAPIも用意されているので、これは検証せねばと思っていました。 検証には、こちらの記事がたいへん参考になりましたm(__)m FluentdでGoogle BigQueryにログを挿入してクエリを実行する そして、課題も。。 fluent-plugin-bigquery単体では、BigQueryの格納先tableを動的に変更することができません。 BigQueryのPricingをみると、クエリ毎にtableのデータ量で課金されます。また、recordの削除はできないので、定期的にtableを変更してクエリ対象のtableが肥大化し

初めまして！今年１月からジョインしたyukiyanです。 feedforceではアプリケーションエンジニアを担当しています。 最近、弊社のあるプロジェクトにて Google BigQuery を導入しました。 その際、学びがいくつかあったので知見として投下します。 ※ Railsのプロジェクトなので、一部のサンプルコードにRailsの表現も含まれています。 BigQueryとは BigQueryとは、Google Cloud Platform(以下、GCP)が提供するクラウドサービスです。 超でかいデータをSQL風のクエリで数秒で解析できます。 5億件のデータを3秒程度でフルスキャンできます。 もっと知りたいという方は、hadoop - Googleの虎の子「BigQuery」をFluentdユーザーが使わない理由がなくなった理由 #gcpja - Qiitaを参照してください。 gemの

Send feedback Stay organized with collections Save and categorize content based on your preferences. Introduction to loading data This document explains how you can load data into BigQuery. The two common approaches to data integration are to extract, load, and transform (ELT) or to extract, transform, load (ETL) data. For an overview of ELT and ETL approaches, see Introduction to loading, transfo

Welcome to Windows We know you’ve got a lot to do. Every day delivers a new challenge. Well, those challenges are about to get easier with Windows 11.

目次 本書に寄せて 本書について 本書の構成 目次 第1章　I/O 1.01　RubyのIOクラスとC言語のstdioライブラリ ——プログラマが知っている名前を利用する FILE構造体とIOクラスの対応 IOクラス以外のC言語とRubyの対応 まとめ 1.02　feof関数とIO#eof?メソッド ——過去にEOFに出会ったのか，それとも今現在EOFなのか C言語とPascalにおけるファイルの終端 ユーザにとってわかりやすいファイルの終端 まとめ 1.03　IOバッファが空でなければsysreadは例外 ——明らかに危険で役に立たない動作は禁止する sysreadメソッドの由来 sysreadメソッドの危険性 Rubyでは混用禁止 まとめ 1.04　EOFフラグの除去 ——モードで挙動が変化するのは良くない stdioのEOFフラグ RubyにおけるEOFフラグ EOFフラグの再実装の

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

.app 1 .dev 1 #11WeeksOfAndroid 13 #11WeeksOfAndroid Android TV 1 #Android11 3 #DevFest16 1 #DevFest17 1 #DevFest18 1 #DevFest19 1 #DevFest20 1 #DevFest21 1 #DevFest22 1 #DevFest23 1 #hack4jp 3 11 weeks of Android 2 A MESSAGE FROM OUR CEO 1 A/B Testing 1 A4A 4 Accelerator 6 Accessibility 1 accuracy 1 Actions on Google 16 Activation Atlas 1 address validation API 1 Addy Osmani 1 ADK 2 AdMob 32 Ads

Embulk組み込みプラグインの設定覚え書き その他の情報はFluentdのバッチ版Embulkのまとめをご覧ください。 Embulkには組み込みでいくつかのプラグインが用意されています。この資料ではEmbukの基本的な概念を説明したのち、組み込みのプラグインについて解説をおこないます。 詳細は、オフィシャルのマニュアルを参照してください。Configuration (英語) 1, レコード、カラム、そして型 Embulkは、内部でデータをレコードとして取り扱いします。 レコードは、複数のカラムから構成されるデータ1件のことを表します。 例えば住所録では、人1名の情報がレコードです。1名の情報には、氏名や 年齢といったその人固有の情報があります。この固有の情報一つ一つが カラムです。それぞれのカラムには型があります。姓や名であれば文字列、 年齢であれば数字(整数)、生年月日であれば日付(日

この記事はリクルートライフスタイル Advent Calendar 2015 - Qiita の18日目です。 こんにちは、nirazoです。iOSエンジニアです。 Swiftのお話 先日Swiftがオープンソース化され、業界はにわかに盛り上がっていますね。そして早くもSwift3.0に向けたリポジトリも公開され、これからまた更に盛り上がっていくことは想像に難くありません。 しかし、Swiftといえば「iOSとかMacのアプリ作るときしか使えないじゃん」「汎用性がね…」などと言われ、私としては少し悲しい思いをしていたりします。 そんな中！11月末に、遂にSwift向けのWebアプリケーションサーバ・フレームワークの大本命といえそうなプロダクトが発表されました。 その名もPerfect。 Swiftのサーバサイドフレームワークといえば TaylorやSwifterといったものもありますが、P

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? Qiita の 「見逃せない投稿」 を独自に評価してランキングするサービス Qaleidospace を作りました。 本投稿では、そのようなサービスを作ろうと思った理由、投稿を評価するアルゴリズム、システム構成について書きます。 余談ですが、今なら Yearly Ranking がほぼ 2015 年の投稿ランキングとなっており、眺めていて楽しいです。 TL;DR Qiita の「見逃せない投稿」をランキングするサービス Qaleidospace を作った。 適切な評価システムがあれば、書き手も読み手もみんな幸せになれるはず。 ストック数

google-bigquery-json.md コマンドラインツールのインストール $ easy_install bigquery $ bq init ロード(テーブル作成・データ投入; project と dataset までは作成済みという前提) $ bq load --source_format=NEWLINE_DELIMITED_JSON mydataset.nested01 nested01.data.json nested01.fields.json Waiting on job_d7ebcad03b8247fc8b6f8313f0689a28 ... (26s) Current status: DONE $ bq query "SELECT note, fullName, age, gender, citiesLived.place FROM mydataset.nested

5. 5Various Plugins DB Oracle MySQL PostgreSQL Redshift Elasticsearch 検索エンジン クラウドサービス Salesforce Amazon S3 GCS、BigQuery ファイルフォーマット CSV、TSV、JSON、XML pcap packet capture files gzip、bzip2、zip、tar、cpio http://www.embulk.org/plugins/ List of Embulk Plugins Embulk on Hadoop embulk-executor-mapreduce NoSQL Redis 6. in: type: file path_prefix: "/root/try1/csv/sample_" out: type: stdout 6入力データ正規化支援 guess prev

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 最初は安く収まっていた BigQuery の費用もだんだん膨らんできた ので、自分（社内）用にまとめたものです 広告事業（アドネットワーク）のログを BigQuery に入れているので、それなりにデータ量も増えてきて、こういうことも考えていかないといけなくなってきました どの操作にお金がかかるのか データを保存しておく データを Streaming Insert（≒ 追加）する データを走査して取得する クエリを発行する データの保存 $0.020 per GB, per month 1 TB を 1 ヶ月保持すると、$20 かかる デ

BigQueryにデータをインポートする際はBigQuery Streamingを利用するfluentd-plugin-bigqueryがとてもとても便利ですが、BigQuery Streamingは来年から有料になります。 ストレージの課金が容量(GB)単位なのに対してBigQuery StreamingはInsertされた行数(0.01＄/10万行)単位で課金されるようになるのでデータの流量が多いサービスを運営している場合はその費用が気になるところです。 なのでfluentd-plugin-bigqueryと比べると自動化するのが少々面倒ですが、BigQueryにデータをバッチでインポートする方法を考えてみます。 BigQueryにデータをインポートする 例えばFluentdで集約したアクセスログを1時間毎に区切ってgzip圧縮して保存したファイルをBigQueryにインポートするとし

まず「Java8」というとき、それがどういう意味なのか考えないといけません。 「Java8」のコンポーネントには主に次の三種類があると思います。 lambdaを代表としたJava8の構文 streamやoptionalなどのJava8の標準ライブラリ 最新のJVMの仕様（特にGC） 最後のJVMの仕様はAndroidとは関係ないとしても、構文と標準ライブラリは別々に考えないといけません。 Java8の構文 Java8の構文はretrolambdaを使うことでAndroidでもある程度使えます。このとき、Android OSのバージョンは関係ありません。 orfjackal/retrolambda · GitHub retrolambdaはJVM6用にJava8の言語機能をバックポートするためのライブラリでlambdaという名前が入っているものの、lambdaだけではなく他にも幾つかの機能を

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

あけましておめでとうございます。 プライバシーも一緒に流れるトイレから3年経ちましたが、皆様いかがお過ごしでしょうか。 お正月の三が日、昨今のIoTブームに乗るべく、私もIoTで真に豊かになるものは何かと一生懸命考えた結果、3年前と同じ部屋に辿り着いたことをご報告いたします。 前回はウォシュレットの使用状況をTwitterに投稿するというシステムでしたが、今回はウォシュレットにRESTfulなAPIを付与することで様々な機器から操作することを可能にするシステムを制作しました。 使用したのは巷で話題のESP-WROOM-02(ESP8266)と赤外線LED、上記写真のボードはオリジナルのもの。 (赤外線LEDの足がJST-PHコネクタに吸い込まれているように見えますが、良い子はLEDの足にJSTコンタクトピンを圧着したりしないように。) このデバイスを電源に接続すると... http://t