Life of a BigQuery streaming insert | Google Cloud Blog
Seth HollymanDeveloper Relations Engineer, BigQuery Editor's Note (August, 2018):  When this article was originally written, DML statements such as UPDATE and DELETE would never succeed when modifying a table with an active streaming buffer.  BigQuery now allows DML modifications to proceed in certain situations. Look here for more information. Understanding how BigQuery streaming inserts work mak
BigQuery 活用術: UNNEST 関数
.app 1 .dev 1 #11WeeksOfAndroid 13 #11WeeksOfAndroid Android TV 1 #Android11 3 #DevFest16 1 #DevFest17 1 #DevFest18 1 #DevFest19 1 #DevFest20 1 #DevFest21 1 #DevFest22 1 #DevFest23 1 #hack4jp 3 11 weeks of Android 2 A MESSAGE FROM OUR CEO 1 A/B Testing 1 A4A 4 Accelerator 6 Accessibility 1 accuracy 1 Actions on Google 16 Activation Atlas 1 address validation API 1 Addy Osmani 1 ADK 2 AdMob 32 Ads
BigQuery 㮠ベストプラクティス 〜 2017年度版 〜 - Qiita
ã“ã®è¨˜äº‹ã¯Retty Inc. Advent Calendar 2017 2日目ã§ã™ã€‚ 昨日㯠@bokeneko ã•ã‚“ã«ã‚ˆã‚‹ 「ã†ã‚ã£â€¦ç§ã®ãƒªã‚³ãƒ¡ãƒ³ãƒ‰ã€ãƒ“ール多ã™ãŽâ€¦ï¼Ÿã€doc2vecã®æ‹¡å¼µã¨ãƒªã‚³ãƒ¡ãƒ³ãƒ‰ã‚·ã‚¹ãƒ†ãƒ ã¸ã®å¿œç”¨ ã§ã—ãŸã€‚ ã¨ã„ã†ã“ã¨ã§ã€ã¿ãªã•ã‚“ ã“ã‚“ã«ã¡ã¯ã€‚ Rettyã§Software Engineerã‚’ã‚„ã£ã¦ã¾ã™@tkngueã§ã™ã€‚ Retty ã«ãŠã„ã¦ã¯æ—¥ã€…ã®åˆ†æžæ¥å‹™ã€œãƒ‡ãƒ¼ã‚¿ã‚µãƒ¼ãƒ“ス開発ã®ç¯„囲㧠BigQueryãŒåˆ©ç”¨ã•ã‚Œã¦ã„ã¾ã™ 僕ã¯ä½¿ã„始ã‚ã¦ã‹ã‚‰ã€ãŠã‚ˆãåŠå¹´ã¨ã„ã†ã¨ã“ã‚ã§BigQueryã®çŸ¥è¦‹ã‚‚溜ã¾ã£ã¦ããŸã¨ã“ã‚㧠ã›ã£ã‹ããªã®ã§ãƒ™ã‚¹ãƒˆãƒ—ラクティスを本稿ã«ãŠã„ã¦ã¾ã¨ã‚ã¦ã¿ãŸã„ã¨æ€ã„ã¾ã™ã€‚ Disclaimer: BigQueryã®åŸºæœ¬çš„ãªæ§‹æ–‡ã®èª¬æ˜Žã¯ã—ã¾ã›ã‚“ ( クエリリファレンス ã‚’å‚ç…§ãã ã•ã„) Standard SQL を利用ã—㟠BigQueryã®èª¬æ˜Žã§ã™ã€‚Le
Google Cloud ベストプラクティス：Google BigQuery ç·¨ - 03 : パフォーマンスã¨ã‚³ã‚¹ãƒˆã®æœ€é©åŒ–
Google Cloud ベストプラクティス Google BigQuery ç·¨ #03 : パフォーマンスã¨ã‚³ã‚¹ãƒˆã®æœ€é©åŒ– Google Cloud カスタマーエンジニアã«ã‚ˆã‚‹ Google Cloud 製å“ã«é–¢ã™ã‚‹ã‚¹ãƒ©ã‚¤ãƒ‰ã‚’公開ã—ã¾ã™ã€‚Read less
数百GBã®ãƒ‡ãƒ¼ã‚¿ã‚’MySQLã‹ã‚‰BigQueryã¸åŒæœŸã™ã‚‹ | メルカリエンジニアリング
SRE所属㮠@siroken3 ã§ã™ã€‚最近ã¯ã‚‚ã£ã±ã‚‰ãƒ‘ートナー会社様ã¨ã®ãƒ‡ãƒ¼ã‚¿é€£æºç’°å¢ƒæ§‹ç¯‰ã‚’主ã«ã€æ™‚々プãƒãƒ€ã‚¯ã‚·ãƒ§ãƒ³ã®MySQL環境ã¨åˆ†æžåŸºç›¤ã¨ã®é€£æºã‚¤ãƒ³ãƒ•ãƒ©ã®æ§‹ç¯‰ãŒå¤šã„ã§ã™ã€‚ 本記事ã¯ã€ãƒ¡ãƒ«ã‚«ãƒªã«å‡ºå“ã•ã‚ŒãŸéŽåŽ»ã™ã¹ã¦ã®å•†å“ã‚’BigQueryã¸åŒæœŸã™ã‚‹ã«ã‚ãŸã£ã¦å–り組んã 時ã®ãŠè©±ã§ã™ã€‚ 背景 当社ã§ã¯åˆ†æžç›®çš„ãªã©ã§BigQueryを以å‰ã‹ã‚‰ä½¿ç”¨ã—ã¦ãŠã‚Šã€ãƒ—ãƒãƒ€ã‚¯ã‚·ãƒ§ãƒ³ã®MySQLã‹ã‚‰BigQueryã¸ãƒ‡ãƒ¼ã‚¿ã‚’åŒæœŸã—ã¦åˆ†æžã«æ´»ç”¨ã—ã¦ãã¾ã—ãŸã€‚特ã«å•†å“を表ã™ãƒ†ãƒ¼ãƒ–ルã¯é‡è¦ã§ã™ã€‚ ã—ã‹ã—ã€å¾Œè¿°ã™ã‚‹èª²é¡Œã«ã‚ˆã‚ŠBigQueryã«ã‚¢ãƒƒãƒ—ãƒãƒ¼ãƒ‰ã™ã‚‹ã“ã¨ãŒã§ããªã‹ã£ãŸãŸã‚ã€åˆ†æžç”¨ã®MySQLDBã®ã‚¹ãƒ¬ãƒ¼ãƒ–ã¨BigQueryを併用ã›ã–ã‚‹ã‚’å¾—ã¾ã›ã‚“ã§ã—ãŸã€‚ã¨ã¯ã„ãˆä¸ä¾¿ãªã®ã§ä»¥å‰ã‹ã‚‰BigQueryã®ã¿ã§å•†å“テーブルも分æžå¯¾è±¡ã¨ã—ãŸã„è¦æœ›ãŒã‚ã‚Šã¾ã—ãŸã€‚ 課題 メルカリã§ã¯è²©å£²æ¸ˆã¿å•†å“を物ç†å‰Šé™¤ã—ã¦ã„ãªã„ãŸã‚ã€
Embulkを利用ã—ãŸãƒ‡ãƒ¼ã‚¿è»¢é€åŸºç›¤ã®æ§‹ç¯‰ - ZOZO TECH BLOG
ã“ã‚“ã«ã¡ã¯ã€‚ãƒãƒƒã‚¯ã‚¨ãƒ³ãƒ‰ã‚¨ãƒ³ã‚¸ãƒ‹ã‚¢ã‚¤ãƒ³ã‚¿ãƒ¼ãƒ³ã®ç”°å³¶ã§ã™ã€‚ VASILYã§ã¯åˆ†æžã«BigQueryを使用ã—ã¦ãŠã‚Šã€MySQLã®ãƒ‡ãƒ¼ã‚¿ã‚’毎日BigQueryã«åŒæœŸã—ã¦ã„ã¾ã™ã€‚ã“ã®åŒæœŸå‡¦ç†ã‚’è¡Œã†ã‚·ã‚¹ãƒ†ãƒ ã¯ã€ç´„2å¹´å‰ã«Rubyã§æ›¸ã‹ã‚ŒãŸã‚‚ã®ã§ã€ãƒ—ãƒãƒ€ã‚¯ãƒˆã®æˆé•·ã«ä¼´ã†ãƒ‡ãƒ¼ã‚¿é‡ã®å¢—åŠ ã«è€ãˆã‚‹ã“ã¨ãŒã§ããªããªã‚Šå§‹ã‚ã¦ã„ã¾ã—ãŸã€‚ãã®ãŸã‚ã€åŒæœŸå‡¦ç†ã‚’è¡Œã†ã‚·ã‚¹ãƒ†ãƒ を一ã‹ã‚‰ä½œã‚Šç›´ã—ã¾ã—ãŸã®ã§ã€ãã®è©³ç´°ã«ã¤ã„ã¦ã”紹介ã—ã¾ã™ã€‚ 弊社DEVELOPERS BLOGã§ã¯ä»¥å‰ã€ã€Žã‚¤ãƒ³ã‚¿ãƒ¼ãƒ³ç”ŸãŒãƒ‡ãƒ¼ã‚¿è»¢é€åŸºç›¤ã‚’一ã‹ã‚‰è¨è¨ˆã™ã‚‹ã€VASILYãƒãƒƒã‚¯ã‚¨ãƒ³ãƒ‰ã‚¤ãƒ³ã‚¿ãƒ¼ãƒ³ã®ç´¹ä»‹ã€ã¨ã—ã¦ã‚·ã‚¹ãƒ†ãƒ ã®æ¦‚è¦ãƒ»é–‹ç™ºã®æµã‚Œã‚’ã”紹介ã—ã¾ã—ãŸãŒã€ä»Šå›žã¯ã‚·ã‚¹ãƒ†ãƒ ã®è©³ç´°ã«ã¤ã„ã¦ã”紹介ã—ã¾ã™ã€‚ （photoクレジット *1） データåŒæœŸãƒ„ールã®ç´¹ä»‹ æ–°ãŸãªãƒ‡ãƒ¼ã‚¿åŒæœŸã‚·ã‚¹ãƒ†ãƒ ã¨ã—ã¦ã€æ¬¡ã®ã‚ˆã†ã«åˆ©ç”¨ã™ã‚‹ç¤¾å†…ツールを作æˆã—ã¾ã—ãŸã€‚ 以下ã®ã‚ˆã†ãªç’°å¢ƒå¤‰æ•°ã‚’è¨å®šã—ã€
Digdagã¨Embulkを利用ã—ã¦BigQueryã«RDS（Auroraã€MySQL）ã®ãƒžã‚¹ã‚¿ãƒ‡ãƒ¼ã‚¿ã‚’åŒæœŸã™ã‚‹ - ZOZO TECH BLOG
ã“ã‚“ã«ã¡ã¯ã€ãƒãƒƒã‚¯ã‚¨ãƒ³ãƒ‰ã‚¨ãƒ³ã‚¸ãƒ‹ã‚¢ã®å¡©å´Žã§ã™ã€‚ 先日ã€ä¼šç¤¾ã®åºƒå ±ã®ãŸã‚ã®ã‚¤ãƒ³ã‚¿ãƒ¼ãƒ³ç”Ÿç´¹ä»‹è¨˜äº‹ã«ãƒ¡ãƒ³ã‚¿ãƒ¼ã¨ã—ã¦æŽ²è¼‰ã—ã¦ã„ãŸã ãã¾ã—ãŸã€‚ 大å¦å››å¹´ç”Ÿã®ã‚¤ãƒ³ã‚¿ãƒ¼ãƒ³ç”Ÿã¨ä¸€ç·’ã«å†™çœŸæ’®å½±ã‚’è¡Œã£ãŸã®ã§ã™ãŒã€è¦‹ãŸç›®ã ã‘ã§ã¯ã©ã¡ã‚‰ãŒå¹´ä¸Šã‹ã‚ã‹ã‚‰ãªã‹ã£ãŸã®ã§ã€ã€Œãƒ¡ãƒ³ã‚¿ãƒ¼ã®å¡©å´Žï¼ˆå³ï¼‰ã€ã¨ã„ã†è¡¨è¨˜ã‚’ã•ã‚Œã¦ã—ã¾ã„ã¾ã—ãŸï¼ˆç¬‘） インターンã§ã‚‚実際ã®ã‚µãƒ¼ãƒ“スã«è§¦ã‚Œã€èª²é¡Œã‚’解決ï¼ã€œVASILY DEVELOPERS BLOGãŒå…¬é–‹ã•ã‚Œã¾ã—ãŸã€œ ã•ã¦ã€VASILYã§ã¯Data Warehouseã¨ã—ã¦Google BigQuery（BigQuery）を利用ã—ã¦ã„ã¾ã™ã€‚ BigQuery内ã«ã¯ãƒ—ãƒãƒ€ã‚¯ãƒˆã®ãƒžã‚¹ã‚¿ãƒ‡ãƒ¼ã‚¿ã¨ãƒ¦ãƒ¼ã‚¶ãƒ¼ã®è¡Œå‹•ãƒã‚°ãŒæ ¼ç´ã•ã‚Œã¦ã„ã¾ã™ã€‚ ãã—ã¦ã€ãれらã«å¯¾ã™ã‚‹æ¨ªæ–çš„ãªã‚¯ã‚¨ãƒªã‚’発行ã™ã‚‹ã“ã¨ã§ãƒ—ãƒãƒ€ã‚¯ãƒˆã®æˆé•·ã®ãŸã‚ã®KPIをモニタリングã—ã¦ã„ã¾ã™ã€‚ ãã®ãŸã‚Amazon Relational Database
83億レコードを移行ã—ã€æ—¥ã€…2,500万レコードã®ã‚¢ã‚¯ã‚»ã‚¹ãƒã‚°ã‚’BigQueryã«è¨˜éŒ²ã—ã¦ã„る話（インフラ編） - Money Forward Developers Blog
ã“ã‚“ã«ã¡ã¯ã€‚ インフラエンジニアã®æ‘上ã§ã™ã€‚ マãƒãƒ¼ãƒ•ã‚©ãƒ¯ãƒ¼ãƒ‰ã®ã‚¤ãƒ³ãƒ•ãƒ©ãƒãƒ¼ãƒ ã¯ã€ã‚µãƒ¼ãƒ“スã«é–¢ã‚るインフラã‹ã‚‰ã€è‡ªç¤¾ã®ä½œæ¥ç’°å¢ƒã€é–‹ç™ºç’°å¢ƒã€ã•ã‚‰ã«ã¯ã‚µãƒ¼ãƒ“スã®ã‚¤ãƒ³ãƒ•ãƒ©ã®ä¸ã§ã‚‚物ç†çš„ãªã‚‚ã®ã‹ã‚‰OS・ミドルウェア・アプリケーションã®ãƒ¡ãƒ³ãƒ†ãƒŠãƒ³ã‚¹ãƒ»ãƒ“ルド・リリース・é‹ç”¨ã¾ã§å¹…広ã関与ã—ã¦ã„ã¾ã™ã€‚ 今回ã¯Google Cloud Platformã®BigQueryを活用ã—ã¦ã‚¢ã‚¯ã‚»ã‚¹ãƒã‚°ã®åˆ†æžç’°å¢ƒã‚’構築ã—ãŸæ™‚ã®è©±ã‚’紹介ã—ã¾ã™ã€‚ ã“ã®è¨˜äº‹ã«æ›¸ã‹ã‚Œã‚‹äº‹ データ分æžåŸºç›¤ã¨ã—ã¦BigQueryを使用ã—ãŸè©±ã¨ データé‡ã‚’例示ã—ãªãŒã‚‰ä½¿ç”¨ã‚’開始ã—ãŸæ™‚ã®ãƒˆãƒ©ãƒ–ルシュートã¨ãƒ‘フォーマンスã«ã¤ã„ã¦ç´¹ä»‹ã™ã‚‹ã€‚ データ移行ã®ã‚³ãƒ„ã‚‚ã†ã¾ãå«ã‚ãªãŒã‚‰æ›¸ã„ã¦ã„ã。 BigQueryを採用ã—ãŸè¨³ マãƒãƒ¼ãƒ•ã‚©ãƒ¯ãƒ¼ãƒ‰ã®å®¶è¨ˆç°¿ã¯350万人以上ã®ãŠå®¢æ§˜ã«åˆ©ç”¨ã„ãŸã ã〠アクセスãƒã‚°ã¯æ—¥ã€…2.500万件程度増ãˆã¦ãŠã‚Šã¾ã™ã€‚ サービス開始ã‹ã‚‰
Python使ã„ã®ãŸã‚ã®BigQueryé€£æº - Qiita
Pythonã¨BigQueryã®ã‚³ãƒ©ãƒœ データ分æžã‚’è¡Œã†ä¸Šã§ã€Pythonã¨BigQueryã®çµ„ã¿åˆã‚ã›ã¯ãªã‹ãªã‹ã«ç›¸æ€§ãŒã‚ˆã„ã§ã™ã€‚ Pythonã¯å·¨å¤§ã™ãŽã‚‹ãƒ‡ãƒ¼ã‚¿ã®æ‰±ã„ã«ã¯å‘ã„ã¦ã„ã¾ã›ã‚“ãŒã€ãã®éƒ¨åˆ†ã ã‘ã‚’BigQueryã«ã‚„らã›ã¦ã—ã¾ã„ã€ãƒ‡ãƒ¼ã‚¿ã‚’å°ã•ã切り出ã—ã¦ã—ã¾ãˆã°ã€ã‚ã¨ã¯Pythonã§è‡ªç”±è‡ªåœ¨ã§ã™ã€‚ å•é¡Œã¯Pythonã¨BigQueryã‚’ã©ã†é€£æºã™ã‚‹ã‹ã§ã™ãŒã€ã“ã‚Œã¯å¤§ãã2ã¤ã®æ–¹æ³•ãŒã‚ã‚Šã¾ã™ Pythonã®BigQuery連æºãƒ©ã‚¤ãƒ–ラリを使ㆠGoogle Cloud Datalabを使ㆠ2ã¯ç‰¹ã«Jupyter Notebookを使ã„慣れã¦ã„る人ã«ãŠã™ã™ã‚ã§ã™ã€‚ 1.Pythonã®BigQuery連æºãƒ©ã‚¤ãƒ–ラリを使ㆠオススメã®ãƒ©ã‚¤ãƒ–ラリ Pythonã‹ã‚‰BigQueryã‚’å©ããŸã‚ã®ãƒ©ã‚¤ãƒ–ラリã¯ã„ãã¤ã‹ã‚ã‚Šã¾ã™ã€‚ 例ãˆã°ã€BigQuery-Pythonã€bigquery_py ãª
BigQueryã®èª²é‡‘ã€ç¯€ç´„ã—ã¾ã›ã‚“ã‹
13. 課金ã®å¯¾è±¡ ストレージ - $0.020 per GB / month クエリ - $5 per TB processed (scanned) ストリーミングインサート - $0.01 per 100,000 rows until July 20, 2015. After July 20, 2015, $0.01 per 200 MB, with individual rows calculated using a 1 KB minimum size. 注目ã™ã¹ãã¯ã‚¹ãƒˆãƒ¬ãƒ¼ã‚¸ 14. ç°¡å˜ãªä¾‹ 1TBã®ãƒ†ãƒ¼ãƒ–ルを毎日ãƒãƒ¼ãƒ‰ã€ãã‚Œãžã‚Œã‚’一ヶ月間ä¿æŒ 日々ã®ãƒ‡ãƒ¼ã‚¿ã‚’毎日5回スã‚ャンã—ã¦é›†è¨ˆ ストレージ : 1TB * 30 (tables) = $0.020 * 1000 * 30 = $600 クエリ: 1TB * 5 (Queries) * 30 (days) = $750
Rubyã§BigQuery始ã‚ã¾ã—㟠| feedforce Engineers' blog
åˆã‚ã¾ã—ã¦ï¼ä»Šå¹´ï¼‘月ã‹ã‚‰ã‚¸ãƒ§ã‚¤ãƒ³ã—ãŸyukiyanã§ã™ã€‚ feedforceã§ã¯ã‚¢ãƒ—リケーションエンジニアを担当ã—ã¦ã„ã¾ã™ã€‚ 最近ã€å¼Šç¤¾ã®ã‚るプãƒã‚¸ã‚§ã‚¯ãƒˆã«ã¦ Google BigQuery ã‚’å°Žå…¥ã—ã¾ã—ãŸã€‚ ãã®éš›ã€å¦ã³ãŒã„ãã¤ã‹ã‚ã£ãŸã®ã§çŸ¥è¦‹ã¨ã—ã¦æŠ•ä¸‹ã—ã¾ã™ã€‚ ※ Railsã®ãƒ—ãƒã‚¸ã‚§ã‚¯ãƒˆãªã®ã§ã€ä¸€éƒ¨ã®ã‚µãƒ³ãƒ—ルコードã«Railsã®è¡¨ç¾ã‚‚å«ã¾ã‚Œã¦ã„ã¾ã™ã€‚ BigQueryã¨ã¯ BigQueryã¨ã¯ã€Google Cloud Platform(以下ã€GCP)ãŒæä¾›ã™ã‚‹ã‚¯ãƒ©ã‚¦ãƒ‰ã‚µãƒ¼ãƒ“スã§ã™ã€‚ 超ã§ã‹ã„データをSQL風ã®ã‚¯ã‚¨ãƒªã§æ•°ç§’ã§è§£æžã§ãã¾ã™ã€‚ 5億件ã®ãƒ‡ãƒ¼ã‚¿ã‚’3秒程度ã§ãƒ•ãƒ«ã‚¹ã‚ャンã§ãã¾ã™ã€‚ ã‚‚ã£ã¨çŸ¥ã‚ŠãŸã„ã¨ã„ã†æ–¹ã¯ã€hadoop - Googleã®è™Žã®å「BigQueryã€ã‚’FluentdユーザーãŒä½¿ã‚ãªã„ç†ç”±ãŒãªããªã£ãŸç†ç”± #gcpja - Qiitaã‚’å‚ç…§ã—ã¦ãã ã•ã„。 gemã®
1
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
{{#tags}}- {{label}}
{{/tags}}