[Cloud OnAir] BigQuery ã®ä»•çµ„ã¿ã‹ã‚‰ãƒ™ã‚¹ãƒˆãƒ—ラクティスã¾ã§ã®ã”紹介 2018å¹´9月6æ—¥ 放é€
BigQuery ã®ä»•çµ„ã¿ã‚’深掘りã—ã¾ã™ã€‚BigQuery ã‚’ã©ã†ä½¿ã†ã®ãŒãƒ™ã‚¹ãƒˆãªã®ã‹ï¼Ÿã‚¯ãƒ©ã‚¦ãƒ‰ã®ãƒ¡ãƒªãƒƒãƒˆã‚’生ã‹ã—ãŸãƒžãƒãƒ¼ã‚¸ãƒ‰ DWH ã¨ã—ã¦ã®é…力ã¨é‹ç”¨ã«ãŠã‘るベストプラクティスを説明ã—ã¾ã™ã€‚Read less
![[Cloud OnAir] BigQuery ã®ä»•çµ„ã¿ã‹ã‚‰ãƒ™ã‚¹ãƒˆãƒ—ラクティスã¾ã§ã®ã”紹介 2018å¹´9月6æ—¥ 放é€](https://cdn-ak-scissors.b.st-hatena.com/image/square/43e9b9347423d66e13eaa00d8586d662ca18c2ab/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2Fdddddd-180906091548-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)
Visualize GCP Billing using BigQuery and Data Studio
Co-authored by Ryan McDowell, fellow Googler and data analysis ninja Visualize GCP Billing using BigQuery and Data StudioOne of the most common questions we get from customers is “how can I see what I’m spending over time†and, up until recently, your only option was the Billing tab in your Google Cloud Console. But now, by combining Google Cloud’s billing-export-to-BigQuery functionality with Goo
GCPã€BigQueryã‚’æ±äº¬ãƒªãƒ¼ã‚¸ãƒ§ãƒ³ã§æ供開始
Googleã¯2018å¹´4月18æ—¥ã€Google Cloud Platformã§ãƒ‡ãƒ¼ã‚¿ã‚¦ã‚§ã‚¢ãƒã‚¦ã‚¹ã‚µãƒ¼ãƒ“スBigQueryã®æ±äº¬ãƒªãƒ¼ã‚¸ãƒ§ãƒ³ã«ãŠã‘ã‚‹æ供を開始ã—ãŸã€‚今回ã®ç™ºè¡¨ã§ã€ä¸–ç•Œã§åˆã‚ã¦ãƒ¦ãƒ¼ã‚¶ãƒ¼ãŒãƒ‡ãƒ¼ã‚¿ã‚’ç½®ãBigQueryã®ãƒªãƒ¼ã‚¸ãƒ§ãƒ³ã‚’指定ã§ãるよã†ã«ãªã£ãŸã€‚ Googleã¯2018å¹´4月18æ—¥ã€Google Cloud Platform（GCP）ã§ãƒ‡ãƒ¼ã‚¿ã‚¦ã‚§ã‚¢ãƒã‚¦ã‚¹ã‚µãƒ¼ãƒ“スBigQueryã®æ±äº¬ãƒªãƒ¼ã‚¸ãƒ§ãƒ³ã«ãŠã‘ã‚‹æ供を開始ã—ãŸã€‚今回ã®ç™ºè¡¨ã§ã€ä¸–ç•Œã§åˆã‚ã¦ãƒ¦ãƒ¼ã‚¶ãƒ¼ãŒãƒ‡ãƒ¼ã‚¿ã‚’ç½®ãBigQueryã®ãƒªãƒ¼ã‚¸ãƒ§ãƒ³ã‚’指定ã§ãるよã†ã«ãªã£ãŸã€‚Googleã¯2019å¹´ã«ã‹ã‘ã¦ã€åŒæ§˜ãªãƒãƒ¼ã‚«ãƒ«ãƒªãƒ¼ã‚¸ãƒ§ãƒ³ã®æŒ‡å®šã‚’世界ã®ä»–ã®åœ°åŸŸã§ã‚‚ã§ãるよã†ã«ã—ã¦ã„ã。 BigQueryã¯ã“ã‚Œã¾ã§ã€åŸºæœ¬çš„ã«ã¯ãƒªãƒ¼ã‚¸ãƒ§ãƒ³ï¼ˆãƒ‡ãƒ¼ã‚¿ã‚»ãƒ³ã‚¿ãƒ¼ã®å ´æ‰€ï¼‰ã¨ç„¡é–¢ä¿‚ãªã‚µãƒ¼ãƒ“スã¨ã—ã¦æä¾›ã•ã‚Œã¦ããŸã€‚åŒã‚µãƒ¼ãƒ“スã§ã¯ã“ã‚Œã¾ã§ã€ãƒ‡ãƒ¼ã‚¿ã®ãƒã‚±ãƒ¼ã‚·
VASILYã«ãŠã‘ã‚‹BigQuery + Tableau活用例 - ZOZO TECH BLOG
ã“ã‚“ã«ã¡ã¯ï¼ ãªã‚“ã§ã‚‚ディープラーニングã§ã‚„ã‚ŠãŸãŒã‚‹ç™–ãŒæŠœã‘ãšã€3ヶ月ã®ãƒ‡ã‚£ãƒ¼ãƒ—ラーニングç¦æ¢ä»¤ã‚’言ã„渡ã•ã‚Œã¦ã„ãŸå¾Œè—¤ã§ã™ã€‚ 本記事ã§ã¯VASILYã§åˆ©ç”¨ã—ã¦ã„るデータ分æžã®ç’°å¢ƒã«ã¤ã„ã¦ç´¹ä»‹ã—ã¾ã™ã€‚ VASILYã§ã¯ãƒ‡ãƒ¼ã‚¿åˆ†æžãŒå¿…è¦ãªå ´é¢ã§ã€BigQueryã¨Tableauを組ã¿åˆã‚ã›ã¦åˆ©ç”¨ã™ã‚‹ã“ã¨ãŒå¤šã„ãŸã‚ã€ã“れらã®å®Ÿéš›ã®æ´»ç”¨ä¾‹ã¨Tableauã®é¸å®šç†ç”±ã«ã¤ã„ã¦ç´¹ä»‹ã—ãŸã„ã¨æ€ã„ã¾ã™ã€‚ 以å‰ã€CTOãŒãƒ‡ãƒ¼ã‚¿å‘¨ã‚Šã®ç’°å¢ƒã®å…¨ä½“åƒã‚’紹介ã—ã¾ã—ãŸã€‚ tech.vasily.jp 社内ã§ã¯BigQueryã‚’ä¸å¿ƒã«ãƒ‡ãƒ¼ã‚¿å‘¨ã‚Šã®ç’°å¢ƒãŒæ§‹ç¯‰ã•ã‚Œã¦ãŠã‚Šã€ãã“ã‹ã‚‰ãƒ‡ãƒ¼ã‚¿æ´»ç”¨ã®ã‚らゆるæ¥å‹™ã¸ã¤ãªãŒã‚Šã¾ã™ã€‚ データã®å¯è¦–化ã¨ç¤¾å†…ã¸ã®å…±æœ‰ã¯ä¸»ã«Tableauを使ã£ã¦ã„ã¾ã™ã€‚ ã¾ãšã¯ã€BigQueryã¨Tableauã®èª¬æ˜Žã‹ã‚‰å§‹ã‚ã¾ã™ã€‚ BigQuery ã¨ã¯ BigQueryã¨ã¯ã€GoogleãŒæä¾›ã—ã¦ã„るデータウ
「AWSã‹ã‚‰GCPã«åˆ‡ã‚Šæ›¿ãˆãŸã‚‰ã‚³ã‚¹ãƒˆãŒ1/10ã«ãªã£ãŸã€CETエンジニア å‰ç”°å•“二æ°ã‚¤ãƒ³ã‚¿ãƒ“ュー - Tech Blog - Recruit Lifestyle Engineer
å‰ç·¨ï¼ˆã€Œãƒ“ッグデータã¯â€œãƒªã‚¢ãƒ«ã‚¿ã‚¤ãƒ â€ã§ã“ã価値ãŒã‚ã‚‹ã€ï¼‰ã§ã¯ã€ãƒªã‚¢ãƒ«ã‚¿ã‚¤ãƒ ãªãƒ“ッグデータ解æžãƒ—ãƒã‚¸ã‚§ã‚¯ãƒˆã€ŒCET（Capture EveryThing）ã€ãŒå§‹ã¾ã£ãŸãã£ã‹ã‘ã‹ã‚‰ã€ã„ã¾ã®ãƒãƒ¼ãƒ ã¾ã§çµ„ç¹”ã«ç„¦ç‚¹ã‚’当ã¦ã¾ã—ãŸã€‚ 後編ã§ã¯ã€ã„よã„よビッグデータ解æžã®ã‚·ã‚¹ãƒ†ãƒ ã«ã¤ã„ã¦æ·±æŽ˜ã‚Šã—ã¦ã„ãã¾ã™ã€‚ Amazonã®ã‚¯ãƒ©ã‚¦ãƒ‰ã‚µãƒ¼ãƒ“スを活用ã—ã¦ä½œã‚Šä¸Šã’ãŸç¾çŠ¶ã®ã‚·ã‚¹ãƒ†ãƒ ã‚’æ¨ã¦ã€Googleã§ä½œã‚‹æ§‹æˆã«å¤‰ãˆã‚ˆã†ã¨ã—ã¦ã„ã‚‹ãã†ã€‚ãã®æ„図ã¨ã¯ã€‚ クラウドサービスã®ã‚³ã‚¹ãƒˆãƒ‘フォーマンスãªã©ã€ã‚¨ãƒ³ã‚¸ãƒ‹ã‚¢ã‚„アーã‚テクトã«ã¯æ°—ã«ãªã‚‹æƒ…å ±ãŒæº€è¼‰ã§ã™ã€‚ 「CETã€ã§åŸºç›¤æ§‹ç¯‰ã‚„分æžãƒ»é›†è¨ˆã‚¢ãƒ—リケーションã®é–‹ç™ºã‚’è¡Œã£ã¦ã„ã‚‹ã€å‰ç”°å•“二ã•ã‚“ã«èžãã¾ã—ãŸã€‚ èžã手ï¼æ§‹æˆï¼ç·¨é›†ï¼å†™çœŸï¼šå°å·æ¥“太（NEWPEACE Inc.） AWSã§æœ¬æ ¼çš„ã«é‹ç”¨ã™ã‚‹ã®ã¯åŽ³ã—ã„ã‹ãªã¨ã„ã†å°è±¡ã§ã™ ——　今回構築ã•ã‚ŒãŸåŸºç›¤ã®å…·ä½“çš„ãªã‚·ã‚¹ãƒ†ãƒ 構æˆã¯ã©ã®ã‚ˆ
Googleã®è™Žã®å「BigQueryã€ã‚’FluentdユーザーãŒä½¿ã‚ãªã„ç†ç”±ãŒãªããªã£ãŸç†ç”± #gcpja - Qiita
From Fluentd Meetupã«è¡Œã£ã¦ãã¾ã—㟠ã“れをèªã‚“ã 時ã€BigQueryã®æ¤œç´¢ã‚¹ãƒ”ードã«ã¤ã„ã¦ã¡ã‚‡ã£ã¨è£œè¶³ã—ãŸããªã£ãŸã€‚確ã‹ã«Fluentd Meetupã®ãƒ‡ãƒ¢ã§ã¯9億件を7秒程度ã§æ¤œç´¢ã—ã¦ã„ãŸãŒã€BigQueryã®çœŸã®å®ŸåŠ›ã¯ã“れより1〜2ケタ上ã ã‹ã‚‰ã 。ã¡ã‚‡ã£ã¨æ‰‹å…ƒã§å°‘ã—大ãã‚ã®ãƒ†ãƒ¼ãƒ–ルã§è©¦ã—ã¦ã¿ãŸã‚‰ã€120å„„è¡Œã®æ£è¦è¡¨ç¾ãƒžãƒƒãƒä»˜ã集計ãŒ5秒ã§å®Œäº†ã—ãŸã€‚è«–ã‚ˆã‚Šè¨¼æ‹ ã§ã€ãƒ‡ãƒ¢ãƒ“デオ（1分16秒）を作ã£ã¦ã¿ãŸï¼š From The Speed of Google BigQuery ã“ã‚Œã¯é€Ÿã™ãŽã‚‹ã€‚何ã‹ã®ã‚¤ãƒ³ãƒã‚ã§ã‚る（最åˆã«ãƒ‡ãƒ¢ã‚’見ãŸæ™‚ãã†æ€ã£ãŸï¼‰ã€‚æ£è¦è¡¨ç¾ã‚’ã„ã‚ã„ã‚変ãˆã¦ã¿ã¦ã‚‚スピードã¯å¤‰ã‚らãªã„。ã¤ã¾ã‚Šã€ã‚¤ãƒ³ãƒ‡ãƒƒã‚¯ã‚¹ã‚’事å‰æ§‹ç¯‰ã§ããªã„クエリã«å¯¾ã—ã¦ã“ã®ã‚¹ãƒ”ードãªã®ã§ã‚る。 ä¾¡æ ¼ã‚‚å®‰ã„。ã•ã™ãŒã«120å„„è¡Œã®ã‚¯ã‚¨ãƒªã¯1回ã§200円もã‹ã‹ã£ã¦æ°—軽ã«å®Ÿè¡Œã§ããªã•ãã†ã§ã‚ã‚‹ãŒã€1.2å„„
1
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
Jupyter(Python)ã¨BigQueryã«ã‚ˆã‚‹ãƒ‡ãƒ¼ã‚¿åˆ†æžåŸºç›¤ã®DevOps #pyconjp // Speaker Deck
{{#tags}}- {{label}}
{{/tags}}