Googleã®è™Žã®å「BigQueryã€ã‚’FluentdユーザーãŒä½¿ã‚ãªã„ç†ç”±ãŒãªããªã£ãŸç†ç”± #gcpja - QiitaFrom Fluentd Meetupã«è¡Œã£ã¦ãã¾ã—㟠ã“れをèªã‚“ã 時ã€BigQueryã®æ¤œç´¢ã‚¹ãƒ”ードã«ã¤ã„ã¦ã¡ã‚‡ã£ã¨è£œè¶³ã—ãŸããªã£ãŸã€‚確ã‹ã«Fluentd Meetupã®ãƒ‡ãƒ¢ã§ã¯9億件を7秒程度ã§æ¤œç´¢ã—ã¦ã„ãŸãŒã€BigQueryã®çœŸã®å®ŸåŠ›ã¯ã“れより1〜2ケタ上ã ã‹ã‚‰ã 。ã¡ã‚‡ã£ã¨æ‰‹å…ƒã§å°‘ã—大ãã‚ã®ãƒ†ãƒ¼ãƒ–ルã§è©¦ã—ã¦ã¿ãŸã‚‰ã€120å„„è¡Œã®æ£è¦è¡¨ç¾ãƒžãƒƒãƒä»˜ã集計ãŒ5秒ã§å®Œäº†ã—ãŸã€‚è«–ã‚ˆã‚Šè¨¼æ‹ ã§ã€ãƒ‡ãƒ¢ãƒ“デオ（1分16秒）を作ã£ã¦ã¿ãŸï¼š From The Speed of Google BigQuery ã“ã‚Œã¯é€Ÿã™ãŽã‚‹ã€‚何ã‹ã®ã‚¤ãƒ³ãƒã‚ã§ã‚る（最åˆã«ãƒ‡ãƒ¢ã‚’見ãŸæ™‚ãã†æ€ã£ãŸï¼‰ã€‚æ£è¦è¡¨ç¾ã‚’ã„ã‚ã„ã‚変ãˆã¦ã¿ã¦ã‚‚スピードã¯å¤‰ã‚らãªã„。ã¤ã¾ã‚Šã€ã‚¤ãƒ³ãƒ‡ãƒƒã‚¯ã‚¹ã‚’事å‰æ§‹ç¯‰ã§ããªã„クエリã«å¯¾ã—ã¦ã“ã®ã‚¹ãƒ”ードãªã®ã§ã‚る。 ä¾¡æ ¼ã‚‚å®‰ã„。ã•ã™ãŒã«120å„„è¡Œã®ã‚¯ã‚¨ãƒªã¯1回ã§200円もã‹ã‹ã£ã¦æ°—軽ã«å®Ÿè¡Œã§ããªã•ãã†ã§ã‚ã‚‹ãŒã€1.2å„„
1å°ã§HBase, Hive, Pig, HUE(æ—§Cloudera Desktop)を試ã—ã¦ã¿ã‚‹(Ubuntu + Cloudera)
「大é‡ãƒ‡ãƒ¼ã‚¿å‡¦ç†ãªã‚‰ä»»ã›ã¦ã€æ—¥æœ¬äººæŠ€è¡“者ã€ä¸–ç•Œã¸æŒ‘戦ã€æ¹¯å·ã€‘ | TechWave（テックウェーブ）
NTTデータã®Hadoopå ±å‘Šæ›¸ãŒã™ã”ã‹ã£ãŸ - 科å¦ã¨éžç§‘å¦ã®è¿·å®®
{{#tags}}- {{label}}
{{/tags}}