・リクルートライフスタイルã®ãƒ‡ãƒ¼ã‚¿åˆ†æžåŸºç›¤ã®ç´¹ä»‹ ・データ分æžåŸºç›¤ã«å¿…è¦ãªã‚¨ãƒ³ã‚¸ãƒ‹ã‚¢ãƒªãƒ³ã‚° リクルートライフスタイル 白鳥昇治
データ分æžåŸºç›¤ã‚’支ãˆã‚‹ã‚¨ãƒ³ã‚¸ãƒ‹ã‚¢ãƒªãƒ³ã‚°
・リクルートライフスタイルã®ãƒ‡ãƒ¼ã‚¿åˆ†æžåŸºç›¤ã®ç´¹ä»‹ ・データ分æžåŸºç›¤ã«å¿…è¦ãªã‚¨ãƒ³ã‚¸ãƒ‹ã‚¢ãƒªãƒ³ã‚° リクルートライフスタイル 白鳥昇治
データ民主化ã®è² ã®å´é¢ - wyukawa's diary
データã®æ´»ç”¨ãŒå½“然ã®ã“ã¨ã®ã‚ˆã†ã«ãªã£ã¦ã‚¨ãƒ³ã‚¸ãƒ‹ã‚¢ä»¥å¤–ã§ã‚‚SQL書ã„ã¦ãƒ‡ãƒ¼ã‚¿æŠ½å‡ºã™ã‚‹ã®ãŒä¸€èˆ¬çš„ã«ãªã£ã¦ãã¾ã—ãŸã€‚ã•ã‚‰ã«ãƒ‡ãƒ¼ã‚¿ã‚µã‚¤ã‚¨ãƒ³ãƒ†ã‚£ã‚¹ãƒˆã®ç™»å ´ã«ã‚ˆã‚Šé«˜åº¦ãªåˆ†æžã‚‚ã•ã‚Œã‚‹ã‚ˆã†ã«ãªã£ã¦ãã¦ã€é¡•åœ¨åŒ–ã—ã¦ããŸã®ãŒHadoopクラスタã®ç„¡æ³•åœ°å¸¯åŒ–ã¨ã‚¨ãƒ³ã‚¸ãƒ‹ã‚¢ã®ç–²å¼Šãªã‚“ã˜ã‚ƒãªã„ã‹ã¨æœ€è¿‘æ€ã£ã¦ãŠã‚Šã¾ã™ã€‚ãªãŠHadoopã«é™ã‚‰ãšElasticsearchã§ã‚‚言ãˆãŸã‚Šã—ã¾ã™ã€‚ ã“ã‚Œã£ã¦è¦ã¯ãƒ¦ãƒ¼ã‚¶ã¨ç®¡ç†è€…ã®ãƒãƒ©ãƒ³ã‚¹ã®å•é¡Œã§ã€Hadoopエンジニアを採用ã™ã‚‹ã®ãŒé›£ã—ã„ã¨ã„ã†ã®ãŒèƒŒæ™¯ã«ã‚ã‚Šã¾ã™ã€‚ SQL書ã‘る人ã¯ãã‚Œãªã‚Šã«ã„ã‚‹ã‘ã©ã€ã‚¤ãƒ³ãƒ•ãƒ©å´ã®äººæä¸è¶³ã§ã™ã。ã“ã®çŠ¶æ…‹ã§ãƒ‡ãƒ¼ã‚¿ã®æ°‘主化ãŒé€²ã‚€ã¨ã©ã†ãªã‚‹ã‹ã¨ã„ã†ã¨ã€ クエリã®æ•°ãŒå¢—ãˆã‚‹ -> ãªã‹ã«ã‚‚é‡ã„クエリもçµæ§‹ã‚ã‚‹ -> 管ç†è€…ãŒãれをãƒã‚§ãƒƒã‚¯ã™ã‚‹ã®ã«ç–²ã‚Œã¦æ”¾ç½®ã™ã‚‹ã‚ˆã†ã«ãªã‚‹ -> クラスタã®è² è·ãŒå¢—ãˆã¦éšœå®³ã‚‚出るよã†ã«ãªã‚‹ -> クエリ実行ã«ã‚‚時間ã‹ã‹ã‚‹ã‚ˆã†ã«
『Prestoã¨ã¯ä½•ã‹ï¼ŒPrestoã§ä½•ãŒã§ãã‚‹ã‹ã€ - トレジャーデータ（Treasure Data）ブãƒã‚°
トレジャーデータã¯ã‚¯ãƒ©ã‚¦ãƒ‰ã§ãƒ‡ãƒ¼ã‚¿ãƒžãƒãƒ¼ã‚¸ãƒ¡ãƒ³ãƒˆã‚µãƒ¼ãƒ“スをæä¾›ã—ã¦ã„ã¾ã™ã€‚ Hadoop Conference Japan 2014 以å‰ã«å‘ŠçŸ¥ã—ãŸHadoop Conference Japan 2014ã§ï¼Œå¼Šç¤¾Software Architectã®å¤æ©‹ãŒç™ºè¡¨ã—ã¾ã—ãŸã€‚ テーマã¯ï¼ŒFacebookãŒå…¬é–‹ã—ãŸæ–°ã—ã„分散処ç†åŸºç›¤ï¼ŒPresto。実ã¯FacebookãŒå½¼ã‚‰ã®è¶…大è¦æ¨¡ãªãƒ‡ãƒ¼ã‚¿ã‚»ãƒƒãƒˆã«å¯¾ã—ã¦ã‚¤ãƒ³ã‚¿ãƒ©ã‚¯ãƒ†ã‚£ãƒ–ã«çµæžœã‚’è¿”ã›ã‚‹ã‚ˆã†ã«ã¨é–‹ç™ºã•ã‚ŒãŸã‚‚ã®ã§ã™ã€‚開発ãŒå§‹ã¾ã£ã¦ã¾ã 2年も経ã£ã¦ãŠã‚Šã¾ã›ã‚“ãŒï¼Œä»Šã§ã¯ãƒˆãƒ¬ã‚¸ãƒ£ãƒ¼ãƒ‡ãƒ¼ã‚¿ã‚’åˆã‚ã¨ã—ã¦å¤šãã®ãƒãƒƒã‚«ãƒ¼é”ãŒã‚³ãƒŸãƒƒã‚¿ãƒ¼ã¨ã—ã¦å‚åŠ ã™ã‚‹æ´»ç™ºçš„ãªãƒ—ãƒã‚¸ã‚§ã‚¯ãƒˆã«æˆé•·ã—ã¦ã„ã¾ã™ã€‚ Prestoã¯Hiveã‚„Impalaã¨åŒã˜ã€ŒSQL Query Engineã€ã§ã‚り，特ã«æ•°ç™¾GBを超ãˆã‚‹å¤§è¦æ¨¡ãƒ‡ãƒ¼ã‚¿ã«å¯¾ã—ã¦ã‚‚インタラクティブãªãƒ¬ã‚¹ãƒãƒ³ã‚¹ã‚’（コンマ0秒以下，é…ãã¦
Googleã®è™Žã®å「BigQueryã€ã‚’FluentdユーザーãŒä½¿ã‚ãªã„ç†ç”±ãŒãªããªã£ãŸç†ç”± #gcpja - Qiita
From Fluentd Meetupã«è¡Œã£ã¦ãã¾ã—㟠ã“れをèªã‚“ã 時ã€BigQueryã®æ¤œç´¢ã‚¹ãƒ”ードã«ã¤ã„ã¦ã¡ã‚‡ã£ã¨è£œè¶³ã—ãŸããªã£ãŸã€‚確ã‹ã«Fluentd Meetupã®ãƒ‡ãƒ¢ã§ã¯9億件を7秒程度ã§æ¤œç´¢ã—ã¦ã„ãŸãŒã€BigQueryã®çœŸã®å®ŸåŠ›ã¯ã“れより1〜2ケタ上ã ã‹ã‚‰ã 。ã¡ã‚‡ã£ã¨æ‰‹å…ƒã§å°‘ã—大ãã‚ã®ãƒ†ãƒ¼ãƒ–ルã§è©¦ã—ã¦ã¿ãŸã‚‰ã€120å„„è¡Œã®æ£è¦è¡¨ç¾ãƒžãƒƒãƒä»˜ã集計ãŒ5秒ã§å®Œäº†ã—ãŸã€‚è«–ã‚ˆã‚Šè¨¼æ‹ ã§ã€ãƒ‡ãƒ¢ãƒ“デオ（1分16秒）を作ã£ã¦ã¿ãŸï¼š From The Speed of Google BigQuery ã“ã‚Œã¯é€Ÿã™ãŽã‚‹ã€‚何ã‹ã®ã‚¤ãƒ³ãƒã‚ã§ã‚る（最åˆã«ãƒ‡ãƒ¢ã‚’見ãŸæ™‚ãã†æ€ã£ãŸï¼‰ã€‚æ£è¦è¡¨ç¾ã‚’ã„ã‚ã„ã‚変ãˆã¦ã¿ã¦ã‚‚スピードã¯å¤‰ã‚らãªã„。ã¤ã¾ã‚Šã€ã‚¤ãƒ³ãƒ‡ãƒƒã‚¯ã‚¹ã‚’事å‰æ§‹ç¯‰ã§ããªã„クエリã«å¯¾ã—ã¦ã“ã®ã‚¹ãƒ”ードãªã®ã§ã‚る。 ä¾¡æ ¼ã‚‚å®‰ã„。ã•ã™ãŒã«120å„„è¡Œã®ã‚¯ã‚¨ãƒªã¯1回ã§200円もã‹ã‹ã£ã¦æ°—軽ã«å®Ÿè¡Œã§ããªã•ãã†ã§ã‚ã‚‹ãŒã€1.2å„„
YappoLogs: ãªãœ SQL_CALC_FOUND_ROWS ã‚„ LIMIT OFFSET ã®ãƒšãƒ¼ã‚¸ãƒ³ã‚°ãŒè‰¯ãç„¡ã„ã®ã‹
ãªãœ SQL_CALC_FOUND_ROWS ã‚„ LIMIT OFFSET ã®ãƒšãƒ¼ã‚¸ãƒ³ã‚°ãŒè‰¯ãç„¡ã„ã®ã‹ ã“ã“最近ã®å¤§è¦æ¨¡ã‚µãƒ¼ãƒ“ス関連ã—ãŸãƒ‡ãƒ¼ã‚¿ãƒšãƒ¼ã‚¸ãƒ³ã‚°è€ƒã§ã™ã€‚ mysql 5.5.34 ã§è©¦ã—ã¦è¨˜äº‹æ›¸ã„ã¦ã¾ã™ã€‚ bigdata テーブル㯠id BIGINT UNSIGNED NOT NULL AUTO_INCREMENT, PRIMARY KEY (id) ãªã‚«ãƒ©ãƒ ãŒã‚ã‚‹å‰æã§ã™ã€‚ã‚‚ã¡ã‚ã‚“ InnoDB ã§ã™ã€‚ 2014å¹´ãªã‚“ã ã‹ã‚‰COUNT(*)ã¨ã‹SQL_CALC_FOUND_ROWSã¨ã‹LIMIT OFFSETã®ãƒšãƒ¼ã‚¸ãƒ³ã‚°ã¯ã‚„ã‚よã†ãœ - Togetterã¾ã¨ã‚ãŒç™ºç«¯ã«ã¿ãˆã‚‹ã‘ã©ã€ã‚ã‚Šã¨æ˜”ã‹ã‚‰è©±ã•ã‚Œã¦ã‚‹äº‹ãªã‚“ã ã‘ã©ã€ã€Œnippondanji SQL_CALC_FOUND_ROWSã€ã§ã‚°ã‚°ã£ã¦ã‚‚有用ãªæƒ…å ±ãªã„ã—文書化ã•ã‚Œã¦ãªã„ã‹ã‚‰ã—ã¨ã。 ページング処ç†ã§ä½¿ã‚ã‚ŒãŒã¡ãªæ©Ÿèƒ½ã§ã™ã€‚ S
Dempsy:ビッグデータを処ç†ã™ã‚‹æ–°ã—ã„リアルタイムフレームワーク
ã‚ãªãŸã«ã¨ã£ã¦é‡è¦ãªãƒˆãƒ”ックやåŒåƒšã®æœ€æ–°æƒ…å ±ã‚’å…¥æ‰‹ã—ã¾ã—ょã†æœ€æ–°ã®æ´žå¯Ÿã¨ãƒˆãƒ¬ãƒ³ãƒ‰ã«é–¢ã™ã‚‹æœ€æ–°æƒ…å ±ã‚’å³åº§ã«å—ã‘å–ã‚Šã¾ã—ょã†ã€‚ 継続的ãªå¦ç¿’ã®ãŸã‚ã«ã€ç„¡æ–™ã®ãƒªã‚½ãƒ¼ã‚¹ã«æ‰‹è»½ã«ã‚¢ã‚¯ã‚»ã‚¹ã—ã¾ã—ょã†ãƒŸãƒ‹ãƒ–ックã€ãƒˆãƒ©ãƒ³ã‚¹ã‚¯ãƒªãƒ—ト付ãå‹•ç”»ã€ãŠã‚ˆã³ãƒˆãƒ¬ãƒ¼ãƒ‹ãƒ³ã‚°æ•™æ。 記事をä¿å˜ã—ã¦ã€ã„ã¤ã§ã‚‚èªã‚€ã“ã¨ãŒã§ãã¾ã™è¨˜äº‹ã‚’ブックマークã—ã¦ã€æº–å‚™ãŒã§ããŸã‚‰ã„ã¤ã§ã‚‚èªã‚ã¾ã™ã€‚
1
ランã‚ング
ãŠçŸ¥ã‚‰ã›
ランã‚ング
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
今注目ã®ãƒ‡ãƒ¼ã‚¿ãƒ¬ã‚¤ã‚¯ã¨ã¯ä½•ã‹ï¼ŸDWHã¨ä½•ãŒé•ã†ã®ã‹ï¼Ÿ | Big Data & Data Integration - Japan Blog
{{#tags}}- {{label}}
{{/tags}}