DeNAæµãƒ‡ãƒ¼ã‚¿ã‚¨ãƒ³ã‚¸ãƒ‹ã‚¢ãƒªãƒ³ã‚°ã®æ¥µæ„
Developers Summit 2017 ã«ãŠã‘る「DeNA ã®æ©Ÿæ¢°å¦ç¿’基盤ã¨åˆ†æžåŸºç›¤ã€ã®ç™ºè¡¨ã‹ã‚‰ã€Œãƒ‡ãƒ¼ã‚¿ã‚¨ãƒ³ã‚¸ãƒ‹ã‚¢ãƒªãƒ³ã‚°ã®æ¥µæ„ã€ã®ãƒ‘ートを抜ã出ã—ãŸã‚‚ã®ã€‚「機械å¦ç¿’基盤ã€ã®ãƒ‘ートã«ã¤ã„ã¦ã¯ https://speakerdeck.com/sonots/dena-aisisutemubu-nioke…
Cloudera Managerã§HBaseã®é‹ç”¨ - Qiita
サイãƒãƒ¼ã‚¨ãƒ¼ã‚¸ã‚§ãƒ³ãƒˆã®ç§‹è‘‰åŽŸãƒ©ãƒœã§åƒã„ã¦ã„る鈴木ã¨ã„ã„ã¾ã™ã€‚ 今回ã¯ã€Cloudera Managerを使ã£ãŸHBaseã®é‹ç”¨ã®ä¸€éƒ¨ã‚’紹介ã—よã†ã¨æ€ã„ã¾ã™ã€‚ ã¯ã˜ã‚㫠弊社ã§ã¯HBaseã®é‹ç”¨ã«Cloudera Managerを使ã£ã¦ã„ã¾ã™ã€‚ Cloudera Managerを使ã†ã“ã¨ã§ã‚¯ãƒ©ã‚¹ã‚¿ã®æ§‹ç¯‰ãƒ»ç®¡ç†ãŒæ¥½ã«ãªã‚‹ã®ã¯ã‚‚ã¡ã‚ã‚“ã®ã“ã¨ã€ç›£è¦–やトラブルシューティングも簡å˜ã«ãªã£ãŸã‚Šã—ã¾ã™ã€‚ æ—¢ã«Cloudera Manager Advent Calendar 2015ã§ç´¹ä»‹ã•ã‚Œã¦ã„ã‚‹ãƒã‚°æ¤œç´¢ã‚‚便利ã§ã™ã—〠tsqueryã¨ã„ã†ãƒãƒ£ãƒ¼ãƒˆç”Ÿæˆå°‚用ã®ã‚¯ã‚¨ãƒªè¨€èªžã‚‚ã‹ãªã‚Šä¾¿åˆ©ã§ã™ã€‚ 今回ã¯HBaseã‚’é‹ç”¨ã™ã‚‹ä¸Šã§æ™®æ®µè¦‹ã¦ã„ã‚‹ãƒãƒ£ãƒ¼ãƒˆã®tsqueryを紹介ã—ãŸã„ã¨æ€ã„ã¾ã™ã€‚ tsqueryã«ã¤ã„㦠tsqueryã¯Cloudera Manager内ã«è“„ç©ã•ã‚Œã¦ã„るメトリクスãªã©ã®æ™‚系列DBã«ã‚¢ã‚¯ã‚»ã‚¹ã§ã
5分ã§ã§ãã‚‹HDFSクラスタ構築方法
æ¦‚è¦ HDFSをベースã¨ã—ã¦å‹•ãアプリケーションã¯æ•°å¤šãã‚ã‚Šã¾ã™ãŒã€HDFSクラスタを構築ã™ã‚‹ã®ã¯å°‘々é¢å€’ãªæ„Ÿã˜ãŒã—ã¾ã™ã€‚ ã—ã‹ã—ã€Cloudera Managerを使ãˆã°5分ã§HDFSクラスタを構築ã§ãã¦ã—ã¾ã†ã®ã§ã™ã€‚ 今回ã¯ã“ã®Cloudera Managerを使ã£ã¦Linux(CentOS6.5)ï¼”å°ã« Hadoop(HDFS + YARN) Hive をインストールã—ã¦ã„ããŸã„ã¨æ€ã„ã¾ã™ã€‚ ã“ã®è¨˜äº‹ã‚’書ã„ãŸæ™‚ã®Cloudera Managerã®ãƒãƒ¼ã‚¸ãƒ§ãƒ³ã¯5.2.1ã§ã™ã€‚ Cloudera Managerã®ã‚¤ãƒ³ã‚¹ãƒˆãƒ¼ãƒ« 全サーãƒå¿…è¦æ¡ä»¶ selinuxãŒç„¡åŠ¹ã§ã‚ã‚‹ã“㨠å„ホスト間ã§sshãƒã‚°ã‚¤ãƒ³å¯èƒ½ã§ã‚ã‚‹ã“㨠å„ホストåŒå£«ãŒFQDNã§å‚ç…§å¯èƒ½ã§ã‚ã‚‹ã“㨠ã¾ãšã¯selinuxを無効ã«ã—ã¾ã™ã€‚ vi /etc/sysconfig/selinux ~ #SELINUX=enforcing
Cloudera | ãƒã‚¤ãƒ–リッドデータカンパニー
Cloudera ã¯ã€æœ€å¤§è¦æ¨¡ã®ä¼æ¥ãŒã‚ã‚‰ã‚†ã‚‹å ´æ‰€ã«å˜åœ¨ã™ã‚‹ã™ã¹ã¦ã®ãƒ‡ãƒ¼ã‚¿ã‚’ä¿¡é ¼æ€§ã®é«˜ã„有æ„義ãªæ´žå¯Ÿã«å¤‰æ›ã§ãるよã†æ”¯æ´ã—ã¾ã™ã€‚ Trusted Data Today for Tomorrow’s AI (今日ã®ä¿¡é ¼ã§ãるデータをã€æ˜Žæ—¥ã® AI ã«è¨—ã™) データ㨠AI ãŒãƒ†ãƒ¼ãƒžã®ãƒ—レミアカンファレンスã§ã€æ¥ç•Œæœ€å‰ç·šã®æ˜Žç¢ºãªãƒ“ジョンをæŒã£ãŸæ–¹ã€…やソートリーダーã‹ã‚‰è²´é‡ãªæ´žå¯Ÿã‚’å¾—ã‚‹ã“ã¨ãŒã§ãã¾ã™ã€‚
Spark 2.0ã®æ€§èƒ½æ¤œè¨¼ã®çµæžœã¨ãƒœãƒˆãƒ«ãƒãƒƒã‚¯ã®è€ƒå¯Ÿ
ã¯ã˜ã‚ã« å‰å›žã¯ã€Spark 2.0ã®ä¸»ãªå¤‰æ›´ç‚¹ã¨ã—ã¦Spark 1.6よりも性能ãŒå‘上ã—ã€ã‚¢ãƒ—リケーションã®å®Ÿè£…ãŒå®¹æ˜“ã«ãªã£ãŸã“ã¨ã‚’解説ã—ã¾ã—ãŸã€‚ã¾ãŸã€ãã®æ€§èƒ½æ¤œè¨¼ã®ã‚·ãƒŠãƒªã‚ªã¨ã—ã¦ã€é›»åŠ›æ¶ˆè²»é‡ãƒ‡ãƒ¼ã‚¿ã‚’集計ã—å¯è¦–化ã™ã‚‹ã‚±ãƒ¼ã‚¹ã‚’想定ã™ã‚‹ã“ã¨ã‚’解説ã—ã¾ã—ãŸã€‚今回ã¯ã€ã‚·ãƒŠãƒªã‚ªã«åŸºã¥ã„ãŸæ¤œè¨¼ã‚’è¡Œã†ãŸã‚ã®ç’°å¢ƒï¼ˆã‚·ã‚¹ãƒ†ãƒ 構æˆã€ãƒ‘ラメータ）ã¨ãã®æ¤œè¨¼çµæžœã‚’解説ã—ã¾ã™ã€‚ ã‚·ã‚¹ãƒ†ãƒ æ§‹æˆ ãƒ‡ãƒ¼ã‚¿åˆ†æžã‚·ã‚¹ãƒ†ãƒ ã®æ¦‚è¦ ãƒ‡ãƒ¼ã‚¿åˆ†æžã‚·ã‚¹ãƒ†ãƒ ã¯ã€å›³1ã®ã‚ˆã†ã«ç®¡ç†ç”»é¢ã¨ãƒ‡ãƒ¼ã‚¿åˆ†æžã‚¢ãƒ—リケーションã€ãƒ‡ãƒ¼ã‚¿å‡¦ç†åŸºç›¤ã®3ã¤ã‹ã‚‰æˆã‚Šã¾ã™ã€‚è¨å‚™ä¼ç”»æ‹…当者ã¯ç®¡ç†ç”»é¢ã‚’介ã—ã¦ãƒ‰ãƒªãƒ«ãƒ€ã‚¦ãƒ³åˆ†æžã‚’è¡Œã„ã¾ã™ã€‚予ã‚データ分æžã‚¢ãƒ—リケーションã§è¨å‚™ã®è² è·ã‚’集計ã—ã€ãã®æ¼”算処ç†ã‚’実行ã™ã‚‹ã®ãŒãƒ‡ãƒ¼ã‚¿å‡¦ç†åŸºç›¤ã§ã™ã€‚本連載ã§å–り上ã’るデータ処ç†åŸºç›¤ã«ã¯HadoopãŠã‚ˆã³Sparkã‚’å°Žå…¥ã—ã¦ã„ã¾ã™ã€‚ ãƒãƒ¼ãƒ‰ã‚¦ã‚§ã‚¢æ§‹æˆ データ処ç†åŸºç›¤ã¯ä»®æƒ³ã‚µãƒ¼ãƒ3å°ã€ç‰©ç†
1
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
{{#tags}}- {{label}}
{{/tags}}