Jubatus: real-time and highly-scalable machine learning platform – Hadoop Summit 2013 North America: Community Choice Now Open!
Jubatus: real-time and highly-scalable machine learning platform Real-time analytics relates to many critical applications with Big data. Machine learning is a set of computational algorithms for understanding data and predicting the future for accurate decision making. Thus both will be the key factors in Big Data analytics. Though Hadoop-based frameworks such as Mahout are available, there was n
Impala Q&A - still deeper
2012/11/7ã«é–‹å‚¬ã•ã‚ŒãŸCloudera World Tokyoã«å‚åŠ ã—ã¦ãã¾ã—ãŸã€‚ 本編ã«ã¤ã„ã¦ã¯ä»–ã®äººãŒã¾ã¨ã‚ã¦ãれるã¯ãšã§ã™ã®ã§çœç•¥ã€‚ 懇親会ã§ã¯ç±³å›½Cloudera社ã®CTOã€Dr. Amr Awadallahæ°ã«ç›´æŽ¥Impalaã®ç–‘å•ã«ç”ãˆã¦ã„ãŸã ãã¾ã—ãŸã€‚éžå¸¸ã«è²´é‡ãªè©±ã‚’èžã‘ãŸã®ã§ã¾ã¨ã‚ã¦ãŠãã¾ã™ã€‚（公開許å¯æ¸ˆã¿ï¼‰ ãã®å ´ã§ãƒ¡ãƒ¢ã‚’å–ã£ã¦ã„ãŸã‚ã‘ã§ã¯ãªãæ€ã„出ã—ãªãŒã‚‰ã®ã¾ã¨ã‚ãªã®ã§ã€ä¸€ç·’ã«èžã„ã¦ã„ãŸæ–¹ã€clouderaã®æ–¹ã¯è£œè¶³ã‚’ãŠé¡˜ã„ã—ã¾ã™ã€‚ Q&A Q. ãªãœJavaã§ãªãã¦C++ã§å®Ÿè£…ã—ãŸã‹ï¼Ÿ A. Impalaã®ãƒ¡ã‚¤ãƒ³ãƒ‡ã‚¶ã‚¤ãƒŠãƒ¼ãŒGoogleã§C++を使ã£ã¦åˆ†æ•£å‡¦ç†(Dremelã®ã“ã¨ï¼Ÿ)を実装ã—ãŸäººç‰©ã§ã‚ã‚‹ã®ã¨ã€JVMã®èµ·å‹•ã‚³ã‚¹ãƒˆãŒãƒ¬ã‚¤ãƒ†ãƒ³ã‚·ãƒ¼ã®å¢—åŠ ã«ã¤ãªãŒã‚‹ãŸã‚ 補足: ã“ã®äººã§ã—ょã†ã‹ Q. 1ノードã«åã£ãŸãƒ‡ãƒ¼ã‚¿ã‚’èªã‚€å¿…è¦ãŒã‚るクエリãŒãã‚‹ã¨ä½Žãƒ¬ã‚¤ãƒ†ãƒ³ã‚·ãƒ¼ã‚’
Cloudera Impala ãŒãƒªãƒªãƒ¼ã‚¹ã•ã‚Œã¾ã—㟠- 科å¦ã¨éžç§‘å¦ã®è¿·å®®
(2012/10/25 15:48 追記) Cloudera å…¬å¼ãƒ–ãƒã‚°ã§ Impala ã«ã¤ã„ã¦ã®ç´¹ä»‹è¨˜äº‹ã‚’掲載ã—ã¾ã—ãŸã€‚ã“ã®ãƒ–ãƒã‚°è¨˜äº‹ã®å®Œå…¨ä¸Šä½äº’æ›ãªã®ã§ãã¡ã‚‰ã®è¨˜äº‹ã‚’ã”å‚ç…§ãã ã•ã„。 Cloudera Impala：Apache Hadoopã§å®Ÿç¾ã™ã‚‹ã€çœŸã®ãƒªã‚¢ãƒ«ã‚¿ã‚¤ãƒ クエリ | Hadoopã¨ãƒ“ッグデータソリューションã®ãƒªãƒ¼ãƒ‡ã‚£ãƒ³ã‚°ã‚«ãƒ³ãƒ‘ニー | Cloudera Japan Cloudera ã‹ã‚‰ã€ãƒ‡ãƒ¼ã‚¿ã‚µã‚¤ã‚¨ãƒ³ãƒ†ã‚£ã‚¹ãƒˆã®ãŸã‚ã®ãƒªã‚¢ãƒ«ã‚¿ã‚¤ãƒ クエリエンジン「Impalaã€ãŒãƒªãƒªãƒ¼ã‚¹ã•ã‚Œã¾ã—ãŸã€‚Hive ã¨å®Œå…¨äº’æ›ã®ã‚¯ã‚¨ãƒªè¨€èªžã§ã€Hive より10å€ä»¥ä¸Šé€Ÿãクエリを処ç†ã§ãã¾ã™ã€‚ 概è¦åŠã³ãƒ€ã‚¦ãƒ³ãƒãƒ¼ãƒ‰ã¯ã“ã¡ã‚‰ã‹ã‚‰! http://www.cloudera.com/content/cloudera/en/products/cloudera-enterprise-core/clouder
20分ã§ã‚ã‹ã‚‹HBase
PyFes 2012.07 ã§ç™ºè¡¨ã—ãŸã¨ãã®ã‚¹ãƒ©ã‚¤ãƒ‰ã§ã™ã€‚ HBaseã®ã‚¢ãƒ¼ã‚テクãƒãƒ£å‘¨ã‚Šã‚’ä¸å¿ƒã«è©±ã—ã¾ã—ãŸRead less
試ã™ã®ãŒé›£ã—ã„―機械å¦ç¿’ã®å¸¸è˜ã¯Mahoutã§å¤‰ã‚ã‚‹
ビッグデータ時代―ãªãœã€ã„ã¾æ©Ÿæ¢°å¦ç¿’ãªã®ã‹ Apache Hadoop（以下ã€Hadoop）ã®ç™»å ´ã§ã€ä»Šã¾ã§æ¨ã¦ã¦ã„ãŸãƒ‡ãƒ¼ã‚¿ã€è²¯ã‚ã‚‹ã ã‘ã§å‡¦ç†ã—ãã‚Œãªã‹ã£ãŸãƒ‡ãƒ¼ã‚¿ã‚’活用ã§ãるよã†ã«ãªã‚Šã¾ã—ãŸã€‚ 活用手段ã¨ã—ã¦æœ€è¿‘ã¨ã¿ã«æ³¨ç›®ã•ã‚Œã¦ã„る技術ãŒã€Œæ©Ÿæ¢°å¦ç¿’ã€ã§ã‚ã‚Šã€Hadoopã®å¼·ã¿ã‚’生ã‹ã—ç°¡å˜ã«æ©Ÿæ¢°å¦ç¿’ã‚’è¡Œã†ãŸã‚ã®ãƒ©ã‚¤ãƒ–ラリãŒã€ã€ŒApache Mahoutã€ï¼ˆä»¥ä¸‹ã€Mahout）ã§ã™ã€‚ 本稿ã§ã¯Mahoutã‚’å‹•ã‹ã—ã¦ã¿ã‚‹ã“ã¨ã§ã€æ©Ÿæ¢°å¦ç¿’ã®å¸¸è˜ã‚’身ã«ä»˜ã‘ã¾ã™ã€‚ ãã‚‚ãã‚‚ã€æ©Ÿæ¢°å¦ç¿’ã¨ã¯ï¼Ÿ 機械å¦ç¿’ã¨ã¯ã€ä¸€å®šã®ãƒ‡ãƒ¼ã‚¿ã‚’コンピュータ・プãƒã‚°ãƒ©ãƒ ã«ã€Œå¦ç¿’ã€ã•ã›ï¼ˆã™ãªã‚ã¡ã€ãã®ãƒ‡ãƒ¼ã‚¿ã«æ½œã‚€ãƒ‘ターンやè¦å‰‡æ€§ã‚’表ã™ã€Œãƒ¢ãƒ‡ãƒ«ã€ã‚’自動的ã«æ§‹ç¯‰ã•ã›ï¼‰ã€ä»–ã®ãƒ‡ãƒ¼ã‚¿ã«ãã®ãƒ¢ãƒ‡ãƒ«ã‚’é©ç”¨ã™ã‚Œã°ã€ã‚ãŸã‹ã‚‚人間ã®ã‚ˆã†ã«è¤‡é›‘ã§æŸ”軟ãªåˆ¤æ–ãŒè¡Œãˆã‚‹ã‚ˆã†ã«ã™ã‚‹ã¨ã„ã†è©¦ã¿ã§ã™ã€‚ 機械å¦ç¿’をビジãƒã‚¹ã«æ´»ç”¨ã—ãŸä¾‹ã¯ã€ãƒ¬ã‚³ãƒ¡ãƒ³ãƒ‰ï¼ˆãƒ¦ãƒ¼ã‚¶ãƒ¼ã‚„商å“
Jinrikisha - Asakusa Framework Starter Package - — Jinrikisha 0.10.4 documentation
使ã„方¶ ダウンãƒãƒ¼ãƒ‰ã—ãŸã‚¤ãƒ³ã‚¹ãƒˆãƒ¼ãƒ«ã‚¢ãƒ¼ã‚«ã‚¤ãƒ–ã‚’ä»»æ„ã®ãƒ‡ã‚£ãƒ¬ã‚¯ãƒˆãƒªã§å±•é–‹ã—ã¾ã™ã€‚ 展開ã—ãŸãƒ•ã‚¡ã‚¤ãƒ«ã«å«ã¾ã‚Œã‚‹ setup.sh を実行ã™ã‚‹ã¨ã‚¤ãƒ³ã‚¹ãƒˆãƒ¼ãƒ«ãŒé–‹å§‹ã•ã‚Œã¾ã™ã€‚ Jinrikishaã®ã‚¤ãƒ³ã‚¹ãƒˆãƒ¼ãƒ«ãƒ‡ã‚£ãƒ¬ã‚¯ãƒˆãƒªãªã©ã„ãã¤ã‹ã®ã‚¤ãƒ³ã‚¹ãƒˆãƒ¼ãƒ«ãƒ‘ラメータã®å…¥åŠ›ãŒä¿ƒã•ã‚Œã‚‹ã®ã§ã€ã‚¤ãƒ³ã‚¹ãƒˆãƒ¼ãƒ©ã®æŒ‡ç¤ºã«å¾“ã£ã¦ã‚¤ãƒ³ã‚¹ãƒˆãƒ¼ãƒ«ã‚’実行ã—ã¦ãã ã•ã„。 ã‚¤ãƒ³ã‚¹ãƒˆãƒ¼ãƒ«æ‰‹é †ã®è©³ç´°ã‚„インストール時ã®æ³¨æ„äº‹é …ã¯ã€ Jinrikisha ã‚¤ãƒ³ã‚¹ãƒˆãƒ¼ãƒ«æ‰‹é † ã‚’å‚ç…§ã—ã¦ä¸‹ã•ã„。 インストールã—ãŸé–‹ç™ºç’°å¢ƒã‚’利用ã™ã‚‹Â¶ Jinrikishaã®ã‚¤ãƒ³ã‚¹ãƒˆãƒ¼ãƒ«ãŒå®Œäº†ã—ãŸã‚‰ã€ã‚µãƒ³ãƒ—ルコードを確èªã—ãŸã‚Šã€å®Ÿéš›ã«ã‚¢ãƒ—リケーションを開発ã—ã¦ã¿ã¾ã—ょã†ã€‚ インストールディレクトリé…下㮠README ã«ã¯ã€ã‚¤ãƒ³ã‚¹ãƒˆãƒ¼ãƒ«ã—ãŸå¾Œã«Asakusa Frameworkã®é–‹ç™ºç’°å¢ƒã§ä½¿ç”¨ã™ã‚‹ã‚³ãƒžãƒ³ãƒ‰ã‚„Eclipseã®ä½¿ã„æ–¹ãªã©ã‚’ç°¡å˜ã«ã¾ã¨ã‚㟠Getti
NTTæƒ…å ±ãƒãƒƒãƒˆãƒ¯ãƒ¼ã‚¯ç·åˆç ”究所｜NTT R&D Website
NTTæƒ…å ±ãƒãƒƒãƒˆãƒ¯ãƒ¼ã‚¯ç·åˆç ”究所ã¯ã€ã‚らゆるモノを「ã¤ãªãã€æƒ…å ±ãƒãƒƒãƒˆãƒ¯ãƒ¼ã‚¯ã‚’構æˆã™ã‚‹åŸºç›¤æŠ€è¡“ã¨ã¨ã‚‚ã«ã€åœ°çƒä¸Šã®ã¿ãªã‚‰ãšå®‡å®™ã‚‚å«ã‚ã¦æŒç¶šå¯èƒ½ã§è±Šã‹ãªç¤¾ä¼šã‚’創るãŸã‚ã®ã€é©æ–°çš„ãªé€šä¿¡æŠ€è¡“や環境エãƒãƒ«ã‚®ãƒ¼æŠ€è¡“ã®ç ”究開発を推進ã—ã¦ã„ã¾ã™ã€‚ ç·åˆç ”究所ã«ã¤ã„㦠NTTæƒ…å ±ãƒãƒƒãƒˆãƒ¯ãƒ¼ã‚¯ç·åˆç ”究所ã¯ã€ã‚らゆるモノã«ã€Œå¯„ã‚Šæ·»ã„ã€ã€Œã—ãªã‚„ã‹ã€ãªæƒ…å ±ãƒãƒƒãƒˆãƒ¯ãƒ¼ã‚¯ã®å®Ÿç¾ã«è²¢çŒ®ã—ã¾ã™ã€‚ ãã®ãŸã‚ã«â€œå“è³ªãƒ»ä¿¡é ¼æ€§ã®å‘上â€ã€â€œæŸ”軟性・サービス性ã®å‘上â€ã€ãŠã‚ˆã³â€œæŒç¶šå¯èƒ½æ€§ã®å‘上â€ã®è¦³ç‚¹ã‹ã‚‰ã€å°†æ¥ã®ç¤¾ä¼šåŸºç›¤ã‚’支ãˆã‚‹ã‚ªãƒšãƒ¬ãƒ¼ãƒ†ã‚£ãƒ³ã‚°ã‚«ãƒ³ãƒ‘ニーã¨ã—ã¦ã®é‹ç”¨ã‚’考慮ã—ãŸãƒ†ãƒ¼ãƒžã®ç ”究開発を進ã‚ã¦ã„ã¾ã™ã€‚
MapR(GreenPlumHD)ã®ä¸èº«èª¬æ˜Žä¼šå‚åŠ
MapR(GreenPlumHD)ã®ä¸èº«èª¬æ˜Žä¼šã«å‚åŠ ã—ã¾ã—ãŸã€‚「Hadoopã®C++実装らã—ã„。ã€ç¨‹åº¦ã®äºˆå‚™çŸ¥è˜ã—ã‹ãªã„状態ã§å‚åŠ ã—ãŸã®ã§ã€çŸ¥ã‚‰ãªã„ã“ã¨ãŒå¤šãã¦é¢ç™½ã‹ã£ãŸã§ã™ã€‚ æ€ã£ãŸã“ã¨ãªã© MapRã¯EMCã¨ææºã—ã¦ã„ãŸã®ã‹ã€‚知らãªã‹ã£ãŸã€‚ MapR-FSã¯æ™®é€šã®ãƒ•ã‚¡ã‚¤ãƒ«ã‚·ã‚¹ãƒ†ãƒ ã¯çµŒç”±ã›ãšã«ã€ãƒ–ãƒãƒƒã‚¯ãƒ‡ãƒã‚¤ã‚¹ã‚’ãã®ã¾ã¾ä½¿ã£ã¦ã„る。 ã¸ãƒ¼ã€‚ ビルトイン圧縮ã¯æ‹¡å¼µåã§åˆ¤æ–ã—ã¦åœ§ç¸®ã®æœ‰åŠ¹ï¼ç„¡åŠ¹ã‚’切り替ãˆã¦ã„ã‚‹ã®ãŒé¢ç™½ã„。jarã‚„pptxã‚’ã¯ã˜ã‚ã€æœ€è¿‘ã¯ã»ã¨ã‚“ã©å®Ÿæ…‹ã¯zipãªæ°—ãŒã™ã‚‹ã®ã§ã€ã¡ã‚ƒã‚“ã¨ãƒ•ã‚©ãƒ¼ãƒžãƒƒãƒˆã‚’見ãªã„ã¨ãƒ€ãƒ¡ã§ã—ょã†ã€‚全然詳ã—ããªã„ã‘ã©ã€æ™®é€šæœ€åˆã®4ãƒã‚¤ãƒˆãらã„ã§åˆ¤åˆ¥ã§ãã‚‹ã‚“ã˜ã‚ƒãªã„ã®ï¼Ÿ 実機デモã®ã‚µã‚¯ã‚µã‚¯æ„ŸãŒã™ã”ã‹ã£ãŸï¼WebUI※1ã¨NFSマウントã—ãŸã¨ãã®æ“作※2。 「ã™ã’ー速ã„よ。å“質ã„ã„よ。ã€ã¨ã¯è¨€ã£ã¦ã„ã‚‹ã‘ã©ã€ãƒ‡ãƒ¢ãŒã‚µã‚¯ã‚µã‚¯ãªã®ä»¥å¤–ã¯è¨€ã£ã¦ã„ã‚‹ã ã‘ã ã£ãŸã€‚NTTデータ
fluentd ã®ãƒ™ãƒ³ãƒãƒžãƒ¼ã‚¯ã¨ã£ã¦ã¿ãŸã‚ˆï¼ - ãŸã”ã‚‚ã‚Šã™ãƒ¡ãƒ¢
入出力プラグインをrubyã§æ›¸ã‘ã‚‹ã®ãŒã˜ã¤ã«ã„ã„æ„Ÿã˜ã® fluentd ãŒã„ã„æ„Ÿã˜ã«è¦‹ãˆã‚‹ã€‚ fluent/fluentd · GitHub ã®ã§ä½¿ãˆã‚‹ã‹ã©ã†ã‹ã€ä½¿ãˆã‚‹ã¨ã—ãŸã‚‰ã©ã‚Œãらã„ã®ãƒŽãƒ¼ãƒ‰ã‚’用æ„ã™ã‚Œã°ã„ã„ã®ã‹ã«ã¤ã„ã¦è€ƒãˆã‚‹ãŸã‚ã€ã¨ã‚Šã‚ãˆãšãƒ™ãƒ³ãƒãƒžãƒ¼ã‚¯ã‚’ã¨ã£ã¦ã¿ãŸã€‚ çµè«– 以下éžå¸¸ã«é•·ããªã‚‹ã®ã§çµè«–ã ã‘書ãã¨ã€å¤§å¤‰ä½¿ãˆã‚‹æ„Ÿã˜ã€‚ç¾çŠ¶ã ã¨ã»ã¨ã‚“ã©ä½•ã‚‚考ãˆãšã«ãƒ‡ãƒ¼ã‚¿ä¸ç¶™ã•ã›ã¦ã‚‚秒間1万メッセージã€100Mbpsãらã„ã¾ã§ã¯å‡¦ç†ã§ãる。効率よããªã‚‹ã‚ˆã†æµã™å´ã‚‚考ãˆã¦ã‚„れ㰠300Mbps を超ãˆã‚‹ãƒ‡ãƒ¼ã‚¿ã®è»¢é€ã«æˆåŠŸã—ãŸã€‚ã ã„ã¶ã„ã„æ„Ÿã˜ã€‚ ãªãŠã“れ㯠in_scribe ãŠã‚ˆã³ out_scribe を使用ã—ãŸå ´åˆã§ã€é–‹ç™ºè€… @frsyuki ã«ã‚ˆã‚‹ã¨MessagePackã§ã®ãƒ‡ãƒ¼ã‚¿è»¢é€ã®å ´åˆã¯ã“ã®å€ãらã„出るらã—ã„。 ã‚‚ã¡ã‚ã‚“ã“ã‚Œã¯å³ã‹ã‚‰å·¦ã«æµã—ãŸã ã‘ãªã®ã§ç¾å®Ÿã«ã‚¿ã‚°ã«ã‚ˆã‚‹ãƒ«ãƒ¼ãƒ†ã‚£ãƒ³ã‚°ã ã¨ã‹ãƒ
スケーラビリティ自体ã«é…ã›ã‚‰ã‚Œã¡ã‚ƒã„ã‘ãªã„
自戒を込ã‚ãŸæ—¥è¨˜ï¼Ž IT システムã¨ã„ã†ã®ã¯ä½•ã‚‰ã‹ã®å•é¡Œã‚’解決ã™ã‚‹ãŸã‚ã«å˜åœ¨ã—ã¦ã„る．ã—ã‹ã—，技術的ãªé¢ç™½ã•ã‹ã‚‰ï¼Œã‚·ã‚¹ãƒ†ãƒ 自体ã«ã¨ã‚Šã¤ã‹ã‚Œã¦ã„ã—ã¾ã†äººã€…ãŒå˜åœ¨ã™ã‚‹ï¼Žå¤šãã®å ´åˆï¼Œãれ㯠"hacker" ã¨å‘¼ã°ã‚Œã¦ã„る人々ã«å¤šã„よã†ã«æ€ã†ï¼Žãれ自体ã¯ã™ã°ã‚‰ã—ã„ã“ã¨ã …仕事ã«ã•ãˆã—ãªã‘ã‚Œã°ï¼Ž 仕事ã®å ´åˆï¼Œãƒ¦ãƒ¼ã‚¶ã¯ITシステムをå•é¡Œã‚’解決ã™ã‚‹ãŸã‚ã«å°Žå…¥ã—ã¦ã„る．ä¸èº«ãŒã©ã†ãªã£ã¦ã„ã‚‹ã‹ã¯çŸ¥ã£ãŸã“ã£ã¡ã‚ƒãªã„．言ã„æ›ãˆã‚‹ã¨ï¼Œãƒ¦ãƒ¼ã‚¶ãŒã‚·ã‚¹ãƒ†ãƒ ã«ãŠé‡‘を払ã£ã¦ãれるã®ã¯ã€Œå®Ÿéš›ã«ã‚ã‚‹å•é¡Œã‚’解決ã—ã¦ã„ã‚‹ã‹ã‚‰ã€ã§ã‚る．「決ã—ã¦æŠ€è¡“çš„ã«æ¥½ã—ãã†ã ã‹ã‚‰ã€ã§ã¯ãªã„． ã•ã¦ï¼Œã“ã“1-2年㧠NoSQL ã¨ã„ã†æŠ€è¡“ãŒæµè¡Œã—ã¦ã„る．RDBMSã®æä¾›ã—ã¦ã„るセマンティクスã®ã†ã¡ä¸€éƒ¨ã‚’å¼±ã‚ã¦ï¼ŒRDBMS ã§ã¯å¾—ã‚‹ã“ã¨ãŒé›£ã—ã‹ã£ãŸåˆ©ç‚¹ã‚’得られる技術ã¨å¿ƒå¾—ã¦ã„る．例ãˆã°ï¼ŒCassandra ã¯ä¸€è²«æ€§ã‚’çŠ ç‰²ã¨ã—ã¦å¯ç”¨æ€§ã‚’高ã‚，ã•ã‚‰ã«æ•°
#xdev Hadoopã«ã‚ˆã‚‹åŸºå¹¹ãƒãƒƒãƒã®å°Žå…¥ Enterprise Hadoop ã®å®Ÿéš›ã®SI
XDev2011 B-5 ノーãƒãƒ©ã‚¹ãƒ»ãƒ†ã‚¯ãƒŽãƒã‚¸ãƒ¼ã‚ºã®ç¥žæž—ã•ã‚“ã«ã‚ˆã‚‹ã€ŽHadoopã«ã‚ˆã‚‹åŸºå¹¹ãƒãƒƒãƒã®å°Žå…¥ Enterprise Hadoop ã®å®Ÿéš›ã®SI〠（http://ac.nikkeibp.co.jp/cn/xdev11・http://itpro.nikkeibp.co.jp/article/MAG/20110824/366921/?ST=xdev）ã®ãƒ„イートã®ã¾ã¨ã‚ã§ã™ã€‚
1
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
{{#tags}}- {{label}}
{{/tags}}