第5回Amazon Redshiftã®ã‚¢ãƒ¼ã‚テクãƒãƒ£ ～スケーリングã¨ãƒªã‚¹ãƒˆã‚¢ã‚’試ã—ã¦ã¿ã‚ˆã† 宮崎真，藤å·å¹¸ä¸€ 2013-06-10
Amazon Redshiftã§ã¯ã˜ã‚るビッグデータ処ç†å…¥é–€ 記事一覧 | gihyo.jp
第5回Amazon Redshiftã®ã‚¢ãƒ¼ã‚テクãƒãƒ£ ～スケーリングã¨ãƒªã‚¹ãƒˆã‚¢ã‚’試ã—ã¦ã¿ã‚ˆã† 宮崎真，藤å·å¹¸ä¸€ 2013-06-10
VMwareã€ã€ŒSpring for Apache Hadoop 1.0ã€ã‚’公開
VMwareã®SpringSourceãŒ26æ—¥(米国時間)ã€ã€ŒSpring for Apache Hadoop 1.0ã€ã‚’リリースã—ãŸã€‚Spring for Apache Hadoop(以下Spring Hadoop)ã¯ã€Springフレームワークå‘ã‘ã«é–‹ç™ºã•ã‚ŒãŸApache Hadoop支æ´ãƒ„ール。昨年2月末ã«1.0.0マイルストーン版をåˆå…¬é–‹ã—ã¦ãŠã‚Šã€ç´„1å¹´ã§GA版ãŒãƒªãƒªãƒ¼ã‚¹ã•ã‚ŒãŸã“ã¨ã«ãªã‚‹ã€‚ Spring Hadoopã¯Springã‚„SPring Batchã€Spring Integrationãªã©ã‹ã‚‰Apache Hadoopアプリケーション開発をサãƒãƒ¼ãƒˆã™ã‚‹ãŸã‚ã«æä¾›ã•ã‚ŒãŸã‚½ãƒ•ãƒˆã‚¦ã‚§ã‚¢ã€‚Springã®DI(Dependency Injection)ã‚„Hadoopコマンドラインユーテリティãªã©ã‚’用ã„ã‚‹ã“ã¨ã§å®Ÿç¾ã—ã¦ã„る。アプリケーションã®è¨å®šã‚„作æˆã«ã¯ã€MapReduceã‚„Stre
Hadoopã®å°Žå…¥ãŒãƒªã‚¯ãƒ«ãƒ¼ãƒˆã®ä½“制を変ãˆãŸâ”€Hadoop Conference Japan 2013 Winterレãƒãƒ¼ãƒˆï¼ˆ4） | gihyo.jp
Hadoopã®å°Žå…¥ãŒãƒªã‚¯ãƒ«ãƒ¼ãƒˆã®ä½“制を変ãˆãŸâ”€Hadoop Conference Japan 2013 Winterレãƒãƒ¼ãƒˆï¼ˆ4） 1月21æ—¥ã«æ±äº¬ãƒ“ッグサイトã§1,000åを超ãˆã‚‹å‚åŠ è€…ã‚’é›†ã‚ã¦é–‹å‚¬ã•ã‚ŒãŸHadoop Conference Japan 2013 Winter。基調講演ã®ã»ã‹3トラック21講演ãŒè¡Œã‚ã‚Œã€ã„ã¡ã‚ªãƒ¼ãƒ—ンソースã®ãƒ¦ãƒ¼ã‚¶ã‚«ãƒ³ãƒ•ã‚¡ãƒ¬ãƒ³ã‚¹ã®ãƒ¬ãƒ™ãƒ«ã‚’超ãˆãŸã‚¤ãƒ™ãƒ³ãƒˆã¨ãªã‚Šã€æˆåŠŸè£ã«å¹•ã‚’é–‰ã˜ã¾ã—ãŸã€‚ 今回ã®ã‚¤ãƒ™ãƒ³ãƒˆã®æˆåŠŸã«å¤§ãã貢献ã—ãŸä¼æ¥ãŒãƒªã‚¯ãƒ«ãƒ¼ãƒˆãƒ†ã‚¯ãƒŽãƒã‚¸ãƒ¼ã‚ºã§ã™ã€‚æ±äº¬ãƒ“ッグサイトã¨ã„ã†å¤§ããªä¼šå ´ã®æ供をã¯ã˜ã‚ã€ãƒŽãƒ™ãƒ«ãƒ†ã‚£ã‚°ãƒƒã‚ºã®é…布ã€6種類ã®ãƒ¡ãƒ‹ãƒ¥ãƒ¼ã‹ã‚‰é¸ã¹ã‚‹ç„¡æ–™ãƒ©ãƒ³ãƒã®æä¾›ãªã©ã€é‹å–¶ã«ã‚ãŸã£ã¦ã•ã¾ã–ã¾ãªæ”¯æ´ã‚’è¡Œã„ã¾ã—ãŸã€‚実行委員ã¨ã—ã¦ã‚‚åŒç¤¾ã‹ã‚‰2åãŒåå‰ã‚’連ãã¦ã„ã¾ã™ã€‚ ãªãœãƒªã‚¯ãƒ«ãƒ¼ãƒˆãƒ†ã‚¯ãƒŽãƒã‚¸ãƒ¼ã‚ºã¯ã“ã“ã¾ã§ã®æ”¯æ´ã‚’è¡Œã£ãŸã®ã§ã—ょã†ã‹ã€‚ãã‚Œã¯åŒç¤¾ãŠã‚ˆã³ãƒªã‚¯ãƒ«ãƒ¼ãƒˆã‚°ãƒ«
NTTデータã®Hadoopå ±å‘Šæ›¸ãŒã™ã”ã‹ã£ãŸ - 科å¦ã¨éžç§‘å¦ã®è¿·å®®
æ¥ç•Œãƒˆãƒƒãƒ— ã®ã‚¨ãƒ³ã‚¿ãƒ¼ãƒ—ライズ Hadoop ä¼æ¥ Cloudera ã«å…¥ç¤¾ã—ã¾ã—㟠http://www.cloudera.co.jp/ 今年ã®6月ã«ã€ã€Œå¹³æˆï¼’１年度 産å¦é€£æºã‚½ãƒ•ãƒˆã‚¦ã‚§ã‚¢å·¥å¦å®Ÿè·µäº‹æ¥å ±å‘Šæ›¸ã€ã¨ã„ã†ãƒ‰ã‚ュメント群ãŒçµŒç”£çœã‹ã‚‰å…¬è¡¨ã•ã‚Œã¾ã—ãŸã€‚ ãã®ã†ã¡ã®ä¸€ã¤ã«ã€NTTデータã«å§”託ã•ã‚ŒãŸHadoopã«é–¢ã™ã‚‹å®Ÿè¨¼å®Ÿé¨“ã®å ±å‘Šæ›¸ãŒã‚ã‚Šã¾ã—ãŸã®ã§ã€ä»Šæ›´ãªãŒã‚‰èªã‚“ã§ã¿ã‚‹ã“ã¨ã«ã—ã¾ã—ãŸã€‚ Hadoop界隈ã®äººã¯ã‚‚ã†ã¿ã‚“ãªã¨ã£ãã«èªã‚“ã§ã‚‹ã®ã‹ã‚‚ã—ã‚Œã¾ã›ã‚“ã‘ã©ã€‚ http://www.meti.go.jp/policy/mono_info_service/joho/downloadfiles/2010software_research/clou_dist_software.pdf ã€Œé«˜ä¿¡é ¼ã‚¯ãƒ©ã‚¦ãƒ‰å®Ÿç¾ç”¨ã‚½ãƒ•ãƒˆã‚¦ã‚§ã‚¢é–‹ç™ºï¼ˆåˆ†æ•£åˆ¶å¾¡å‡¦ç†æŠ€è¡“ç‰ã«ä¿‚ã‚‹ãƒ‡ãƒ¼ã‚¿ã‚»ãƒ³ã‚¿ãƒ¼é«˜ä¿¡é ¼åŒ–ã«å‘ã‘ãŸå®Ÿè¨¼äº‹æ¥ï¼‰ã€ã¨ã„ã†
「Apache Whirrã€ãŒã‚¤ãƒ³ã‚ュベータå’æ¥ - クラウドå‘ã‘ライブラリセット | エンタープライズ | マイコミジャーナル
Apache Whirr is a set of libraries for running cloud services. Apacheソフトウェアファウンデーションã¯9月13æ—¥(米国時間)ã€ã€ŒApache Whirrã€ã‚’インã‚ュベータã‹ã‚‰å’æ¥ã•ã›ãƒˆãƒƒãƒ—レベルプãƒã‚¸ã‚§ã‚¯ãƒˆã¨èªå®šã—ãŸã“ã¨ã‚’発表ã—ãŸã€‚「Apache Whirrã€ã¯ã‚¯ãƒ©ã‚¦ãƒ‰ãƒ‹ãƒ¥ãƒ¼ãƒˆãƒ©ãƒ«ãªæ–¹æ³•ã§ã‚µãƒ¼ãƒ“スを実行ã™ã‚‹ã“ã¨ã‚’å¯èƒ½ã«ã™ã‚‹ãƒ©ã‚¤ãƒ–ラリセット。多種多様ãªã‚¯ãƒ©ã‚¦ãƒ‰ãƒ—ãƒãƒã‚¤ãƒ€ã«å¯¾å¿œã—ã¦ãŠã‚Šã€é–‹ç™ºè€…ã¯Whirrを利用ã™ã‚‹ã“ã¨ã§ä¸‹å±¤éƒ¨åˆ†ã®å·®ç•°ã‚„è¨å®šãªã©ã‚’æ„è˜ã—ãªãã¦æ¸ˆã‚€ã‚ˆã†ã«ãªã‚‹ã€‚ Whirrã¯ã€ã‚‚ã¨ã‚‚ã¨2007å¹´ã«Hadoopプãƒã‚¸ã‚§ã‚¯ãƒˆã®å†…部プãƒã‚¸ã‚§ã‚¯ãƒˆã¨ã—ã¦é–‹ç™ºãŒé€²ã‚られã¦ã„ãŸã€‚クラスタをより迅速ã«æ§‹ç¯‰/管ç†ã™ã‚‹ãŸã‚ã®ãƒ—ãƒãƒ€ã‚¯ãƒˆã§ã€2010å¹´ã«ã¯Apacheã®ã‚¤ãƒ³ã‚ュベータã«ç™»éŒ²ã•ã‚Œã€ä»Šå›žã€ãƒˆãƒƒãƒ—レベルプãƒã‚¸ã‚§ã‚¯ãƒˆã¨ã—ã¦ç‹¬ç«‹ã—ã¦
Twitterã‚„Facebookã§ä½¿ã‚ã‚Œã¦ã„る「Apache Hadoopã€ã®ãƒ¡ãƒªãƒƒãƒˆã‚„æ´å²ã‚’作者自らãŒèªžã‚‹
大è¦æ¨¡ãƒ‡ãƒ¼ã‚¿ã®åˆ†æ•£å‡¦ç†ã‚’支ãˆã‚‹Javaソフトウェアフレームワークã§ã‚ã‚Šã€ãƒ•ãƒªãƒ¼ã‚½ãƒ•ãƒˆã‚¦ã‚§ã‚¢ã¨ã—ã¦é…布ã•ã‚Œã¦ã„る「Apache Hadoopã€ã€‚ãã®ä½œè€…ダグ・カティング（Doug Cutting）ã•ã‚“ãŒã€ŒCloud Computing World Tokyo 2011ã€ï¼†ã€ŒNext Generation Data Center 2011ã€ã«ãŠã„ã¦ã€ŒApache Hadoop: A New Paradigm for Data Processingã€ã¨ã„ã†è¬›æ¼”ã‚’ã—ã¦ã„ãŸã®ã§èžãã«è¡Œã£ã¦ãã¾ã—ãŸã€‚ 満員ã®å®¢å¸ã€‚ 皆様をå‰ã«ã—ã¦è¬›æ¼”ã§ãã‚‹ã“ã¨ã‚’å¤§å¤‰å…‰æ „ã«æ€ã£ã¦ãŠã‚Šã¾ã™ã€‚「Apache Hadoopã€ã«ã¤ã„ã¦çš†æ§˜ã«ä¼ãˆã¦ã„ãã¾ã™ãŒã€ã“ã‚Œã¯ã¾ã•ã«ãƒ‡ãƒ¼ã‚¿å‡¦ç†ã®æ–°ãŸãªã‚‹ãƒ‘ラダイムをæä¾›ã™ã‚‹ã‚‚ã®ã§ã¯ãªã„ã‹ã¨ç§ã¯æ€ã£ã¦ãŠã‚Šã¾ã™ã€‚ ã¾ãšã¯ç°¡å˜ã«è‡ªå·±ç´¹ä»‹ã‚’ã•ã›ã¦ã„ãŸã ãã¾ã—ょã†ã€‚ç§ã¯25å¹´ã«æ¸¡ã£ã¦ã‚·ãƒªã‚³ãƒ³ãƒãƒ¬ãƒ¼ã§ä»•
Microsoftã€ã€ŒHadoopコãƒã‚¯ã‚¿ã€SQL Server版æ供開始 | エンタープライズ | マイコミジャーナル
Microsoft Corporation Microsoftã®SQL Serverãƒãƒ¼ãƒ ã¯8月25æ—¥(米国時間)ã€ã€ŒSQL Serverã€ã¨ã€ŒHadoopã€ã‚’連æºã•ã›ã‚‹ãŸã‚ã®ã‚³ãƒã‚¯ã‚¿ã®ã‚³ãƒŸãƒ¥ãƒ‹ãƒ†ã‚£ãƒ†ã‚¯ãƒŽãƒã‚¸ãƒ—レビュー版を公開ã—ãŸã€‚åŒãƒãƒ¼ãƒ ã¯8月8æ—¥(米国時間)ã«SQL Serverã¨Hadoopを連æºã•ã›ã‚‹ã‚³ãƒã‚¯ã‚¿ã®æ供を開始ã™ã‚‹ã¨ç™ºè¡¨ã—ã¦ã„ãŸã€‚è¿‘ã„ã†ã¡ã«æœ€åˆã®å®Ÿè£…ã®æ供を開始ã™ã‚‹ã¨èª¬æ˜ŽãŒã‚ã£ãŸã‚ã‘ã ãŒã€å®Ÿéš›ã«ç™ºè¡¨ã‹ã‚‰17æ—¥ã§ã€ç´„æŸé€šã‚Šã‚³ãƒã‚¯ã‚¿ã®æä¾›ãŒé–‹å§‹ã•ã‚ŒãŸã“ã¨ã«ãªã‚‹ã€‚ コミュニティテクノãƒã‚¸ãƒ—レビューã¨ã—ã¦æä¾›ãŒé–‹å§‹ã•ã‚ŒãŸã®ã¯æ¬¡ã®2ã¤ã®ã‚³ãƒã‚¯ã‚¿ã€‚ Hadoop Connector for SQL Server Hadoop Connector for SQL Server Parallel Data Warehouse Microsoftã®ã“ã®å‹•ãã¯ã‚³ãƒŸãƒ¥ãƒ‹ãƒ†ã‚£ã‚„ユーザã‹ã‚‰ã¯å¤šå°‘ã®
Apache Cassandraã¨Apache Hadoopを一体化ã—ãŸã€ŒBriskã€ç™ºè¡¨ | OSDN Magazine
「Apache Cassandraã€ã®å•†ç”¨ã‚µãƒ¼ãƒ“スをæä¾›ã™ã‚‹ç±³DataStaxã¯3月22日（米国時間）ã€Cassandraã¨ã€ŒApache Hadoopã€ã‚’組ã¿åˆã‚ã›ãŸãƒ‡ã‚£ã‚¹ãƒˆãƒªãƒ“ューション「Briskã€ã‚’発表ã—ãŸã€‚1カ月åŠå¾Œã®ãƒªãƒªãƒ¼ã‚¹ã«å‘ã‘ã€ãƒ¦ãƒ¼ã‚¶ãƒ¼ç™»éŒ²ã‚’開始ã—ã¦ã„る。 Apache Cassandraã¨Apache Hadoopã¯ã¨ã‚‚ã«éžå–¶åˆ©å›£ä½“Apache Software Foundation（ASF）ã®ã‚ªãƒ¼ãƒ—ンソースプãƒã‚¸ã‚§ã‚¯ãƒˆã€‚Apache Cassandraã¯å…ƒã€…ã¯ç±³Facebookã§é–‹ç™ºã•ã‚ŒãŸæŠ€è¡“。オープンソースã®åˆ†æ•£ãƒ‡ãƒ¼ã‚¿ãƒ™ãƒ¼ã‚¹ç®¡ç†ã‚·ã‚¹ãƒ†ãƒ ã§ã€å¤§è¦æ¨¡ãƒ‡ãƒ¼ã‚¿ç”¨ã®æ‹¡å¼µæ€§ãªã©ã‚’特徴ã¨ã™ã‚‹ã€‚一方ã€Apache Hadoopã¯ç±³Yahoo!ãŒASFã«å¯„è´ˆã—ãŸæŠ€è¡“ã§ã€å¤§è¦æ¨¡ãƒ‡ãƒ¼ã‚¿ç”¨ã®åˆ†æ•£ã‚³ãƒ³ãƒ”ューティング用ソフトウェアã¨ãªã‚‹ã€‚ DataStaxãŒç™ºè¡¨ã—ãŸBriskã¯ã€Hadoopã¨H
アップグレードã¨ç•°ãªã‚‹ãƒ—ãƒã‚°ãƒ©ãƒŸãƒ³ã‚°ãƒ‘ラダイムã®ãŸã‚ã®Hadoopå†è¨è¨ˆ
Spring Bootã«ã‚ˆã‚‹APIãƒãƒƒã‚¯ã‚¨ãƒ³ãƒ‰æ§‹ç¯‰å®Ÿè·µã‚¬ã‚¤ãƒ‰ 第2版 何åƒäººã‚‚ã®é–‹ç™ºè€…ãŒã€InfoQã®ãƒŸãƒ‹ãƒ–ック「Practical Guide to Building an API Back End with Spring Bootã€ã‹ã‚‰ã€Spring Bootを使ã£ãŸREST API構築ã®åŸºç¤Žã‚’å¦ã‚“ã 。ã“ã®æœ¬ã§ã¯ã€å‡ºç‰ˆæ™‚ã«æ–°ã—ãリリースã•ã‚ŒãŸãƒãƒ¼ã‚¸ãƒ§ãƒ³ã§ã‚ã‚‹ Spring Boot 2 を使用ã—ã¦ã„る。ã—ã‹ã—ã€Spring Boot3ãŒæœ€è¿‘リリースã•ã‚Œã€é‡è¦ãªå¤‰...
リアルタイムãªHadoop？ 「Real-Time MapReduceã€ã‚’実ç¾ã™ã‚‹S4ã€ã‚ªãƒ¼ãƒ—ンソースã¨ã—ã¦Yahoo!ãŒå…¬é–‹ ï¼ Publickey
ç±³Yahoo!ã¯ã€å¤§è¦æ¨¡ãƒ‡ãƒ¼ã‚¿ã®åˆ†æ•£å‡¦ç†ã‚’実ç¾ã™ã‚‹MapReduceをリアルタイムã«è¡Œã†ã‚½ãƒ•ãƒˆã‚¦ã‚§ã‚¢ã€ŒS4ã€ã‚’ã€ã‚ªãƒ¼ãƒ—ンソースã¨ã—ã¦å…¬é–‹ã—ã¾ã—ãŸã€‚ MapReduceを実行ã™ã‚‹ã‚½ãƒ•ãƒˆã‚¦ã‚§ã‚¢ã¨ã—ã¦ã€ã‚ªãƒ¼ãƒ—ンソースã®ã€ŒHadoopã€ãŒã‚ã‚Šã¾ã™ãŒã€Hadoopã¯ã‚らã‹ã˜ã‚ジョブを定義ã—ã¦æŠ•å…¥ã™ã‚‹ãƒãƒƒãƒå‡¦ç†ã‚’å‰æã¨ã—ã¦ã„ã¾ã—ãŸã€‚ S4ã¯ã€ãƒ‡ãƒ¼ã‚¿ã‚’ã‚ーã¨ãƒãƒªãƒ¥ãƒ¼ã®ãƒšã‚¢ã§æ§‹æˆã•ã‚Œã‚‹ã‚¹ãƒˆãƒªãƒ¼ãƒ データã¨ã—ã¦éžåŒæœŸã«å—ã‘å–ã‚‹ã“ã¨ãŒã§ãã€å‡¦ç†çµæžœã‚‚ã‚ーãƒãƒªãƒ¥ãƒ¼ã®ãƒšã‚¢ã§æ§‹æˆã•ã‚ŒãŸã‚¹ãƒˆãƒªãƒ¼ãƒ データã¨ã—ã¦å‡ºåŠ›ã™ã‚‹ã‚ˆã†ã«ãªã£ã¦ã„ã‚‹ã¨ã®ã“ã¨ã€‚ ã“ã®éžåŒæœŸãªã‚¹ãƒˆãƒªãƒ¼ãƒ データã«ã‚ˆã‚‹å…¥å‡ºåŠ›ãŒã€ãƒªã‚¢ãƒ«ã‚¿ã‚¤ãƒ ãªMapReduceを実ç¾ã™ã‚‹ãƒ•ãƒ¬ãƒ¼ãƒ ワークã¨ã—ã¦ã®S4ã®ç‰¹å¾´ã¨ã„ãˆã¾ã™ã€‚ リアルタイムãªMapReduceã§ä½•ãŒã§ãる？ リアルタイムãªMapReduceã«ã¯ã©ã®ã‚ˆã†ãªç”¨é€”ãŒè€ƒãˆã‚‰ã‚Œã‚‹ã®ã§ã—ょã†ã‹ï¼Ÿ S4ã®å…¬é–‹ã‚’表明ã—ãŸY
Hadoop Worldã§Clouderaã¨ææºã—ãŸNTTデータãŒç›®æŒ‡ã™ã‚‚ã®ã€‚Hadoop World: NYC 2010
Hadoop Worldã§Clouderaã¨ææºã—ãŸNTTデータãŒç›®æŒ‡ã™ã‚‚ã®ã€‚Hadoop World: NYC 2010 先週10月12æ—¥ã«ã€ãƒ‹ãƒ¥ãƒ¼ãƒ¨ãƒ¼ã‚¯ã§Hadoopã®ã‚¤ãƒ™ãƒ³ãƒˆã€ŒHadoop World: NYC 2010ã€ãŒé–‹å‚¬ã•ã‚Œã¾ã—ãŸã€‚å‚åŠ è€…ã¯900åを超ãˆãŸã¨ã‚‚ã„ã‚ã‚Œã€æ—¥æœ¬ã‹ã‚‰ã‚‚30å程度ãŒå‚åŠ ã—ã¾ã—ãŸã€‚ イベントを主催ã™ã‚‹Clouderaã¯ã€Hadoopを開発ã—ãŸDoug Cuttingæ°ã‚‰ãŒæ‰€å±žã—ã¦ãŠã‚Šã€Hadoopã®å•†ç”¨åˆ©ç”¨ã«ãŠã‘るリーダー的ãªå˜åœ¨ã§ã™ã€‚ãã—ã¦ã“ã®ã‚¤ãƒ™ãƒ³ãƒˆã§Clouderaã¯NTTデータã¨ã®ææºã‚’発表。両社ã§ã‚¢ã‚¸ã‚¢å¤ªå¹³æ´‹åœ°åŸŸã¨æ—¥æœ¬ã§ã®Hadoopビジãƒã‚¹ã‚’ç©æ¥µå±•é–‹ã™ã‚‹ã“ã¨ã‚’明らã‹ã«ã—ã¦ã„ã¾ã™ã€‚ Clouderaã¨ã®ææºã‚’å—ã‘ã€NTTデータ代表å–ç· å½¹å¸¸å‹™åŸ·è¡Œå½¹å“¡ ソリューション＆テクノãƒã‚¸ãƒ¼ã‚«ãƒ³ãƒ‘ニー長 CTO 山田伸一æ°ãŒHadoop Worldã§è¬›æ¼”。ã
ãã®åˆ†æžã€Hadoopãªã‚‰é€Ÿã安ãã§ãã¾ã™
ビジãƒã‚¹ãƒ‡ãƒ¼ã‚¿ã‚’分æžã™ã‚‹ãƒ“ジãƒã‚¹ã‚¤ãƒ³ãƒ†ãƒªã‚¸ã‚§ãƒ³ã‚¹ï¼ˆBI）分野ã®æ–°ãŸãªãƒ—ラットフォームã¨ã—ã¦æ³¨ç›®ã•ã‚Œã¦ã„ã‚‹Hadoop。Hadoopã§ã¯ã€ã©ã®ã‚ˆã†ãªãƒ‡ãƒ¼ã‚¿åˆ†æžãŒå¯èƒ½ãªã®ã§ã—ょã†ã‹ï¼Ÿ ç¾åœ¨ã€Hadoopビジãƒã‚¹ã®ç‰½å¼•å½¹ã§ã‚ã‚‹Clouderaã®Jeff Hammerbracheræ°ãŒã€Hadoopã§ãƒ‡ãƒ¼ã‚¿åˆ†æžãŒå¯èƒ½ãªãƒ“ジãƒã‚¹ä¸Šã®èª²é¡Œã‚’示ã—ãŸã€Œ10 Common Hadoop-able problemsã€ï¼ˆHadoop化å¯èƒ½ãª10ã®ä¸€èˆ¬çš„課題）ã¨é¡Œã—ãŸãƒ—レゼンテーションを公開ã—ã¦ã„ã¾ã™ã€‚ Hadoopã«ã¨ã£ã¦å¾—æ„ãªå‡¦ç†ã¨ã¯ã€è¤‡é›‘ã§è¤‡æ•°ã®ãƒ‡ãƒ¼ã‚¿ã‚½ãƒ¼ã‚¹ã‹ã‚‰ãªã‚‹å¤§é‡ã®ãƒ‡ãƒ¼ã‚¿ã®åˆ†æžã§ã‚ã‚Šã€ãれをãƒãƒƒãƒå‡¦ç†ã®ä¸¦åˆ—実行ã«ã‚ˆã£ã¦å®Ÿç¾ã™ã‚‹ã“ã¨ã§ã™ã€‚ 従æ¥ã¯ã€ãƒ‡ãƒ¼ã‚¿ãŒã‚ã¾ã‚Šã«è¤‡é›‘ã ã£ãŸã‚Šè†¨å¤§ã ã£ãŸã‚ã«ã€è¨ˆç®—時間やコストãªã©ã®ç†ç”±ã§å®Ÿç¾ãŒé›£ã—ã‹ã£ãŸå‡¦ç†ã§ã‚‚ã€Hadoopã«ã‚ˆã‚‹ä½Žã‚³ã‚¹ãƒˆåŒ–ã€è¨ˆç®—時間ã®çŸç¸®ã€é«˜ã„柔軟性ãªã©
見ãˆã¦ããŸHadoopã®â€œä½¿ã„ã©ã“ã‚â€â”€ã€ŒHadoop Hack Night Vol.2ã€é–‹å‚¬ | gihyo.jp
見ãˆã¦ããŸHadoopã®â€œä½¿ã„ã©ã“ã‚â€â”€ã€ŒHadoop Hack Night Vol.2ã€é–‹å‚¬ 8月4æ—¥ã€å…本木ミッドタウンã®ãƒ¤ãƒ•ãƒ¼æ ªå¼ä¼šç¤¾ã«ã¦ã€ä»Šå›žã§2回目ã¨ãªã‚‹Hadoopをテーマã«ã—ãŸã‚¤ãƒ™ãƒ³ãƒˆã€ŒHadoop Hack Night Vol.2ã€ãŒé–‹å‚¬ã•ã‚ŒãŸã€‚ Hadoop（ãƒãƒ‰ã‚¥ãƒ¼ãƒ—）ã¯ã€ã„ã¾æ³¨ç›®ã®ã‚¯ãƒ©ã‚¦ãƒ‰ã‚³ãƒ³ãƒ”ューティングãªã©ã«åˆ©ç”¨ã•ã‚Œã¦ã„ã‚‹MapReduce技術ãŒä½¿ãˆã‚‹ã‚ªãƒ¼ãƒ—ンソースソフトウェア。大è¦æ¨¡ãªãƒ‡ãƒ¼ã‚¿ã®è§£æžå‡¦ç†ãªã©ã«åˆ†æ•£ã‚·ã‚¹ãƒ†ãƒ を利用ã—ãŸã„å ´åˆã«å¤§ããªåŠ›ã‚’発æ®ã™ã‚‹ã€‚ ã“ã®ã‚ˆã†ã«æ³¨ç›®ã‚’集ã‚ã¦ã„ã‚‹Hadoopã ãŒã€å®Ÿéš›ã«æ•°ãƒ†ãƒ©ãƒã‚¤ãƒˆä»¥ä¸Šã¨ã„ã£ãŸå¤§å®¹é‡ã®ãƒ‡ãƒ¼ã‚¿ã‚’処ç†ã—ãªã‘ã‚Œã°ãªã‚‰ãªã„ケースã¯ã¾ã ãã‚Œã»ã©å¤šããªã„。大ããªæœŸå¾…を集ã‚ãªãŒã‚‰ã€Œç”ŸããŸå®Ÿä¾‹ã€ã«ä¹ã—ã„ã®ã‚‚Hadoopã‚’ã‚ãã‚‹1ã¤ã®çŠ¶æ³ã ã‚ã†ã€‚ãã“ã§ã€ä»Šå›žã®ã€ŒHadoop Hack Night Vol.2ã€ã¯ã€Œã‚±ãƒ¼ã‚¹ã‚¹ã‚¿ãƒ‡ã‚£
マイクãƒã‚½ãƒ•ãƒˆã®Hadoop対抗技術「Dryadã€ã€ã„よã„よ始動ã‹ï¼Ÿ
大è¦æ¨¡åˆ†æ•£å‡¦ç†ã®ãƒ•ãƒ¬ãƒ¼ãƒ ワークã¨ã—ã¦ã‚°ãƒ¼ã‚°ãƒ«ãŒé–‹ç™ºã—ãŸMapReduce処ç†ã‚„ã€ãã®ã‚ªãƒ¼ãƒ—ンソース実装ã§ã‚ã‚‹HadoopãŒæ€¥æˆé•·ã—ã€ãƒ“ジãƒã‚¹ã®åˆ†é‡Žã§ã®å•†æ¥åˆ©ç”¨ãŒç«‹ã¡ä¸ŠãŒã‚Šå§‹ã‚ã¦ã„ã‚‹ã“ã¨ã¯ã€Publickeyã§ã‚‚何度ã‹è¨˜äº‹ã§ç´¹ä»‹ã—ã¦ãã¾ã—ãŸã€‚ Hadoopを表計算ã®ã‚ˆã†ã«ä½¿ãˆã‚‹ã€ŒInfoSphere BigInsightsã€ã€IBMãŒç™ºè¡¨ グーグルã«ã‚ˆã‚‹MapReduceサービス「BigQueryã€ãŒç™»å ´ã€‚SQLライクãªå‘½ä»¤ã§å¤§è¦æ¨¡ãƒ‡ãƒ¼ã‚¿æ“作 Hadoopã¯ä¼æ¥ã®ãŸã‚ã®æ–°ãŸãªæƒ…å ±åˆ†æžãƒ—ラットフォームã¨ãªã‚‹ã€ã¨Cloudera グーグルãŒBigQueryã®é–‹å§‹ã‚’発表ã—ã€IBMも大è¦æ¨¡å‡¦ç†ã®ã‚¨ãƒ³ã‚¸ãƒ³ã¨ã—ã¦Hadoopを採用ã€Amazonクラウドã§ã‚‚Hadoop処ç†ã‚’è¡Œã†ã€ŒAmazon Elastic MapReduceã€ã‚µãƒ¼ãƒ“スをæä¾›ã—ã¦ã„ã‚‹ã“ã¨ã‹ã‚‰åˆ†ã‹ã‚‹ã‚ˆã†ã«ã€Hadoopã¯ã‚¯ãƒ©ã‚¦ãƒ‰ã§ã®å¤§è¦æ¨¡
Clojureç·ã¾ã¨ã‚：Craneã«ã‚ˆã‚‹é…布ã€Incanterã«ã‚ˆã‚‹ç®—術計算ã€Leiningen 1.0ã«ã‚ˆã‚‹ãƒ“ルド
Spring Bootã«ã‚ˆã‚‹APIãƒãƒƒã‚¯ã‚¨ãƒ³ãƒ‰æ§‹ç¯‰å®Ÿè·µã‚¬ã‚¤ãƒ‰ 第2版 何åƒäººã‚‚ã®é–‹ç™ºè€…ãŒã€InfoQã®ãƒŸãƒ‹ãƒ–ック「Practical Guide to Building an API Back End with Spring Bootã€ã‹ã‚‰ã€Spring Bootを使ã£ãŸREST API構築ã®åŸºç¤Žã‚’å¦ã‚“ã 。ã“ã®æœ¬ã§ã¯ã€å‡ºç‰ˆæ™‚ã«æ–°ã—ãリリースã•ã‚ŒãŸãƒãƒ¼ã‚¸ãƒ§ãƒ³ã§ã‚ã‚‹ Spring Boot 2 を使用ã—ã¦ã„る。ã—ã‹ã—ã€Spring Boot3ãŒæœ€è¿‘リリースã•ã‚Œã€é‡è¦ãªå¤‰...
Googleã€Apache Hadoopã«ç‰¹è¨±ã®åˆ©ç”¨ã‚’è¨±å¯ | エンタープライズ | マイコミジャーナル
The Apache Hadoop project Googleã¯MapReduceã«é–¢ã™ã‚‹ç‰¹è¨±ã‚’United States Patent: 7650331ã¨ã—ã¦ç¢ºä¿ã—ã¦ã„る。ã“ã‚Œã«é–¢ã—ã¦ã€MapReduceã«é–¢ã™ã‚‹å®Ÿè£…ã‚’è¡Œã†ã¨ã€åŒç‰¹è¨±ã«é•åã™ã‚‹ã“ã¨ãªã‚‹ã®ã§ã¯ãªã„ã‹ã€ã¨æ‡¸å¿µã—ã¦ã„ãŸãƒ—ãƒã‚¸ã‚§ã‚¯ãƒˆãŒã‚ã£ãŸã€‚Apache HadoopãŠã‚ˆã³Apacheã§MapReduceã«é–¢é€£ã™ã‚‹ã‚½ãƒ•ãƒˆã‚¦ã‚§ã‚¢ã‚’実装ã—ã¦ã„るプãƒã‚¸ã‚§ã‚¯ãƒˆã 。 Re: License for Google's patentã«ãŠã„ã¦ã€Apacheã®å¼è·å£«ã§ã‚ã‚‹Larry Rosenæ°ã‹ã‚‰ã€Googleã®å¼è·å£«ã‹ã‚‰ã€Œwe have granted a license for Hadoop, terms of which are specified in the CLA.ã€ã¨ã„ã†è¿”事を得ãŸã¨ã„ã†å†…容ãŒä¼ãˆã‚‰ã‚Œã¦ã„る。Apache Hado
Hadoop＋Hive検証環境を構築ã—ã¦ã¿ã‚‹
Hadoop＋Hive検証環境を構築ã—ã¦ã¿ã‚‹ï¼šHive――RDB使ã„ã®ãŸã‚ã®Hadoopガイド（å‰ç·¨ï¼‰ï¼ˆ1/3 ページ） Hadoop Hiveã¯Hadoop上ã§SQLライクãªã‚¯ã‚¨ãƒªæ“作ãŒå¯èƒ½ãªDWHå‘ã‘ã®ãƒ—ãƒãƒ€ã‚¯ãƒˆã§ã™ã€‚SQLã«è¿‘ã„æ“作ãŒå¯èƒ½ãªãŸã‚ã€HBaseよりもデータベースã«æ…£ã‚Œè¦ªã—ã‚“ã ã¿ãªã•ã‚“ã«ã¯ä½¿ã„å‹æ‰‹ãŒã„ã„ã‹ã‚‚ã—ã‚Œã¾ã›ã‚“。本稿ã§ã¯ã“ã®Hiveã®ä½¿ã„æ–¹ã¨ãƒ¬ãƒ“ューを行ã£ã¦ã„ãã¾ã™ã€‚
ç´ æœ´ãªBigtableã€ã§ãã‚‹ã“㨠ã§ããªã„ã“ã¨
ç´ æœ´ãªBigtableã€ã§ãã‚‹ã“㨠ã§ããªã„ã“ã¨ï¼šåˆ†æ•£Key-Valueストアã®æœ¬å‘½ã€ŒBigtableã€ï¼ˆ2）（1/2 ページ） RDBã¨ã¯åˆ¥ã®ã€ã‚¯ãƒ©ã‚¦ãƒ‰æ™‚代ã®ãƒ‡ãƒ¼ã‚¿ãƒ™ãƒ¼ã‚¹ã¨ã—ã¦æ³¨ç›®ã‚’æµ´ã³ã¦ã„る「分散Key-Valueストアã€ã€‚ãã®æœ¬å‘½ã¨ã‚‚ã„ãˆã‚‹ã€Googleã®æ•°ã€…ã®ã‚µãƒ¼ãƒ“スã®åŸºç›¤æŠ€è¡“「Bigtableã€ã«ã¤ã„ã¦å¾¹åº•è§£èª¬ ã‚ã¾ã‚Šã«ã‚‚RDBã¨ã¯ç•°è³ªãªã€ŒBigtable〠å‰å›žã®ã€Œã‚‚ã†1ã¤ã®ã€DBã®ã‹ãŸã¡ã€åˆ†æ•£Key-Valueストアã¨ã¯ã€ã§ã¯ã€é€£è¼‰ç¬¬1回目ã¨ã—ã¦ã€ã‚¯ãƒ©ã‚¦ãƒ‰ã‚³ãƒ³ãƒ”ューティングã«ãŠã‘ã‚‹æ–°ã—ã„æ½®æµã§ã‚る「リレーショナルデータベース（RDB）ã‹ã‚‰åˆ†æ•£Key-Valueストア（分散KVS）ã¸ã®ç§»è¡Œã€ãŒã€ã©ã®ã‚ˆã†ãªãƒ‘ラダイムシフトをもãŸã‚‰ã™ã®ã‹ã‚’解説ã—ã¾ã—ãŸã€‚今回ã‹ã‚‰ã¯ã€ã‚°ãƒ¼ã‚°ãƒ«ãŒé‹ç”¨ã™ã‚‹ä»£è¡¨çš„ãªåˆ†æ•£KVS「Bigtableã€ã®å†…éƒ¨æ§‹é€ ã‚’ç´¹ä»‹ã—ã€ã‚¯ãƒ©ã‚¦ãƒ‰ã®æœ¬è³ªã‚’より深ã掘り下ã’ã¾ã™ã€‚ å‰
優良ä¼æ¥ã¯ãªãœHadoopã«èµ°ã‚‹ã®ã‹
ã¡ãªã¿ã«ã€ã“ã®åˆ†æžã®ãŸã‚ã«å¿…è¦ã¨ã•ã‚Œã‚‹MapReduceã®ã‚³ãƒ¼ãƒ‰ã§ã‚ã‚‹ãŒã€ãã®ã‚µã‚¤ã‚ºã¯ã‚ãšã‹20ステップã ã¨ã„ã†ã€‚Yahoo!ã®ãƒ—レゼンテーターã§ã‚ã‚‹ã€ã‚¨ãƒªãƒƒã‚¯ãƒ»ãƒãƒ«ãƒ‡ã‚·ãƒ¥ãƒã‚¤ãƒ©ãƒ¼æ°ã«ã‚ˆã‚‹ã¨ã€ãŸã¨ãˆçµŒé¨“ã®æµ…ã„エンジニアã§ã‚ã£ã¦ã‚‚ã€MapReduceã«ã‚ˆã‚‹ãƒ—ãƒã‚°ãƒ©ãƒŸãƒ³ã‚°ã¯å¯èƒ½ã§ã‚ã‚‹ã¨ã•ã‚Œã‚‹ã€‚ ã¾ãŸã€VISAã®ã‚¸ãƒ§ãƒ¼ãƒ»ã‚«ãƒ‹ãƒ³ã‚¬ãƒ æ°ã‹ã‚‰ã‚‚ã€è²´é‡ãªãƒ‡ãƒ¼ã‚¿ãŒæä¾›ã•ã‚Œã¦ã„ãŸã®ã§ä»¥ä¸‹ã«ç´¹ä»‹ã™ã‚‹ã€‚åŒç¤¾ã§ã¯ã€1æ—¥ã«1億トランザクションãŒç™ºç”Ÿã™ã‚‹ãŸã‚ã€2å¹´é–“ã§700å„„å¼·ã®ãƒˆãƒ©ãƒ³ã‚¶ã‚¯ã‚·ãƒ§ãƒ³ãƒã‚°ãŒè“„ç©ã•ã‚Œã€ãã®ãƒ‡ãƒ¼ã‚¿é‡ã¯36テラãƒã‚¤ãƒˆã«è‡³ã‚‹ã¨ã„ã†ã€‚ã“ã†ã—ãŸã‚¹ã‚±ãƒ¼ãƒ«ã®ãƒ‡ãƒ¼ã‚¿ã‚’ã€å¾“æ¥ã®RDBを用ã„ã¦åˆ†æžã™ã‚‹ã«ã¯ã€ç´„1カ月ã®æ™‚é–“ãŒå¿…è¦ã¨ã•ã‚Œã¦ããŸãŒã€Hadoopを用ã„ã‚‹ã“ã¨ã§13分ã«çŸç¸®ã•ã‚ŒãŸã¨ã„ã†ã€‚ ã“ã‚Œã¾ã§ã¯ã€Yahoo!ã«ã—ã‚VISAã«ã—ã‚ã€è†¨å¤§ãªãƒ‡ãƒ¼ã‚¿ã‚’RDBã«æŠ¼ã—込むã»ã‹ã«æ–¹æ³•ã¯ãªãã€ãã®åˆ†æžã«æ•°å日をè¦ã™ã‚‹
ランã‚ング
ランã‚ング
ランã‚ング
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
IBM Developer
{{#tags}}- {{label}}
{{/tags}}