グーグルã€Paxosを採用ã—ãŸApp Engineã®ãƒ‡ãƒ¼ã‚¿ã‚¹ãƒˆã‚¢ã€ŒHigh Replication Datastoreã€ãŒ1年間ゼãƒãƒ€ã‚¦ãƒ³ã‚¿ã‚¤ãƒ ã ã£ãŸã¨å ±å‘Š
グーグルã€Paxosを採用ã—ãŸApp Engineã®ãƒ‡ãƒ¼ã‚¿ã‚¹ãƒˆã‚¢ã€ŒHigh Replication Datastoreã€ãŒ1年間ゼãƒãƒ€ã‚¦ãƒ³ã‚¿ã‚¤ãƒ ã ã£ãŸã¨å ±å‘Š ã„ã¾ã‹ã‚‰ç´„1å¹´åŠå‰ã®2010å¹´6月ã€ã‚°ãƒ¼ã‚°ãƒ«ã¯Google App Engineã®åˆ©ç”¨è€…拡大ã¸ã®å¯¾å¿œãŒå¾Œæ‰‹ã«å›žã‚Šã€æ·±åˆ»ãªæ€§èƒ½ä½Žä¸‹ã‚„障害ã«è¦‹èˆžã‚ã‚Œã¾ã—ãŸã€‚グーグル自身ãŒã€ŒGoogle App Engineã®åˆ©ç”¨æ‹¡å¤§ã«è¿½ã„ã¤ã‘ã¦ã„ãªã„ã€ã“ã¨ã‚’èªã‚る記事をブãƒã‚°ã«ãƒã‚¹ãƒˆã—ã¦ã„ã¾ã™ã€‚ ãã®åŠå¹´å¾Œã®2011å¹´1月ã€ã“ã†ã—ãŸå•é¡Œã‚’解決ã™ã‚‹ãŸã‚ã«ç™»å ´ã—ãŸã®ãŒã€æ–°ãƒ‡ãƒ¼ã‚¿ã‚¹ãƒˆã‚¢ã®High Replication Datastoreã§ã—ãŸã€‚ High Replicatin Datastoreã¯ã€ãã‚Œã¾ã§ã®ãƒ‡ãƒ¼ã‚¿ã‚¹ãƒˆã‚¢ãŒæŽ¡ç”¨ã—ã¦ã„ãŸMaster/Slaveåž‹ã§ã®ãƒ‡ãƒ¼ã‚¿ã‚»ãƒ³ã‚¿ãƒ¼é–“ã®å†—長性をã€Paxosアルゴリズムã«ã‚ˆã‚‹åŒæœŸã«å¤‰æ›´ã—ã€ç‰¹å®šã®ãƒ‡ãƒ¼ã‚¿ã‚»ãƒ³ã‚¿ãƒ¼ã«éšœå®³
MapReduce以外ã®åˆ†æ•£å‡¦ç†åŸºç›¤BSP, Piccolo, Sparkã®ç´¹ä»‹ - Preferred Networks Tech Blog
ã©ã†ã‚‚，実ã¯ä»Šå¹´ã‹ã‚‰é–‹ç™ºãƒãƒ¼ãƒ ã«joinã—ã¦ã„ãŸä¸å·ã§ã™ï¼Žå¯æ„›ã„犬ã®å†™çœŸãŒãªã‹ã£ãŸã®ã§ï¼Œå¯æ„›ã„マスコットã®ç”»åƒã‚’è²¼ã£ã¦ãŠãã¾ã™ï¼Ž 最近MapReduceã¨ã‹ãã®å®Ÿè£…ã§ã‚ã‚‹Hadoopã¨ã‹ã‚’よãèžãよã†ã«ãªã‚Šã¾ã—ãŸï¼Žã“ã‚Œã¯ã¤ã¾ã‚Šï¼Œãã‚Œã ã‘大é‡ã®ãƒ‡ãƒ¼ã‚¿ã‚’ãªã‚“ã¨ã‹å‡¦ç†ã—ãŸã„ã¨ã„ã†è¦æœ›ãŒã‚ã‚‹ã‹ã‚‰ã ã¨æ€ã„ã¾ã™ï¼Žã—ã‹ã—当ãŸã‚Šå‰ã§ã™ãŒï¼ŒMapReduceã¯éŠ€ã®å¼¾ä¸¸ã§ã¯ã‚ã‚Šã¾ã›ã‚“． ã¨ã„ã†ã“ã¨ã§ï¼Œæœ€è¿‘æ°—ã«ãªã£ã¦ã„ã‚‹MapReduceã¨ã¯é•ã£ãŸã‚¢ãƒ—ãƒãƒ¼ãƒã‚’å–ã£ã¦ã„る分散処ç†åŸºç›¤ã«ã¤ã„ã¦ï¼Œç¤¾å†…ã®TechTalkã§è©±ã—ãŸå†…容を簡å˜ã«ã¾ã¨ã‚ã¦ç´¹ä»‹ã—ãŸã„ã¨æ€ã„ã¾ã™ï¼Ž Bulk Sychronous Parallel ã“ã®ã‚¢ãƒ«ã‚´ãƒªã‚ºãƒ 自体ã¯1990å¹´ã«èª•ç”Ÿã—ãŸã‚‚ã®ã§ã™ï¼Žé•·ã„ã®ã§BSPã¨æ›¸ãã¾ã™ï¼Žã•ã¦ï¼Œã‚°ãƒ©ãƒ•ã‹ã‚‰æœ€çŸçµŒè·¯ã‚’求ã‚る時，MapReduceã¯ä½¿ãˆã‚‹ã§ã—ょã†ã‹ï¼Ÿã“ã®ã‚ˆã†ãªè«–æ–‡ãŒå‡ºã‚‹ãらã„ã§ã™ã‹ã‚‰å‡ºæ¥ãªã„ã“ã¨ã¯ã‚
TwitterãŒåˆ†æ•£ãƒ•ãƒ¬ãƒ¼ãƒ ワーク「Gizzardã€å…¬é–‹ï¼ Scalaã§æ›¸ã‹ã‚ŒãŸShardingを実ç¾ã™ã‚‹ãƒŸãƒ‰ãƒ«ã‚¦ã‚§ã‚¢
TwitterãŒåˆ†æ•£ãƒ•ãƒ¬ãƒ¼ãƒ ワーク「Gizzardã€å…¬é–‹ï¼ Scalaã§æ›¸ã‹ã‚ŒãŸShardingを実ç¾ã™ã‚‹ãƒŸãƒ‰ãƒ«ã‚¦ã‚§ã‚¢ Twitterã¯ç‹¬è‡ªã«é–‹ç™ºã—ãŸåˆ†æ•£ãƒ•ãƒ¬ãƒ¼ãƒ ワークã®ã€ŒGizzardã€ã‚’オープンソースã¨ã—ã¦å…¬é–‹ã—ã¾ã—ãŸã€‚Gizzardã¯Scalaã§æ›¸ã‹ã‚ŒãŸJavaVM上ã§å‹•ä½œã™ã‚‹ãƒŸãƒ‰ãƒ«ã‚¦ã‚§ã‚¢ã§ã€PHPã‚„Rubyã¨ã„ã£ãŸWebアプリケーションã‹ã‚‰ã®è¦æ±‚を自動的ã«ãƒ‡ãƒ¼ã‚¿ãƒ™ãƒ¼ã‚¹ã«åˆ†æ•£ã™ã‚‹ã“ã¨ã§ã€å¤§è¦æ¨¡ã§å¯ç”¨æ€§ã®é«˜ã„分散データベースを容易ã«å®Ÿç¾ã™ã‚‹ãŸã‚ã®ã‚‚ã®ã§ã™ã€‚ Gizzard：フォルトトレラントãªåˆ†æ•£ãƒ‡ãƒ¼ã‚¿ãƒ™ãƒ¼ã‚¹ã‚’å®Ÿç¾ The Twitter Engineering Blog: Introducing Gizzard, a framework for creating distributed datastores Twitterã®ãƒ–ãƒã‚°ã«ãƒã‚¹ãƒˆã•ã‚ŒãŸã€ŒIntroducing Gizzard
HBaseã¨ã¯ã©ã‚“ãªNoSQLデータベースãªã®ã‹ï¼Ÿ 日本語ã§èªã‚ã‚‹æƒ…å ±ã‚’é›†ã‚ã¦ã¿ãŸ
FacebookãŒæ–°ã—ã„サービス「Messagesã€ã®åŸºç›¤ã¨ã—ã¦ã€NoSQLデータベースã®ã€ŒHBaseã€ã‚’é¸æŠžã—ãŸã“ã¨ã‚’ã€å…ˆæ—¥ã®è¨˜äº‹ã€ŒFacebookãŒæ–°ã‚µãƒ¼ãƒ“スã®åŸºç›¤ã«ã—ãŸã®ã¯ã€MySQLã§ã‚‚Cassandraã§ã‚‚ãªãã€HBaseã ã£ãŸã€ã§ç´¹ä»‹ã—ã¾ã—ãŸã€‚ HBaseã¯ã€Facebookã«ã‚ˆã‚‹ã¨æ¬¡ã®ã‚ˆã†ãªç‰¹å¾´ã‚’å‚™ãˆã¦ã„ã‚‹ã¨èª¬æ˜Žã•ã‚Œã¦ã¾ã™ã€‚ è² è·ã«å¯¾ã—ã¦éžå¸¸ã«é«˜ã„スケーラビリティã¨æ€§èƒ½ã‚’ç™ºæ® CassandraよりもシンプルãªConsistency Model（一貫性モデル）を備ãˆã¦ã„ã‚‹ 自動ãƒãƒ¼ãƒ‰ãƒãƒ©ãƒ³ã‚¹ã€ãƒ•ã‚§ã‚¤ãƒ«ã‚ªãƒ¼ãƒãƒ¼ã€åœ§ç¸®æ©Ÿèƒ½ サーãƒãƒ¼ã”ã¨ã«æ•°å個ã®ã‚·ãƒ£ãƒ¼ãƒ‰ã‚’割り当ã¦å¯èƒ½ã€ãªã©ãªã© ã“ã®HBaseã¯ã©ã®ã‚ˆã†ãªãƒ‡ãƒ¼ã‚¿ãƒ™ãƒ¼ã‚¹ãªã®ã§ã—ょã†ã‹ï¼Ÿ æƒ…å ±ã‚’é›†ã‚ã¦ã¿ã¾ã—ãŸã€‚ HBase入門ã®ãƒ—レゼンテーション 最åˆã«ç´¹ä»‹ã™ã‚‹ã®ã¯ã€ŒHBaseエãƒãƒ³ã‚¸ã‚§ãƒªã‚¹ãƒˆã€Tatsuya Kawanoæ°ã®ãƒ—レゼン
S4: Distributed Stream Computing Platform
We've got your back )Buyer Protection ProgramWhen you buy a domain name at Dan.com, you’re automatically covered by our Buyer Protection Program. Our unique & carefully designed domain ownership transfer process is the best rated service in the market. Buyer Protection ProgramWhen you buy a domain name at Dan.com, you’re automatically covered by our unique Buyer Protection Program. Read more about
Yahoo Search - Web Search
Patriots Beat RavensPatriots defeat Ravens in crucial week 16 game
HA化機能を手ã«å…¥ã‚ŒãŸSPIDERストレージエンジンã«ã¯ã‚‚ã¯ã‚„æ»è§’ã¯ãªã‹ã£ãŸã€‚
本ブãƒã‚°ã§ã‚‚何度ã‹å–り上ã’ãŸã“ã¨ã®ã‚ã‚‹ã‚ã®SPIDERストレージエンジンãŒã•ã‚‰ã«ãƒ‘ワーアップã—ã¦ä¾¿åˆ©ã«ãªã£ãŸï¼ï¼˜æœˆã«ãƒªãƒªãƒ¼ã‚¹ã•ã‚ŒãŸãƒãƒ¼ã‚¸ãƒ§ãƒ³2.22ã§ã¯æ¬¡ã®ï¼’ã¤ã®å¼·åŒ–ãŒè¡Œã‚ã‚Œã¦ã„る。 HA機能ã®è¿½åŠ （データノードã®å†—長化） LinuxãŠã‚ˆã³Windows用ビルド済ã¿MySQLパッケージã®é…布 インストールãŒç°¡å˜ã«ãªã£ãŸï¼å‰å›žSPIDERストレージエンジンを紹介ã—ãŸã¨ãã«ã¯ã€ã‚½ãƒ¼ã‚¹ã‚³ãƒ¼ãƒ‰ã‹ã‚‰ã‚³ãƒ³ãƒ‘イルã™ã‚‹å¿…è¦ãŒã‚ã‚Šã€ãªãŠã‹ã¤MySQL本体ã«ãƒ‘ッãƒã‚’é©ç”¨ã—ãªã‘ã‚Œã°ãªã‚‰ãšã€åˆ©ç”¨ã™ã‚‹ã¾ã§ã®æ•·å±…ãŒé«˜ã‹ã£ãŸã‚ˆã†ã«æ€ã†ã€‚ã—ã‹ã—ã€ãƒãƒ¼ã‚¸ãƒ§ãƒ³2.22よりSPIDERã‚’å«ã‚“ã ビルド済ã¿ãƒã‚¤ãƒŠãƒªãŒæä¾›ã•ã‚ŒãŸã“ã¨ã«ã‚ˆã‚Šã€SPIDERを利用ã™ã‚‹æ‰‹é–“ã¯ãã£ã¨å°‘ãªããªã£ãŸã€‚ã—ã‹ã‚‚ã“ã®ãƒ“ルド済ã¿ã®ãƒã‚¤ãƒŠãƒªã«ã¯SPIDERã ã‘ã§ãªãå„種パッãƒã¨ã€ã•ã‚‰ã«ã¯VPストレージエンジンã¾ã§å«ã¾ã‚Œã¦ã„ã‚‹ã¨ã„ã†æ°—ã®åˆ©ãよã†ã 。コンパイル
Not Only NoSQL!! é©šç•°çš„ãªã¾ã§ã«WRITE性能をスケールã•ã›ã‚‹SPIDERストレージエンジン
Webサービスã§ã¯ã€ä¸–ç•Œä¸ã‹ã‚‰ã®ãƒˆãƒ©ãƒ•ã‚£ãƒƒã‚¯ã‚’æŒãå¿…è¦ãŒã‚ã‚‹ãŸã‚ã€ã„ãらãƒãƒ¥ãƒ¼ãƒ‹ãƒ³ã‚°ã—よã†ã¨ã‚‚一å°ã®RDBMSã§ã¯æŒããã‚‹ã“ã¨ãŒå‡ºæ¥ãªã„ã®ãŒå¸¸ã 。MySQLã¯æœ€åˆã‹ã‚‰ãƒžã‚¹ã‚¿ãƒ¼ãƒ»ã‚¹ãƒ¬ãƒ¼ãƒ–åž‹ã®ãƒ¬ãƒ—リケーション機能ãŒæ載ã•ã‚Œã¦ãŠã‚Šã€ã‚¹ãƒ¬ãƒ¼ãƒ–ã‚’ãŸãã•ã‚“ã¶ã‚‰ä¸‹ã’ã‚‹ã“ã¨ã«ã‚ˆã£ã¦å‚ç…§ã®è² è·ã‚’スレーブã«å‰²ã‚ŠæŒ¯ã‚‹ã¨ã„ã†ã‚¹ã‚±ãƒ¼ãƒ«ã‚¢ã‚¦ãƒˆã«ã‚ˆã£ã¦ãã®å•é¡Œã«å¯¾å‡¦ã—ã¦ããŸã€‚スレーブã«ã‚ˆã‚‹ã‚¹ã‚±ãƒ¼ãƒ«ã‚¢ã‚¦ãƒˆã¯ã€å‚照（ï¼PV）ãŒå¤šã„Webサイトã¨éžå¸¸ã«ç›¸æ€§ãŒè‰¯ãã€å¹¾å¤šã®Webサイトã«ãŠã„ã¦å®Ÿç¸¾ã‚’作ã£ã¦ãã¦ã„ã‚‹ã—ã€ã¾ã ã¾ã 利用ã•ã‚Œã¦ã„る。 ã—ã‹ã—ãªãŒã‚‰ã€ã‚µã‚¤ãƒˆã®ãƒˆãƒ©ãƒ•ã‚£ãƒƒã‚¯ãŒåŠ‡çš„ã«å¢—åŠ ã—ã¦ãるよã†ã«ãªã‚‹ã¨ã€ãƒ¬ãƒ—リケーションã«ã‚ˆã‚‹è² è·åˆ†æ•£ã§ã¯è¿½ã„ã¤ã‹ãªããªã£ã¦ããŸã€‚ãã“ã§äººã€…ãŒã¨ã£ãŸé¸æŠžè‚¢ã¯ã€memcachedを利用ã™ã‚‹ã“ã¨ã§ã‚る。memcachedã¯ã‚¤ãƒ³ãƒ¡ãƒ¢ãƒªåž‹ã®é«˜é€ŸãªKVSã§ã‚ã‚Šã€å‚照・更新性能ã¯MySQLã‚ˆã‚Šæ ¼æ®µã«é«˜ã„。M
TheC10kProblem - 「C10Kå•é¡Œã€ï¼ˆã‚¯ãƒ©ã‚¤ã‚¢ãƒ³ãƒˆ1万å°å•é¡Œï¼‰ã¨ã¯ã€ãƒãƒ¼ãƒ‰ã‚¦ã‚§ã‚¢ã®æ€§èƒ½ä¸Šã¯å•é¡ŒãŒãªãã¦ã‚‚ã€ã‚ã¾ã‚Šã«ã‚‚クライアントã®æ•°ãŒå¤šããªã‚‹ã¨ã‚µãƒ¼ãƒãŒãƒ‘ンクã™ã‚‹å•é¡Œã®ã“ã¨
TheC10kProblem - 「C10Kå•é¡Œã€ï¼ˆã‚¯ãƒ©ã‚¤ã‚¢ãƒ³ãƒˆ1万å°å•é¡Œï¼‰ã¨ã¯ã€ãƒãƒ¼ãƒ‰ã‚¦ã‚§ã‚¢ã®æ€§èƒ½ä¸Šã¯å•é¡ŒãŒãªãã¦ã‚‚ã€ã‚ã¾ã‚Šã«ã‚‚クライアントã®æ•°ãŒå¤šããªã‚‹ã¨ã‚µãƒ¼ãƒãŒãƒ‘ンクã™ã‚‹å•é¡Œã®ã“㨠目次 ã“ã®æ–‡æ›¸ã«ã¤ã„㦠C10K å•é¡Œ 関連サイト ã¾ãšèªã‚€ã¹ã本 I/O フレームワーク I/O 戦略 1. å„スレッドãŒè¤‡æ•°ã®ã‚¯ãƒ©ã‚¤ã‚¢ãƒ³ãƒˆã‚’å—ã‘付ã‘ã‚‹. ãã—ã¦ãƒŽãƒ³ãƒ–ãƒãƒƒã‚ング I/O 㨠レベル・トリガ型ã®å®Œäº†é€šçŸ¥ã‚’利用ã™ã‚‹. ä¼çµ±çš„㪠select() ä¼çµ±çš„㪠poll() /dev/poll kqueue() 2. å„スレッドãŒè¤‡æ•°ã®ã‚¯ãƒ©ã‚¤ã‚¢ãƒ³ãƒˆã‚’å—ã‘付ã‘ã‚‹. ãã—ã¦ãƒŽãƒ³ãƒ–ãƒãƒƒã‚ング I/O 㨠変更型ã®å®Œäº†é€šçŸ¥(readiness change notification)を利用ã™ã‚‹. kqueue() epoll リアルタイム・シグナル fd å˜ä½ã®ã‚·ã‚°ãƒŠãƒ« (Signal-per-fd)
NTTデータã®Hadoopå ±å‘Šæ›¸ãŒã™ã”ã‹ã£ãŸ - 科å¦ã¨éžç§‘å¦ã®è¿·å®®
æ¥ç•Œãƒˆãƒƒãƒ— ã®ã‚¨ãƒ³ã‚¿ãƒ¼ãƒ—ライズ Hadoop ä¼æ¥ Cloudera ã«å…¥ç¤¾ã—ã¾ã—㟠http://www.cloudera.co.jp/ 今年ã®6月ã«ã€ã€Œå¹³æˆï¼’１年度 産å¦é€£æºã‚½ãƒ•ãƒˆã‚¦ã‚§ã‚¢å·¥å¦å®Ÿè·µäº‹æ¥å ±å‘Šæ›¸ã€ã¨ã„ã†ãƒ‰ã‚ュメント群ãŒçµŒç”£çœã‹ã‚‰å…¬è¡¨ã•ã‚Œã¾ã—ãŸã€‚ ãã®ã†ã¡ã®ä¸€ã¤ã«ã€NTTデータã«å§”託ã•ã‚ŒãŸHadoopã«é–¢ã™ã‚‹å®Ÿè¨¼å®Ÿé¨“ã®å ±å‘Šæ›¸ãŒã‚ã‚Šã¾ã—ãŸã®ã§ã€ä»Šæ›´ãªãŒã‚‰èªã‚“ã§ã¿ã‚‹ã“ã¨ã«ã—ã¾ã—ãŸã€‚ Hadoop界隈ã®äººã¯ã‚‚ã†ã¿ã‚“ãªã¨ã£ãã«èªã‚“ã§ã‚‹ã®ã‹ã‚‚ã—ã‚Œã¾ã›ã‚“ã‘ã©ã€‚ http://www.meti.go.jp/policy/mono_info_service/joho/downloadfiles/2010software_research/clou_dist_software.pdf ã€Œé«˜ä¿¡é ¼ã‚¯ãƒ©ã‚¦ãƒ‰å®Ÿç¾ç”¨ã‚½ãƒ•ãƒˆã‚¦ã‚§ã‚¢é–‹ç™ºï¼ˆåˆ†æ•£åˆ¶å¾¡å‡¦ç†æŠ€è¡“ç‰ã«ä¿‚ã‚‹ãƒ‡ãƒ¼ã‚¿ã‚»ãƒ³ã‚¿ãƒ¼é«˜ä¿¡é ¼åŒ–ã«å‘ã‘ãŸå®Ÿè¨¼äº‹æ¥ï¼‰ã€ã¨ã„ã†
ã¯ã¦ãªãƒ–ãƒã‚° | 無料ブãƒã‚°ã‚’作æˆã—よã†
2025å¹´8月å°æ¹¾ãƒ»é«˜é›„ã£ã¦ã¾ã˜ã„ã„ã‚“ã よãªï½žå¥³ä¸€åŒ¹14日間（ã¡ã‚‡ã£ã¨ã ã‘å°ä¸å¥³äºŒåŒ¹ï¼‰è¨˜ ã¿ã‚“ãªï½žï½žï½žï½žï½žï½žï½žï¼å…ˆã«è¨€ã†ã‘ã©é«˜é›„ã¯æœ€é«˜ï¼ï¼ï¼ï¼ï¼ï¼ï¼ï¼ï¼ å¯æ„›ã„アイスクリームも「ãã†ã ãã†ã ã€ã¨è¨€ã£ã¦ã„ã¾ã™ å°æ¹¾è‡ªä½“ã¯ä½•åº¦ã‚‚è¡Œã£ãŸã“ã¨ãŒã‚ã‚‹ã‚“ã ã‘ã©ã€é«˜é›„ã¯2度目ã§ã™ã€‚ 去年å¤ä¼‘ã¿ã«åˆã‚ã¦10日滞在ã—ã¦ã‚ã¡ã‚ƒãã¡ã‚ƒå¥½ãã«ãªã£ã¦ã—ã¾ã£ãŸã®ã§ã€ä»Šå¹´â€¦
Scala on Hadoop: Hadoop Conference - stanaka's blog
先日ã€Hadoop Conferenceã§Scala on Hadoopã¨ã„ã†ã‚¿ã‚¤ãƒˆãƒ«ã§ç™ºè¡¨ã—ã¦ãã¾ã—ãŸã€‚スライドを以下ã«ç½®ã„ã¦ãŠãã¾ã™ã€‚ Scala on HadoopView more presentations from Shinji Tanaka. ダイジェストã¨ã—ã¦ã€Scalaã‚’Hadoopã§å‹•ã‹ã™ãŸã‚ã®æ–¹æ³•ã‚’書ã„ã¦ãŠãã¾ã™ã€‚ ã¾ãšã€Hadoop上ã§Scalaを実行ã•ã›ã‚‹ãŸã‚ã«ã¯ã€Javaã¨Scalaを接続ã™ã‚‹ãƒ©ã‚¤ãƒ–ラリãŒå¿…è¦ã¨ãªã‚Šã¾ã™ã€‚ã“ã“ã§ã¯ã€SHadoop( http://code.google.com/p/jweslley/source/browse/#svn/trunk/scala/shadoop )を使用ã—ã¾ã™ã€‚SHadoopã¯ã€åž‹å¤‰æ›ã‚’è¡Œã†ã‚·ãƒ³ãƒ—ルãªãƒ©ã‚¤ãƒ–ラリã§ã™ã€‚ よãã‚ã‚‹WordCountã®ã‚µãƒ³ãƒ—ルã€WordCount.scala (http://blog.jo
Sheepdog Project
Overview Sheepdog is a distributed storage system for KVM. It provides highly available block level storage volumes that can be attached to KVM virtual machines. Sheepdog supports advanced volume management features such as snapshot, cloning, and thin provisioning. sheep is a disk I/O management process, dog is a cluster management process, and KVM is patched virtual machine monitor
グーグルãŒæ§‹ç¯‰ã—ãŸå¤§è¦æ¨¡ã‚·ã‚¹ãƒ†ãƒ ã®ç¾å®Ÿã€ãã—ã¦ãƒ‡ã‚¶ã‚¤ãƒ³ãƒ‘ターン（4）～デザインパターン編
グーグルãŒã€ŒEvolution and Future Directions of Large-Scale Storage and Computation Systems at Googleã€ï¼ˆã‚°ãƒ¼ã‚°ãƒ«ã«ãŠã‘ã‚‹ã€å¤§è¦æ¨¡ã‚¹ãƒˆãƒ¬ãƒ¼ã‚¸ã¨ã‚³ãƒ³ãƒ”ュテーションã®é€²åŒ–ã¨å°†æ¥ã®æ–¹å‘性）ã¨ã„ã†è¬›æ¼”ã‚’ã€6月ã«è¡Œã‚ã‚ŒãŸACM（米国計算機å¦ä¼šï¼‰ä¸»å‚¬ã®ã‚¯ãƒ©ã‚¦ãƒ‰ã‚³ãƒ³ãƒ”ューティングã®ã‚·ãƒ³ãƒã‚¸ã‚¦ãƒ 「ACM Symposium on Cloud Computing 2010ã€ã§è¡Œã£ã¦ã„ã¾ã™ã€‚ 講演ã®å†…容を4ã¤ã®è¨˜äº‹ï¼ˆMapReduceç·¨ã€BigTableç·¨ã€æ•™è¨“ç·¨ã€ãƒ‡ã‚¶ã‚¤ãƒ³ãƒ‘ターン編）ã§ç´¹ä»‹ã—ã¦ã„ã¾ã™ã€‚ã“ã®è¨˜äº‹ã¯æ•™è¨“ç·¨ã®ç¶šãã€ãƒ‡ã‚¶ã‚¤ãƒ³ãƒ‘ターン編ã§ã™ã€‚ 大è¦æ¨¡ã‚·ã‚¹ãƒ†ãƒ デザインã®æŒ‡é‡ よりよã使ã£ã¦ã‚‚らã†ãŸã‚ã®ã‚¤ãƒ³ãƒ•ãƒ©ã®ãƒ‡ã‚¶ã‚¤ãƒ³ã¨é–‹ç™ºæ–¹æ³•ã‚’考ãˆã¦ã¿ã‚ˆã†ã€‚ インフラã«å¯¾ã™ã‚‹æ©Ÿèƒ½ã®è¦æœ›ã«ã¤ã„ã¦ã•ã¾ã–ã¾ãªã‚°ãƒ«ãƒ¼ãƒ—ã¨è©±ã™ã¨ã€å¤šãã®ãƒªã‚¯ã‚¨
Hadoopシステム構築ã®ãƒŽã‚¦ãƒã‚¦ | ä¼æ¥ã§ä½¿ã‚れるHadoop | Think IT（シンクイット）
å‰å›žã¾ã§ã®è¨˜äº‹ã§ã¯ã€HadoopãŒã©ã®ã‚ˆã†ãªèƒŒæ™¯ã§ç™»å ´ã—ãŸã®ã‹ã€ã©ã®ã‚ˆã†ãªèƒ½åŠ›ã‚’æŒã£ã¦ã„ã‚‹ã®ã‹ã€ãƒªãƒ¬ãƒ¼ã‚·ãƒ§ãƒŠãƒ«ãƒ»ãƒ‡ãƒ¼ã‚¿ãƒ™ãƒ¼ã‚¹ç®¡ç†ã‚·ã‚¹ãƒ†ãƒ （RDBMS）やKey-Value Store（KVS）型データベースã¨ã¯ã©ã®ã‚ˆã†ã«ç•°ãªã‚‹ã®ã‹ã‚’解説ã—ã¦ãã¾ã—ãŸã€‚ 今回ã¯ã€Hadoopを実際ã«ã‚¨ãƒ³ã‚¿ãƒ¼ãƒ—ライズ（ä¼æ¥æƒ…å ±ã‚·ã‚¹ãƒ†ãƒ æ§‹ç¯‰ï¼‰ç”¨é€”ã«æ´»ç”¨ã™ã‚‹ã«ã‚ãŸã£ã¦ã€æŠ¼ã•ãˆã¦ãŠããŸã„ãƒã‚¤ãƒ³ãƒˆã‚’解説ã—ã¾ã™ã€‚ Hadoop活用ã®èª²é¡ŒHadoopã¯ã€ã‚ªãƒ¼ãƒ—ンソースã¨ã—ã¦é–‹ç™ºã•ã‚Œã¦ã„ã¾ã™ã€‚2006å¹´ã«Doug Cuttingæ°ã«ã‚ˆã£ã¦Hadoopプãƒã‚¸ã‚§ã‚¯ãƒˆãŒç«‹ã¡ä¸Šã’られã¦ä»¥æ¥ã€ã»ã¼4å¹´ãŒçµŒéŽã—ã€ç¾åœ¨ã§ã¯Apache Software財団ãŒæ”¯æ´ã™ã‚‹ãƒˆãƒƒãƒ—・レベル・プãƒã‚¸ã‚§ã‚¯ãƒˆã¨ã—ã¦å¤šæ•°ã®é–‹ç™ºè€…ãŒå‚åŠ ã—ã¦ã„ã¾ã™ã€‚ プãƒã‚¸ã‚§ã‚¯ãƒˆãŒç«‹ã¡ä¸ŠãŒã£ãŸå½“時ã€Hadoopã¯ã‚ãšã‹20ノードã®ã‚¯ãƒ©ã‚¹ã‚¿ã§å‹•ä½œã—ã¦ã„ã¾ã—ãŸã€‚ç¾åœ¨ã§ã¯ã€ç±³Yah
MapReduce - naoyaã®ã¯ã¦ãªãƒ€ã‚¤ã‚¢ãƒªãƒ¼
"MapReduce" 㯠Google ã®ãƒãƒƒã‚¯ã‚¨ãƒ³ãƒ‰ã§åˆ©ç”¨ã•ã‚Œã¦ã„る並列計算システムã§ã™ã€‚検索エンジンã®ã‚¤ãƒ³ãƒ‡ãƒƒã‚¯ã‚¹ä½œæˆã‚’ã¯ã˜ã‚ã¨ã™ã‚‹ã€å¤§è¦æ¨¡ãªå…¥åŠ›ãƒ‡ãƒ¼ã‚¿ã«å¯¾ã™ã‚‹ãƒãƒƒãƒå‡¦ç†ã‚’想定ã—ã¦ä½œã‚‰ã‚ŒãŸã‚·ã‚¹ãƒ†ãƒ ã§ã™ã€‚ MapReduce ã®é¢ç™½ã„ã¨ã“ã‚ã¯ã€map() 㨠reduce() ã¨ã„ã†äºŒã¤ã®é–¢æ•°ã®çµ„ã¿åˆã‚ã›ã‚’定義ã™ã‚‹ã ã‘ã§ã€å¤§è¦æ¨¡ãƒ‡ãƒ¼ã‚¿ã«å¯¾ã™ã‚‹æ§˜ã€…ãªè¨ˆç®—å•é¡Œã‚’解決ã™ã‚‹ã“ã¨ãŒã§ãる点ã§ã™ã€‚ MapReduce ã®è¨ˆç®—モデル map() ã«ã¯ãã®è¨ˆç®—å•é¡Œã®ãƒ‡ãƒ¼ã‚¿ã¨ã—ã¦ã® key-value ペアãŒæ¬¡ã€…ã«æ¸¡ã£ã¦ãã¾ã™ã€‚map() ã§ã¯ key-value 値ã®ãƒšã‚¢ã‚’ç•°ãªã‚‹è¤‡æ•°ã® key-value ペアã«å¤‰æ›ã—ã¾ã™ã€‚reduce() ã«ã¯ã€map() ã§ä½œã£ãŸ key-value ペアをåŒä¸€ã® key ã§æŸããŸã‚‚ã®ãŒé †ç•ªã«æ¸¡ã£ã¦ãã¾ã™ã€‚ãã® key-values ペアを任æ„ã®å½¢å¼ã«å¤‰æ›ã™ã‚‹ã“ã¨
分散システムã®ãƒ†ã‚¹ãƒˆã‚’自動化ã™ã‚‹ - Blog by Sadayuki Furuhashi
複数ã®ãƒ—ãƒã‚»ã‚¹ãŒç›¸äº’ã«é€£æºã—ã¦å‹•ãシステムã®ãƒ†ã‚¹ãƒˆã‚’自動化ã—ãŸã„。 普通ã«æ›¸ãã¨ãƒ—ãƒã‚»ã‚¹ã‚’èµ·å‹•ã—ãŸã‚ã¨çµ‚了ã™ã‚‹ã¾ã§å¾…ã£ã¦ã—ã¾ã†ã®ã§ã€è¤‡æ•°ã®ãƒ—ãƒã‚»ã‚¹ã‚’åŒæ™‚ã«èµ·å‹•ã§ããªãã¦å›°ã‚Šã¾ã™ã€‚&を付ã‘ã¦ãƒãƒƒã‚¯ã‚°ãƒ©ã‚¦ãƒ³ãƒ‰ã§èµ·å‹•ã•ã›ã‚‹ã¨ã€å¾Œã§çµ‚了ã•ã›ãŸã¨ãã€ã¾ãš ps aux | grepã—ã¦PIDを調ã¹ã¦ã€ã‚·ã‚°ãƒŠãƒ«ã‚’飛ã°ã—ã¦ã€ã—ã°ã‚‰ããƒãƒ¼ãƒªãƒ³ã‚°ã—ã¦æœ¬å½“ã«çµ‚了ã™ã‚‹ã¾ã§å¾…ã¤ã€ãªã‚“ã¦ã“ã¨ã«ãªã£ã¦é¢å€’ã§ã™ã€‚ ãã‚Œã‹ã‚‰èµ·å‹•ã—ã¦ã‹ã‚‰ã—ã°ã‚‰ãã¯åˆæœŸåŒ–処ç†ãŒèµ°ã£ã¦ã„ã‚‹ã®ã§ã€æ¨™æº–出力ã«ã€Œstartedã€ã¨è¡¨ç¤ºã•ã‚Œã‚‹ã¾ã§å¾…ã¡ãŸã‹ã£ãŸã‚Šã—ã¾ã™ã€‚ ãã®ã‚ãŸã‚Šã‚’ã†ã¾ã扱ã†ãŸã‚ã®ãƒ©ã‚¤ãƒ–ラリを書ã„ã¦ã¿ã¾ã—ãŸã€‚↓ã“ã‚“ãªæ„Ÿã˜ã§è‡ªå‹•åŒ–ã§ãã¾ã™ã€‚ #!/usr/bin/env ruby require 'chukan' include Chukan srv = spawn("server -arg1 -arg2") # 'server' コマ
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
Is lock-free logging safe?
LibPaxos: Open-source Paxos
Amazon.co.jp: [Web開発者ã®ãŸã‚ã®]大è¦æ¨¡ã‚µãƒ¼ãƒ“ス技術入門 â€•ãƒ‡ãƒ¼ã‚¿æ§‹é€ ã€ãƒ¡ãƒ¢ãƒªã€OSã€DBã€ã‚µãƒ¼ãƒ/インフラ (WEB+DB PRESS plusシリーズ): 伊藤直也, ç”°ä¸æ…Žå¸: 本![Amazon.co.jp: [Web開発者ã®ãŸã‚ã®]大è¦æ¨¡ã‚µãƒ¼ãƒ“ス技術入門 â€•ãƒ‡ãƒ¼ã‚¿æ§‹é€ ã€ãƒ¡ãƒ¢ãƒªã€OSã€DBã€ã‚µãƒ¼ãƒ/インフラ (WEB+DB PRESS plusシリーズ): 伊藤直也, ç”°ä¸æ…Žå¸: 本](https://cdn-ak-scissors.b.st-hatena.com/image/square/395124c133bddfdaace6140de27465ebfb52d7f5/backend=imagemagick;height=288;version=1;width=512/https%3A%2F%2Fm.media-amazon.com%2Fimages%2FI%2F41ZIHuv5uIL._SL500_.jpg)
{{#tags}}- {{label}}
{{/tags}}