Dynamo: Amazonã®é«˜å¯ç”¨æ€§Key-value Store[和訳]
Dynamo: Amazonã®é«˜å¯ç”¨æ€§Key-value Store.markdown Dynamo: Amazonã®é«˜å¯ç”¨æ€§Key-value Store[和訳] 原題：Dynamo: Amazon’s Highly Available Key-value Store 原文: Amazon's Dynamo - All Things Distributed (PDF Version) This article is translated by @ono_matope. Please contact me if any problem. Giuseppe DeCandia, Deniz Hastorun, Madan Jampani, Gunavardhan Kakulapati, Avinash Lakshman, Alex Pilchin, Swaminathan Sivasubram
![Dynamo: Amazonã®é«˜å¯ç”¨æ€§Key-value Store[和訳]](https://cdn-ak-scissors.b.st-hatena.com/image/square/1ef26f6cb4349557952890dbe3e567f7f98dc151/height=288;version=1;width=512/https%3A%2F%2Fgithub.githubassets.com%2Fassets%2Fgist-og-image-54fd7dc0713e.png)
KVSを使ã£ãŸé«˜é€Ÿé…ä¿¡WebサーãƒÂ·ã‚¯ãƒªãƒ†ã‚£ã‚«ãƒ«ã‚¹ãƒ”ード MOONGIFT
クリティカルスピードã¯ã€œã®ã‚ªãƒ¼ãƒ—ンソース・ソフトウェア。高速ãªãƒ¬ã‚¹ãƒãƒ³ã‚¹ã‚’è¡Œã†Webサーãƒã¯èª°ã—ã‚‚ãŒé¡˜ã†æ‰€ã 。GoogleãŒã‚ã‚Œã ã‘大ããæˆé•·ã—ãŸã®ã¯æ¤œç´¢ã®ã‚¢ãƒ«ã‚´ãƒªã‚ºãƒ ã¯ã‚‚ã¡ã‚ã‚“ã®ã“ã¨ã€é«˜é€Ÿãªãƒ¬ã‚¹ãƒãƒ³ã‚¹ã«ã‚‚ä¸€å› ãŒã‚ã£ãŸã¨æ€ã‚れる。欲ã—ã„æƒ…å ±ãŒã™ãã«æ‰‹ã«å…¥ã‚‹ã¨ã„ã†ã®ã¯ã¨ã¦ã‚‚気分ãŒã„ã„。 表示ãŒé€Ÿã„ï¼ Webサーãƒã§é«˜é€ŸåŒ–ã‚’è¡Œã†ãŸã‚ã®æ‰‹æ³•ã¯å¹¾ã¤ã‹å˜åœ¨ã™ã‚‹ã€‚並列化ã—ãŸã‚Šã€ã‚µãƒ¼ãƒã®ã‚¹ãƒšãƒƒã‚¯ã‚’上ã’ãŸã‚Šã€ãƒãƒƒãƒˆãƒ¯ãƒ¼ã‚¯ã‚’強化ã™ã‚‹ã¨è¨€ã£ãŸæ–¹æ³•ã®ä»–ã€ã‚·ã‚¹ãƒ†ãƒ å´ã§ã‚‚対応ã§ãã‚‹ã‚‚ã®ãŒã‚る。ãã®ä¸€ã¤ã€é«˜é€Ÿé…信サーãƒã®ã‚¯ãƒªãƒ†ã‚£ã‚«ãƒ«ã‚¹ãƒ”ードを紹介ã—よã†ã€‚ クリティカルスピードã®æœ€å¤§ã®ç‰¹å¾´ã¯KVS（ã‚ー・ãƒãƒªãƒ¥ãƒ¼ãƒ»ã‚¹ãƒˆã‚¢ï¼‰ã‚’Webサーãƒã¨ã—ã¦ä½¿ã£ã¦ã„ã‚‹ã“ã¨ã 。KVSã¨ã—ã¦TokyoTyrantを採用ã—ã¦ã„ã‚‹ãŒã€ä»Šå¾Œã¯LuxIOã€kumofsã€ROMAã¨ã„ã£ãŸä»–ã®KVSã«ã‚‚対応ã—ã¦ã„ãã¨ã®ã“ã¨ã€‚Webサーãƒã¯Plack/
kumofsã‹ã‚‰å¦ã¶Not only SQLã®æŠ€è¡“ - Blog by Sadayuki Furuhashi
NoSQLを知る〜kumofsã‹ã‚‰å¦ã¶Not only SQLã®æŠ€è¡“ ã¨é¡Œã—ã¦ã€Developers Summit 2010ã§ç™ºè¡¨ã—ã¾ã—ãŸã€‚ twitterã®#devsumi2010 kumofsを見るé™ã‚Šã§ã¯å¤§å¤‰ã”好評をã„ãŸã ã„ãŸã‚ˆã†ã§ã€ã²ã¨ã¾ãšã»ã£ã¨ã—ã¦ã„ã¾ã™ã€‚ プレゼンテーションã®è³‡æ–™ã‚’公開ã—ã¾ã—ãŸã€‚内容ã¯ã©ã‚Œã‚‚åŒã˜ã§ã™ãŒã€ã‚¯ãƒªãƒƒã‚¯ã§é€²ã‚€ãƒ ービー版ãŒã‚ªã‚¹ã‚¹ãƒ¡ã§ã™ã€‚ クリックã§é€²ã‚€ãƒ ービー（クリック/矢å°ã‚ーã§é€²ã‚€ï¼‰ PDF Keynoteファイル（Keynote '09ãŒå¿…è¦ï¼‰ NoSQLを知るView more presentations from frsyuki. Consistent Hashingã¨double-hash-spaceアルゴリズムã®ç´¹ä»‹ã¯ã€68ページ以é™ã«ã‚ã‚Šã¾ã™ã€‚ 第101回 カーãƒãƒ«èªæ›¸ä¼š 2月25æ—¥ã«æ¥½å¤©ã‚¿ãƒ¯ãƒ¼ã§è¡Œã‚れるカーãƒãƒ«èªæ›¸ä¼šã§ã‚‚ã€kumofs関連
分散Key-Valueストア「kumofsã€ã‚’公開ã—ã¾ã—ãŸï¼ - Blog by Sadayuki Furuhashi
分散Key-Valueストア kumofs ã‚’ã€æœ¬æ—¥ã‚ªãƒ¼ãƒ—ンソースソフトウェアã¨ã—ã¦ãƒªãƒªãƒ¼ã‚¹ã—ã¾ã—ãŸï¼ kumofs@SourceForge kumofs関連資料ã¾ã¨ã‚ kumofsã¨ã¯ï¼Ÿ kumofs（クモエフエス）ã¯ã€å®Ÿç”¨æ€§ã‚’é‡è¦–ã—ãŸåˆ†æ•£ãƒ‡ãƒ¼ã‚¿ã‚¹ãƒˆã‚¢ã§ã™ã€‚レプリケーション機能を備ãˆã€ä¸€éƒ¨ã®ã‚µãƒ¼ãƒãƒ¼ã«éšœå®³ãŒç™ºç”Ÿã—ã¦ã‚‚動作ã—続ã‘ã¾ã™ã€‚å˜ä½“ã§ã‚‚高ã„性能をæŒã¡ãªãŒã‚‰ã€ã‚µãƒ¼ãƒãƒ¼ã‚’è¿½åŠ ã™ã‚‹ã“ã¨ã§èªã¿ãƒ»æ›¸ã両方ã®æ€§èƒ½ãŒå‘上ã™ã‚‹ç‰¹å¾´ã‚’æŒã¡ã€ä½Žã‚³ã‚¹ãƒˆã§æ¥µã‚ã¦é«˜é€Ÿãªã‚¹ãƒˆãƒ¬ãƒ¼ã‚¸ã‚·ã‚¹ãƒ†ãƒ を構築・é‹ç”¨ã§ãã¾ã™ã€‚ kumofsã®å¤§ããªç‰¹å¾´ã¯ã€ã‚·ã‚¹ãƒ†ãƒ ã®æ§‹æˆã®ç°¡å˜ã«å¤‰æ›´ã§ãる点ã§ã™ã€‚システムをæ¢ã‚ã‚‹ã“ã¨ãªãã€ç°¡å˜ãªæ‰‹é †ã§ã‚µãƒ¼ãƒãƒ¼ã‚’è¿½åŠ ã—ãŸã‚Šå¾©æ—§ã—ãŸã‚Šã§ãã¾ã™ã€‚アプリケーションã«ã¯ä¸€åˆ‡å½±éŸ¿ã‚’与ãˆã¾ã›ã‚“。 ã¾ãŸkumofsã¯ã€åºƒã利用ã•ã‚Œã¦ã„る分散ã‚ャッシュシステムã®ã€Œmemcachedã€ã¨äº’æ›æ€§ã®ã‚るプãƒãƒˆã‚³ãƒ«ã‚’実装
ã‚‚ã†1ã¤ã®ã€DBã®ã‹ãŸã¡ã€åˆ†æ•£Key-Valueストアã¨ã¯
ã‚‚ã†1ã¤ã®ã€DBã®ã‹ãŸã¡ã€åˆ†æ•£Key-Valueストアã¨ã¯ï¼šåˆ†æ•£Key-Valueストアã®æœ¬å‘½ã€ŒBigtableã€ï¼ˆ1）（1/3 ページ） RDBã¨ã¯åˆ¥ã®ã€ã‚¯ãƒ©ã‚¦ãƒ‰æ™‚代ã®ãƒ‡ãƒ¼ã‚¿ãƒ™ãƒ¼ã‚¹ã¨ã—ã¦æ³¨ç›®ã‚’æµ´ã³ã¦ã„る「分散Key-Valueストアã€ã€‚ãã®æœ¬å‘½ã¨ã‚‚ã„ãˆã‚‹ã€Googleã®æ•°ã€…ã®ã‚µãƒ¼ãƒ“スã®åŸºç›¤æŠ€è¡“「Bigtableã€ã«ã¤ã„ã¦å¾¹åº•è§£èª¬ クラウド時代ã®ãƒ‡ãƒ¼ã‚¿ãƒ™ãƒ¼ã‚¹ã€Œåˆ†æ•£Key-Valueストア〠グーグルãŒã‚¤ãƒ³ã‚¿ãƒ¼ãƒãƒƒãƒˆã®ä¸–界をã“ã“ã¾ã§å¸ã‘ã‚“ã§ããŸæœ€å¤§ã®ç†ç”±ã¯ä½•ã§ã—ょã†ã‹ã€‚実ã¯ã€ãã‚Œã¯åŒç¤¾ã®å„ªã‚ŒãŸæ¤œç´¢æŠ€è¡“ã§ã¯ã‚ã‚Šã¾ã›ã‚“。グーグルãŒæˆã—é‚ã’ãŸæœ€ã‚‚大ããªãƒ–レークスルーã®1ã¤ã¯ã€åŒç¤¾ãŒç”Ÿã¿å‡ºã—ãŸå·¨å¤§ãªåˆ†æ•£ãƒ‡ãƒ¼ã‚¿ã‚¹ãƒˆã‚¢ã€ã€ŒBigtableã€ã«ã‚ã‚Šã¾ã™ã€‚ Bigtableã¯ã€Google検索をã¯ã˜ã‚ã€YouTubeã‚„Google Mapã€Google Earthã€Google Analyticsã€Goog
54è¡Œã§åˆ†æ•£KVSを実装ã™ã‚‹ï¼ˆãƒ¬ãƒ—リケーション機能付ã） - Blog by Sadayuki Furuhashi
Ruby 㨠MessagePack-RPC ãŒã‚ã‚Œã°ã€ç°¡å˜ãªkey-valueストレージã¯ç°¡å˜ã«ä½œã‚Œã¾ã™ã€‚54è¡Œã§æ›¸ã‘ã¾ã™ï¼ˆãƒ¬ãƒ—リケーションã¨è² è·åˆ†æ•£æ©Ÿèƒ½ä»˜ã。サーãƒãƒ¼38è¡Œã€ã‚¯ãƒ©ã‚¤ã‚¢ãƒ³ãƒˆ16行）。 ç°¡å˜ãªKVSをベースã«ã—ã¦ã€ãƒã‚°é›†è¨ˆã‚„é 隔デプãƒã‚¤ã€é 隔管ç†æ©Ÿèƒ½ãªã©ã®æ©Ÿèƒ½ã‚’è¿½åŠ ã—ã¦ã„ã‘ã°ã€ã¡ã‚‡ã£ã¨ä¾¿åˆ©ãªã‚µãƒ¼ãƒãƒ¼ãƒ—ãƒã‚°ãƒ©ãƒ をサクサク自作ã§ãã‚‹ãƒã‚ºã€‚ ã“ã®åˆ†æ•£KVSã¯ã€ï¼ˆkeyã®ãƒãƒƒã‚·ãƒ¥å€¤ % サーãƒãƒ¼ã®å°æ•°ï¼‰ç•ªç›®ã®ã‚µãƒ¼ãƒãƒ¼ã«keyã‚’ä¿å˜ã—ã¾ã™ã€‚ã¾ãŸã€ã‚µãƒ¼ãƒãƒ¼ã®åå‰é †ã§ã‚½ãƒ¼ãƒˆã—ãŸã¨ãã®ã€Œæ¬¡ã®ã‚µãƒ¼ãƒãƒ¼ã€ã¨ã€Œæ¬¡ã®æ¬¡ã®ã‚µãƒ¼ãƒãƒ¼ã€ã«ãƒ‡ãƒ¼ã‚¿ã‚’レプリケーションã—ã¾ã™ã€‚ ã™ã¹ã¦ã®ã‚µãƒ¼ãƒãƒ¼ã§åŒã˜è¨å®šãƒ•ã‚¡ã‚¤ãƒ«ã‚’使ã„ã¾ã™ã€‚サーãƒãƒ¼ã”ã¨ã®è¨å®šã¯å¼•æ•°ã‚’自分ã®ãƒ›ã‚¹ãƒˆåã«æ›¸ãæ›ãˆã‚‹ã ã‘ãªã®ã§ã€ãƒ‡ãƒ—ãƒã‚¤ãŒå®¹æ˜“ã§ã™ã€‚ MessagePack-RPC for Ruby を使ã†ã¨ã€åˆ†æ•£ã—ãªã„key-valueストレージ*1ã¯
分散KVSã®ä½¿ã„æ–¹ - sdyuki-devel
今æµè¡Œã®key-value storageã®åˆ©ç‚¹ã¨æ¬ 点ãªã©ã€‚å°ã•ã„データをãŸãã•ã‚“扱ã†ã‚¿ã‚¤ãƒ—ã§ã€å˜ç´”ãªkey-valueåž‹ã®ãƒ‡ãƒ¼ã‚¿ãƒ¢ãƒ‡ãƒ«ã‚’æŒã¤åˆ†æ•£KVSã«ã¤ã„ã¦ã€‚ Webアプリをã¨ã‚Šã¾ã最近ã®KVS事情ã€é›‘æ„Ÿã‚’èªã‚“ã§ã€ã¡ã‚ƒã‚“ã¨æ•´ç†ã—ã¦æŠŠæ¡ã—ã¦ãŠã‹ãªã„ã¨ã„ã‘ãªã„ãªã€ã¨æ€ã£ãŸã®ã§å°‘ã—æ•´ç†ã€‚ ãã‚Œã¯é•ã†ãžãƒ¼ã¨ã„ã†äº‹ãŒã‚ã£ãŸã‚‰ã‚³ãƒ¡ãƒ³ãƒˆãã ã•ã„m(_ _)m ※2009-11-17 追記：ç¾åœ¨ã€KVSã¨ã„ã†ç”¨èªžã®æ„味ã¯å®šç¾©ã•ã‚Œã¦ãŠã‚‰ãšã€ä½¿ã†äººã«ã‚ˆã£ã¦æºã‚Œã¦ã„ã¾ã™ã€‚ã“ã“ã§è¨€ã†ã¨ã“ã‚ã®åˆ†æ•£KVSã¯ã€Dynamo ã‚„ kumofs ã‚„ ROMA ãªã© を想定ã—ã¦ã„ã¾ã™ã€‚ 分散KVSã®åˆ©ç‚¹ スケールアウトã§ãã‚‹ ç°¡å˜ã«ã‚µãƒ¼ãƒãƒ¼ã‚’è¿½åŠ ã—ã¦æ€§èƒ½ã‚’上ã’られる å˜ä½“ã®æ€§èƒ½ãŒé«˜ã„ スã‚ーマレス 最åˆã¯å°‘ãªã„å°æ•°ã§å®‰ãã€å¾Œã‹ã‚‰ã‚µãƒ¼ãƒãƒ¼ã‚’足ã—ã¦ã‚¹ã‚±ãƒ¼ãƒ«ã‚¢ã‚¦ãƒˆï¼ã¨ã„ã†é‹ç”¨ãŒã§ãる。アプリケーションã«å½±éŸ¿ã›ãšã«ã€ã‚¹ãƒˆãƒ¬ãƒ¼ã‚¸å´
Webアプリをã¨ã‚Šã¾ã最近ã®KVS事情ã€é›‘æ„Ÿ - Tous Les Jours 攻防記
RDBã®å¾©æ¨©ã¯ã—ã°ã‚‰ããªã„ã¨æ€ã† 最近目ã«ã—ãŸã®ã¯ã€ã€Œã“ã‚Œã‹ã‚‰RDBãŒå分速ããªã£ã¦ã„ãã®ã§ã€memcachedã«ä»£ã‚ã£ã¦RDBãŒã¾ãŸä½¿ã‚れるよã†ã«ãªã‚‹ã€ã¨ã„ã†æ„見。ã“ã‚Œã¯ã—ã°ã‚‰ãã®é–“ã¯ç„¡ã„ã‚“ã˜ã‚ƒãªã„ã‹ã¨æ€ã†ã€‚全データãŒã‚ªãƒ³ãƒ¡ãƒ¢ãƒªã ã£ãŸã¨ã—ã¦ã‚‚ã€KVSã¯RDBより一æ¡ä»¥ä¸Šé€Ÿã„（Memcachedã§100,000req/sec出ã›ã‚‹ãƒžã‚·ãƒ³ã§ã€MySQLã®pkeyã«ã‚ˆã‚‹å˜ç´”ãªSELECTã‚’ã—ãŸå ´åˆã€10,000req/sec出るã‹ã©ã†ã‹ï¼‰ã€‚SQLパーサやらãªã‚“やらをæ¨ã¦ãªã„é™ã‚Šã“ã®é€Ÿã•ã«ã¯å¯¾æŠ—ã§ããªã„。RDBã«ã¯ã€ï¼‘コãƒã‚¯ã‚·ãƒ§ãƒ³ï¼‘スレッドã¨ã„ã†ãƒ¢ãƒ‡ãƒ«ãŒæŒã¤ã€æŽ¥ç¶šæ•°ãŒã‚¹ã‚±ãƒ¼ãƒ«ã—ãªã„ã¨ã„ã†åˆ¶ç´„ã‚‚ã‚る。 ã¾ãŸã€memcacheプãƒãƒˆã‚³ãƒ«ã¯ã€get_multiãŒä½¿ãˆã‚‹ã€‚get_multiを効果的ã«æ´»ç”¨ã—ãŸå ´åˆã€RDBã¨ã®å·®ã¯ã•ã‚‰ã«åºƒãŒã‚‹ã¨æ€ã†ã€‚ RDBã§å¤§ä¸ˆå¤«ãªã‚¢ãƒ—リも Viewã‚ャッシュãŒåŠ¹æžœçš„ãªã‚¢
1
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
{{#tags}}- {{label}}
{{/tags}}