Redis bitmaps - Fast, easy, realtime metrics -
At Spool, we calculate our key metrics in real time. Traditionally, metrics are performed by a batch job (running hourly, daily, etc.). Redis backed bitmaps allow us to perform such calculations in realtime and are extremely space efficient. In a simulation of 128 million users, a typical metric such as “daily unique users†takes less than 50 ms on a MacBook Pro and only takes 16 MB of memory. Spo
Kyoto Tycoonã®é‹ç”¨TIPSãªã©ãªã© - （ã²ï¼‰ãƒ¡ãƒ¢
ãƒãƒ£ã‚ªï¼ã¿ã‚“ãªã€Kyoto Tycoonライフをエンジョイã—ã¦ã‚‹ã‹ã„ï¼ï¼Ÿ 今日ã¯KTライフを満喫ã—ã¦ã‚‹ãƒŸãƒ¼ã‹ã‚‰ã®é‹ç”¨TIPSアンドソーオンをãŠå±Šã‘ã™ã‚‹ï¼¹ï¼¯ï¼ kchashmgrã¨ktremotemgrコマンドã®è£œå®Œ 人間ã®è„³æ´»å‹•ã®ãƒ”ークã¯22æ³ã®ä»Šæ—¥ã“ã®ã”ã‚ã€ã¿ãªã•ã‚“ã„ã‹ãŒãŠã™ã”ã—？ ã‚‚ã†ãã€ãƒŸãƒ¼ã¯å…¨ç„¶ã‚³ãƒžãƒ³ãƒ‰ã‚ªãƒ—ションã¨ã‹è¦šãˆã‚‰ã‚Œãªã„ã‹ã‚‰ã‚·ã‚§ãƒ«(bash)ã§è£œå®Œã—ã¾ãã£ã¦ã‚‹ï¼¹ï¼¯ï¼ kchashmgrã¨ktremotemgrã ã‘ã ã—オプション網羅ã—ã¦ãªã„ã—補完ルールもアレã ã‘ã©ã‚ªãƒ¼ãƒ—ン＆シェアãªãƒžã‚¤ãƒ³ãƒ‰ã¨ã‚¬ãƒƒãƒ„ã§æ°—ã«ãªã‚‹äººã¯fork & pushï¼ Nagiosã§æ»æ´»ç›£è¦– ナギオスï¼ã¿ã‚“ãªä½¿ã£ã¦ã‚‹ã‚ˆã？ ミーã¯check_httpã§KTã®HTTP RPCã®echoã«ã‚¢ã‚¯ã‚»ã‚¹ã—ã¦ãƒ‡ãƒƒãƒ‰ã‚ªã‚¢ã‚¢ãƒ©ã‚¤ãƒ–ã®ç›£è¦–ã—ã¦ã‚‹ï¼ define command { command_name check_kyot
ãƒãƒ³ã‚ºã‚ªãƒ³ã§åˆ†ã‹ã‚‹ MongoDB ãƒãƒ¥ãƒ¼ãƒˆãƒªã‚¢ãƒ« - babie, you're my home
å‰å›žï¼ˆã¨è¨€ã£ã¦ã‚‚ã‚‚ã†ï¼’ヶ月å‰ã‹â€¦â€¦1.5.8ã¾ã§ã§ã¡ã‚ƒã£ã¦ã¾ã™ã。（追記：ä¸åº¦ä»Šæ—¥ã€1.6.0 安定版ãŒãƒªãƒªãƒ¼ã‚¹ã•ã‚Œã¾ã—ãŸï¼ï¼‰ä¾‹ã«ã‚ˆã£ã¦ãƒ“ルドã¯ã‚¯ã‚½é•·ã„ã®ã§æ³¨æ„ã—ã¦ä¸‹ã•ã„）ã€ã€ŒMac OS X 㧠MongoDB ã‚’å‹•ã‹ã™ã€ã§ã€Mac OS X ã§ã® MongoDB インストールã€èµ·å‹•ã€åœæ¢ã€ãƒ‡ãƒ¼ãƒ¢ãƒ³åŒ–ã‚’ã—ã¾ã—ãŸã€‚ 今回ã¯ã€ä»˜å±žã®ã‚·ã‚§ãƒ«ã§ç°¡å˜ãªCRUDæ“作をã—ã¦ã¿ãŸã„ã¨æ€ã„ã¾ã™ã€‚ãªã®ã§ã€OSやプãƒã‚°ãƒ©ãƒŸãƒ³ã‚°è¨€èªžã¯é–¢ä¿‚ã‚ã‚Šã¾ã›ã‚“ã€‚ç´ ã® MongoDB ã‚’å¦ã¶ç›®çš„ã§ä½œæˆã—ã¾ã—ãŸã€‚SQL 知らãªã„㨠ORM ãŒæº€è¶³ã«ä½¿ãˆãªã„よã†ã«ã€ä»Šå›žã® CRUD æ“作を知ã£ã¦ãŠã‘ã°ã€å„言語用㮠ORM ã§æ‚©ã‚€ã“ã¨ãŒå°‘ãªããªã‚‹ã¨æ€ã„ã¾ã™ã€‚ ãªãŠã€ä»Šå›žã‚‚ã„ã¡ã„ã¡ã‚¤ãƒ©ãƒƒâ˜†ã¨ãる語りãŒå…¥ã‚Šã¾ã™ã€‚ 復習ã—ã¦ãŠãã¾ã—ょã†ã‹ã€MongoDB ã£ã¦ã„ã†ã®ã¯ã€ ドã‚ュメント指å‘ストレージ㧠インデックスをサãƒãƒ¼ãƒˆã—ã¦ã„㦠レプ
kumofs関連資料ã¾ã¨ã‚ - Blog by Sadayuki Furuhashi
éšæ™‚更新予定。 ツールãªã© 2010-01-08　kumofsã®æ»æ´»ç›£è¦–ã¯ã“ã‚“ãªæ„Ÿã˜ã§Nagiosã§ã‚„ã£ã¦ã¾ã™ - (ã²)メモ 検討ã¨æ¤œè¨¼ 2010-04-01　kumofsã«10MBã®valueを入れるã¨ã©ã†ãªã‚‹ã‹å®Ÿé¨“ã—ã¦ã¿ãŸ - sdyuki-devel 2010-02-24　KVS(NoSQL)ã®ã¾ã¨ã‚ã¨ã€Œã“ã‚Œã‹ã‚‰ã€ã®è¨è¨ˆæ‰‹æ³• - ã©ã£ã‹ã®Blogã®å‰ç½®ãã®ã‚ˆã†ãª 2010-02-01　kumofs ãã®ï¼”・速度比較ã—ã¦ã¿ãŸ - ã¨ã‚ã‚‹WEBプãƒã‚°ãƒ©ãƒžã®è»Œè·¡ï¼ˆä»®ï¼‰ è¨è¨ˆã¨ã‚¢ãƒ¼ã‚テクãƒãƒ£ 2010-04-26　hbstudy#10「ãšã°ã‚Šå‹•ãï¼kumofs 㨠ãšã°ã‚Šå‹•ã‹ãªã„ケース〠2010-04-25　丸レク2010「分散Key-valueストアkumofsã®æ€æƒ³ã¨è¨è¨ˆã€ 2010-02-09　kumofsã¯ãªãœè½ã¡ãªã„ã‹ 2010-01-26　kumofsã¯ãªãœã‚¹ã‚±ãƒ¼ãƒ«ã™ã‚‹ã‹ 2
key-valueストアã®åŸºç¤ŽçŸ¥è˜
首藤 一幸 Last-updated: January 5, 2010 注: ã“ã®ãƒšãƒ¼ã‚¸ã®æ–‡ç« 㯠Software Design 誌 2010å¹´ 2月å·ã«æŽ²è¼‰ã•ã‚ŒãŸä»¥ä¸‹ã®è¨˜äº‹ã®å…ƒåŽŸç¨¿ã§ã™ã€‚ Software Design 誌編集部ã®äº†æ‰¿ã®å…ƒã«ã€æœ¬ã‚¦ã‚§ãƒ–ページã«æŽ²è¼‰ã—ã¦ãŠã‚Šã¾ã™ã€‚ 首藤一幸: "key-valueストアã®åŸºç¤ŽçŸ¥è˜", Software Design 2010å¹´ 2月å·, p.14-21, (æ ª)技術評論社, 2010å¹´ 1月 18æ—¥ クラウドã€ç‰¹ã«PaaSå‘ã‘ã®ã‚½ãƒ•ãƒˆã‚¦ã‚§ã‚¢é–‹ç™ºãŒç¾å®Ÿã®ã‚‚ã®ã¨ãªã‚Šã€ ãã“ã§ã¯ãƒªãƒ¬ãƒ¼ã‚·ãƒ§ãƒŠãƒ«ãƒ‡ãƒ¼ã‚¿ãƒ™ãƒ¼ã‚¹ã¨ã¯é•ã£ãŸãƒ‡ãƒ¼ã‚¿ãƒ™ãƒ¼ã‚¹ãŒ å‹¢ã„を増ã—ã¦ã„ã¾ã™ã€‚ ãã®ä»£è¡¨ã§ã‚ã‚‹key-valueストアを解説ã—ã¾ã™ã€‚ ã‚‚ã㘠key-valueストアã¨ã¯ ãªãœkey-valueストア㋠key-valueストアã®ä½¿ã„ã©ã“ã‚ key-valueストアã¨NoSQLã®
分散Key-Valueストア「kumofsã€ã‚’公開ã—ã¾ã—ãŸï¼ - Blog by Sadayuki Furuhashi
分散Key-Valueストア kumofs ã‚’ã€æœ¬æ—¥ã‚ªãƒ¼ãƒ—ンソースソフトウェアã¨ã—ã¦ãƒªãƒªãƒ¼ã‚¹ã—ã¾ã—ãŸï¼ kumofs@SourceForge kumofs関連資料ã¾ã¨ã‚ kumofsã¨ã¯ï¼Ÿ kumofs（クモエフエス）ã¯ã€å®Ÿç”¨æ€§ã‚’é‡è¦–ã—ãŸåˆ†æ•£ãƒ‡ãƒ¼ã‚¿ã‚¹ãƒˆã‚¢ã§ã™ã€‚レプリケーション機能を備ãˆã€ä¸€éƒ¨ã®ã‚µãƒ¼ãƒãƒ¼ã«éšœå®³ãŒç™ºç”Ÿã—ã¦ã‚‚動作ã—続ã‘ã¾ã™ã€‚å˜ä½“ã§ã‚‚高ã„性能をæŒã¡ãªãŒã‚‰ã€ã‚µãƒ¼ãƒãƒ¼ã‚’è¿½åŠ ã™ã‚‹ã“ã¨ã§èªã¿ãƒ»æ›¸ã両方ã®æ€§èƒ½ãŒå‘上ã™ã‚‹ç‰¹å¾´ã‚’æŒã¡ã€ä½Žã‚³ã‚¹ãƒˆã§æ¥µã‚ã¦é«˜é€Ÿãªã‚¹ãƒˆãƒ¬ãƒ¼ã‚¸ã‚·ã‚¹ãƒ†ãƒ を構築・é‹ç”¨ã§ãã¾ã™ã€‚ kumofsã®å¤§ããªç‰¹å¾´ã¯ã€ã‚·ã‚¹ãƒ†ãƒ ã®æ§‹æˆã®ç°¡å˜ã«å¤‰æ›´ã§ãる点ã§ã™ã€‚システムをæ¢ã‚ã‚‹ã“ã¨ãªãã€ç°¡å˜ãªæ‰‹é †ã§ã‚µãƒ¼ãƒãƒ¼ã‚’è¿½åŠ ã—ãŸã‚Šå¾©æ—§ã—ãŸã‚Šã§ãã¾ã™ã€‚アプリケーションã«ã¯ä¸€åˆ‡å½±éŸ¿ã‚’与ãˆã¾ã›ã‚“。 ã¾ãŸkumofsã¯ã€åºƒã利用ã•ã‚Œã¦ã„る分散ã‚ャッシュシステムã®ã€Œmemcachedã€ã¨äº’æ›æ€§ã®ã‚るプãƒãƒˆã‚³ãƒ«ã‚’実装
NOSQL Patterns
Over the last couple years, we see an emerging data storage mechanism for storing large scale of data. These storage solution differs quite significantly with the RDBMS model and is also known as the NOSQL. Some of the key players include ... GoogleBigTable, HBase, Hypertable AmazonDynamo, Voldemort, Cassendra, Riak Redis CouchDB, MongoDB These solutions has a number of characteristics in common K
転置インデックスを実装ã—よㆠ- mixi engineer blog
相対性ç†è«–ã®ãƒœãƒ¼ã‚«ãƒ«ãŒé ã‹ã‚‰é›¢ã‚Œãªã„mikioã§ã™ã€‚熱ã„ã‚ã£ãµã‚‹ã®å£°ã«å¿œãˆã¦ä»Šå›žã¯Tokyo Cabinetã®ãƒ†ãƒ¼ãƒ–ルデータベースã«ãŠã‘る検索機能ã®å®Ÿè£…ã«ã¤ã„ã¦èªžã£ã¦ã¿ãŸã„ã¨æ€ã„ã¾ã™ã€‚ã¨ã¦ã‚‚é•·ã„ã®ã§ã™ãŒã€æœ€å¾Œã¾ã§èªã‚“ã ã‚ã‹ã¤ãã«ã¯ã€è‡ªåˆ†ã§ã‚‚全文検索エンジンを作れるã¨æ€ã£ã¦ã„ãŸã ã‘ã‚Œã°å¬‰ã—ã„ã§ã™ã€‚ デモ モãƒãƒ™ãƒ¼ã‚·ãƒ§ãƒ³ã‚’ã‚ã’ã¦ã„ãŸã ããŸã‚ã«ã€100è¡Œã®ã‚½ãƒ¼ã‚¹ã‚³ãƒ¼ãƒ‰ã§æ¤œç´¢UIã®ãƒ‡ãƒ¢ã‚’作ã£ã¦ã¿ã¾ã—ãŸã€‚Java 6ã®æ—¥æœ¬èªžæ–‡æ›¸ã‚’対象ã¨ã—ã¦ã„ã‚‹ã®ã§ã€ã€Œstringbufferã€ã¨ã‹ã€Œã‚³ãƒ³ãƒ‘イルã€ã¨ã‹ã€Œå€ç²¾åº¦æµ®å‹•å°æ•°ã€ã¨ã‹ãã‚Œã£ã½ã„用語ã§æ¤œç´¢ã—ã¦ã¿ã¦ãã ã•ã„。 インデックスãŒã¡ã‚ƒã‚“ã¨ã§ãã¦ã„ã‚Œã°ã€ãŸã£ãŸ100è¡Œã§æŸæ¤œç´¢ã‚¨ãƒ³ã‚¸ãƒ³é¢¨å‘³ã®æ¤œç´¢æ©Ÿèƒ½ã‚’ã‚ãªãŸã®ãƒ‡ãƒ¼ã‚¿ã‚’対象ã«ã—ã¦å‹•ã‹ã™ã“ã¨ãŒã§ãã¾ã™ã€‚ソースコードã¯ã“ã¡ã‚‰ï¼ˆãƒ†ãƒ³ãƒ—レートã¯ã“ã¡ã‚‰ï¼‰ã§ã™ã€‚ ã§ã‚‚ã€ä»Šå›žã¯UIã®è©±ã§ã¯ãªã„ã®ã§ã™ã€‚ã‚‚ã®ã™ã”ã地味ã«ã€å…¨æ–‡æ¤œç´¢
Kazuho@Cybozu Labs: Pacific ã¨ã„ã†åå‰ã®åˆ†æ•£ã‚¹ãƒˆãƒ¬ãƒ¼ã‚¸ã‚’作り始ã‚ãŸä»¶
大è¦æ¨¡ãªã‚¦ã‚§ãƒ–アプリケーションã®ãƒœãƒˆãƒ«ãƒãƒƒã‚¯ãŒãƒ‡ãƒ¼ã‚¿ãƒ™ãƒ¼ã‚¹ã§ã‚ã‚‹ã¨ã„ã†ç‚¹ã«ã¤ã„ã¦ã¯ã€å¤šãã®åŒæ„ãŒå¾—られるã¨ã“ã‚ã ã¨æ€ã„ã¾ã™ã€‚解決ç–ã¨ã—ã¦ã¯ã€åŒã˜ç¨®é¡žã®ãƒ‡ãƒ¼ã‚¿ã‚’複数㮠RDBMS ã«ä¿å˜ã™ã‚‹ã€Œsharding〠(別å：アプリケーションレベルパーティショニングï¼ãƒ¬ãƒ™ãƒ«ï¼’分散注1) ãŒä¸€èˆ¬çš„ã§ã™ãŒã€æœ€è¿‘ã§ã¯ã€åˆ†æ•£ã‚ーãƒãƒªãƒ¥ãƒ¼ã‚¹ãƒˆã‚¢ (分散 KVS) を使ãŠã†ã¨ã™ã‚‹è©¦ã¿ã‚‚ã¿ã‚‰ã‚Œã‚‹ã‚ˆã†ã«ãªã£ã¦ãã¦ã„ã¾ã™ã€‚ 分散 KVS ㌠RDBMS sharding ã«å¯¾ã—ã¦å„ªã‚Œã¦ã„ã‚‹è¦ç´ ã¨ã—ã¦ã¯ã€äº‹å‰ã®åˆ†å‰²è¨è¨ˆãŒä¸è¦ã§ã€å‹•çš„ãªãƒŽãƒ¼ãƒ‰è¿½åŠ （ã¨ãã‚Œã«ã¨ã‚‚ãªã†è² è·ã®å†åˆ†æ•£ï¼‰ãŒå®¹æ˜“ã€ã¨ã„ã£ãŸç‚¹ãŒæŒ™ã’られるã¨æ€ã„ã¾ã™ã€‚一方ã§ã€Kai ã‚„ Kumofs ã®ã‚ˆã†ãªæœ€è¿‘ã®å®Ÿè£…ã§ã¯ eventually consistent ã§ã“ãç„¡ããªã£ã¦ãã¦ã„ã‚‹ã‚‚ã®ã®ã€ãƒãƒƒã‚·ãƒ¥ãƒ™ãƒ¼ã‚¹ã®åˆ†æ•£ KVS ã¯ã€ãƒ¬ãƒ³ã‚¸ã‚¯ã‚¨ãƒªãŒã§ããªã‹ã£ãŸã‚Š (例:
Plurk Open Source - LightCloud
Distributed key-value database Features Built on Tokyo Tyrant. One of the fastest key-value databases. Tokyo Tyrant has been in development for many years and is used in production by Plurk.com, mixi.jp and scribd.com (to name a few)... Great performance (comparable to memcached!) Can store millions of keys on very few servers - tested in production Scale out by just adding nodes Nodes are replica
1
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
{{#tags}}- {{label}}
{{/tags}}