Manhattan, our real-time, multi-tenant distributed database for Twitter scale
Manhattan, our real-time, multi-tenant distributed database for Twitter scale As Twitter has grown into a global platform for public self-expression and conversation, our storage requirements have grown too. Over the last few years, we found ourselves in need of a storage system that could serve millions of queries per second, with extremely low latency in a real-time environment. Availability and
Webシステムã«ãŠã‘るデータベース接続アーã‚テクãƒãƒ£æ¦‚è«– - ゆã†ã†ãブãƒã‚°
先月投稿ã—ãŸ2015å¹´Webサーãƒã‚¢ãƒ¼ã‚テクãƒãƒ£åºè«–ã§ã¯ã€Webサーãƒã‚¢ãƒ¼ã‚テクãƒãƒ£ã‚’å¦ã¶é“ã®ã‚Šã¨ä»£è¡¨çš„ãªå®Ÿè£…モデルã®æ¦‚è¦ã‚’紹介ã—ã¾ã—ãŸã€‚ 今回ã¯ã€å‰å›žåŒæ§˜ã€ä¸»ã«æ–°å’Webエンジニアå‘ã‘ã«ã€Webアプリケーションサーãƒã¨ãƒ‡ãƒ¼ã‚¿ãƒ™ãƒ¼ã‚¹ã‚µãƒ¼ãƒé–“ã®æŽ¥ç¶šç®¡ç†ãƒ¢ãƒ‡ãƒ«ã¨é‹ç”¨äº‹æƒ…ã«ã¤ã„ã¦ç´¹ä»‹ã—ã¾ã™ã€‚ データベース接続ã®æ°¸ç¶šåŒ–やコãƒã‚¯ã‚·ãƒ§ãƒ³ãƒ—ーリングã¨ã¯ä½•ãªã®ã‹ã€ãªãœå¿…è¦ãªã®ã‹ã¨ã„ã£ãŸã“ã¨ãŒä¸»ãªè©±é¡Œã§ã™ã€‚ 背景 データベース接続ã®æ°¸ç¶šåŒ–ã¨ã¯ãªã«ã‹ データベース接続ã®ã‚ªãƒ¼ãƒãƒ˜ãƒƒãƒ‰ データベース接続ã®æ°¸ç¶šåŒ–手法 コãƒã‚¯ã‚·ãƒ§ãƒ³ãƒ—ーリングã¨ã¯ãªã«ã‹ コãƒã‚¯ã‚·ãƒ§ãƒ³ãƒ—ーリング: ドライãƒåž‹ コãƒã‚¯ã‚·ãƒ§ãƒ³ãƒ—ーリング: プãƒã‚ã‚·åž‹ コãƒã‚¯ã‚·ãƒ§ãƒ³ãƒ—ーリング全体ã«ã¤ã„㦠PostgreSQLã¨MySQL å‚考資料 ã¾ã¨ã‚ 背景 2015å¹´Webサーãƒã‚¢ãƒ¼ã‚テクãƒãƒ£åºè«–ã§ã¯ã€Webサーãƒã‚¢ãƒ¼ã‚テクãƒãƒ£ã®è©±ã¨Webアプリケーショ
データベース技術ã®ç¾…é‡ç›¤
1. データベース技術ã®ç¾…é‡ç›¤ (db tech showcase 2013) Matsunobu Yoshinori (æ¾ä¿¡ 嘉範) 2013.11.15 https://www.facebook.com/yoshinori.matsunobu 3. リレーショナル・データベース 最も基本ã¨ãªã‚‹ãƒ‡ãƒ¼ã‚¿ãƒ™ãƒ¼ã‚¹æŠ€è¡“ 製å“ラインアップもéžå¸¸ã«è±Šå¯Œ 商用：Oracle, SQL Server, DB2, Sybase, … オープンソース: MySQL, PostgreSQL, Firebird, … è¨è¨ˆç†è«–ã¯ã©ã®è£½å“ã§ã‚‚ã»ã¼ä½¿ã„回ã—å¯èƒ½ テーブルè¨è¨ˆ/æ£è¦åŒ–, インデックス, SQL 製å“特有ã®ãƒŽã‚¦ãƒã‚¦ã‚‚ã‚ã‚‹ – パーティションã€ç‰¹æ®ŠSQL構文ãªã© é‹ç”¨ç®¡ç†ã¯è£½å“ã«ã‚ˆã£ã¦å¤§ããç•°ãªã‚‹ ã©ã‚Œã‹1ã¤ã«è©³ã—ã‘ã‚Œã°ã€2個目以é™ã®å¦ç¿’ã¯ã‚ˆã‚Šç°¡å˜ã«ã§ãã‚‹ ç´°ã‹ã見ã¦ã„ãã¨ã‚¢ãƒ¼ã‚テクãƒãƒ£ã¯ã‹ãªã‚Šé•ã† ãã®
MITã€æš—å·åŒ–ã•ã‚ŒãŸæƒ…å ±ã‚’å¾©å·ã›ãšã«å‡¦ç†ã§ãã‚‹ DB「CryptDBã€ã‚’開発 | スラド ã‚»ã‚ュリティ
MIT ã®ç ”究者らãŒã€æš—å·åŒ–ã•ã‚ŒãŸãƒ‡ãƒ¼ã‚¿ã‚’復å·ã›ãšã«æ©Ÿå¯†æ€§ã‚’ç¶æŒã—ãŸã¾ã¾æ¤œç´¢ã‚„ソートã€æ¼”算処ç†ãªã©ã‚’è¡Œãˆã‚‹ãƒ‡ãƒ¼ã‚¿ãƒ™ãƒ¼ã‚¹ã‚½ãƒ•ãƒˆã‚¦ã‚§ã‚¢ CryptDB を開発ã—ãŸã¨ã®ã“ã¨ã€‚åŒã‚½ãƒ•ãƒˆã‚¦ã‚§ã‚¢ã¯ 10 月ã«é–‹å‚¬ã•ã‚ŒãŸ Symposium on Operating System Principles ã§ãŠæŠ«éœ²ç›®ã•ã‚Œã¦ã„ã‚‹ (Forbes ã®è¨˜äº‹ã€æœ¬å®¶ /. 記事 より) 。 CryptDB ã¯ã€ãƒ‡ãƒ¼ã‚¿ã‚’「タマãƒã‚®ã®çš®ã€ã®ã‚ˆã†ã«ä½•å±¤ã«ã‚‚æš—å·åŒ–ã—ã€å„層をãã‚Œãžã‚Œã«é•ã£ãŸéµã§å®ˆã‚‹ã¨ã„ã†ä»•çµ„ã¿ã¨ãªã£ã¦ã„る。極ã‚ã¦ã‚»ã‚ュリティー性ã®é«˜ã„ソフトウェアã§ã‚ã‚‹ã‚‚ã®ã®ã©ã‚“ãªæ¼”算処ç†ã‚‚è¡Œãˆã‚‹ã¨ã„ã†ã‚‚ã®ã§ã¯ãªãã€ä¾‹ãˆã°å¹³æ–¹æ ¹ã®è¨ˆç®—ã¯ã§ããªã„ã¨ã®ã“ã¨ã€‚ã“ã†ã—ãŸå®Œå…¨æº–åŒå½¢æš—å·ã¯æ—¢ã« Gentry ㌠2009 å¹´ã«ç™ºè¡¨ã—ã¦ã„る㌠(IBM ã®ãƒ—レスリリース)ã€æš—å·åŒ–ã•ã‚ŒãŸãƒ‡ãƒ¼ã‚¿ã‚’処ç†ã™ã‚‹ã®ã«è†¨å¤§ãªæ™‚é–“ãŒã‹ã‹ã£ã¦ã—ã¾ã†ã¨ã„ã†æ¬ 点
Twitterã«ãŠã‘る大è¦æ¨¡ã‚·ã‚¹ãƒ†ãƒ 構築ã€3ã¤ã®åŽŸå‰‡
4月ã«ç±³ã‚µãƒ³ã‚¿ã‚¯ãƒ©ãƒ©ã§è¡Œã‚ã‚ŒãŸMySQL Confernce & Expo 211ã§ã¯ã€Twitterã®Jeremy Coleæ°ãŒã€ŒBig and Small Data at @Twitterã€ã¨é¡Œã—ã¦ã€åŒç¤¾ã®ã‚·ã‚¹ãƒ†ãƒ ã«ãŠã‘る原則ã¨ã‚·ã‚¹ãƒ†ãƒ 構æˆã«ã¤ã„ã¦ç´¹ä»‹ã—ãŸãƒ—レゼンテーションãŒè¡Œã‚ã‚Œã¾ã—ãŸã€‚ 1æ—¥ã«1å„„5000万以上ã®ãƒ„イートãŒè¡Œã‚ã‚Œã¦ã„ã‚‹Twitterã®ã‚·ã‚¹ãƒ†ãƒ ã¯ã©ã®ã‚ˆã†ã«æ§‹ç¯‰ã•ã‚Œã¦ã„ã‚‹ã®ã‹ã€ãã®å†…容を紹介ã—ã¾ã—ょã†ã€‚ Twitterã«ãŠã‘る原則 Twitterã®Jeremy Coleæ°ã€‚
Perl好ãã®å¥³æ€§Webエンジニア二人ãŒIBM DB2を試ã—ã¦ã¿ãŸ - ã¯ã¦ãªãƒ‹ãƒ¥ãƒ¼ã‚¹
Webアプリケーション開発ã«æ¬ ã‹ã›ãªã„データベース管ç†ã‚·ã‚¹ãƒ†ãƒ （RDBMS）。オープンソースã®è£½å“ãŒåºƒã利用ã•ã‚Œã‚‹æ˜¨ä»Šã§ã™ãŒã€ç„¡å„Ÿã§åˆ©ç”¨ã§ãる商用ã®RDBMSã‚‚ã‚ã‚Šã¾ã™ã€‚ãã‚“ãªè£½å“ã®ä¸€ã¤ãŒIBMã®ã€ŒDB2ã€ã§ã™ã€‚æ´å²ãŒé•·ãã€å®Ÿç¸¾ã¯ãŸãã•ã‚“ã‚ã‚Šã¾ã™ã€‚ãã†ã¯ã„ã£ã¦ã‚‚使ã£ãŸã“ã¨ãªã„ï¼ ã©ã‚“ãªã‚‚ã‚“ã ã‹è©¦ã—ãŸã„ï¼ ãã†æ€ã£ãŸä¸€äººãŒã€ãƒ•ãƒªãƒ¼ãƒ©ãƒ³ã‚¹ã®Webエンジニア女åã€id:acotieã•ã‚“ã§ã—ãŸã€‚普段ã‹ã‚‰é–‹å‚¬ã—ã¦ã„る勉強会ã®ç•ªå¤–ç·¨ã¨ã—ã¦ã€åŒã˜ãWebエンジニア女åã®id:aomushi510ã•ã‚“を呼ã³ã€ç„¡å„Ÿã§åˆ©ç”¨ã§ãる「DB2 Express-Cã€ã«è§¦ã‚Œã¦ã¿ã‚‹ã“ã¨ã«ã€‚記事ã®çµ‚ã‚ã‚Šã«ã¯ãƒ—レゼントã®ãŠçŸ¥ã‚‰ã›ã‚‚ã‚ã‚Šã¾ã™ã€‚ （※ã“ã®è¨˜äº‹ã¯æ—¥æœ¬ã‚¢ã‚¤ãƒ»ãƒ“ー・エムæä¾›ã«ã‚ˆã‚‹PR記事ã§ã™ã€‚） ã“ã®ãŸã³ã®æ±æ—¥æœ¬å¤§éœ‡ç½ã§è¢«ç½ã•ã‚ŒãŸçš†ã•ã¾ã«å¿ƒã‚ˆã‚ŠãŠè¦‹èˆžã„申ã—上ã’ã¾ã™ã€‚皆ã•ã¾ã®å®‰å…¨ã¨ä¸€åˆ»ã‚‚æ—©ã„復旧ã¨å¾©èˆˆã‚’心ã‹ã‚‰ãŠç¥ˆã‚Šç”³ã—上
[iPad] Bento for iPad: 趣味ã€ãŠå様ã®è¨˜éŒ²ã‹ã‚‰è«–文整ç†ã¾ã§ã€‚ã‚らゆるデータã®æ•´ç†ã‚’ã“ã‚Œã§ã€‚1506 | AppBank
ã‚ãªãŸãŒæ—¥ã”ã‚使ã£ã¦ã„るデータベースã¯ä½•ã§ã™ã‹ï¼Ÿã€ŽiPhoneã®ã‚¢ãƒ‰ãƒ¬ã‚¹å¸³ã¨ã€iTunes。ã§ã‚‚実ã¯ã€æ’®ã‚ŠãŸã‚ãŸå†™çœŸã¨ã€æ˜ 画リストã€ã‚ã¨åŽé›†ã—ãŸPDFã‚’æ•´ç†ã—ãŸã„。ã€ãã‚“ãªã‚ãªãŸã«ã€Bento for iPad。 Bento for iPadã®3ãƒã‚¤ãƒ³ãƒˆç´¹ä»‹ ・アドレス帳やiTunesã®ã‚ˆã†ã«ã€ä½•ã‹ã®æƒ…å ±ã®æ•´ç†ã‚’ã—ãŸã„時ã«ä¾¿åˆ© ・iPad版ã«ãªã£ã¦ã€ç”»é¢ãŒåºƒãŒã‚Šã€ãƒ‡ãƒ¼ã‚¿ã®å…¥åŠ›ãŒæ¥½ã« ・ã“ã®ã‚¢ãƒ—リを最大é™æ´»ç”¨ã™ã‚‹ã«ã¯ã€Bento 3 for MacãŒã‚ã‚‹ã¨ä¾¿åˆ© ã“ã®ã‚¢ãƒ—リã¯ã€Œãƒ‘ーソナルデータベースã€ã‚¢ãƒ—リã¨å‘¼ã°ã‚Œã¾ã™ã€‚ã“ã®å˜èªžã€æ™®æ®µèžããªã‚Œãªã„ã¨æ€ã„ã¾ã™ãŒã€çš†ã•ã¾ã‚‚æ—¥ã”ã‚ã‹ã‚‰ãŠä¸–話ã«ãªã£ã¦ã„ã‚‹ã¯ãšã§ã™ã€‚æºå¸¯é›»è©±ã®ã€Œã‚¢ãƒ‰ãƒ¬ã‚¹å¸³ã€ã‚„ã€éŸ³æ¥½ç®¡ç†ã‚½ãƒ•ãƒˆã®ã€ŒiTunesã€ãªã©ã§ã™ã€‚ ã“ã®Bento for iPadã¨ã„ã†ã‚¢ãƒ—リã¯ã€ï¼ˆã‚¢ãƒ‰ãƒ¬ã‚¹å¸³ã‚„iTunesã®ã‚ˆã†ãªï¼‰è‡ªåˆ†ãŒã»ã—ã„ã¨æ€ã†ãƒ‡ãƒ¼ã‚¿ãƒ™ãƒ¼ã‚¹ã‚’作ã£
MySQL を使ã£ãŸãŠæ‰‹è»½ãƒ¡ãƒƒã‚»ãƒ¼ã‚¸ã‚ュー実装 - ドワンゴ ç ”ç©¶é–‹ç™ºãƒ–ãƒã‚°
ã¯ã˜ã‚ã« ã“ã®è¨˜äº‹ã§ã¯ã€MySQL を使ã£ã¦ç°¡å˜ãªãƒ¡ãƒƒã‚»ãƒ¼ã‚¸ã‚ューを手軽ã«å®Ÿè£…ã™ã‚‹æ–¹æ³•ã‚’解説ã—ã¾ã™ã€‚ メッセージã‚ューã¨ã¯ã€ãƒ¡ãƒƒã‚»ãƒ¼ã‚¸ã‚’一時的ã«æºœã‚ã¦ãŠãã€é †æ¬¡å‡¦ç†ã™ã‚‹ãŸã‚ã®ä»•çµ„ã¿ã§ã™ã€‚迅速ãªãƒ¬ã‚¹ãƒãƒ³ã‚¹ãŒå¿…è¦ãª Web アプリケーションã«ãŠã„ã¦ã€æ™‚é–“ã®ã‹ã‹ã‚‹å‡¦ç†ã‚’éžåŒæœŸã«è¡Œã†ãŸã‚ã«ã€ãƒãƒƒã‚¯ã‚°ãƒ©ã‚¦ãƒ³ãƒ‰ã§é †æ¬¡å‡¦ç†ã—ã¦ã„ãよã†ãªå ´åˆã«åˆ©ç”¨ã§ãã¾ã™ã€‚ ç°¡å˜ãªãƒ¡ãƒƒã‚»ãƒ¼ã‚¸ã‚ューã¨è¨€ã£ã¦ã‚‚ã€å¤§è¦æ¨¡ãªé‹ç”¨ã«ã‚‚è€ãˆã‚‰ã‚Œã‚‹ç¨‹åº¦ã®é€Ÿåº¦ã¨å …牢性をæŒã¡ã¾ã™ã€‚ ã¾ãŸã€ã“ã“ã§è§£èª¬ã—ã¦ã„る方法ã§ä½œã‚‰ã‚ŒãŸãƒ¡ãƒƒã‚»ãƒ¼ã‚¸ã‚ューã¯ã€å¼Šç¤¾ã‚¦ã‚§ãƒ–サービスã§ã‚るニコニコ動画ã«æœ€è¿‘è¿½åŠ ã•ã‚ŒãŸtwitter連æºæ©Ÿèƒ½ã§ã‚‚利用ã—ã¦ã„ã¾ã™ã€‚ メッセージã‚ューを作るã«ã‚ãŸã£ã¦ 今回実装ã™ã‚‹ãƒ¡ãƒƒã‚»ãƒ¼ã‚¸ã‚ュー㯠メッセージã®è¿½åŠ (push)を高速ã«è¡Œã†äº‹ãŒã§ãã‚‹ メッセージã®å–å¾—(pop)ã¯ã‚る程度高速ã«è¡Œã†äº‹ãŒã§ãã‚‹ 多ãã®ã‚¯ãƒ©ã‚¤ã‚¢ãƒ³ãƒˆã‹ã‚‰åŒæ™‚ã« p
1
ãŠçŸ¥ã‚‰ã›
ランã‚ング
ランã‚ング
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
GitHub - google/leveldb: LevelDB is a fast key-value storage library written at Google that provides an ordered mapping from string keys to string values.
{{#tags}}- {{label}}
{{/tags}}