HBase at LINE
1. HBase at LINE ~ How to grow our storage together with service ~ ä¸æ‘ 俊介, Shunsuke Nakamura (LINE, twitter, facebook: sunsuk7tp) NHN Japan Corp. 2. 自己紹介 ä¸æ‘ 俊介 • 2011.10 æ—§ Japanæ–°å’入社 (2012.1ã‹ã‚‰ Japan) • LINE server engineer, storage team • Master of Science@æ±å·¥å¤§é¦–è—¤ç ” • Distributed Processing, Cloud Storage, and NoSQL • MyCassandra [CASSANDRA-2995]: A modular NoSQL with Pluggable Storage Engine based on
ã“ã‚Œã‹ã‚‰ Hadoop ã‚’å¦ã¶äººå‘ã‘èªæ›¸ã‚¬ã‚¤ãƒ‰ - 科å¦ã¨éžç§‘å¦ã®è¿·å®®
ãªã‚“ã ã‹ã‚“ã 㧠Hadoop 周りã®æœ¬ã‚‚çµæ§‹å¢—ãˆã¦ãã¾ã—ãŸã®ã§ä¸‹ã«ã¾ã¨ã‚ã¾ã—ãŸã€‚ 抜ã‘ã¦ã‚‹ã®ã‚‚ã‚ã‚‹ã¨æ€ã†ã®ã§(特ã«å’Œæ›¸)ã€ãªã‚“ã‹ãŠè–¦ã‚ã‚ã‚Šã¾ã—ãŸã‚‰ã‚³ãƒ¡ãƒ³ãƒˆãã ã•ã„ã€‚è¿½åŠ ã—ã¾ã™ã€‚ タイプ別ãŠè–¦ã‚èªæ›¸ã‚³ãƒ¼ã‚¹ çŸæœŸé–“ã§å…¨éƒ¨èªã‚€ã®ã¯ä¸å¯èƒ½ãªã®ã§ã€ã¨ã‚Šã‚ãˆãšç°¡å˜ã«ãŠè–¦ã‚ã®èªæ›¸ã‚³ãƒ¼ã‚¹ã‚’紹介ã—ã¾ã™ã€‚ éžæŠ€è¡“者(å–¶æ¥ã‚„経営者ãªã©) 象本1ç« ã¨å¾¹åº•å…¥é–€1ç« ã ã‘èªã‚“ã©ã‘ã°ã„ã„ã§ã™ã€‚余裕ãŒã‚ã‚Œã°è±¡æœ¬16ç« (ケーススタディ)。èªã‚“ã§ã‚‹æš‡ã‚ã£ãŸã‚‰ãã®äººä»¶è²»ã§æŠ€è¡“者ã«ã„ã„PCè²·ã£ã¦ã‚ã’ã¦ãã ã•ã„。 技術者(共通) 象本èªã¾ãªã„ã¨ã‹ã‚ã‚Šãˆãªã„ã§ã™ã€‚ 別ã«å…¨éƒ¨èªã‚€å¿…è¦ãªã„ã§ã™ãŒã€ã¨ã‚Šã‚ãˆãš 1-10ç« ãらã„ã¯ç›®ã‚’通ã—ã¦ãã ã•ã„。 ãれも時間的ã«é›£ã—ã„ãªã‚‰ã›ã‚ã¦3ç« ã‹4ç« ãらã„ã¾ã§ç›®ã‚’通ã—ã¦ãã ã•ã„。 å¯èƒ½ãªã‚‰å¾¹åº•å…¥é–€ã¨ä¸¦è¡Œã—ã¦èªã‚“ã§ãã ã•ã„。書ãæ–¹ã®åˆ‡ã‚Šå£ãŒé•ã†2ã¤ã®æ›¸ç±ã‚’èªã‚€ã“ã¨ã§ç†è§£ãŒæ·±ã¾ã‚Šã¾ã™ã€‚ Hadoop 技術
HBase
ビッグデータã®ãƒ©ãƒ³ãƒ€ãƒ アクセス系処ç†ã«æ¬ ã‹ã›ãªã„HBaseã«ã¤ã„ã¦ã€åŸºç¤Žã‹ã‚‰å¿œç”¨ã¾ã§ã‚’詳細ã«è§£èª¬ã€‚クライアントAPI（高度ãªæ©Ÿèƒ½ãƒ»ç®¡ç†æ©Ÿèƒ½ï¼‰ã€Hadoopã¨ã®çµåˆã€ã‚¢ãƒ¼ã‚テクãƒãƒ£ã¨ã„ã£ãŸé–‹ç™ºã«é–¢ã‚ã‚‹äº‹é …ã‚„ã€ã‚¯ãƒ©ã‚¹ã‚¿ã®ãƒ¢ãƒ‹ã‚¿ãƒªãƒ³ã‚°ã€ãƒ‘フォーマンスãƒãƒ¥ãƒ¼ãƒ‹ãƒ³ã‚°ã€ç®¡ç†ã¨ã„ã£ãŸé‹ç”¨ã®æ–¹æ³•ã‚’ã€è±Šå¯Œãªã‚µãƒ³ãƒ—ルã¨ã¨ã‚‚ã«è§£èª¬ã—ã¾ã™ã€‚日本語版ã§ã¯AWS Elastic MapReduceã«ã¤ã„ã¦ã®ä»˜éŒ²ã‚’è¿½åŠ ã€‚ãƒ“ãƒƒã‚°ãƒ‡ãƒ¼ã‚¿ã«é–¢å¿ƒã‚ã‚‹ã™ã¹ã¦ã®ã‚¨ãƒ³ã‚¸ãƒ‹ã‚¢ã«å¿…æºã®ä¸€å†Šã§ã™ã€‚ åºæ–‡ 訳者ã¾ãˆãŒã ã¯ã˜ã‚ã« 1ç« ã€€HBaseã®ç´¹ä»‹ 1.1　ビッグデータã®å¤œæ˜Žã‘ 1.2　リレーショナルデータベースシステムã®å•é¡Œ 1.3　éžãƒªãƒ¬ãƒ¼ã‚·ãƒ§ãƒŠãƒ«ãƒ‡ãƒ¼ã‚¿ãƒ™ãƒ¼ã‚¹ã‚·ã‚¹ãƒ†ãƒ ã€Not-Only SQLã‚ã‚‹ã„ã¯NoSQL？ 1.3.1　観点 1.3.2　スケーラビリティ 1.3.3　データベースã®ï¼ˆéžï¼‰æ£è¦åŒ– 1.4　構æˆè¦ç´ 1.4.1　背
ã„ã¾ã•ã‚‰èžã‘ãªã„KVSã®å¸¸è˜ã‚’Hbaseã§èº«ã«ã¤ã‘ã‚‹
ã„ã¾ã•ã‚‰èžã‘ãªã„KVSã®å¸¸è˜ã‚’Hbaseã§èº«ã«ã¤ã‘る：ビッグデータ処ç†ã®å¸¸è˜ã‚’Javaã§èº«ã«ã¤ã‘る（3）（1/3 ページ） Hadoopã‚’ã¯ã˜ã‚ã€Java言語を使ã£ã¦æ§‹ç¯‰ã•ã‚Œã‚‹ã“ã¨ãŒå¤šã„「ビッグデータã€å‡¦ç†ã®ãŸã‚ã®ãƒ•ãƒ¬ãƒ¼ãƒ ワークï¼ãƒ©ã‚¤ãƒ–ラリを紹介ã—ãªãŒã‚‰ã€å¤§é‡ãƒ‡ãƒ¼ã‚¿ã‚’活用ã™ã‚‹ãŸã‚ã®æŠ€è¡“ã®å¸¸è˜ã‚’身ã«ä»˜ã‘ã¦ã„ã連載 ビッグデータã®è¦ï¼ KVSã¨ã¯ä½•ãªã®ã‹ 「KVS（Key-Value Store）ã€ã¨ã¯ã€Key値を指定ã—ã¦Value値ã®æ ¼ç´ã‚„å–å¾—ã‚’è¡Œã†æ–¹å¼ã§ã™ã€‚ãã‚Œã«å¯¾ã—ã¦ã€RDBã§ã¯ã‚ー（プライマリã‚ー）ãŒå¿…é ˆã§ã¯ãªãã€é€†ã«è¤‡æ•°ã®ã‚«ãƒ©ãƒ をセットã—ã¦ã‚ーã«ã™ã‚‹ã“ã¨ã‚‚ã§ãã¾ã™ã€‚ ãƒ†ãƒ¼ãƒ–ãƒ«æ§‹é€ ã ã‘を見れã°ã€KVSã¨RDBã¯ä¼¼ã¦ã„ã¾ã™ã€‚例ãˆã°ã€RDBã§ãƒ—ライマリã‚ーã¨1ã¤ã®BLOBåž‹ã‚’æŒã£ãŸãƒ†ãƒ¼ãƒ–ルを作れã°ã€KVSã¨åŒã˜ã‚ˆã†ãªæ§‹é€ ã«ã‚‚ãªã‚Šã¾ã™ã€‚ã—ã‹ã—ã€RDBã§KVSã®ã¾ãã”ã¨ã‚’ã™ã‚‹ã®ã¨ã€KVSã¨ã—ã¦
20分ã§ã‚ã‹ã‚‹HBase
PyFes 2012.07 ã§ç™ºè¡¨ã—ãŸã¨ãã®ã‚¹ãƒ©ã‚¤ãƒ‰ã§ã™ã€‚ HBaseã®ã‚¢ãƒ¼ã‚テクãƒãƒ£å‘¨ã‚Šã‚’ä¸å¿ƒã«è©±ã—ã¾ã—ãŸRead less
FacebookãŒHBaseを大è¦æ¨¡ãƒªã‚¢ãƒ«ã‚¿ã‚¤ãƒ 処ç†ã«åˆ©ç”¨ã—ã¦ã„ã‚‹ç†ç”±ï¼ˆå‰ç·¨ï¼‰
Facebookã¯å¤§è¦æ¨¡ãªãƒ‡ãƒ¼ã‚¿å‡¦ç†ã®åŸºç›¤ã¨ã—ã¦HBaseを利用ã—ã¦ã„ã¾ã™ã€‚ãªãœFacebookã¯HBaseを用ã„ã¦ã„ã‚‹ã®ã‹ã€ã©ã®ã‚ˆã†ã«åˆ©ç”¨ã—ã¦ã„ã‚‹ã®ã§ã—ょã†ã‹ï¼Ÿ 7月1æ—¥ã«éƒ½å†…ã§è¡Œã‚ã‚ŒãŸå‹‰å¼·ä¼šã§ã€Facebookã®ã‚½ãƒ•ãƒˆã‚¦ã‚§ã‚¢ã‚¨ãƒ³ã‚¸ãƒ‹ã‚¢ã§ã‚るジョナサン・グレイ（Jonathan Gray）æ°ã«ã‚ˆã‚‹è§£èª¬ãŒè¡Œã‚ã‚Œã¾ã—ãŸã€‚ 解説ã¯ã»ã¼ã‚¹ãƒ©ã‚¤ãƒ‰ã®å†…容ãã®ã¾ã¾ã§ã—ãŸã€‚当日使ã‚ã‚ŒãŸæ—¥æœ¬èªžè¨³ã•ã‚ŒãŸã‚¹ãƒ©ã‚¤ãƒ‰ãŒå…¬é–‹ã•ã‚Œã¦ã„ã‚‹ã®ã§ã€ãƒã‚¤ãƒ³ãƒˆã¨ãªã‚‹ãƒšãƒ¼ã‚¸ã‚’紹介ã—ã¾ã—ょã†ã€‚ Realtime Apache Hadoop at Facebook ãªãœãƒªã‚¢ãƒ«ã‚¿ã‚¤ãƒ データã®åˆ†æžã«ã€Hadoop/HBaseを使ã†ã®ã‹ï¼Ÿ MySQLã¯å®‰å®šã—ã¦ã„ã‚‹ãŒã€åˆ†æ•£ã‚·ã‚¹ãƒ†ãƒ ã¨ã—ã¦è¨è¨ˆã•ã‚Œã¦ãŠã‚‰ãšã€ã‚µã‚¤ã‚ºã«ã‚‚上é™ãŒã‚る。一方ã€Hadoopã¯ã‚¹ã‚±ãƒ¼ãƒ©ãƒ–ルã ãŒãƒ—ãƒã‚°ãƒ©ãƒŸãƒ³ã‚°ãŒé›£ã—ãã€ãƒ©ãƒ³ãƒ€ãƒ ãªæ›¸ãè¾¼ã¿ã‚„èªã¿è¾¼ã¿ã«å‘ã„ã¦ã„ãªã„。 Faceb
FacebookãŒHBaseを大è¦æ¨¡ãƒªã‚¢ãƒ«ã‚¿ã‚¤ãƒ 処ç†ã«åˆ©ç”¨ã—ã¦ã„ã‚‹ç†ç”±ï¼ˆå¾Œç·¨ï¼‰
Facebookã¯å¤§è¦æ¨¡ãªãƒ‡ãƒ¼ã‚¿å‡¦ç†ã®åŸºç›¤ã¨ã—ã¦HBaseを利用ã—ã¦ã„ã¾ã™ã€‚ãªãœFacebookã¯HBaseを用ã„ã¦ã„ã‚‹ã®ã‹ã€ã©ã®ã‚ˆã†ã«åˆ©ç”¨ã—ã¦ã„ã‚‹ã®ã§ã—ょã†ã‹ï¼Ÿ 7月1æ—¥ã«éƒ½å†…ã§è¡Œã‚ã‚ŒãŸå‹‰å¼·ä¼šã§ã€Facebookã®ã‚½ãƒ•ãƒˆã‚¦ã‚§ã‚¢ã‚¨ãƒ³ã‚¸ãƒ‹ã‚¢ã§ã‚るジョナサン・グレイ（Jonathan Gray）æ°ã«ã‚ˆã‚‹è§£èª¬ãŒè¡Œã‚ã‚Œã¾ã—ãŸã€‚ ã“ã®è¨˜äº‹ã¯ã€ã€ŒFacebookãŒHBaseを大è¦æ¨¡ãƒªã‚¢ãƒ«ã‚¿ã‚¤ãƒ 処ç†ã«åˆ©ç”¨ã—ã¦ã„ã‚‹ç†ç”±ï¼ˆå‰ç·¨ï¼‰ã€ã®ç¶šãã§ã™ã€‚ 事例1 Titan（Facebookメッセージ） HBaseãŒFacebookã§ã©ã®ã‚ˆã†ãªã‚¢ãƒ—リケï¼ã‚·ãƒ§ãƒ³ã§ä½¿ã‚ã‚Œã¦ã„ã‚‹ã®ã‹ã‚’紹介ã—よã†ã€‚ Facebookã®æ–°ãƒ¡ãƒƒã‚»ãƒ¼ã‚¸æ©Ÿèƒ½ã€‚
1
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
{{#tags}}- {{label}}
{{/tags}}