Notes of upgrading from CDH4.1 to CDH4.4 | 外é“父ã®åŒ
ã¤ã„ã¤ã„ CDH4.1 ã‹ã‚‰ CDH4.4 ã«ã‚¢ãƒƒãƒ—グレードã—ã¦ã—ã¾ã„ã¾ã—ãŸã®ã§ã€æ‰‹é †ã‚’çœã„ã¦æ³¨æ„点ãªã©ã‚’記ã—ã¦ãŠãã¾ã™ã€‚ 機能的ã«ã¯ What’s New in CDH4.4.0 ã¾ã§è¦‹ã¦ã‚‚メリットよりリスクä¸å®‰ã®æ–¹ãŒé«˜ã„ã®ã§ã™ãŒã€Hadoop新担当者ã®é‹ç”¨é›éŒ¬ã¨ã„ã†åç›®ã§ã‚´ãƒªãƒƒã¨ã‚„ã£ã¦ã‚‚らã£ã¦ã€ç§ã¯ãã®å¾Œã‚ã§ç…½ã£ã¦ã¾ã—ãŸã€‚ æ‰‹é †ã«ã¤ã„㦠How to upgrade from CDH4.0 to CDH4.1 for Debian | 外é“父ã®åŒ ã¨æµã‚Œã¯åŒã˜ã§ã€ ジョブをæ¢ã‚㦠Hadoopã‚’æ¢ã‚㦠アップグレードã—㦠Hiveメタストアを更新ã—㦠å†é–‹ã—ã¦å‹•ä½œç¢ºèªã™ã‚‹ï¼ˆãƒã‚°ä¿å˜ï¼ã‚¸ãƒ§ãƒ–） ã ã‘ãªã®ã§é›£ã—ã„ã“ã¨ã¯ç‰¹ã«ã‚ã‚Šã¾ã›ã‚“。 QJM HAも特ã«ãªã«ã‚‚ãªã‹ã£ãŸã§ã™ã€‚ ãªã®ã§ã€ç´°ã‹ã„メモã ã‘書ã„ã¦ãŠãã¾ã™ã€‚ NameNode WARNãƒã‚° 挙動ã«æ”¯éšœã¯ãªã„ã®ã§ã™ãŒã€èªã¿æ›¸ã両方ã¨ã‚‚ã«
基幹システムをクラウドã¸ã‚ã’ã‚‹ã®ã¯ç°¡å˜ã§ã¯ãªã‹ã£ãŸã€‚ノーãƒãƒ©ã‚¹ãƒ»ãƒ†ã‚¯ãƒŽãƒã‚¸ãƒ¼ã‚ºãŒã‚¯ãƒ©ã‚¦ãƒ‰ã®ç¾å®Ÿã‚’語る（å‰ç·¨ï¼‰
基幹システムをクラウドã¸ã‚ã’ã‚‹ã®ã¯ç°¡å˜ã§ã¯ãªã‹ã£ãŸã€‚ノーãƒãƒ©ã‚¹ãƒ»ãƒ†ã‚¯ãƒŽãƒã‚¸ãƒ¼ã‚ºãŒã‚¯ãƒ©ã‚¦ãƒ‰ã®ç¾å®Ÿã‚’語る（å‰ç·¨ï¼‰ 基幹システムをクラウドã§å®Ÿç¾ã™ã‚‹ã€‚ãã®éŽç¨‹ã§ã©ã®ã‚ˆã†ãªæŠ€è¡“を用ã„ã€ã©ã®ã‚ˆã†ãªè‹¦åŠ´ãŒã‚ã£ãŸã®ã‹ã€‚å°å£²ã‚Šæµé€šæ¥ã§ã‚る西鉄ストアã®åŸºå¹¹ã‚·ã‚¹ãƒ†ãƒ ã‚’Amazonクラウド（以下ã€AWS：Amazon Web Services）ã®ä¸Šã§å®Ÿç¾ã—ãŸãƒŽãƒ¼ãƒãƒ©ã‚¹ãƒ»ãƒ†ã‚¯ãƒŽãƒã‚¸ãƒ¼ã‚ºãŒã€ãã®è©³ç´°ã«ã¤ã„ã¦ç´¹ä»‹ã—ãŸã‚»ãƒŸãƒŠãƒ¼ã‚’5月15æ—¥ã€ã‚¢ãƒžã‚¾ãƒ³ã‚¸ãƒ£ãƒ‘ン本社ã®ã‚»ãƒŸãƒŠãƒ¼ãƒ«ãƒ¼ãƒ ã§é–‹å‚¬ã—ã¾ã—ãŸã€‚ 大è¦æ¨¡ã‚·ã‚¹ãƒ†ãƒ 開発ã®ç¾çŠ¶ã€Hadoopã®å¯èƒ½æ€§ã€ã‚¯ãƒ©ã‚¦ãƒ‰ã®ãƒ¡ãƒªãƒƒãƒˆã¨ãƒ‡ãƒ¡ãƒªãƒƒãƒˆãªã©ã€å‚考ã«ã™ã¹ã多ãã®å†…容ãŒèªžã‚‰ã‚ŒãŸã‚»ãƒŸãƒŠãƒ¼ã§ã—ãŸã€‚ã“ã®è¨˜äº‹ã§ã¯ãã®æ¦‚è¦ã‚’紹介ã—ã¾ã™ã€‚ æ¢ã¾ã£ã¦ã¯ã„ã‘ãªã„基幹システムをクラウド㸠ノーãƒãƒ©ã‚¹ãƒ»ãƒ†ã‚¯ãƒŽãƒã‚¸ãƒ¼ã‚º 代表å–ç· å½¹ç¤¾é•· 神林飛志æ°ï¼ˆå†™çœŸä¸å¤®ï¼‰ã€‚ 西鉄ストア様ã®æœ¬éƒ¨åŸºå¹¹ã‚·ã‚¹ãƒ†ãƒ をクラウドã¸ç§»è¡Œã™ã‚‹
Hiveã®ãƒã‚´ã«ã¤ã„ã¦ã®è±†çŸ¥è˜
hcj2013wãŠç–²ã‚Œæ§˜ã§ã—ãŸã€‚ Ust録画や講演資料ã¯æ®†ã©å…¬é–‹ã•ã‚Œã¦ã„るよã†ã§ã™ã€‚ 特別ä¼ç”»ã¨ã—ã¦ã€NHNã®ãªã‚“ã¨ã‹ãƒ¢ãƒªã‚¹ã•ã‚“ã¨ã„ã†æ–¹ã¨ã€TreasureDataã®ã‚Šã´ãƒ¼ãªã‚“ã¨ã‹ã•ã‚“ã¨ã„ã†æ–¹ãŒClouderaをスãƒãƒ³ã‚µãƒ¼ã«ã¤ã‘ã¦HiveTシャツを作ã£ãŸãã†ã§ã€ç§ã‚‚1ç€ã„ãŸã ãã¾ã—ãŸã€‚懇親会ã§Hiveã®æ„›ã‚’語るã¨æˆ´ã‘ã‚‹ã¨ã„ã†ä½“ã‚’å–ã£ã¦ã„ãŸã®ã§ã™ãŒã€ç§ã¯ã‚ーノートã®å‰ã«æˆ´ã„ã¦ã—ã¾ã£ãŸã®ã§ã€ã“ã“ã§Hiveã®æ„›ã‚’語ã£ã¦ã¿ã‚ˆã†ã¨æ€ã„ã¾ã™ã€‚ ã¾ãšã€HiveãŒã‚モイã‚モイã¨è¨€ã„ã¾ã™ãŒã€ãƒ‡ã‚¶ã‚¤ãƒ³ãƒ‡ãƒ¼ã‚¿ã¯ãã¡ã‚“ã¨ä½œã‚‰ã‚Œã¦ã„ã‚‹ã®ã§ã‚„ã£ã¤ã‘ã§ä½œã£ãŸã‚ˆã†ãªã‚‚ã®ã§ã¯ãªã„ã®ã§ã™ã‚ˆã€‚イラストレーターã®ãƒ•ã‚¡ã‚¤ãƒ«ã‚’見ã¦ã¿ã¾ã—ょã†ã€‚パスã§ãã¡ã‚“ã¨ä½œã‚‰ã‚Œã¦ã„る事ãŒã‚ã‹ã‚Šã¾ã™ã€‚（ã‚ã€ä»¥ä¸‹ã®ç”»åƒã¯CS6ã§ã™ã€‚ã‚リッ） ã¡ãªã¿ã«ã€ã¿ãªã•ã‚“ãŠã‚ã‹ã‚Šã‹ã¨æ€ã„ã¾ã™ãŒã€Hiveã®é¡”ã¯Hadoopã®é¡”ã‚’ãã®ã¾ã¾ä½¿ã£ã¦ã„ã¾ã™ã€‚ ã。Hadoo
Hadoop Conference Japan 2013 Winter ã«ã„ã£ã¦ããŸï¼†ã—ゃã¹ã£ã¦ã㟠- ãŸã”ã‚‚ã‚Šã™ãƒ¡ãƒ¢
Hadoopã«ã¤ã„ã¦ã®ã‚¤ãƒ™ãƒ³ãƒˆãŒã‚ã£ãŸã®ã§ã„ã£ã¦ããŸã€‚ãªã‚“ã¨æ±äº¬ãƒ“ãƒƒã‚°ã‚µã‚¤ãƒˆï¼ ã‚½ãƒ•ãƒˆã‚¦ã‚§ã‚¢ã®ãƒ¦ãƒ¼ã‚¶ä¼šä¸»å‚¬ã®ã‚¤ãƒ™ãƒ³ãƒˆã§æ±äº¬ãƒ“ッグサイトã¨ã‹ã™ã”ã™ãŽã‚‹*1。主催ã®æ–¹ã€…ã¯ãŠç–²ã‚Œã•ã¾ã§ã—ãŸã€‚ http://hcj2013w.eventbrite.com/ ã—ゃã¹ã£ã¦ã㟠Log analysis with Hadoop in livedoor 2013 from SATOSHI TAGOMORI Ust録画ãŒã“ã¡ã‚‰: http://www.ustream.tv/recorded/28693167 今回ã¯ç™ºè¡¨ã¯å…¬å‹Ÿã ã£ãŸã®ã§æ€ã‚ãšç”³ã—込んã§ã—ã¾ã£ã¦ã„ãŸã‚‰é€šã£ãŸã€‚ã®ã§ã€è‡ªåˆ†ãŒã¤ãã£ã¦ã„るアクセスãƒã‚°é›†è¨ˆã‚·ã‚¹ãƒ†ãƒ ã®å…¨ä½“åƒã«ã¤ã„ã¦ã€åˆæœŸã®æ§‹é€ ã‹ã‚‰ç¾åœ¨ã®çŠ¶æ…‹ã¾ã§ã®å¤‰åŒ–を俯瞰ã™ã‚‹å½¢ã§è§£èª¬ã—ã¦ã¿ãŸã€‚ã‚ã‚Œã“ã‚Œé †ç•ªã«æ‰‹ã‚’入れãªãŒã‚‰ç¾åœ¨ã®çŠ¶æ…‹ã«ã—ã¦ã„ã£ãŸã‚“ã ã‘ã©ã€ãã“ã«ã©ã‚“ãªç†ç”±ãŒã‚ã£ãŸã®ã‹ã€ã©ã‚“ãªæ–¹é‡ã§ã‚„ã£ã¦ã„ãŸ
世界åˆï¼ Hadoopã¨ã®é€£æºã‚’実ç¾ã—ãŸCOBOL「NetCOBOL V10.5ã€ã‚’販売開始 : 富士通
PRESS RELEASE 2012å¹´12月5æ—¥ å¯Œå£«é€šæ ªå¼ä¼šç¤¾ 世界åˆï¼ Hadoopã¨ã®é€£æºã‚’実ç¾ã—ãŸCOBOL「NetCOBOL V10.5ã€ã‚’販売開始 並列分散処ç†ã«ã‚ˆã‚Šã€ãƒãƒƒãƒå‡¦ç†æ™‚間を従æ¥ã®ç´„18分ã®1ã«çŸç¸® 当社ã¯ã€COBOLãƒãƒƒãƒã‚¢ãƒ—リケーションをApache Hadoop（注1）ã§ä¸¦åˆ—分散処ç†ã—ã€ãƒãƒƒãƒå‡¦ç†æ™‚間を大幅ã«çŸç¸®ã™ã‚‹æ©Ÿèƒ½ã‚’è¿½åŠ ã—ãŸCOBOL開発・é‹ç”¨ã‚½ãƒ•ãƒˆã‚¦ã‚§ã‚¢ã€ŒNetCOBOL V10.5ã€ã‚’ã€æœ¬æ—¥ã‚ˆã‚Šè²©å£²ã—ã¾ã™ã€‚ 本製å“ã¯ã€Hadoopã¨ã®é€£æºã‚’実ç¾ã—ãŸä¸–ç•Œåˆï¼ˆæ³¨2）ã®COBOL開発・é‹ç”¨ã‚½ãƒ•ãƒˆã‚¦ã‚§ã‚¢ã§ã™ã€‚「NetCOBOLã€ã§é–‹ç™ºã—ãŸãƒãƒƒãƒã‚¢ãƒ—リケーションや他社ã®COBOLã§é–‹ç™ºã•ã‚ŒãŸãƒãƒƒãƒã‚¢ãƒ—リケーションをã€å†ã‚³ãƒ³ãƒ‘イルã«ã‚ˆã‚ŠHadoopã§ä¸¦åˆ—分散処ç†ã§ãã‚‹ãŸã‚ã€ãŠå®¢æ§˜ã¯æ—¢å˜ã®COBOLデータやアプリケーションã«æ‰‹ã‚’åŠ ãˆã‚‹ã“ã¨ãªãã€ãƒãƒƒãƒå‡¦ç†æ™‚間を大幅ã«
Hadoop SecondaryNameNodeã®ãƒ¡ãƒ¢ãƒªä¸è¶³ã‚¨ãƒ©ãƒ¼ | 外é“父ã®åŒ
少々å¯æ„›ãŒã‚Šæ–¹ãŒè¶³ã‚Šãªã‹ã£ãŸã®ã‹ã€SecondaryNameNodeã§ãƒ¡ãƒ¢ãƒªä¸è¶³ãŒç™ºç”Ÿã—ã¦ã€æ©Ÿèƒ½ãŒåœæ¢ã—ã¦ã—ã¾ã„ã¾ã—ãŸã€‚ ãã®éš›ã®èª¿æŸ»ã‚„修復ã®è¨˜éŒ²ã«ãªã‚Šã¾ã™ã€‚ SecondaryNameNodeã®ãŠã•ã‚‰ã„ SNNã®æ©Ÿèƒ½ã‚’復習ã™ã‚‹ã¨ã“ã‚“ãªæ„Ÿã˜ã€‚ SNNãŒå®šæœŸçš„ã«NameNodeã‹ã‚‰fsimageã¨editsãƒã‚°ã‚’å–å¾—ã™ã‚‹ SNNã§fsimageã«editsã‚’é©ç”¨ã™ã‚‹ NameNodeã«fsimageã‚’é€ã‚Šè¿”ã™ NameNodeã¨SNNã«ãƒ‡ãƒ•ã‚©ã§2世代分ã®fsimageãŒæ®‹ã‚‹ NameNodeã®edits_inprogressãŒeditsã«ãƒãƒ¼ãƒ†ãƒ¼ãƒˆã•ã‚Œã¦æ–°ã—ã„edits_inprogressãŒå§‹ã¾ã‚‹ 障害内容 ç¾è±¡ SNN起動時ã¯æ£å¸¸ã«fsimageã‚’é€ã‚Šè¿”ã—ã¦ã‚‹ã‚ˆã†ã«è¦‹ãˆã‚‹ period秒後ã®2回目以é™ã¯NameNodeã«æŽ¥ç¶šã—よã†ã¨ã™ã‚‰ã—ãªã„ SNN管ç†ç”»é¢ http://localho
1
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
Hadoop Conference Japan 2014
ApacheãŒGoogleã®ãƒªã‚¢ãƒ«ã‚¿ã‚¤ãƒ ビッグデータツールDremelã®ã‚ªãƒ¼ãƒ—ンソースクãƒãƒ¼ãƒ³Drillã‚’
{{#tags}}- {{label}}
{{/tags}}