分割å¯èƒ½ãªLZO圧縮をhadoopã§ä½¿ã†
Twitterã§ã¯åŸºæœ¬çš„ã«ãƒ•ã‚¡ã‚¤ãƒ«ã¯LZO圧縮ã—ã¦ã„るよã†ã§ï¼Œ 3,4å€ã®ã‚¹ãƒˆãƒ¬ãƒ¼ã‚¸ã®ç¯€ç´„ 分割å¯èƒ½ CPUã¯å°‘ã—ã—ã‹ä½¿ã‚ãªã„ IOãƒã‚¦ãƒ³ãƒ‰ã®ã‚¸ãƒ§ãƒ–ã¯3,4å€ã®æ€§èƒ½å‘上 ãªã©ã®ãƒ¡ãƒªãƒƒãƒˆãŒã‚ã‚‹ã¨è¨€ã£ã¦ã„ã¾ã™ï¼Žã“ã‚Œã¯ä½¿ã‚ãªã„手ã¯ãªã„ã¨ã„ã†ã“ã¨ã§è©¦ã—ã¦ã¿ã¾ã—ãŸï¼Ž clouderaã®ã“ã®ãƒ–ãƒã‚°è¨˜äº‹ã‚’å‚考ã«ã—ã¦é€²ã‚ã¾ã™ï¼Ž code.google.com/p/hadoop-gpl-compressionã‚‚ã‚ã‚Šã¾ã™ãŒï¼ŒTwitterãŒå…¬é–‹ã—ã¦ã„る分割å¯èƒ½ãªã®ã‚’使ã„ã¾ã™ï¼Ž http://github.com/kevinweil/hadoop-lzo 今回ã®ç’°å¢ƒã¯clouderaã®amiをベースã«ã—ã¾ã—ãŸï¼Ž cloudera-ec2-hadoop-images/cloudera-hadoop-fedora-20090623-x86_64 ami-2359bf4 CDH3ã§ï¼Œhadopoã®ãƒãƒ¼ã‚¸ãƒ§ãƒ³ã¯
LZO圧縮ã¯é€Ÿã„ - maachangã®æ—¥è¨˜
最近圧縮ファイルã®é€Ÿåº¦ã«ã¤ã„ã¦æ°—ã«ãªã‚‹ã®ã§ã€ã„ã‚ã„ã‚調ã¹ã¦ã¿ã‚‹ã¨ã€åœ§ç¸®çŽ‡ã¯ä½Žã„ãŒã€é€Ÿåº¦ã¯çˆ†é€Ÿã ã¨è¨€ã‚ã‚Œã¦ã„ã‚‹LZOã¨è¨€ã†ã®ãŒã‚ã‚‹ã¿ãŸã„ã 。 HTTPã®åœ§ç¸®ã«ã‚‚使ã‚ã‚Œã¦ã„ã‚‹GZIPã¯çµæ§‹ã‚ªãƒ¼ãƒãƒ¼ãƒ˜ãƒƒãƒ‰å°ã•ã„ã¨æ€ã£ã¦ã„ãŸã®ã ãŒã€å®Ÿéš›ã«LZOã‚’Javaã®JNI経由ã§å‘¼ã³å‡ºã™Java実装をSeabassNativeIOã«è¿½åŠ ã—ã¦ã€ãã‚Œãžã‚Œã®é€Ÿåº¦ã‚’é‡ã£ã¦ã¿ã‚‹ã€‚ ã¡ãªã¿ã«GZIP圧縮解å‡ã¯ã€java.util.zip.GZIPInputStream,java.util.zip.GZIPOutputStreamã§å‡¦ç†ã™ã‚‹ã€‚ ã“れらをãã‚Œãžã‚Œã€java.io.ByteArrayInputStream,java.io.ByteArrayOutputSteamã‚’ã‹ã¾ã—ã¦å‡¦ç†ã™ã‚‹ã€‚ private static final int LEN = 20 ; /** * @param args */ public s
1
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
処ç†ã‚’実行ä¸ã§ã™
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
Impalaã®æŒ™å‹•åŠã³ãã®ãƒˆãƒ©ãƒ–ルシューティングã«ã¤ã„㦠- Google グループ
{{#tags}}- {{label}}
{{/tags}}