Twitter本文ã¨è¨€åŠURLã®åœ§ç¸® - kaisehã®ãƒ–ãƒã‚°æœ€è¿‘ã€Twitterã®ãƒ‡ãƒ¼ã‚¿ã‚’åŽé›†ã—ã¦ã„ã¾ã™ã€‚APIã§å–å¾—ã—ãŸtweet本文やã€ãã“ã‹ã‚‰æŠ½å‡ºã—ãŸURLを片ã£ç«¯ã‹ã‚‰DBã«ä¿å˜ã—ã¦ã„ãã¨ä»¶æ•°ãŒèŽ«å¤§ã«ãªã‚‹ã®ã§ã€ãƒ‡ã‚£ã‚¹ã‚¯ã‚¹ãƒšãƒ¼ã‚¹ã‚’極力節約ã—ãŸã„ã¨ã“ã‚ã§ã™ãŒã€å€‹åˆ¥ã®tweet本文や言åŠURLã¯çŸã„æ–‡å—列ãªã®ã§ã€æ™®é€šã«1件ãšã¤gzipç‰ã§åœ§ç¸®ã—ã¦ã‚‚ã»ã¨ã‚“ã©æ„味ãŒãªã„ã‹ã€ã‚ªãƒ¼ãƒãƒ¼ãƒ˜ãƒƒãƒ‰ãŒå‡ºã¦é€†åŠ¹æžœã«ãªã£ã¦ã—ã¾ã„ã¾ã™ã€‚ ãã“ã§ã€åŽé›†æ¸ˆã¿ã®ã‚µãƒ³ãƒ—ルデータを元ã«ãƒãƒ•ãƒžãƒ³æœ¨ã‚’作ã£ã¦ãŠãã€ãれを共通利用ã—ã¦tweetを圧縮ã—ã¦ã¿ã¾ã—ãŸã€‚ 用æ„ã—ãŸã®ã¯ã€è‹±èªžãƒ¦ãƒ¼ã‚¶/日本語ユーザ/韓国語ユーザå„1000人ã®tweetサンプルをベースã«ã—ãŸãƒãƒ•ãƒžãƒ³ç¬¦å·ã¨ã€tweet本文ã‹ã‚‰æŠ½å‡ºã—ãŸURLæ–‡å—列をベースã«ã—ãŸãƒãƒ•ãƒžãƒ³ç¬¦å·ã®4種類ã§ã™ã€‚ é »åº¦è¡¨ã¯æ¬¡ã®ã‚ˆã†ã«ãªã‚Šã¾ã—ãŸã€‚ char (en) freq (en) char (ja) freq (ja) char (ko) f
http://compression.ca/pbzip2/
データ圧縮ã®åŸºç¤Ž
{{#tags}}- {{label}}
{{/tags}}