mixi Engineers’ Blog » æ–°RSS Crawlerã®è£å´
ã“ã®ãƒ–ãƒã‚°ã§ã¯åˆã‚ã¾ã—ã¦ã®é•·é‡Žé›…広(kazeburo)ã§ã™ã€‚mixi開発部・é‹ç”¨ã‚°ãƒ«ãƒ¼ãƒ—ã§ã‚¢ãƒ—リケーションã®é‹ç”¨ã‚’担当ã—ã¦ã„ã¾ã™ã€‚ 12月12日よりmixiã®RSSã®CrawlerãŒæ”¹å–„ã•ã‚Œã€å¤–部ブãƒã‚°ã®åæ˜ ãŒä»Šã¾ã§ã¨æ¯”ã¹æ ¼æ®µã«ã¯ã‚„ããªã£ã¦ã„ã‚‹ã®ã«æ°—付ã‹ã‚ŒãŸæ–¹ã‚‚多ã„ã‹ã¨æ€ã„ã¾ã™ã€‚ã“ã®æ”¹å–„ã•ã‚ŒãŸRSS Crawlerã®è£å´ã«ã¤ã„ã¦æ›¸ããŸã„ã¨æ€ã„ã¾ã™ 以å‰ã®Crawlerã«ã¤ã„㦠以å‰ã®Crawler㯠cronã‹ã‚‰brokerã¨å‘¼ã°ã‚Œã‚‹ãƒ—ãƒã‚°ãƒ©ãƒ ã‚’èµ·å‹• brokerã¯member DBã‹ã‚‰å…¨ä»¶ã€idã‚’incrementã—ãªãŒã‚‰å–å¾—ã—ã€å¤–部ブãƒã‚°ãŒè¨å®šã•ã‚Œã¦ã„ã‚Œã°crawlerã‚’èµ·å‹•(fork) crawlerã¯RSSã‚’å–å¾—ã—DBã«æ ¼ç´ã—ã¦çµ‚了 ã“ã®ã‚ˆã†ãªè¨è¨ˆã«ãªã£ã¦ã„ã¾ã—ãŸã€‚ ã“ã®è¨è¨ˆã®å•é¡Œã¨ã—ã¦ã€member DBを全件走査ã™ã‚‹ã¨ã„ã†ç„¡é§„ãªå‹•ä½œã¨ã€ä¸€ä»¶ä¸€ä»¶crawlerã‚’èµ·å‹•ã™ã‚‹ãŸã‚オーãƒ
YappoLogs: Xangoã¨ã„ã†ã‚¯ãƒã‚¦ãƒ©ãƒ¼ãƒ•ãƒ¬ãƒ¼ãƒ ワークを使ã£ã¦ã¿ã‚‹
Xangoã¨ã„ã†ã‚¯ãƒã‚¦ãƒ©ãƒ¼ãƒ•ãƒ¬ãƒ¼ãƒ ワークを使ã£ã¦ã¿ã‚‹ Xango Xangoã¯Perlã§æ›¸ã‹ã‚ŒãŸæ±Žç”¨ã‚¯ãƒãƒ¼ãƒ©ãƒ¼ãƒ•ãƒ¬ãƒ¼ãƒ ワークã§ã™ã€‚ イベント型フレームワークPOEを使用ã™ã‚‹ã“ã¨ã«ã‚ˆã‚Šé«˜é€Ÿãªã‚¯ãƒãƒ¼ãƒªãƒ³ã‚°ãŒå¯èƒ½ã§ã™ã€‚ 実装ã«ã‚‚よりã¾ã™ãŒã€å˜ä¸€ãƒ—ãƒã‚»ã‚¹å†…ã§ã‚¤ãƒ³ãƒ‡ãƒƒã‚¯ã‚·ãƒ³ã‚°ã‚„æ–‡å—コードã®å¤‰æ›ç‰ã®å‡¦ç†ã‚’ åŒæ™‚ã«è¡Œã†ã‚¢ãƒ—リケーションã§ã‚‚１秒ã«ï¼•ï½žï¼˜ URLã€ï¼‘時間㧠18000 ~ 22000 URLã®å‡¦ç†ãŒè¡Œãˆã¾ã™ã€‚ ドã‚ュメントã¯perldocã®ã¿ã£ã½ã„ã®ã§ã€æ—¥æœ¬èªžã®æƒ…å ±ã‚’æ®‹ã™æ„味ã§ä½¿ã„æ–¹ã®ãƒ¡ãƒ¢ã‚’ã°ã€‚ 相当端折ã£ã¦æ›¸ã„ã¦ã¾ã™ã€‚ Xangoを使ã£ãŸã‚¯ãƒã‚¦ãƒ©ãƒ¼ã‚’書ãã«ã¯ã€åˆ¶å¾¡ç”¨ã®ã«POEセッションを作る必è¦ãŒã‚ã‚Šã¾ã™ã€‚ Xangoを制御ã™ã‚‹ãŸã‚ã®ãƒ¢ã‚¸ãƒ¥ãƒ¼ãƒ«ã‚’é©å½“ãªåå‰ã§ä½œã£ã¦ãŠãã®ãŒã‚¹ãƒžãƒ¼ãƒˆã‹ã¨æ€ã„ã¾ã™ã€‚ ã¨ã‚Šã‚ãˆãšã‚»ãƒƒã‚·ãƒ§ãƒ³ä½œæˆã‚’è¡Œã†å‡¦ç†ã‚’書ãã¾ã™ sub spawn { my $class = s
1
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
https://labs.cybozu.co.jp/blog/kazuho/archives/2008/04/q4m_crawler.php
https://labs.cybozu.co.jp/blog/kazuho/archives/2007/04/gungho.php
Google Code Archive - Long-term storage for Google Code Project Hosting.
http://dev.razil.jp/project/xango/
{{#tags}}- {{label}}
{{/tags}}