Xango::Manual::Intro
NAME Xango::Manual::Intro - Learn How To Write Crawlers With Xango DECIDE ON BROKER TYPE There are two types of Xango::Broker -- the "pull" and "push" types. The "pull" crawler is implemented as Xango::Broker::Pull, and the "push" is implemented as Xango::Broker::Push. Xango::Broker::Pull crawler periodically "pulls" the jobs that needs to be processed. Xango::Broker::Push crawler waits for jobs t
Xangoã®ã‚µãƒ³ãƒ—ルスクリプト - odz buffer
昨日ã®ã‚¨ãƒ³ãƒˆãƒªã«è»½ãブックマークãŒä»˜ã„ã¦ã„るよã†ãªã®ã§ã€ã‚µãƒ³ãƒ—ルスクリプトをã•ã‚‰ã—ã¦ãŠã。 サンプルã®å‰²ã‚Šã«ä¾å˜ãƒ©ã‚¤ãƒ–ラリãŒå¤šã„ã¨ã‹ã€ã‚„ãŸã‚‰é•·ã„ã¨ã‹ã¯ã¾ã勘å¼ã€‚ã¨ã‚Šã‚ãˆãš Xango::Broker::Push ã®ã»ã†ã‚’。 #!/usr/bin/env perl #sub Xango::DEBUG { 1 } package MyHandler; use strict; use warnings; use POE; use Readonly; use HTML::LinkExtractor; use Encode; require Encode::Detect; Readonly::Scalar my $MAX_DEPTH => 5; Readonly::Scalar my $MAX_REDIRECT => 5; sub spawn { my $class = shift; my $sel
YappoLogs: Xangoã¨ã„ã†ã‚¯ãƒã‚¦ãƒ©ãƒ¼ãƒ•ãƒ¬ãƒ¼ãƒ ワークを使ã£ã¦ã¿ã‚‹
Xangoã¨ã„ã†ã‚¯ãƒã‚¦ãƒ©ãƒ¼ãƒ•ãƒ¬ãƒ¼ãƒ ワークを使ã£ã¦ã¿ã‚‹ Xango Xangoã¯Perlã§æ›¸ã‹ã‚ŒãŸæ±Žç”¨ã‚¯ãƒãƒ¼ãƒ©ãƒ¼ãƒ•ãƒ¬ãƒ¼ãƒ ワークã§ã™ã€‚ イベント型フレームワークPOEを使用ã™ã‚‹ã“ã¨ã«ã‚ˆã‚Šé«˜é€Ÿãªã‚¯ãƒãƒ¼ãƒªãƒ³ã‚°ãŒå¯èƒ½ã§ã™ã€‚ 実装ã«ã‚‚よりã¾ã™ãŒã€å˜ä¸€ãƒ—ãƒã‚»ã‚¹å†…ã§ã‚¤ãƒ³ãƒ‡ãƒƒã‚¯ã‚·ãƒ³ã‚°ã‚„æ–‡å—コードã®å¤‰æ›ç‰ã®å‡¦ç†ã‚’ åŒæ™‚ã«è¡Œã†ã‚¢ãƒ—リケーションã§ã‚‚１秒ã«ï¼•ï½žï¼˜ URLã€ï¼‘時間㧠18000 ~ 22000 URLã®å‡¦ç†ãŒè¡Œãˆã¾ã™ã€‚ ドã‚ュメントã¯perldocã®ã¿ã£ã½ã„ã®ã§ã€æ—¥æœ¬èªžã®æƒ…å ±ã‚’æ®‹ã™æ„味ã§ä½¿ã„æ–¹ã®ãƒ¡ãƒ¢ã‚’ã°ã€‚ 相当端折ã£ã¦æ›¸ã„ã¦ã¾ã™ã€‚ Xangoを使ã£ãŸã‚¯ãƒã‚¦ãƒ©ãƒ¼ã‚’書ãã«ã¯ã€åˆ¶å¾¡ç”¨ã®ã«POEセッションを作る必è¦ãŒã‚ã‚Šã¾ã™ã€‚ Xangoを制御ã™ã‚‹ãŸã‚ã®ãƒ¢ã‚¸ãƒ¥ãƒ¼ãƒ«ã‚’é©å½“ãªåå‰ã§ä½œã£ã¦ãŠãã®ãŒã‚¹ãƒžãƒ¼ãƒˆã‹ã¨æ€ã„ã¾ã™ã€‚ ã¨ã‚Šã‚ãˆãšã‚»ãƒƒã‚·ãƒ§ãƒ³ä½œæˆã‚’è¡Œã†å‡¦ç†ã‚’書ãã¾ã™ sub spawn { my $class = s
1
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
処ç†ã‚’実行ä¸ã§ã™
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
http://tasuku.suenaga.name/archives/2005/08/xangobrokerperl.html
{{#tags}}- {{label}}
{{/tags}}