気に入った記事をブックマーク
- 気に入った記事を保存できます
保存した記事の一覧は、はてなブックマークで確認・編集ができます
- 記事を読んだ感想やメモを書き残せます
- 非公開でブックマークすることもできます
YappoLogs: Xangoというクロウラーフレームワークを使ってみる
87 users
blog.yappo.jp
blog.yappo.jp
blog.yappo.jp
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
Xangoというクロウラーフレームワークを使ってみる Xango XangoはPerlで書かれた汎用クローラーフレーム... Xangoというクロウラーフレームワークを使ってみる Xango XangoはPerlで書かれた汎用クローラーフレームワークです。 イベント型フレームワークPOEを使用することにより高速なクローリングが可能です。 実装にもよりますが、単一プロセス内でインデックシングや文字コードの変換等の処理を 同時に行うアプリケーションでも１秒に５～８ URL、１時間で 18000 ~ 22000 URLの処理が行えます。 ドキュメントはperldocのみっぽいので、日本語の情報を残す意味で使い方のメモをば。 相当端折って書いてます。 Xangoを使ったクロウラーを書くには、制御用のにPOEセッションを作る必要があります。 Xangoを制御するためのモジュールを適当な名前で作っておくのがスマートかと思います。 とりあえずセッション作成を行う処理を書きます sub spawn { my $class = s
blog.yappo.jp
blog.yappo.jp
blog.yappo.jp
blog.yappo.jp
news.yahoo.co.jp
togetter.com
www.gizmodo.jp
zenn.dev/ataka
anond.hatelabo.jp
togetter.com
www.fashionsnap.com
togetter.com
soredoko.jp
kemono-mizkan.com
lantian.kir.jp
manabekawori.cocolog-nifty.com
2008/07/13 リンク