気に入った記事をブックマーク
- 気に入った記事を保存できます
保存した記事の一覧は、はてなブックマークで確認・編集ができます
- 記事を読んだ感想やメモを書き残せます
- 非公開でブックマークすることもできます
MOONGIFT: » Java製のクローリングシステム「InfoCrawler」:オープンソースを毎日紹介
106 users
www.moongift.jp
www.moongift.jp
www.moongift.jp
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
Webサービスを作る上で、外部のデータを取得して何かしたいといったことは良くある。いや、外部に限った... Webサービスを作る上で、外部のデータを取得して何かしたいといったことは良くある。いや、外部に限ったものではない。ローカルのデータであっても取得して、それを検索したいという要望は良くあるものだ。 ユーザ側の検索画面 そうした時にクローラーを自作したりすると思うのだが、robots.txtの解釈や効率的なクローリング法を習得するのは大変なことだ。そこで試してみたいのがこれだ。 今回紹介するオープンソース・ソフトウェアはInfoCrawler、Java製のWebクローラーだ。 InfoCrawlerは設定項目も数多く、クローリングシステムとして優秀なものになると思われる。複数サーバ設置して分散化もできるようだ。HTMLや画像、各種バイナリ等ファイル種別を指定してクローリングを行うか否かを指定できる。 インデックスするファイルを指定する画面 認証が必要なサーバにも対応し、言語によってフィルタリン
www.moongift.jp
www.moongift.jp
www.moongift.jp
www.moongift.jp
blog.sushi.money
anond.hatelabo.jp
devblog.lac.co.jp
internet.watch.impress.co.jp
togetter.com
togetter.com
note.com/campintheair
ojamimorumoru.com
anond.hatelabo.jp
www.koshikakeol.com
togetter.com
blog.goo.ne.jp/masami-carpe-diem
blog.goo.ne.jp/milky_way23
illcomm.exblog.jp
blog.goo.ne.jp/maikonbu-o-chan
www.google.com
myspace.com
2009/01/15 リンク