AnyEvent + Coro での並行ダウンローダの習作 - 昨日知ったこと

テクノロジーカテゴリーの変更を依頼記事元:

unau.hatenadiary.org

21 usersがブックマークコメント

コメント

0

記事へのコメント0件

注目コメント
新着コメント

新着コメントはまだありません。
このエントリーにコメントしてみましょう。

注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています

規約違反を報告

アプリのスクリーンショット

いまの話題をアプリでチェック！

バナー広告なし
ミュート機能あり
ダークモード搭載

アプリをダウンロード

関連記事

{{ total_bookmarks_with_user_postfix }}{{ root_title }}

AnyEvent + Coro での並行ダウンローダの習作 - 昨日知ったこと

AnyEvent と Coro を使って、WEB から非同期に並行ダウンロードするプログラムの習作を作ってみた。http... AnyEvent と Coro を使って、WEB から非同期に並行ダウンロードするプログラムの習作を作ってみた。http://kaede.to/~canada/doc/wiser-clawer-sample-using-coroをだいぶ参考にさせてもらっている。紹介されている非同期クローラはとてもいいのだが、自分がやろうとしていることを考えると、次の点がちょっと気になった。対象 URI のリストは一千万オーダになるあらかじめメモリ上に列挙しておいていいのだろうか URI の数分のスレッドを起こしていいのだろうか名前解決すると同一 IP アドレスになるホストが少なくない同時リクエスト制限をかけるのはホスト名ではなく IP アドレスがいいのではないだろうかということで、次のような特徴を持つスクリプトを書いてみた。最大同時接続数の制御にはセマフォを使うのではなく、その数 (20 なら

ブックマークしたユーザー

ihiro812010/10/30
masutaro2010/09/21
mainyaa2010/09/21
oinume2010/09/21
starsky52010/07/29
eagletmt2010/07/11
ono_matope2010/04/04
hitsujibane2010/03/09
cubick2010/01/23
YAA2010/01/22
taka2222010/01/21
Chisei2010/01/21
Craftworks2010/01/21
teppeis2010/01/21
otsune2010/01/21
hisaichi55182010/01/18
pmakino2010/01/16
masuni2010/01/15

同じサイトの新着

同じサイトの新着をもっと読む

いま人気の記事

いま人気の記事をもっと読む

いま人気の記事 - テクノロジー

いま人気の記事 - テクノロジーをもっと読む

新着記事 - テクノロジー

新着記事 - テクノロジーをもっと読む

いま人気の記事 - 企業メディア

企業メディアをもっと読む

設定を変更しましたx