図書館クロール補足 - 最速転職研究会

暮らしカテゴリーの変更を依頼記事元:

mala.hatenadiary.org

98 usersがブックマークコメント

コメント

13

記事へのコメント13件

注目コメント
新着コメント

注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています

規約違反を報告

アプリのスクリーンショット

いまの話題をアプリでチェック！

バナー広告なし
ミュート機能あり
ダークモード搭載

アプリをダウンロード

関連記事

{{ total_bookmarks_with_user_postfix }}{{ root_title }}

図書館クロール補足 - 最速転職研究会

なんか技術的におかしなことを言っている人がいたら追記していくかも知れません。クロール頻度が妥当か... なんか技術的におかしなことを言っている人がいたら追記していくかも知れません。クロール頻度が妥当かどうかの話ウェブサーバーはマルチスレッド、マルチプロセスなどで複数のリクエストを同時に処理できるようになっているのが一般的であるため「前回のリクエストが完了してから、次のリクエストを投げる」実装になっている限りは「サーバーの性能を100%使いきって他の利用者が利用できない状態」になることは、通常起きません。例外的なケースもあります。ウェブサーバーがリクエスト完了後に何らかの処理を行うような実装になっていて、リクエストのペースによっては処理が溜まっていって追いつかなくなる。ロードバランサ、リバースプロキシを使ったフロントエンド/バックエンドの構成になっているサーバーで、フロントエンドがタイムアウトと判断して早々にエラーを返したが実際はバックエンドで処理が続いている。例えば1秒で処理が終

ブックマークしたユーザー

hisong2012/02/21
secseek2011/09/08
heis1012011/08/20
tpdn2011/08/12
a2ikm2010/12/14
sea_shell2010/12/09
ocs2010/09/13
swimy11132010/09/01
matsuokahajime2010/08/25
Cherenkov2010/08/20
hokaccha2010/07/31
retlet2010/07/28
progd2010/07/19
minodisk2010/07/14
HeavyFeather2010/07/13
TokyoIncidents2010/07/13
yutamoty2010/07/13
nekokak2010/07/13

同じサイトの新着

同じサイトの新着をもっと読む

いま人気の記事

いま人気の記事をもっと読む

いま人気の記事 - 暮らし

いま人気の記事 - 暮らしをもっと読む

新着記事 - 暮らし

新着記事 - 暮らしをもっと読む

設定を変更しましたx