エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
# はじめに Webスクレイピング、みなさん大好きですよね。私は大好きです。 今回は秒間1~10万リクエス... # はじめに Webスクレイピング、みなさん大好きですよね。私は大好きです。 今回は秒間1~10万リクエストを送る方法をご紹介したいと思います。 だだし注意していただきたい所があります。 過剰なリクエストは相手のサーバーに負担をかけ、最悪訴訟問題となります。 有名なものだとLibrahack事件とも呼ばれる岡崎市立中央図書館事件と言うものがあります。 岡崎市立中央図書館事件 - wikipedia Webスクレイピングの注意事項一覧 また、相手のサーバだけではなく、通信業者(プロバイダ)等から目をつけられる可能性もあります。 最悪の場合通信業界のブラックリストに入り一生ネット契約ができなくなるかもしれません。(存在するかは知りません) それらを考えた上で、スクレイピングを行いましょう。 (もちろん許可取ったり、著作権とかも考えてね!) あくまで技術的にこうすればできるよという知見と考えてく