はてなブックマーク

この記事は クローラー／Webスクレイピング Advent Calendar 2015 の15日目の記事です。 昨日の記事は dimgraycatさんによる とりあえずPHPでWebスクレイピングしてみたい人向けパッケージ - Qiita でした。 happyou.infoというサイトを開発している@shogookamotoと申します。 現在、NASDAQ市場に上場している全企業の公式サイトの更新情報をスクレイピングすることを計画しています。日本株については完了しています(リンク, リンク)。 そのためには、まずどのサイトをスクレイピングすればよいのかを正確に把握しなければなりません。 (1)取扱銘柄そのものはすぐに取得できます。 NASDAQは毎日取扱銘柄の一覧を公開のftp.nasdaqtrader.comにアップロードしています。anonnymousでログインして /SymbolDi

Final ScraperはRSSを出力しないウェブページをパターン解析し、RSSフィードを出力するサービスです。 ようやく安定して動作するようになりましたのでリリースしました。ご利用は無料です。 Happyou Final Scraper 同様のサービスは他にも存在しますが、Final Scraperは独自のパターン認識プログラムによって、作成されるRSSフィードの品質を飛躍的に高めています。 以下の制限事項がございます。 大量のエントリーはブロックさせていただくことがございます。ご希望の場合は別途お問い合わせ下さい。 ログインが必要なページはダウンロードすることが出来ません。 通信先のウェブサイトの設定によってはダウンロード出来ない場合がございます。お相手のウェブサイト様が望まないことは出来ません。 現在、4時間に一度のアクセスを行っています。最大4時間の遅れが生じることがあります。

スクレイピングとは、ウェブページから情報を取り出す処理を指します。そのためのプログラムやツールが存在します。 さて、ここで立場を変えて、情報を取り出されてしまうウェブサイト側の立場になって考えてみますと、スクレイピングはあまりうれしくない存在であることがわかります。 ニュースサイトは、コストと時間をかけて書いた記事をコピーされ転載されてしまう。 オンラインショップは、ライバルの他社に商品リスト、価格、在庫の変化、顧客の評価等を把握されてしまう。 インターネット広告は、自社が出している/仲介している広告の種類と量をライバルに把握されてしまう。 他社の情報は把握したいが、自社の情報は把握されたくないと考えるのは自然なことのようです。その証拠として、スクレイピングの普及に合わせて、自分のサイトがスクレイピングされることを防ぐための「アンチスクレイピングサービス」なるものが世に広まりつつある点を挙