Web ページからデータを抽出してデータベースに突っ込むことに性的興奮を覚えるみなさん、 ScraperWiki 使うとキモチイイですよ。以上です。 そうではないみなさんには少々の説明が必要かと思いますので少々書きます。 ScraperWiki はスクレーパ（Web ページをスクレイピングするスクリプト）とスクレイピングで得られたデータを共有しようぜっという Web サービスです。Wiki と名が付いていますが Wiki っぽいページ構成になってるわけではなく、スクレーパやデータを誰でも編集できるようにして成果を共有するという理念が Wiki と共通しているのが由来みたいです。 ScraperWiki を使うとスクレーパを作るのがラクになります： Web ベースのエディタでスクレーパを書き、その場で実行できる PHP、 Python または Ruby が使える（HTML パーサなどのモジュ

音声配信業界のニュースまとめ👇👇👇 無料ニュースレターを購読する Yoshihiko Yoshida フリーIT講師。「マツコの知らない世界」「王様のブランチ」「ZIP」などTV出演多数。教育システム情報学会会員。元立教大学/第等文化大学非常勤講師。主な著書「Googleアナリティクス基礎講座」（技術評論社）。 ＞＞もっと読む @creator_enewsをフォロー ＜＜お問い合わせはこちら＞＞ ・プライバシーについて 当ブログではGoogleアナリティクスとcookieを用い、個人を特定しない範囲でアクセス状況を記録しています。Google側ではその情報をGoogleアカウントと紐付けパーソナライズ広告に利用しています。その情報は取り扱いに注意しつつ、内容充実や企画立案など、皆様のお役に立てるよう活用しています。 パーソナライズド設定をオフにするには、Google公式ページを御覧く

なんか技術的におかしなことを言っている人がいたら追記していくかも知れません。 クロール頻度が妥当かどうかの話 ウェブサーバーはマルチスレッド、マルチプロセスなどで複数のリクエストを同時に処理できるようになっているのが一般的であるため「前回のリクエストが完了してから、次のリクエストを投げる」実装になっている限りは「サーバーの性能を100%使いきって他の利用者が利用できない状態」になることは、通常起きません。 例外的なケースもあります。 ウェブサーバーがリクエスト完了後に何らかの処理を行うような実装になっていて、リクエストのペースによっては処理が溜まっていって追いつかなくなる。 ロードバランサ、リバースプロキシを使ったフロントエンド/バックエンドの構成になっているサーバーで、フロントエンドがタイムアウトと判断して早々にエラーを返したが実際はバックエンドで処理が続いている。 例えば1秒で処理が終

こんにちは、趣味や業務で大手ポータルサイトのサービスで稼働しているいくつかのクローラの開発とメンテナンスを行っているmalaです。 さて先日、岡崎市立中央図書館Webサイトをクロールしていた人が逮捕、勾留、実名報道されるという事件がありました。 関連URL: http://librahack.jp/ 電話してみた的な話 http://www.nantoka.com/~kei/diary/?20100622S1 http://blog.rocaz.net/2010/06/945.html http://blog.rocaz.net/2010/07/951.html この件につきまして法的なことはともかくとして技術者視点での私見を書きたいと思います。法的なことは差し置いて書きますが、それは法的なことを軽んじているわけではなく、法律の制定やら運用やらは、その法律によって影響が出る全ての人々の常識

livedoor ReaderのクローラとStreaming APIなどの話 - Download as a PDF or view online for free

Googlebotが見ている内容を表示する「Fetch as Googlebot」追加 - Google Webmaster Tool Googlebot（グーグルボット）が取得したページ情報をそのまま表示する「Fetch as Googlebot」追加。ウェブマスターツールから利用可能に。 公開日時：2009年10月13日 10:51 米Googleは2009年10月12日、サイト管理者向けツール「Google Webmaster Tool」の新機能として、クローラ（Googlebot）がウェブページにアクセスした時に見ている情報を表示する「Fetch as Googlebot」機能を追加した。同機能はLab項目内（ウェブマスター ツール Labs ）に実験的な機能をテストする目的で提供しており、随時変更、中断、提供中止される可能性がある。 Fetch as Googlebot はURL

1日最大20億ページのクローリングを安価に実現！『80legs』 September 28th, 2009 Posted in 便利ツール（ウェブ） Write comment サービスの開発上、大量のウェブページのクローリングが必要な場合もある（お行儀良くやりましょうね）。 通常、そうしたクローリングには別途マシンを割り当ててがしがし処理をまわすのだが、あまりに膨大な量のクローリングをする必要がある場合、いろいろとコストがかかってしまう。 そこで「クローリングならうちに任せて！」と声を上げたのが80legsだ。 なんと5万台のマシンを使い、最大20億ページ/日のクローリングが可能だという。しかもデータセンターやクラウドを使うよりぐっと安価ときている。なおかつ、使い方も簡単で、どんなクローリングをしたいかをフォームで申し込むだけらしい。 クローリングという実にニッチなサービスではあるが、必

まだピクミン2をクリアしてないのでケジメ的に新作ゲームを買えないmikioです。今回は、Tokyo Cabinetを使って激烈簡単に特定サイトの専用の検索機能を設置する方法について説明します。クローリングから検索までを10分くらいの作業で可能にします。 特定サイトの検索エンジン Web全体の検索機能を作るのは、途方もない技術力と設備を持っているGoogleやMicrosoftなどのビッグプレーヤでないと難しいのが現実です。でも、自分が気に入っているいくつかのサイトを対象とした検索エンジンを作るのであれば個人だってできます。また、インターネットから手が届かないイントラネットのコンテンツの検索機能は自分達で手がけないと構築できません。 ということで、企業用の検索システムが数多く売られていますし、LuceneやGroongaやHyper Estraierなどのオープンソース製品も世に多数存在しま

RSSフィードやWeb API、Mashupなどの単語が注目を集める中、Webクローラーを通じて外部のWebサイトにあるデータをかき集め、それを解析して別な形にするというのはよく見られるものになってきた。 あるURLを指定し、そこからリンクされているURLを一覧表示できる そうした数々のシステムの中で、クローラーとなる基盤は大きな違いはない。Webサイトのデータを取得し、次のリンクを洗い出して取得していくようなものだ。そうした共通動作部分を切り出したフレームワークがAnemoneだ。 今回紹介するオープンソース・ソフトウェアはAnemone、Webクローラを開発するためのフレームワークだ。 Anemoneは任意のWebサイトにアクセスし、その内容を解析するWebクローラーだ。例えばあるURLに付けられているリンクを一覧で取得するようなことも簡単にできる。外部サイトなのかどうかも区別できるの

Google、動的URLも問題なくクロール可能 - 公式ブログで説明 Googleが「動的URLはそのままでいい」という見解を公式ブログに出す。あくまで重複・類似コンテンツを多数生成しているサイトに対するものなので、一般のサイトに影響はないと考えてもいい。 公開日時：2008年09月24日 18:50 米Googleは2008年9月22日、ウェブページのクロールにおける動的URL（ダイナミックURL）の扱いについて公式ブログで説明を行った。この中で、Googleは動的コンテンツを扱う場合はURLを動的のままにしても問題なくクロールができるとの見解を述べている。 これまで検索業界においては、動的コンテンツを扱うウェブサイトにおいてもURLは静的（Static URL）にする、あるいは動的URLのパラメータを短くシンプルにすることが推奨されていた。これは、検索エンジンのクローラが動的URLを適

このブログでは初めましての長野雅広(kazeburo)です。mixi開発部・運用グループでアプリケーションの運用を担当しています。 12月12日よりmixiのRSSのCrawlerが改善され、外部ブログの反映が今までと比べ格段にはやくなっているのに気付かれた方も多いかと思います。この改善されたRSS Crawlerの裏側について書きたいと思います 以前のCrawlerについて 以前のCrawlerは cronからbrokerと呼ばれるプログラムを起動 brokerはmember DBから全件、idをincrementしながら取得し、外部ブログが設定されていればcrawlerを起動(fork) crawlerはRSSを取得しDBに格納して終了 このような設計になっていました。 この設計の問題として、member DBを全件走査するという無駄な動作と、一件一件crawlerを起動するためオーバ

これはやばい！凄すぎる。 現在進めようと思っているプロジェクトでは、サイト上の本文抽出が重要な技術になっていた。だが、それを一から開発していたのではあまりに時間がかかってしまう。さらに重要な技術ではあるが、それが売りと言う訳ではなかった。 そこで見つけたのがこのソフトウェアだ。まさに理想的な方法かも知れない。 今回紹介するオープンソース・ソフトウェアはWebstemmer、タイトル・本文抽出クローラーだ。 WebstemmerはPythonで作られたクローラーで、Webクローラー/レイアウト分析/テキスト抽出/URL DB操作/簡易的なテキスト抽出の5つの機能が提供されている。 動作原理については公式サイトを参考にして欲しいが、個人的にも考えていた（考えていただけ）方法に近い。学習時間が長いのが難点だが、複数台のPCで分散化できれば問題なくなるだろう。 特徴的なのは、特定の言語に左右される

YaCy レビュー インストール （クリックすると拡大します) 完了です。 （クリックすると拡大します) 実行 （クリックすると拡大します) 設定 （クリックすると拡大します) インデックス （クリックすると拡大します) 検索画面 （クリックすると拡大します) 検索結果 （クリックすると拡大します) ファイル共有 （クリックすると拡大します) Wiki （クリックすると拡大します) ブログ （クリックすると拡大します) 記事を追加しました。 （クリックすると拡大します) ネットワークモニタ （クリックすると拡大します) ブックマーク （クリックすると拡大します) YaCy 紹介はこちら