40手前の手習いで、cheerio-httpcliの使い方学習中です。 サンプルコードを読んで動作はなんとなく解ったので、次は欲しいデータを取得することで習熟していこうと思います。今回は、公開されたAmazonの欲しい物リスト（wish list）から、Amazonの商品管理コードであるasinを抜き出してみます。 欲しい物リスト（ウィッシュリスト）の構造 ウィッシュリストは、個々に一意のIDが振られているので（公開設定されているのであれば）ログイン不要で取得できます。例えば、私のウィッシュリストは下記のようなURLになっています。最後のランダムな英数字の部分が、ウィッシュリストのIDです。 http://www.amazon.co.jp/gp/registry/wishlist/3G4653SB32HMZ/ ウィッシュリストの中身に目を向けてみると、1ページあたり25件づつ表示されます。

昔、Rubyでクローラー/Webスクレイピングの本を書きました。今でもちょくちょくとスクレイピングのコードを書いたりはするのですが、実行基盤についてはサーバの運用管理が面倒くさいのでAWS Lambdaを使うことが多いです。そうなると、Lambdaは基本的にはRubyが使えないので、言語はPythonかNode.jsを利用することになります。Pythonもいいけど、今後のことを考えるとNode.js力を高めておきたいと考えています。ということで、Node.js縛りでスクレイピングの仕方です。 スクレイピング対象のページの種類 私の中の勝手な定義ですが、スクレイピングには3種類あります。 1. 静的サイト／JavaScript不要なページに関するスクレイピング 2. 対話型サイト／JavaScript不要なページに関するスクレイピング 3. JavaScript前提のページに関するスクレイピ

クローラー／Webスクレイピング Advent Calendar 2015の16日目の記事です。 ・2015/12/16 追記 コメント欄にてriocamposさんにご指摘いただいた点を元に記事を修正しました。 ありがとうございます。 ・2017/07/06 追記 久々にコードを見たら酷いコードが残されていたのでリファクタリングしました。 GitHubにも置いてありますので、良ければ使ってみてください。 リファクタリングついでに、文章も修正して再アップロードしようと思います。 今回の目的 rubyでWebスクレイピングする際の処理を練習する。 ・特定のページからカクテル情報を収集する カクテル名 カクテルを作るのに必要な材料 作り方 ・持っている材料で作る事が出来るカクテルの列挙 準備 rubyとbundlerがあれば大体動くと思います。 ・ruby >= 2.1 ・bundler 大抵の

2015年8月末に、クローラー／スクレイピング本が2冊同時に発売です。Python版メインのものとJavaScript版メインのものです。なかなか市場のニーズ突いてきていますね。 実践 Webスクレイピング&クローリング-オープンデータ時代の収集・整形テクニック 作者: nezuq,東京スクラッパー(協力)出版社/メーカー: マイナビ発売日: 2015/08/28メディア: 単行本（ソフトカバー）この商品を含むブログを見るJS+Node.jsによるWebクローラー/ネットエージェント開発テクニック 作者: クジラ飛行机出版社/メーカー: ソシム発売日: 2015/08/31メディア: 単行本この商品を含むブログを見る 実践 Webスクレイピング&クローリング-オープンデータ時代の収集・整形テクニック 実践 Webスクレイピング&クローリング-オープンデータ時代の収集・整形テクニックは、Py

RubyWarriorを攻略してから はや5日。 次は何をやろうか考えてました。 何をやろうか考えてる時って こーゆー事したい。とか こんな事できたら面白そう。とか 色々考えて、夢(妄想)がふくらみますね。 この時間って本当楽しいです。 ただ、残念な事に自身のスキルが追いついていないので、 やりたい事ができない自分に凹む事も多いですが・・。 まぁでもこれから ひとつずつ覚えていけばいいだけの話なので、 あまり気にしていません。 という事で今日から Rubyを使ったクローラー開発を勉強していきます。 勉強の方法は、今回のタイトルにもなっている 「Rubyによるクローラー開発技法」という本を進めていくやり方で考えてます。 Rubyによるクローラー開発技法 巡回・解析機能の実装と21の運用例 作者: るびきち,佐々木拓郎出版社/メーカー: SBクリエイティブ発売日: 2014/08/25メディア

登録日2011/09/11（4818日経過）記録初日2011/09/10（4819日経過）読んだ本815冊（1日平均0.17冊)読んだページ235345ページ（1日平均48ページ）感想・レビュー809件（投稿率99.3%）本棚24棚性別男年齢66歳血液型A型職業教員現住所長野県外部サイトTwitterURL/ブログhttp://blogs.yahoo.co.jp/nobu__kun

--この記事は約 4 分で読めます。--こんにちは、きるいっとです。 いま話題のKindle IT技術書の人気本セール情報です！ 本日は、ただいまセール中の「Rubyによるクローラー開発技法 　巡回・解析機能の実装と21の運用例 」を紹介します。 『Rubyによるクローラー開発技法 　巡回・解析機能の実装と21の運用例 』 Rubyによるクローラー開発技法 　巡回・解析機能の実装と21の運用例 05/10 現在、お値段、¥3,218 → ¥2,980(7%OFF) となっています。 本書の概要 この本のおおまかな説明 Webクローラーの作り方をディープに解説！ Webから目的の情報を収集するクローラープログラムの作り方を解説。 Rubyライブラ リを駆使して、巡回・解析機能を作成します。TwitterやFacebookのデータ収集や、株価や企業情報の収集など、さまざまな処理に対応したサンプ

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Exhibiの内部的な話を書こう書こうと思って忘れてた。とりあえずMechanizeについて。 Mechanizeはスクレイピングを楽にしてくれるRubygemsです。ExhibiではMechanizeを使ったスクレイピングのRakeタスクを作成し、それを日次で実行することで、各美術館のサイトから展覧会情報を抽出しています。抽出した情報がDB内に存在していれば無視。存在しないのならDBに追加。こういうクローリングに関しては、ちょうど時同じくしてRubyのクロール入門本が去年出たんですけど未読です。技術的な話のみならず、人様のサイトへ機械的にアクセスする際のお作法的なことも載っているらしく、いつかは読みたいところ。 Rubyによるクローラー開発技法 巡回・解析機能の実装と21の運用例posted with amazlet at 15.02.07るびきち 佐々木 拓郎 SBクリエイティブ 売り

1. AWS Lambda Meetup #0 Lambdaで作る クローラー／スクレイピング ２０１4年12月22日 NRIネットコム 佐々木拓郎 2. ✦ プロフィール ‣ NRIネットコム株式会社 ‣ Twitter: @dkfj ‣ Facebook: takuro.sasaki ‣ blog: http://blog.takuros.net/ ‣ 好きなAWSサービス： S3,SQS 自己紹介： 佐々木拓郎

この投稿は クローラー／スクレイピング Advent Calendar 2014の12月23日用です。 はじめに人間って凄い。 まずはこの画像を御覧ください。 図1 各国のECサイトの画像 Eコマースのサイトで、商品の詳細のページを見るだけですぐに商品名、価格を判断出来ましたよね？ それが英語のサイトでも中国語のサイトでも、韓国語のページでも分かりましたよね？ 凄いですね。 人間のスクレイピング能力人間は恐ろしいほどのスクレイピング能力を持っている事が分かりました。 ソースも見ない、タグも見ないで、なんとなく雰囲気だけでスクレイピングしています。 もしこの能力をコンピュータに移植できたら凄いことですね。 もし、先ほどの画像を身の回りのインターネットに一番疎い人に見せてみて下さい。 きちんとスクレイピング出来たでしょうか？ おそらく出来なかった事が多いのではないかと思います。 こんな事させて

この記事はクローラー／スクレイピング Advent Calendar 2014の12日目の記事です。 ScrapyはPythonにおけるクローリング・スクレイピングのフレームワークとして有名ですが、Scrapydという興味深い機能があるので今日はこれを紹介します。 Scrapydはその名の通り、Scrapyのデーモンです。サーバーにおいてサービスとして動作し、Scrapyで作ったクローラーのジョブ管理ができます。 多くのページをクロールするクローラーにおいては、1回の実行時間が1日を超えることもしばしばあるので、ジョブ管理は重要です。このように運用を考慮した機能まで備えているのがScrapyの特徴的なところです。 Scrapydの概要 Scrapydは簡単なWebインターフェイスを提供しており、主にcurlを使ってAPIを呼び出します。 http://Scrapydをインストールしたホスト

はじめに これは クローラー／スクレイピング Advent Calendar 2014 - Qiita の9日目です 8日目 id:dkfj さんの クローラー／スクレイピングのWebサービス　「Kimono」のユースケース - プログラマになりたい でした 9日目：ccc_privacy_bot を支える技術 先日書いたエントリがめでたく580はてブいきました。 気づいたらGIGAZINEさんにも取り上げてもらえました。 ﾌｧｯ!? / “Tカードが個人情報を提供する企業を通知してくれる「Tカード個人情報提供先新着bot」 - GIGAZINE” http://t.co/8j0JNPylod— sue445 (@sue445) 2014, 11月 20 このボットで使ってるスクレイピングとクローリングのTipについて解説します ソースコード ソースコードはgithubに公開しています。

クローラー／スクレイピング Advent Calendar 2014の8日目です。あと、全部俺Advent Calendarも開催中です。 クローラー/スクレイピングをするのであれば、是非知っておいて欲しいサービスが「Kimono」です。Kimonoは、KimonoLabsという会社が作ったクローラー/スクレイピングを行うWebサービスです。特徴としては、プラグインを入れてブラウザの操作のみでスクレイピングができることです。操作を覚えれば、ITエンジニアでなくても充分使いこなせると思います。 Kimonoの使い方については、プログラミング・レスで5分でサックリWebスクレイピング「kimonolabs」というエントリーで紹介しています。今回は取得したデータの利用方法とユースケースを考えてみたいと思います。 Kimonoで収集したデータの利用方法 Kimonoで収集したデータは、API経由で

アメブロに限らずなんだけどブログのURL一覧みたいなのが抽出出来たら便利だと思います。 使い道としては、 RSS配信 サテライトサイトへハイパーリンクを一括貼付 ソーシャルブックマーク一括登録 などなどが考えられます。 Rubyを使えば比較的簡単に実現出来るようですね。 サンプルコード # -*- encoding: utf-8 -*- require 'anemone' urls = ["http://ameblo.jp/one-shotlife"] Anemone.crawl(urls,:depth_limit => 5, :skip_query_strings => true) do |anemone| anemone.focus_crawl do |page| page.links.keep_if do |link| link.to_s.match(/one-shotlife\/e

こんにちは！ 見た目30歳の新卒1年目中野です。 今回は社内でクローラーについて勉強会を行ったので、その内容について記事を書きました。 クローラーとは、WebページからHTMLを解析して周期的に情報を収集する技術です。 初心者向けの内容となっていますので、クローラーに興味があってやってみたい！という人に読んでいただきたいなと思います。 Anemoneによるクローラー入門 from Tasuku Nakano クローラーとスクレイピングについて まずはクローラーについて説明していきます。 ただ、その前にスクレイピングという技術もあるので先にそちらを説明します。 ご存知かと思いますが、スクレイピングとは、WebページのHTMLを解析してデータを抽出することです。スクレイピングはWebページ1ページに対して処理を行います。 一方クローラーは、Webページ内にある全てのリンクを巡回して、深堀りしな

2014/10/26に開催された第3回Webスクレイピング勉強会@東京に参加して、発表してきました。今回は、スクレイピングと少し離れてAWSを使ってクローリングするという話です。クローラー／スクレイピングとAWSは相性が良いというのは、昔から思っていたのでテーマとして扱うことは早めに決めていました。しかし、話の構成を、具体的なテクニックの話にするか、概念的な話にするか、少し悩みました。なるべき多くの人に伝わるように、概念的な話をしたつもりです。具体的な部分についてはRubyによるクローラー開発技法を読んで頂ければと思いますw 発表資料 Scraping withawsAWSを利用してスクレイピングの悩みを解決するチップス from Takuro Sasaki Scraping withawsAWSを利用してスクレイピングの悩みを解決するチップス 資料の構成としては、クローリングする際の悩み

Rubyを使ってWebサイトから情報を取得する、いわゆる「クローラー」の開発方法を解説する専門書「Rubyによるクローラー開発技法」が発売されるそうで、話題となっています。現在予約受け付け中で発売日は8月25日。 本の内容は、内容紹介によると「汎用的なクローラーの作成から、ブログ・Twitter・Facebookなどターゲットごとの活用法までを解説。クチコミの取得や、企業・株価情報、為替情報・金融指標の取得といったものまで、さまざまな情報を収集する自分なりのクローラーが作成ができます。」という興味深い内容。 まだ目次などはありませんが、作者の一人である佐々木拓郎氏は、「Rubyで始めるWebスクレイピング」というスライドを公開していることでもお馴染み。 はてブ見てたら、アマゾンに掲載されててビビった。発売日決まったんだ。 / “http://t.co/GFzFpNuEte： Rubyによる