Rubyによるクローラー開発技法巡回・解析機能の実装と21の運用例 | 佐々木拓郎, るびきち |本 | 通販

{"desktop_buybox_group_1":[{"displayPrice":"￥2,275","priceAmount":2275.00,"currencySymbol":"￥","integerValue":"2,275","decimalSeparator":null,"fractionalValue":null,"symbolPosition":"left","hasSpace":false,"showFractionalPartIfEmpty":true,"offerListingId":"bxzumSwCBa2xbWTHUl9ili%2F%2Fx8dplspq%2FaxMwNqlCsSU2n69mmrqyAIxLNwCMDOitOkslaCbDZYAnWpuABX23EYL1HVVN5tGuaxwdV%2Fg6Z4HxdIMtjB6knuOrUwVcEkiV33Bc%2BsMbkxf7mJ2mR054epVaxXDB2Cyk0rtPZAYmvb%2BwcEpwhbDrlrrMBPHxx3%2B","locale":"ja-JP","buyingOptionType":"NEW","aapiBuyingOptionIndex":0}]}

購入オプションとあわせ買い

Webクローラーの作り方をディープに解説!

Webから任意の情報を引き出す「クローラー」技術の概要と、
クローラーの作成方法を解説します。
汎用的なクローラーの作成から、
ブログ・Twitter・Facebookなどターゲットごとの活用法まで、
データ収集効率を劇的にアップするクローラー技術をディープに解説します。

■本書の「はじめに」より
本書はRubyでクローラーを開発・運用できるようにするための本です。
クローラーを使えば情報収集のスピードが速くなり、
最新情報をいち早く入手できるようになります。
本書を通じてクローラーを実際に開発・運用して、それを体感してください。

クローラーというのは、自動的にWebサイトを巡回して情報収集するプログラムのことです。
Google botなどの検索エンジンロボットが代表的ですが、
個人・ビジネスに関わらず、さまざまな場面で使われています。
そう聞くと難しそうに感じるかもしれませんが、
まったくそんなことはなく、小規模なクローラーはRuby初級者でも書けます。
実は、ファイルから情報を抜き出す普通のRubyスクリプトに、
たった1行加えるだけでクローラーに変身してしまいます。
もしかしたら知らず識らずのうちにあなたもクローラーを作っていたのかもしれません。
クローラーは身近な存在です。

■本書に掲載するクローラーサンプル
・Googleの検索結果を取得する
・ブログへのクローリング
・Amazonのデータを取得する
・Twitterのデータ収集
・Facebookへのクローリング
・画像を収集する
・YouTubeから動画を収集する
・iTunes Storeの順位を取得する
・Google Playの順位を取得する
・SEOに役立てる
・Wikipediaのデータを活用する
・キーワードを収集する
・流行をキャッチする
・企業・株価情報を収集する
・為替情報・金融指標を収集する
・郵便番号と緯度経度情報を取得する
・新刊情報を収集する
・荷物を追跡する
・不動産情報を取得する
・官公庁のオープンデータを活用する
・聞の見出しを集める

■目次
Chapter 1 10分クローラーの作成
Chapter2 クローラー作成の基礎
Chapter 3 収集したデータを分析する
Chapter 4 高度な利用方法
Chapter 5 目的別クローラーの作成
Chapter 6 クローラーの運用

この商品に関する問題を報告する

本の長さ

448ページ
言語

日本語
出版社

SBクリエイティブ
発売日

2014/8/23
寸法

15 x 2.3 x 21 cm
ISBN-10

4797380357
ISBN-13

978-4797380354
すべての詳細を表示

紙書籍まとめ買いキャンペーン:

対象商品: Rubyによるクローラー開発技法巡回・解析機能の実装と21の運用例

￥2,275

最短で3月17日月曜日のお届け予定です

残り1点ご注文はお早めに

この商品は、RIBERUSAが販売し、Amazon Fulfillment が発送します。

+

JS+Node.jsによるWebクローラー/ネットエージェント開発テクニック

￥2,280

最短で3月18日火曜日のお届け予定です

残り1点ご注文はお早めに

この商品は、檜樫書店が販売し、Amazon Fulfillment が発送します。

総額: $00

当社の価格を見るには、これら商品をカートに追加してください。

もう一度お試しください

詳細

追加されました

これらの商品は、それぞれ別の出品者から販売、発送されます。

詳細の表示詳細の非表示

一緒に購入する商品を選択してください。

この商品に関連する商品

ページ: 1 / 1最初に戻るページ: 1 / 1

スポンサー

'; var HEADER_STRING = "フィードバックを残す"; if (false) { HEADER_STRING = "広告情報とオプション"; } var modalInstance = AM.create(trigger, { 'content': initialContent, 'header': HEADER_STRING, 'popoverLabel': HEADER_STRING, 'name': modalName }); modalInstance.show(); var serializedPayload = generatePayload(modalName); A.$.ajax({ url: "/af/multi-creative/feedback-form", type: 'POST', data: serializedPayload, headers: { 'Content-Type': 'application/json', 'Accept': 'application/json'}, success: function(response) { if (!response) { return; } modalInstance.update(response); var successMetric = DESKTOP_METRIC_PREFIX + ":formDisplayed"; if (window.ue && window.ue.count) { window.ue.count(successMetric, (window.ue.count(successMetric) || 0) + 1); } }, error: function(err) { var errorText = 'Feedback Form get failed with error: ' + err; var errorMetric = DESKTOP_METRIC_PREFIX + ':error'; P.log(errorText, 'FATAL', DESKTOP_METRIC_PREFIX); if (window.ue && window.ue.count) { window.ue.count(errorMetric, (window.ue.count(errorMetric) || 0) + 1); } modalInstance.update('' + "Error loading ad feedback form." + ''); } }); return modalInstance; } function removeModalOnClose (modalName) { A.on('a:popover:afterHide:' + modalName, function removeModal () { var isSuccess = AM.remove(modalName); if(isSuccess) { document.getElementById("sp_detail_feedbackMessage").focus(); } }); } function generatePayload(modalName) { var carousel = CF.getCarousel(document.getElementById("sp_detail")); var EMPTY_CARD_CLASS = "a-carousel-card-empty"; if (!carousel) { return; } var adPlacementMetaData = carousel.dom.$carousel.context.getAttribute("data-ad-placement-metadata"); var adDetailsList = []; if (adPlacementMetaData == "") { return; } carousel.dom.$carousel.children("li").not("." + EMPTY_CARD_CLASS).each(function (idx, item) { var divs = item.getElementsByTagName("div"); var adFeedbackDetails; for (var i = 0; i < divs.length; ++i) { if (divs[i].getAttribute("data-adfeedbackdetails")) { adFeedbackDetails = divs[i].getAttribute("data-adfeedbackdetails"); break; } } if (!adFeedbackDetails) { return; } if (adFeedbackDetails != "" && adFeedbackDetails != null) { adDetailsList.push(JSON.parse(adFeedbackDetails)); } }); var payload = { adPlacementMetaData: JSON.parse(adPlacementMetaData), adCreativeMetaData: { adCreativeDetails: adDetailsList }, feedbackFormContainerId: modalName }; var serializedPayload = { pl: encodeURI(JSON.stringify(payload)) }; return JSON.stringify(serializedPayload); } }); }));

フィードバック

&nbsp

すがわらまさのり

単行本（ソフトカバー）

￥3,828

115ポイント(3%)
フィードバック

&nbsp

ジュンFX

単行本（ソフトカバー）

￥1,980

60ポイント(3%)
フィードバック

&nbsp

たてばやし淳

単行本（ソフトカバー）

￥2,409

73ポイント(3%)
フィードバック

&nbsp

葭本隆太

単行本

￥1,980

60ポイント(3%)
フィードバック

&nbsp

塚本邦尊

単行本（ソフトカバー）

￥3,278

99ポイント(3%)
フィードバック

&nbsp

谷藤賢一

単行本（ソフトカバー）

￥2,970

90ポイント(3%)
フィードバック

新刊

山田祥寛

単行本（ソフトカバー）

￥3,960

119ポイント(3%)

商品の説明

著者について

佐々木拓郎
本業は、Web系のシステムアーキテクト。企画から設計開発、運用まで幅広く担当。
最近はクラウド×自動化をテーマに、できるだけ楽することを考えている。
休日はワインを飲みながら、趣味でアプリを開発している。またAWSやRubyをはじめとする、
いろいろなコミュニティに出没している。

るびきち
RubyとEmacsとw3mとScreenとratpoisonとLinuxがないと生きていけないガチガチCUI系フリーライター。
テキストブラウザw3mで快適にWebを駆け回るために多数の個人用クローラーを開発。
主な著書に『Ruby逆引きハンドブック(C&R研究所)』『Emacsテクニックバイブル(技術評論社)』。
メルマガ『Emacsの鬼るびきちのココだけの話』毎週土曜日発行。

登録情報

出版社 ‏ : ‎ SBクリエイティブ (2014/8/23)
発売日 ‏ : ‎ 2014/8/23
言語 ‏ : ‎ 日本語
単行本 ‏ : ‎ 448ページ
ISBN-10 ‏ : ‎ 4797380357
ISBN-13 ‏ : ‎ 978-4797380354
寸法 ‏ : ‎ 15 x 2.3 x 21 cm

Amazon 売れ筋ランキング: - 233,785位本 (本の売れ筋ランキングを見る)
- - 816位ソフトウェア開発・言語
- - 5,533位電気・通信 (本)

カスタマーレビュー:
3.7 41個の評価

著者について

著者をフォローして、新作のアップデートや改善されたおすすめを入手してください。

佐々木拓郎

Brief content visible, double tap to read full content.

Full content visible, double tap to read brief content.

【Twitter】

@dkfj

https://twitter.com/dkfj

【経歴】

経済学部出身。Web寄りのSIerで勤務。システムの企画から設計・開発・運用まで一連の業務に従事してきた。

またシリコンバレーの支社に勤務時代には、オープンソースのR&Dや海外プロダクトの日本導入などに従事。最近の主な活動は、AWS事業の推進とモバイル開発。

【Blog】

プログラマになりたい

https://blog.takuros.net/

【過去の講演資料】

https://speakerdeck.com/takuros

http://www.slideshare.net/takurosasaki

この商品に関連する商品

ページ: 1 / 1最初に戻るページ: 1 / 1

スポンサー

'; var HEADER_STRING = "フィードバックを残す"; if (false) { HEADER_STRING = "広告情報とオプション"; } var modalInstance = AM.create(trigger, { 'content': initialContent, 'header': HEADER_STRING, 'popoverLabel': HEADER_STRING, 'name': modalName }); modalInstance.show(); var serializedPayload = generatePayload(modalName); A.$.ajax({ url: "/af/multi-creative/feedback-form", type: 'POST', data: serializedPayload, headers: { 'Content-Type': 'application/json', 'Accept': 'application/json'}, success: function(response) { if (!response) { return; } modalInstance.update(response); var successMetric = DESKTOP_METRIC_PREFIX + ":formDisplayed"; if (window.ue && window.ue.count) { window.ue.count(successMetric, (window.ue.count(successMetric) || 0) + 1); } }, error: function(err) { var errorText = 'Feedback Form get failed with error: ' + err; var errorMetric = DESKTOP_METRIC_PREFIX + ':error'; P.log(errorText, 'FATAL', DESKTOP_METRIC_PREFIX); if (window.ue && window.ue.count) { window.ue.count(errorMetric, (window.ue.count(errorMetric) || 0) + 1); } modalInstance.update('' + "Error loading ad feedback form." + ''); } }); return modalInstance; } function removeModalOnClose (modalName) { A.on('a:popover:afterHide:' + modalName, function removeModal () { var isSuccess = AM.remove(modalName); if(isSuccess) { document.getElementById("sp_detail2_feedbackMessage").focus(); } }); } function generatePayload(modalName) { var carousel = CF.getCarousel(document.getElementById("sp_detail2")); var EMPTY_CARD_CLASS = "a-carousel-card-empty"; if (!carousel) { return; } var adPlacementMetaData = carousel.dom.$carousel.context.getAttribute("data-ad-placement-metadata"); var adDetailsList = []; if (adPlacementMetaData == "") { return; } carousel.dom.$carousel.children("li").not("." + EMPTY_CARD_CLASS).each(function (idx, item) { var divs = item.getElementsByTagName("div"); var adFeedbackDetails; for (var i = 0; i < divs.length; ++i) { if (divs[i].getAttribute("data-adfeedbackdetails")) { adFeedbackDetails = divs[i].getAttribute("data-adfeedbackdetails"); break; } } if (!adFeedbackDetails) { return; } if (adFeedbackDetails != "" && adFeedbackDetails != null) { adDetailsList.push(JSON.parse(adFeedbackDetails)); } }); var payload = { adPlacementMetaData: JSON.parse(adPlacementMetaData), adCreativeMetaData: { adCreativeDetails: adDetailsList }, feedbackFormContainerId: modalName }; var serializedPayload = { pl: encodeURI(JSON.stringify(payload)) }; return JSON.stringify(serializedPayload); } }); }));

フィードバック

&nbsp

ジュンFX

Kindle Edition

￥1,782

18ポイント(1%)
フィードバック

新刊

山田祥寛

単行本（ソフトカバー）

￥3,960

119ポイント(3%)
フィードバック

&nbsp

阿部文人

単行本（ソフトカバー）

￥2,904

88ポイント(3%)
フィードバック

&nbsp

株式会社アイリッジ

単行本（ソフトカバー）

￥1,848

18ポイント(1%)
フィードバック

&nbsp

すがわらまさのり

単行本（ソフトカバー）

￥3,828

115ポイント(3%)
フィードバック

&nbsp

たてばやし淳

単行本（ソフトカバー）

￥2,409

73ポイント(3%)
フィードバック

新刊

クジラ飛行机

単行本（ソフトカバー）

￥3,520

106ポイント(3%)

特定の情報をお探しですか?

カスタマーレビュー

41グローバルレーティング

評価はどのように計算されますか?

この商品をレビュー

カスタマーレビューを書く

上位レビュー、対象国：日本

レビューのフィルタリング中に問題が発生しました。後でもう一度試してください。

Amazon Customer
サンプルコードで動かないものがある
2016年2月28日に日本でレビュー済み
Amazonで購入

wgetコマンドの使い方から始まり、本格的なクローラーの作成方法が学べる良書だと思います。

Rubyについて熟知している必要はありませんが、多少の予備知識は必要な気がします。

少し残念なのは、サンプルコードで動かないものがいくつかありました。
原因は単純なものですが、サンプルコードがちゃんと動作確認されているのか不安になります。

・文字コードがUTR-16になっており、実行時エラーとなる
===============================
$ ruby sbcr1-parse.rb
sbcr1-parse.rb:1: invalid multibyte char (UTF-8)
===============================

・空白文字が入っており、実行時エラーとなる
===============================
$ ruby rss-reader.rb
Amazon.co.jp: Kindleストア > Kindle本 > コンピュータ・ITのベストセラー
rss-reader.rb:11:in `block in <main>': undefined local variable or method `　　　　　' for main:Object (NameError)
===============================

また、サンプルコードを動作させるRubyのバージョン情報が2章に記載されており、分かりづらかったです。
前書きや1章などもっとはじめの方に記載して頂きたいです。

バージョン2.0.0で動作確認されているということですが、最新バージョン2.3.0でも問題なく動きました。

続きを読む

14人のお客様がこれが役に立ったと考えています

役に立った

レポート
r_
クローラーとは、Rubyとは…本書は初学者が学びやすいように構成されています
2014年9月7日に日本でレビュー済み
Amazon Vine先取りプログラムカスタマーによる無料商品のレビュー( 詳細 )
クローラーとは、
「システムが自動的にWebページを巡回して情報を収集するためのプログラムです」(P.2 原文ママ)
Rubyは、
「代表的な汎用スクリプト言語Perlに可読性の高い構文とシンプルかつ強力な
オブジェクト指向を加え、Lisp風の味つけをしたもの」(P.2 原文ママ)

あまりページを割いてないですが、
クローラーについては、実際にRubyでクローラーを作成する前に
先ずソフトウェア「GNU Wget」を通じて概要を知ることが出来ます。

プログラミング言語Rubyについても基礎的な説明があり、これから利用していこうという
初心者への配慮がございます。

・株価・為替など経済、ビジネスに関係した情報、SNS、YouTube動画など
交友目的、趣味の範囲での利用を目的別に紹介されています。
（目的別クローラーの作成については、目次から手軽に辿り着くことができます。
巻末には索引もあるので、書籍の検索性について問題はございません）

・トラブルが起きた時の対処方法について、著作権物の取り扱いについてなど
権利関係についても触れられていて、運用を開始してからのケアとしての内容・記述があります。

本書籍は、Rubyについてクローラーについて、初学者が学びやすいよう
配慮のある構成となっています。
本書籍、これから上記内容について学ぼうという方におすすめいたします。

続きを読む

4人のお客様がこれが役に立ったと考えています

役に立った

レポート
fettle
サンプルプログラムに注意
2016年8月7日に日本でレビュー済み
Amazonで購入
◼️文字コード
2014年8月22日
「Rubyによるクローラー開発技法」サンプルスクリプト
[…]
のzipファイルのサンプルはそのままでは動作しない。UTF-8への変換が必要（以下は上書きなので注意）です。

find RubyCrawlerSample/ -type f | xargs -n 10 nkf -w --overwrite

このサンプルは、著者というより出版社が用意したような感じなので、出版社側の問題なような気がしますが、修正をお願いします。
＞SBクリエイティブ様

MACではfindはあってもnkfは標準ではないので、brew install nkfなどでインストール。

・MACでの注意点
MAC環境では、¥ではなく、バックスペース\（オプションキーを押しながら¥で入力）入力が必要であることに注意。私のように¥とバックスペースが同じと思っている人はハマるかも。。

・その他感想
rubyの勉強がてら動かしていますが、%rによる正規表現(/xxx/の代わりに%r!xxx!とかく)、map |(aurl,atitle),ymd|の理解、*ymdでの*による配列展開、[x, y, z, ...]によるリスト生成。など、少し手間取るところがありました。１章（10分クローラーの作成）までは、くどいくらいの説明で良いかもしれません。
まあ、何か言語をやったことのある人は、WEBで調べながらやるので問題ないかもしれませんが。

続きを読む

19人のお客様がこれが役に立ったと考えています

役に立った

レポート
Chemical
根気が必要
2016年8月8日に日本でレビュー済み
Amazonで購入
rubyをまったく知らない状態から、この本と「たのしいruby」を読んで、クローラーが自作できるようになりました。読んでいて一番困ったことは、本書に紹介されているツール類のインストールです。windowsとubuntuで同時並行で作業を進めました。紹介されているツールをインストールしながら、サンプルスクリプトを実行して動作を確認するのですが、一方のosで動くツールがもう一方では動かないことが多かったです。原因はツールの細かいバージョンの違いによるバグの有無でした。最初に紹介されているwgetで、すでに本書の説明どおり動かないバージョンがあり、あとはそんなもののオンパレードでした。おもなところではsqlite3とかfirefoxとかです。firefoxは3つのバージョンを試しましたが、seleniumで動作するのは、ひとつだけでした。また、Amazonのようにヘッダにutf8と書かれているのに実際はshitf-jisでエンコードされているサイトが取り上げられているのも疑問でした。本書の前半ではさもanemoneで取り扱えるように書いておきながら、後半ではあきらめて、文字化けした実行例を掲載していることにあぜんとしました。
私のような者がクローラーを作れるようになったのは、ひとえに本書のおかげです。感謝します。でもこの本を読み進めていくことは時間と根気が必要です。

続きを読む

14人のお客様がこれが役に立ったと考えています

役に立った

レポート
りゅうじ
初心者にはいいかも
2014年9月8日に日本でレビュー済み
Amazonで購入
テスト用のサーバーをつくるところからはじまって、応用までと意欲的な構成ですが、中身はanemoneとnokogiriの紹介を中心として、いろいろな例を出しているものの、著者のやりかたを教科書的に簡単に紹介しているようです。クローラーの作成をやった経験のある人(当然nokogiriもつかった経験ある)が、実務的な疑問があったり、他の人のうまいやり方を参考に発展させたい、というような場合は、この本には答はないかも知れません。ささっつと基礎をおさらいするにはいいかも知れませんが、詳しいことには深入りしていないので、実際にこれをみてクローラーをつくってみようという、初心者向けだと思います。

続きを読む

15人のお客様がこれが役に立ったと考えています

役に立った

レポート
fkawano
ビッグデータ時代に不可欠な「Webスクレイピング」を行うための「クローラー」の実装方法が分かりやすく説明されています。
2014年8月24日に日本でレビュー済み
近年ではビッグデータの有効利用がさけばれていますが、ビッグデータの収集方法として
「Webスクレイピング」が注目されています。
インターネット上に存在する膨大なページからビッグデータに相当するデータを収集する事を指します。
ツイッターのつぶやきデータの収集等が有名な例としてあげられると思います。

本書では、この「Webスクレイピング」を実現するために「クローラー」を作成するとの流れになっています。

本書を読む事で
・「クローラー」の概要と作成する上で基本となる考え方
・「クローラー」作成に必要なライブラリの利用方法と生データの解析方法(形態素解析を含む自然言語処理)の概要
・より実用的な「クローラー」に育てて行くための考え方
・目的別「クローラー」の作成方法
・「クローラー」の運用方法
等の知識が学べます。

利用しているライブラリは「nokogiri」、「anemone」となっています。
「nokogiri」はHTMLやXMLをパース(解析)するためのライブラリです。
「anemone」は「クローラー」作成用のライブラリ(フレームワークの方が相応しい！？)です。

「クローラー」を初めて作る人を意識して書かれており、全般的に私には理解しやすかったです。
説明の順番も、まず動くものを提示し、その後に実際の実装方法の説明、
応用、各論的な内容が来て、最後に実際の運用方法の説明でしめるという流れが理想的であると感じます。

続きを読む

22人のお客様がこれが役に立ったと考えています

役に立った

レポート
積み木
中級者～上級者向け
2016年9月1日に日本でレビュー済み
クローラー開発技法という趣旨からいって初心者が読む本ではないですね。スクレイピングやwebクローラーについて一定の知識及び自力である程度のスクリプトが書ける方でなければ本書を読むには早いでしょう。
まさしく私がその初心者だったわけで完全に理解できるとまでは思わないものの自分がしたいことのヒントでも見つかれば…と思い購入しました。が、残念ながら私の目的とする処理とは微妙にピントがずれていました。本書に記載されている情報を応用すれば達成できることなのかもしれませんがこれを応用するにはパソコン上級者レベルの知識が必要と判断し、とりあえず今は置いておきます。
内容的にはネットで情報収集するにあたって便利なツール・ソフトが数点紹介されており、インストール方法から動作サンプルまで事細かに記載されていました。anemone・capibaraに特にページを割かれています。すでにこの二つをガンガン使用している方にとっては本書はあまり参考にならないかも。
プログラミングに関してはド素人のため本書が真に有用かどうかという点について現時点で判断はできませんが、パソコン自動化の目的は達成できなかったのでとりあえず☆3評価とします。

続きを読む

1人のお客様がこれが役に立ったと考えています

役に立った

レポート
Amazon カスタマー
多彩な手段の記載がありがたい
2015年9月3日に日本でレビュー済み
Amazonで購入
WEBの基本的な仕組みと、Rubyの基礎知識さえあれば、すぐにやりたいことができる良書だと思います。
色々なサイトへのパターンが豊富に記載されているのもありがたいです。

続きを読む

4人のお客様がこれが役に立ったと考えています

役に立った

レポート

画像はありません

著者をフォロー