このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 Twitter: ＠shiropen2 シンガポール国立大学と中国の浙江大学に所属する研究者らが発表した論文「EasySpider: A No-Code Visual System for Crawling the Web」は、Excelを使用するように視覚的にWebスクレイピングタスクを設計し、実行できるカスタマイズ可能なWebクローラーシステムを提案した研究報告である。公式ページはこちら。 このシステムは、マウス操作のGUI（Graphical User Interface）を使用して提供されており、コーディングの経験がなくても使えるため、ノンプログラマーでも簡単にタスクを設

昔、Rubyでクローラー/Webスクレイピングの本を書きました。今でもちょくちょくとスクレイピングのコードを書いたりはするのですが、実行基盤についてはサーバの運用管理が面倒くさいのでAWS Lambdaを使うことが多いです。そうなると、Lambdaは基本的にはRubyが使えないので、言語はPythonかNode.jsを利用することになります。Pythonもいいけど、今後のことを考えるとNode.js力を高めておきたいと考えています。ということで、Node.js縛りでスクレイピングの仕方です。 スクレイピング対象のページの種類 私の中の勝手な定義ですが、スクレイピングには3種類あります。 1. 静的サイト／JavaScript不要なページに関するスクレイピング 2. 対話型サイト／JavaScript不要なページに関するスクレイピング 3. JavaScript前提のページに関するスクレイピ

クローラー／スクレイピングに関する話題ならなんでも誰でも OK な Advent Calendar です。 Webからどうやって情報を集めるか、いろいろな方法を共有しましょう。 例: 言語別のクローラー／スクレイピング方法 ノンプログラムで使えるサービス やっぱりExcel最高！！ 情報収集に関する注意点（著作権法、岡崎図書館事件） クローラー／スクレイピング本について 2014年度版 http://qiita.com/advent-calendar/2014/crawler

概要 急遽100サイト以上のクローラを作ることになりました。 サイトの数だけプログラムを書いていると保守で死ぬ😱ため ソースコードを書かなくても大量のクローラ・スクレイパを作成できる方法 を探しました。 といっても、何もせずにクローリングできるわけではなく、要は サイト構成に依存する部分は別ファイルに外出しして、ソースコードは少なくしようぜ! という話です。 ハードコーディングを辞めることで、普段ソースコードを書かない人でもクローラ作成できるというメリットもあります👼 1. XPathを使う XPathとは XML Path Languageの略 XML文章の中の特定の要素や属性の位置を指定するためのルール これを使えば、サイトの構成ごとに異なる「どの要素を抽出するか」のルールのみ外部ファイルにもたせて、それを読み込むことで 処理の大部分を共通化できる😊 XPath はW3Cで規定さ

Rubyでつくるクローラー 1. Rubyでつくるクローラー 2. 自己紹介 山下　弥香（やました みか） 休日は、Co-Edoで趣味の iOSアプリ開発をしていま す。 Facebook https:// www.facebook.com/ mika.yamashita.357 好きなもの：スープカレー 3. 一日レジ 1/10に初めてつくった iPhoneアプリがリリースさ れました。 無料なので、もしよかっ たら、ダウンロードして みてください。 https:// itunes.apple.com/jp/ app/yi-rireji/ id951282820?mt=8 4. 参考図書 「たのしいRuby」第4版 高橋 征義 (著), 後藤 裕 蔵 (著), まつもと ゆきひ ろ (監修) ! 出版日: 2013/06/04 出版社: SBクリエイティブ ! http://www.a

Exhibiの内部的な話を書こう書こうと思って忘れてた。とりあえずMechanizeについて。 Mechanizeはスクレイピングを楽にしてくれるRubygemsです。ExhibiではMechanizeを使ったスクレイピングのRakeタスクを作成し、それを日次で実行することで、各美術館のサイトから展覧会情報を抽出しています。抽出した情報がDB内に存在していれば無視。存在しないのならDBに追加。こういうクローリングに関しては、ちょうど時同じくしてRubyのクロール入門本が去年出たんですけど未読です。技術的な話のみならず、人様のサイトへ機械的にアクセスする際のお作法的なことも載っているらしく、いつかは読みたいところ。 Rubyによるクローラー開発技法 巡回・解析機能の実装と21の運用例posted with amazlet at 15.02.07るびきち 佐々木 拓郎 SBクリエイティブ 売り

Rubyによるクローラー開発技法 巡回・解析機能の実装と21の運用例 作者: 佐々木拓郎,るびきち出版社/メーカー: SBクリエイティブ発売日: 2014/08/23メディア: 単行本この商品を含むブログ (10件) を見るタイトルが面白そうだったので流し読みで読んだ。RubyでWebサイトをクロールしてスクレイピングしてデータ集める方法について、Anemoneとかライブラリの使い方とか、具体的にいろんなサイトからデータを切り出すためのCSSセレクタの指定とか正規表現のマッチングとかを実例としていろいろソースを載せてるので、どんなかんじで書けばよいのかの参考になる。実際作るものの目的によってそのまま流用できないので、サンプル1つずつ試したりはしてない。あとクローラーの運用周りにも触れててRobots.txtとかDBへの保存とかメール通知とかエラーで止めるとか再ラン方法とか真面目に作る場合に

プログラム楽しい クローラーという言葉に惹かれ、Rubyは未経験ながら「Rubyによるクローラー開発技法 巡回・解析機能の実装と21の運用例」を購入した。読みはじめて1時間ぐらい、サンプルプログラムを元に色々と修正して動かしてみた感想として、最近はVagrantやChef、振舞駆動開発などプログラム以外の勉強に時間を費やしていたので、こういったプログラムを書く時間が取れなかったのでめちゃくちゃ面白い。通販のサイトからクローラーを介して在庫や値段情報を取得したりして遊んでます。 Rubyワカンネ。 一応、Rubyの基礎的なこともP12に書いてます。 全体の内容 正規表現やソケット通信に特化した本ではない。1からクローラー作って仕組みを学ぶというより、目的からライブラリを使い分けて、50行のコードでデータを収集して実生活に活かすLife Hack向け。P342に書いてあるようなヤマト運輸の追跡

今シーズンはまだヒトリストしてません。今日も家族で湯沢に日帰りです。朝、5 時前に起きようと話していたものの、起きたのは自分だけで家族が起きませんｗ暴風雪の予報があったので天気予報サイトやライブカメラで状況をチェックしているうちに、1 時間経過。結局 6 時過ぎに出遅れて出発し、お約束通り渋滞にハマりました。ヒトリストの価値観ではこの時点でかなり「負け戦」状態なんですが、今回は秘密兵器が。Velbon の自撮り... 昨日のスキー ヘルメットの Bluetooth 化の余勢をかってというか、買ったものの結局使わなかった audio-technica ATH-EQ300M SV がバイク用ヘルメットになら使えるだろうということで、さっそく作業開始。まず、面ファスナーでインナーの耳部分に貼ってみるも、安定して固定されないわ着脱の際に耳が痛くなるわで、即ボツ。今のヘルメットがたまたま耳部分に空間

書くと宣言しながら、すっぽかしていたクローラー／スクレイピング Advent Calendar 2014の11日目です。ExcelのVBAで、IEの操作が出来ます。またその中の機能にDOM操作があります。この二つがあれば、Excelだけでスクレイピングできますよという話です。 何を隠そう、私が初めてスクレイピングに手を染めたのはこのExcel VBAスクレイピングでした。毎月定期的に所定のデータを観測するという仕事があって、面倒くさくて仕方がない私は記録用のExcelを魔改造して勝手に取得するようにしました。1時間くらい掛かってた作業も、ボタンポチになったので随分楽になったと記憶しています。（結局、ボタンを押すのも面倒くさくなって、毎日サーバサイドで動かすようにしましたが） スクレイピングの手始めにピッタリのExcel VBAスクレイピングです。環境の用意が簡単なので、ノンプログラマーでも

1. AWS Lambda Meetup #0 Lambdaで作る クローラー／スクレイピング ２０１4年12月22日 NRIネットコム 佐々木拓郎 2. ✦ プロフィール ‣ NRIネットコム株式会社 ‣ Twitter: @dkfj ‣ Facebook: takuro.sasaki ‣ blog: http://blog.takuros.net/ ‣ 好きなAWSサービス： S3,SQS 自己紹介： 佐々木拓郎

話題のAWS Lambda Advent Calendar 2014の14日目です。クロスポストで、クローラー／スクレイピング Advent Calendar 2014の14日目でもあります。 re:Inventで発表されて以来、注目のLambdaです。サーバを用意しなくても、バッチを直接実行できるとあって、ユースケースを考えるだけで夢が広がります。今年はクローラー本を出したこともあって、Lambdaで作るクローラー／スクレイピングをテーマにします。 クローラー／スクレイピングとは？ Webクローラーは、Webサイトを巡回してデータを取得するプログラムです。スクレイピングは、取得したデータから目的の情報を抜き出すことを指します。一般的には、クローラーの中に、スクレイピングの機能を包含していることが多いです。また、特定のページだけ取得してデータを抜き出すことを、スクレイピングと呼ぶことが多い

アメブロに限らずなんだけどブログのURL一覧みたいなのが抽出出来たら便利だと思います。 使い道としては、 RSS配信 サテライトサイトへハイパーリンクを一括貼付 ソーシャルブックマーク一括登録 などなどが考えられます。 Rubyを使えば比較的簡単に実現出来るようですね。 サンプルコード # -*- encoding: utf-8 -*- require 'anemone' urls = ["http://ameblo.jp/one-shotlife"] Anemone.crawl(urls,:depth_limit => 5, :skip_query_strings => true) do |anemone| anemone.focus_crawl do |page| page.links.keep_if do |link| link.to_s.match(/one-shotlife\/e

ネットを見てると、面白いサービスが出ていました。 ヤフー株式会社は12日、ソーシャルメディア上の投稿を検索できるYahoo!検索の「リアルタイム検索」において、「つぶやき感情分析」の正式版を公開した。 つぶやき感情分析は、Twitter上の投稿を分析し、検索したキーワードについてユーザーがどのような感情を持っているかを、「ポジティブ」「ネガティブ」の割合でグラフ表示する機能。2013年9月にベータ版として提供を開始し、今回、正式版として公開した。 ヤフー「つぶやき感情分析」、Twitter上の感情を「ポジ／ネガ」で判定 -INTERNET Watch Twitterの情報をもとに、感情分析をするというサービスです。簡単にいうと、入力されたキーワードに対して、世間は好きか嫌いかを出すというサービスです。こういったことをやりたいなぁと思って、Twitterのデータを大量に収集したり、そのデータ

こんにちは！ 見た目30歳の新卒1年目中野です。 今回は社内でクローラーについて勉強会を行ったので、その内容について記事を書きました。 クローラーとは、WebページからHTMLを解析して周期的に情報を収集する技術です。 初心者向けの内容となっていますので、クローラーに興味があってやってみたい！という人に読んでいただきたいなと思います。 Anemoneによるクローラー入門 from Tasuku Nakano クローラーとスクレイピングについて まずはクローラーについて説明していきます。 ただ、その前にスクレイピングという技術もあるので先にそちらを説明します。 ご存知かと思いますが、スクレイピングとは、WebページのHTMLを解析してデータを抽出することです。スクレイピングはWebページ1ページに対して処理を行います。 一方クローラーは、Webページ内にある全てのリンクを巡回して、深堀りしな

Rubyによるクローラー開発技法 読書会 第2回(兵庫県)に参加しました Nov 1st, 2014 1:05 pm | Comments 11月1日 Rubyによるクローラー開発技法　読... [amazonjs asin="4797380357" locale="JP" tmpl="Small" title="Rubyによるクローラー開発技法 巡回・解析機能の実装と21の運用例"] こういう会に参加すると、自分の知識の狭さを痛感してもっと勉強しなきゃなぁという気になります。また次回も参加させてもらいたいです。参加者の皆さん、色々ご教示いただき、ありがとうございました。 読書会では本の内容から広がった話がとても面白かったです。個人的には、Rubyのクローラー本の中身を実際に使うということは少ない気がしましたが、他の人がどのようにスクレイピングをしているのかということを知ることができたのは