Download as PDF, PPTX
![クローリング
• 英語の意味は、[はう、ゆっくり進む]
• Webページのリンクの内容をたどる
• Webページの内容をダウンロードして収集
• クローラー、スパイダーと呼ばれる](https://image.slidesharecdn.com/pythonweb-150616022501-lva1-app6892/85/Python-web-8-320.jpg)
![スクレイピング
• 英語の意味は、[ 削ること ]
• ページの内容から必要な情報を抽出すること](https://image.slidesharecdn.com/pythonweb-150616022501-lva1-app6892/85/Python-web-9-320.jpg)
![[開発チームで取り組むE2Eテスト自動化]E2Eテスト自動化 FAKEな想定、REALな運用](https://cdn.slidesharecdn.com/ss_thumbnails/e2erealfake-260303045347-d3d0bd1e-thumbnail.jpg?width=640&height=640&fit=bounds)
続Pythonによるwebスクレイピング入門
- 1.
- 2. 自己紹介 • 関根裕紀（せきね ひろのり） •アライドアーキテクツ株式会社 • ソフトウェア・エンジニア • マーケティングを支援するサービスの開発 • 新卒メンバー、若手メンバーの教育支援 • Twitter: @checkpoint
- 3. Pythonとの関わり • PyCon JPスタッフ (2014, 2015) • Pythonエンジニア養成読本（Web開発） • スピーカー • AWDD • LLDiver • PyCon JP 2014 • Phone Symposium Tokyo 2015
- 4.
- 5. アジェンダ • Webスクレイピングとは？ • PythonでのWebスクレイピング •Webスクレイピングのサンプル紹介
- 6.
- 7. Webスクレイピング • WebサイトからHTMLのデータを収集 • 特定のデータを抽出、加工 •抽出したデータを再利用 • クローリング + スクレイピング
- 8. クローリング • 英語の意味は、[はう、ゆっくり進む] • Webページのリンクの内容をたどる •Webページの内容をダウンロードして収集 • クローラー、スパイダーと呼ばれる
- 9. スクレイピング • 英語の意味は、[ 削ること] • ページの内容から必要な情報を抽出すること
- 10. 用途 • 検索エンジン • 価格比較 •気象データの監視 • サイトの変更検出 • Webサイトの情報解析、研究（比較、分類、統計など） • マッシュアップ
- 11. 方法（１） • Webサービス、アプリケーション • Yahoo!Pipes（ https://pipes.yahoo.com/ ) • kimono ( https://www.kimonolabs.com/ ) • import.io ( https://import.io/ )
- 12. 方法（２） • Ruby • Nokogiri •Mechanize • Perl • Web::Scraper • JavaScript • CasperJS
- 13. Pythonでのスクレイピング • 標準ライブラリ • BeautifulSoup •pyquery • Scrapy • その他
- 14.
- 15. 標準ライブラリ • Pythonの標準ライブラリは充実している • ネットワーク、正規表現、etc •Pythonの処理系だけあれば良い • 簡単なスクレイピングであれば十分実用的
- 16.
- 17. Beautiful Soup • 2004年位から存在するライブラリ •HTMLやXMLからデータを抽出して取得できる • 複数のパーサーに対応、パーサーを指定できる • 最新バーションはBeautiful Soup 4系 • Python 2.7、Python 3.2に対応
- 18.
- 19.
- 20. pyquery • jQuery風にHTML/XML操作が可能 • パーサーにはlxmlを使用 •JQuery風のセレクタを利用できる
- 21.
- 22.
- 23.
- 24.
- 25. Scrapyの特徴 • クローリング、スクレイピングフレームワーク • シンプル、拡張性がある •バッテリー付属 • ドキュメント、テストが充実 • コミュニティが活発 • Python2.7のみ対応
- 26. Scrapyの主な機能 • Webページからの情報抽出 • Robots.txtのパース •ドメイン、IPアドレス単位のクロール間隔調整 • 並行処理 • エラー時のリトライ（回数を設定） http://orangain.hatenablog.com/entry/scrapy
- 27.
- 28. コンポーネント • Scrapy Engine •Scheduler • Downloader • Spiders • Item Pipeline • Downloader middlewares • Spider middlewares
- 29. Scrapy Engine • コンポーネント間のデータフローを制御する •特定のアクションが発生したら、イベントを 起こす
- 30. Spider • ユーザーが作成するカスタムクラス • 取得したいURL、抽出する項目を記述する •ダウンロードしてコンテンツをスクレイピン グして、Itemを作成する
- 31.
- 32. Downloader • 実際にWebページを取得する。 • Downloadermiddlewaresで処理を差し込む 事ができる。（キャッシュなど）
- 33. Item Pipeline • スパイダーによって抽出されたアイテムを出力 •データのクレンジング、検証 • 永続化（JSON、File、DB、Mail）など
- 34. 手順 • Scrapyプロジェクトの作成 • 抽出するアイテムの定義 •アイテムの抽出とクローリングのためのSpiderを作成 • 抽出したアイテムのパイプライン処理の作成 • 基本はSpiderとItem部分を書いていく
- 35.
- 36. プロジェクトの作成 $ scrapy startprojectscrapy_sample
- 37.
- 38.
- 39. 実行 $ scrapy crawlmininova -o scraped_data.json
- 40. サンプル紹介 • Airbnbの物件情報をスクレイピング • 京都、沖縄（任意の場所） •6/27 - 6/28（この期間で宿泊可能な物件） • 20000円以内 • 価格の分布図を表示（Web画面）
- 41.
- 42. ライブラリ - Scraping •requests (HttpClient) • Beautiful Soup (Scraping) • SqlAlchemy ( O/R Mapper)
- 43. ライブラリ - Web •Bottle ( Web Application Framework) • Highcharts ( Graph Library) • SqlAlchemy ( O/R Mapper)
- 44. Bottle • 軽量なWebアプリケーションフレームワーク • ルーティング •テンプレートエンジン • HTTPユーティリティ • ビルトインのサーバー
- 45.
- 46.
- 47.
- 48.
- 49.
- 50.
- 51.
- 52.
- 53.
- 54.
- 55.
- 56.
- 57.
- 58. 参考資料 • http://scrapy.org (Scrapy ) • http://www.slideshare.net/MasayukiIsobe/web-scraping-20140622isobe • https://github.com/gawel/pyquery/ ( pyquery ) • http://www.crummy.com/software/BeautifulSoup/ ( BeautfulSoup ) • http://orangain.hatenablog.com/entry/scrapy • http://akiniwa.hatenablog.jp/entry/2013/04/15/001411 • http://tokyoscrapper.connpass.com/ ( Webスクレイピング勉強会 ) • http://www.slideshare.net/nezuQ/web-36143026?ref=http://www.slideshare.net/ slideshow/embed_code/36143026 • http://qiita.com/nezuq/items/c5e827e1827e7cb29011（ 注意事項 ）
- 59. 宣伝 • PyCon JP2015（ https://pycon.jp/2015/ ） • 10月9日(金) - 10月12日(月) • トークセッションの募集中 • チュートリアル講師も募集中
- 60.