GoでシュッとWebスクレイピングする
- 3. 3 もくじ • モチベーション • Webスクレイピングとは？ • 使ったパッケージ • 静的サイトのスクレイピング • 動的サイトのスクレイピング • まとめ
- 5. 5 モチベーション
- 6. 6 モチベーション • 何か思いついた時にシュッとWebスクレイピングしたい • 自分の中にシュッとやる方法が確立してなかった • PHP？Python？Node.js？Go？ • Goでやってみよう
- 8. 8 Webスクレイピングとは？ • ウェブサイトから情報を抽出するコンピュータソフト ウェア技術のこと（Wikipedia調べ） • HTML取得→DOM解析→保存→加工→何かしらで利用 • 用法・容量を守って正しくスクレイピングする必要あり • Twitterはスクレイピングを利用規約で明示的に禁止している • 岡崎市中央図書館事件 • Webスクレイピングの注意事項一覧 https://qiita.com/nezuq/items/c5e827e1827e7cb29011
- 10. 10 使ったパッケージ
- 12. 12 使ったパッケージ 例）タイトルタグの中身を取得 doc, _ := goquery.NewDocument(url) doc.Find("title").Text() 例）クラス名を指定して取得 doc, _ := goquery.NewDocument(url) doc.Find(".hoge-list > li")
- 13. 13 使ったパッケージ doc.Find(".hoge-list > li ").Each(func(i int, s *goquery.Selection) { s.Find(“a > span”).Text() }) 例）取得した複数のliをループする jQueryでDOM操作をゴリゴリしたことがある 人にはきっと使いやすい ※goqueryの詳しい使い方はググる
- 14. 14 静的サイトのスクレイピング
- 16. 16 簡単！
- 17. 17 静的サイトのスクレイピング 簡単！ • ChromeのDeveloper Toolsで確認したままのDOM • 素直に指定すれば要素が取得できる • qoqueryだけでシュッとスクレイピングできる
- 18. 18 動的サイトのスクレイピング
- 20. 20 むずかしぃ・・・
- 21. 21 動的サイトのスクレイピング むずかしぃ・・・ • ChromeのDeveloper Toolsで確認したままのDOM ではない・・・ • レンダリングが終わる前のHTMLが返ってくる • ググるとSeleniumと組み合わせてってのが多い • 面倒なことはしたくない・・・（したほうがいい
- 22. 22 そこで
- 23. 23 動的サイトのスクレイピング Scrapy + Splash • Scrapy • Python製のクローリング・スクレイピングフレーム ワーク • robots.txtを考慮してくれる（らしい） • Splash • Python製のJavascriptレンダリングサービス
- 25. 25 動的サイトのスクレイピング Scrapy + SplashのDockerのコンテナがある • scrapinghub/splash • 静的サイトをスクレイピングするのと同じ感じで できる • 便利な世の中ですね
- 27. 27 動的サイトのスクレイピング Scrapy + Splashのコンテナを起動 $ docker pull scrapinghub/splash $ docker run -d -p 5023:5023 -p 8050:8050 -p 8051:8051 scrapinghub/splash Scrapyを経由してアクセスするURL http://localhost:8050/render.html?url=https://hogeho ge.com&timeout=10&wait=3 ※5023: telnet 8050: http 8051: https ※ Scrapy,Splashの詳しい内容・使い方はググる
- 28. 28 まとめ
- 29. 29 まとめ GoでシュッとWebスクレイピングするなら・・・ • goqueryを使う • Scrapy + Splashのコンテナを使う • ルールを守ってスクレイピングする
- 30. 30 おわり