気に入った記事をブックマーク
- 気に入った記事を保存できます
保存した記事の一覧は、はてなブックマークで確認・編集ができます
- 記事を読んだ感想やメモを書き残せます
- 非公開でブックマークすることもできます
Appengine(GAE/node)でSPA対応したクローラーで楽々スクレイピング - Qiita
6 users
qiita.com/chidakiyo
qiita.com/chidakiyo
qiita.com/chidakiyo
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
Motivation GAE/SE環境でクローラを作ろうとすると、静的ページならどの言語でも比較的簡単に作れますが... Motivation GAE/SE環境でクローラを作ろうとすると、静的ページならどの言語でも比較的簡単に作れますが、SPA（JavaScriptで動的に生成するサイト）の場合にはJavaScriptを動かしてコンテンツを生成する必要があるため、クローリングが容易ではないです。 GAE/nodeの新しいランタイムではpuppeteerを利用してHeadless Chromeを動かすことができるようで、SPAのようなサイトに対応したクローラが作れそうなので、ざっくりと動かしてみることにします。 事前準備 ローカル環境に以下のものが必要です gcloudコマンド node（npm） puppeteerのインストール (npm install puppeteer) nodeプロジェクトの初期化を行う nodeプロジェクトを作成するディレクトリに移動し、以下のコマンドを実行します。 基本的にはエンタ
qiita.com/chidakiyo
qiita.com/chidakiyo
qiita.com/chidakiyo
qiita.com/chidakiyo
www.hoshinogen.com
www.newsweekjapan.jp/tokyoeye
www.nhk.or.jp
bufferings.hatenablog.com
www.m3tech.blog
www.watch.impress.co.jp
gigazine.net
www3.nhk.or.jp
zenn.dev/cadp
pc.watch.impress.co.jp
qiita.com/ko1nksm
language-and-engineering.hatenablog.jp
language-and-engineering.hatenablog.jp
language-and-engineering.hatenablog.jp
language-and-engineering.hatenablog.jp
language-and-engineering.hatenablog.jp
2018/10/03 リンク