気に入った記事をブックマーク
- 気に入った記事を保存できます
保存した記事の一覧は、はてなブックマークで確認・編集ができます
- 記事を読んだ感想やメモを書き残せます
- 非公開でブックマークすることもできます
Javaですべての上場企業のと地方自治体のサイトをスクレイピングして大変だったこと - Qiita
123 users
qiita.com/shogookamoto
qiita.com/shogookamoto
qiita.com/shogookamoto
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure y... Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 私は主にJavaを使って大量のサイトからクロールとスクレイピングをしています。 作っているサイトは happyou.info です。上場企業と官公庁と地方自治体とその他1万サイトくらいスクレイピングしています。 このエントリでは、技術的なこと特にめんどうくさかった点を書き残しておきたいと思います。基本的なことかもしれませんが、私自身忘れそうなところもあるので。 1.上場企業は企業が入れ替わる 上場企業は毎日企業が入れ替わります。新規上場、上場廃止、合併、分社化、企業名変更は毎日のことです。この変化にキャッチアップするのが難しかったです。
qiita.com/shogookamoto
qiita.com/shogookamoto
www.ktv.jp
hatenanews.com
nafca.jp
shueisha.online
forest.watch.impress.co.jp
qiita.com/kawasima
togetter.com
bookplus.nikkei.com
zenn.dev/thinkingsinc
gihyo.jp
scrapbox.io/nishio
qiita.com
qiita.com/shouta-dev
qiita.com/shogogg
qiita.com/shohei1913
qiita.com
2015/10/19 リンク