気に入った記事をブックマーク
- 気に入った記事を保存できます
保存した記事の一覧は、はてなブックマークで確認・編集ができます
- 記事を読んだ感想やメモを書き残せます
- 非公開でブックマークすることもできます
Ameblo/Livedoor/excite/yaplog のブログクローラ書いた - 糞糞糞ネット弁慶
17 users
repose.hatenadiary.jp
repose.hatenadiary.jp
repose.hatenadiary.jp
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
ブログ記事を収集する必要が生じてクローラ書いた． 最初は wget -a ./wget.log -w 30 -r -np -m -k -er... ブログ記事を収集する必要が生じてクローラ書いた． 最初は wget -a ./wget.log -w 30 -r -np -m -k -erobots=off -np blog_url とかやってたけど月別一覧やカテゴリ一覧，モバイル版URLを開こうとしてかなり重複してしまい一向に終わらないので，主要なブログサービスに合わせて書いた． どこから辿るのが記事を網羅できるか考えたところ Livedoor: base_url/archives/year-month.html?p=pos 続きがあるかどうかの判定，ブログによってまちまちなのでキーワードマッチにした Ameblo: base_url/archive#{pos}-#{year}#{month}.html excite: base_url/page/#{pos} yaplog: base_url/#{pos} base_url/mont
repose.hatenadiary.jp
repose.hatenadiary.jp
repose.hatenadiary.jp
repose.hatenadiary.jp
natalie.mu
huyukiitoichi.hatenadiary.jp
anond.hatelabo.jp
zenn.dev/sakasegawa
qiita.com/aaaaaaa8888
qiita.com
zenn.dev/lugendre
blog.asial.co.jp
levtech.jp
blog.flatt.tech
www.techno-edge.net
d.hatena.ne.jp/repose
repose.hatenadiary.jp
repose.hatenadiary.jp
repose.hatenadiary.jp
2013/07/10 リンク