気に入った記事をブックマーク
- 気に入った記事を保存できます
保存した記事の一覧は、はてなブックマークで確認・編集ができます
- 記事を読んだ感想やメモを書き残せます
- 非公開でブックマークすることもできます
[Python] lxmlでスクレイピングのメモ – taichino.com
11 users
taichino.com
taichino.com
taichino.com
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
以前、BeautifulSoupでのスクレイピングのまとめを書きましたが、ベンチマークを取ってみるとlxmlの方が... 以前、BeautifulSoupでのスクレイピングのまとめを書きましたが、ベンチマークを取ってみるとlxmlの方が圧倒的に速いので、lxmlが使えるならlxmlを使った方が良いです。それで久々にlxmlを使おうとしたら、例によって全く覚えていなくて悲しいのでメモ書きです。 基本的にはXPathを使いまくるだけです。BeautifulSoupとかに比べると、正規表現の指定方法が複雑ですね。ハマりポイントは以前も少し書きましたが、positionを指定する際に、//(descendant-or-self)とdescendantは違うという事です。直感的ではないのですぐ忘れてしまいます。注意しましょう。 #!/usr/bin/env python # -*- coding: utf-8 -*- import lxml.html html = ''' <html> <body> <div id="
taichino.com
taichino.com
taichino.com
taichino.com
kuruma-news.jp
nlab.itmedia.co.jp
www3.nhk.or.jp
www.nhk.or.jp
falsandtru.hatenablog.com
forest.watch.impress.co.jp
note.com/shunkurosaki
joisino.hatenablog.com
internet.watch.impress.co.jp
developers.gmo.jp
techblog.enechain.com
techblog.tver.co.jp
2013/10/21 リンク