blog記事の本文抽出 : 研究開発

blog記事の本文抽出 : 研究開発

主にblogですが、広告やその他内容に関係ないところを全て削除して本文だけを取得したいと思うことは多...概要を表示 主にblogですが、広告やその他内容に関係ないところを全て削除して本文だけを取得したいと思うことは多くあります。 そういう場合にどのような方法があるか Webstemmerはhtmlファイルの形式、定型パターンから本文を抜き出すようです。 しかしながら、製作者が言っているとおり、もっと簡単に抜き出す方法があったりします。 < !-- google_ad_section_start --> ...本文... < !-- google_ad_section_end --> という指定がしてある所だけを抽出してAdSenseの内容を決める機能が有るので、それを適用しているblogであれば楽に本文のEntryFullTextが出来るよね。 実はこれはかなり有効な方法で、これだけでかなりカバーできたりします。 しかしながら、対応してないblogも多いです。 さて、わたくしは現在どういう風に対応してる

• 自然言語処理
• blog
• nlp
• Tips