HTMLスクレイピング in Scala ãã®1 - noire722 ã®æ—¥è¨˜
スクレイピングã—ã¦éŠã¶ãŸã‚ã«ã€æ–‡å—コードを判別ã—ã¦HTMLソースをå–å¾—ã™ã‚‹ã‚³ãƒ¼ãƒ‰ã‚’Scalaã§æ›¸ã„ã¦ã¿ã¾ã—ãŸã€‚ 実装 HtmlScraping.scala import scala.io.Source import scala.util.matching.Regex object Html{ def getSource(url: String): List[String] = { val src = Source.fromURL(url, "ISO-8859-1").getLines.toList var charset: String = null val regex = new Regex("""charset[ ]*=[ ]*[0-9a-z|\-|_]+""") for(line <- src){ val lower = line.toLowerCase if(lower.conta
Ruby ã§ã‚¹ã‚¯ãƒ¬ã‚¤ãƒ”ングã™ã‚‹ãªã‚‰ scrAPI ã® parser_options ã¨ã‹ WWW::Mechanize ã® Pageオブジェクト ã¨ã‹ã«æ°—を付ã‘ã‚ï¼ï¼ - (ﾟ∀ﾟ)o彡 sasata299's blog
2009å¹´07月10æ—¥03:15 Ruby Ruby ã§ã‚¹ã‚¯ãƒ¬ã‚¤ãƒ”ングã™ã‚‹ãªã‚‰ scrAPI ã® parser_options ã¨ã‹ WWW::Mechanize ã® Pageオブジェクト ã¨ã‹ã«æ°—を付ã‘ã‚ï¼ï¼ タイトルã®é€šã‚Šã§ã™ãŒã€Ruby ã§ã‚¹ã‚¯ãƒ¬ã‚¤ãƒ”ングã™ã‚‹ã¨ãã£ã¦ã€scaAPI ã¨ã‹ WWW::Mechanize を利用ã™ã‚‹ã‚“ã§ã¯ãªã„ã‹ã¨æ€ã„ã¾ã™ã€‚hpricot ã¨ã‹ã‚‚使ã†ã‹ã‚‚知れã¾ã›ã‚“ãŒãƒ»ãƒ»ã€‚ã£ã¦ã“ã¨ã§ã€è‡ªåˆ†ã§å®Ÿéš›ã«ä½¿ã£ã¦ã¿ãŸã¨ãã«å›°ã£ãŸã“ã¨ãªã©ã‚’ã¾ã¨ã‚ã¦ã¿ã¾ã—ãŸã€œã€‚ scrAPI - スクレイピングã®ãŠä¾› Ruby 㧠scrAPI を使ã†ã¨ãã«ã¯ã“ã®ã‚ˆã†ã« process ã«å–å¾—ã—ãŸã„è¦ç´ をセレクタã§æŒ‡å®šã—ãŸã‚Šã€å–å¾—ã™ã‚‹å€¤ï¼ˆ"@src" ã¨ã‹ :text ã¨ã‹ï¼‰ã‚’指定ã—ãŸã‚Šã—ã¾ã™ã€‚以下ã®ã‚ˆã†ã«ã™ã‚‹ã¨ã€imgã‚¿ã‚°ã®src部分を抽出ã—㦠data[:urls] ã«ã€aã‚¿ã‚°ã®ãƒ†ã‚ス
rubyã§ã‚¹ã‚¯ãƒ¬ã‚¤ãƒ”ングã¾ã¨ã‚
æœå¹Œã®ãƒ•ãƒªãƒ¼ãƒ©ãƒ³ã‚µãƒ¼ã¾ã„ã‚€ãžã†ã®ãƒ–ãƒã‚°ã€‚Android関連ã€ã‚³ãƒ³ãƒ”ュータビジョンã€IoTã€ãƒãƒœãƒ†ã‚£ã‚¯ã‚¹ã‚ãŸã‚Šã‚’ã‚„ã£ã¦ã„ã¾ã™ã€‚ スクレイピングã£ã¦ã€ã‚ã‚Œã。 HTMLãªã©ã‹ã‚‰ç‰¹å®šæ¡ä»¶ã§æ–‡å—ã‚’å–å¾—ã™ã‚‹ã‚„ã¤ã。 昔ã¯ãªã‚“らã‹ã®è¨€èªžã®HTTPライブラリã¨æ£è¦è¡¨ç¾ã‚’使ã£ã¦ã‚¬ãƒªã‚¬ãƒªæ›¸ãã®ãŒå¤šã‹ã£ãŸã‚“ã ã‘ã©ã€æœ€è¿‘ã¯ã‚¹ã‚¯ãƒ¬ã‚¤ãƒ”ング用ã®ã‚¢ãƒ—リケーションã¨ã‹ã€å°‚用ライブラリも出ã¦ããŸã‚“ã§ã€ã¡ã‚‡ã£ã¨ã¾ã¨ã‚ã¦ã¿ã¾ã—ãŸã€‚ æ¡ä»¶ã¯ プãƒã‚°ãƒ©ãƒ を書ãå¿…è¦ãŒã‚ã‚‹ãªã‚‰Rubyã«ã™ã‚‹ プãƒã‚°ãƒ©ãƒŸãƒ³ã‚°ãŒå¿…è¦ãªã„ãªã‚‰ã€ãã‚ŒãŒä¸€ç•ª(データをå–り出ã—ã¦çµ‚ã‚ã‚Š) 特定ワードã§æ¤œç´¢ã—ã¦ã€æ¤œç´¢çµæžœã‹ã‚‰ãƒ‡ãƒ¼ã‚¿å–り出ã—ã£ã¦ã®ã‚’繰り返㙠もã¡ã‚ん日本語を扱ㆠã§ã€å€™è£œã«æŒ™ãŒã£ãŸã®ã¯ä»¥ä¸‹ã®4ã¤ã§ã—ãŸã€‚ â– web-harvest Javaアプリ。 プãƒã‚°ãƒ©ãƒŸãƒ³ã‚°ã®å¿…è¦ãŒç„¡ã„。ãã®ä»£ã‚ã‚Šã«XMLã§æ¡ä»¶ã‚’指定ã™ã‚‹ã€‚ 本家 MOONGIFTã§ã®ç´¹ä»‹è¨˜äº‹
1
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
{{#tags}}- {{label}}
{{/tags}}