Anemone - Ruby Web-Spider Framework
An easy-to-use Ruby web spider framework What is it? Anemone is a Ruby library that makes it quick and painless to write programs that spider a website. It provides a simple DSL for performing actions on every page of a site, skipping certain URLs, and calculating the shortest path to a given page on a site. The multi-threaded design makes Anemone fast. The API makes it simple. And the expressive
Net::HTTPã®ä¾‹å¤–補足方法 - OVERT MEMO
Net::HTTPã¯å†…部ã§Timeoutを利用ã—ã¦ã„ã‚‹ã‘ã©ã‚‚ã€ã“ã‚Œã®ã‚¨ãƒ©ãƒ¼è£œè¶³ã¾ã§ã®é¢å€’ã¯è¦‹ã¦ãã‚Œãªã„。 ãªã®ã§å¿…ãšrescueã§è£œè¶³ã—ã¦ã‚ã’ã‚‹å¿…è¦ãŒã‚る。 begin Net::HTTP.get(url) rescue puts "exception on HTTP: #{$!}" end ・・・ã¨å®‰ç›´ã«ã‚„ã‚ŠãŸã„ã¨ã“ã‚ã ã‘ã‚Œã©ã€ã“ã“ã«è½ã¨ã—穴。 実際ã«HTTP通信ãŒã‚¿ã‚¤ãƒ アウトを起ã“ã™ã¨ã“ã†ãªã£ã¦ã—ã¾ã†ã€‚ /usr/lib/ruby/1.8/timeout.rb:54:in `rbuf_fill': execution expired (Timeout::Error) 引数無ã—ã®rescueã¯StandardErrorã¨ãã®ã‚µãƒ–クラスã—ã‹å—ã‘付ã‘ã¦ãã‚Œãªã„。 error_type ãŒçœç•¥ã•ã‚ŒãŸæ™‚㯠StandardError ã®ã‚µãƒ–クラスã§ã‚ã‚‹å…¨ã¦ã®ä¾‹å¤–ã‚’æ•æ‰ã—ã¾ã™ã€‚ プãƒã‚°ãƒ©ãƒŸãƒ³ã‚°è¨€èªž
Ruby Scraping - FrontPage
Rubyã«ã‚ˆã‚‹Web Scrapingライブラリã®æƒ…å ±ã‚’ã¾ã¨ã‚ã‚‹ãŸã‚ã®Wikiã§ã™ã€‚ HpricotHTMLを「Rubyらã—ãã€æ‰±ã†ãƒ©ã‚¤ãƒ–ラリ MechanizeWebサイトã¸è‡ªå‹•ã§ã‚¢ã‚¯ã‚»ã‚¹ã™ã‚‹ãŸã‚ã®ãƒ©ã‚¤ãƒ–ラリ scRUBYt!DSLを使ã£ã¦ç°¡å˜ã«ã‚¹ã‚¯ãƒ¬ã‚¤ãƒ”ングを行ã†ãƒ©ã‚¤ãƒ–ラリ feedalizerhtmlã‹ã‚‰RSSフィードを作るã®ã«å½¹ç«‹ã¤ãƒ©ã‚¤ãƒ–ラリ scrAPIパーサを定義ã™ã‚‹ã“ã¨ã§HTMLを解æžã™ã‚‹ãƒ©ã‚¤ãƒ–ラリ ウェブサイトã‹ã‚‰å¿…è¦ãªãƒ‡ãƒ¼ã‚¿ã‚’抽出ã™ã‚‹ã“ã¨ã€‚(Scrape = 削りå–ã‚‹) ライブラリã«ã‚ˆã£ã¦ã¯ã€å—ä¿¡ã—ãŸãƒ‡ãƒ¼ã‚¿ã®è§£æžã ã‘ã§ãªãデータã®é€ä¿¡ã«ã‚‚対応ã—ã¦ã„る。 例： RSSã‚’é…ä¿¡ã—ã¦ã„ãªã„ウェブサイトã®HTMLをスクレイピングã—ã¦é‡Žè‰¯RSSを作る Googleã®æ¤œç´¢çµæžœã‚’スクレイピングã—ã¦è‡ªå‹•ã§Google検索ã™ã‚‹ã‚¹ã‚¯ãƒªãƒ—トを書ã ブãƒã‚°ã®æŠ•ç¨¿ãƒšãƒ¼ã‚¸ã‚’解æžã—ã¦ã€ã‚³ãƒžãƒ³ãƒ‰ãƒ©ã‚¤ãƒ³ã‹ã‚‰
1
ランã‚ング
ランã‚ング
ランã‚ング
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
処ç†ã‚’実行ä¸ã§ã™
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
{{#tags}}- {{label}}
{{/tags}}