![正規表現$reg = '/s?https?:[-_.!~*'()a-zA-Z0-9;?:@&=+$,%#]+/u';if (!preg_match($reg, $str)) { throw new Exception('URL is invalid!');}1s-_.!~*'()a-zA-Z0-9;?:@&=+$,%#s11://http222← これは優先順位X](https://image.slidesharecdn.com/random-110903063222-phpapp01/85/-7-320.jpg)
クローラを作る技術と設計 (毎週のハンズオン勉強会資料)
- 3. XPathXML や HTML の任意の位置を取得するための式XPathエンジンがあれば、 XPathを指定して HTML 上の値を簡単に持ってこれる
- 4. XPath<?php$url = 'http://www.nicovideo.jp/';libxml_use_internal_errors(true);$doc = new DOMDocument();$doc->loadHTML(file_get_contents($url));libxml_clear_errors();$xpath = new DOMXPath($doc);foreach ($xpath->query('//a') as $node) { echo $node->textContent . "";}
- 7. 正規表現$reg = '/s?https?:[-_.!~*'()a-zA-Z0-9;?:@&=+$,%#]+/u';if (!preg_match($reg, $str)) { throw new Exception('URL is invalid!');}1s-_.!~*'()a-zA-Z0-9;?:@&=+$,%#s11://http222← これは優先順位X
- 8. 正規表現練習Apache のログファイルから、 IP アドレス別アクセス数を出してみよう
- 13. プロセス管理crondaemon
- 14. cron定期的にプログラムを実行
- 15. とても簡単
- 16. コマンドラインで動くプログラムをそのまま使えるcron$ vim crontab.txt12 4 * * * php /home/user/crawl_user_page.php34 5 * * * php /home/user/crawl_top_page.php$ crontab < crontab.txt
- 18. daemonrequire_once("System/Daemon.php");System_Daemon::setOptions(array( 'appName' => 'crawler'));System_Daemon::start();while (true) { …System_Dameon::iterate(5);}System_Daemon::stop();