PHPでスクレイピングをしようと思って検索すると、Simple HTML DOM Parserというライブラリと、Goutteというライブラリが紹介されてあるようです。 昔から存在してPHPスクレイピングの定番になっているのが、Simple HTML DOM Parserらしく、紹介記事も多い。 Goutteは、パフォーマンスが良いらしいが、比較すると記事が少ない。 そこで、本記事は、パフォーマンスバトルと実装方法についてまとめておきます。 「SayMove!のランキングページから、動画のタイトルを取得する」でベンチマーク対決していただきます 1, Simple HTML DOM Parserのベンチマーク 1-1, 導入 Simple HTML DOM Parserの公式サイトにアクセスして、ダウンロードして、作業ディレクトリにsimple_html_dom.phpを配置する。 1-2,

Simple HTML DOM Parser といえば定番のスクレイピングライブラリで、僕も随分お世話になったわけだけど遅いし重いので Goutte 使ったほうがいいという話です。某サイトをスクレイピングするのに比較したら特にメモリ消費に大きな差がでました。 比較したスクリプトは Github においてありますので自由に使ってください。なおプロファイラは @koriym さんが Qiita にポストしたものを使用させていただきました。 PHPの簡単ベンチマーク プログラム スクレイピング対象のサイトはこのブログにしました。あざといですね。タイトルのリストを出力するプログラムです。 Simple HTML DOM Parser <?php require_once './vendor/autoload.php'; require_once './profiler.php'; $html =

DebugBarはPHP製のオープンソース・ソフトウェア（MIT License）です。 PHPのデバッグと言えばvar_dumpが最も良く知られていると思いますが、画面上にメッセージが出てデザインが狂いますし、連想配列などは見づらくなります。そこでもっとスマートにデバッグできるDebugBarを紹介します。 画面下に出ているバーがDebugBarです。 クリックすると内容が表示されます。これはメッセージです。 配列を見やすく整形もできます。 リクエストの内容も確認できます。 ある処理における経過時間をグラフ化しています。 エラーがあればその捕捉もできます。 最後に実行されたSQLについてです。こちらもエラーがあればその内容が表示されます。 こちらはデモのコード。 DebugBarの使い方は簡単で、AddMessageで出力したいメッセージを追加していきます。そして最後にHTMLに専用のス

PHP 5.5.0が公開されました。オペコードキャッシュやジェネレータなど、言語仕様としても実行エンジンとしても挑戦的な内容が含まれています。 「PHP 5.5.0」が、2013年6月20日に公開されました。2012年3月1日に公開された「PHP 5.4.0」から数えて1年3カ月ぶりのメジャーバージョンアップになります。これまでのメジャーバージョンアップの例に漏れず、言語仕様としても実行エンジンとしても挑戦的な内容が含まれています。なお2013年7月18日にはバグ修正版の「PHP 5.5.1」が公開されており、本稿のサンプルコードは同バージョンで動作を確認しました。 PHP 5.5系列が公開されたことに伴い、PHP 5.3系はメンテナンスモードに入りました。同年7月11日に公開された「PHP 5.3.27」が5.3系列の通常の最後のバージョンとなり、これ以降はセキュリティ修正のみの対応とな

例えばふぁぼるっくというサイトから、各ふぁぼの内容を'ツイート'・'個別ページへのリンク'・'ふぁぼ数'を取得する場合、私だったらこうします。 <?php use Diggin\Scraper\Scraper; $scraper = new Scraper; $scraper->process( '#postlist li', array('postlist[]' => (new Scraper) ->process('//div[@itemprop="articleBody"]', 'articleBody', 'html') ->process('//div[@class="name"]/a', 'author_page', '@href', function($uri) { return $uri->toString();}) ->process('//ul["favlist"]//

ほぼ独学でPHPerになったITかあさんが言いたい、PHPのオススメ勉強法 エイプリルフールですが、これと言って嘘の予定はありませんITかあさんです。いつかはこんなことを書いてみたかった

今更ながらTwitter Streaming APIを使ってみます。 Twitter Streaming APIとは サーバにリクエスト投げて要求したXMLとかJSONファイルが返ってくるREST APIと違って、 Twitterのサーバにコネクション張りっぱなしの繋ぎっぱなしのStreaming API。 1時間あたりのアクセス数によるAPI制限などは無いようですが、 1IPアドレスに1コネクションという制限があり、複数のブラウザで同時に扱うことは出来ないようです。 Streaming API Methods それでは、Streaming APIを使ってツイートを検索してみましょう。 プログラミング言語はPHPとJavascriptを使用します。 実行環境 : Windows7_64bit, PHP5.3.5, Chrome or FirefoxStreaming APIへのアクセスはh

あ、どうも僕です。 今日はPHPでWebサイトをクローリングしてjQueryチックにDOMを操作して、データを取得したり、画像などをダウンロードする方法について書こうと思うよ！ これができると何がうれしいかって、いつも手動で巡回しているサイトなんかにアップされてる画像データを自動でダウンロードできるようになるんだよね。 人がやっていた作業をコマンド一発で自動化できるから、捗ること間違いなしだよ！ あれ、この人、この前node.js使って同じことやってなかったっけか？ node.jsを使ってjQueryチックにWebサイトをクローリングする方法 なんで同じことをPHPでやってんだ？とか思っていやしないだろうか。ああそうさ！ついこの前、node.jsで全く同じことをやって記事を書いたさ！なぜかって！？それは、node.jsの非同期地獄にやられたからさ！ やつめ、データのダウンロードからデータベ

This domain may be for sale!

12/25まで、毎日1人が1つPHPのTipsを自分のblogに書いていくイベントです。 ハッシュタグ phpadvent2012 2011 年まとめ http://www.1x1.jp/blog/2011/12/php_advent_calendar_jp_2011_summary.html 2010 年まとめ http://www.1x1.jp/blog/2010/12/php_advent_calendar_jp_2010_summary.html

PHPのstrtotimeが対応しない書式の日付を正規化する『超strtotime』を公開しました 2012年11月04日 15:02PHP 超strtotime() は当初ウケ狙いで strtoti.me というドメインだったんですが、�なんやかんやありまして別のものに変わりました。 PHPMatsuri 2012 というイベントに参加して作りました。 超strtotime() これは何 PHP の strtotime() では対応できない書式の日付を正規化して JSON で返すサービスです。 strtotime はできる子 strtotime はこういう関数で PHP: strtotime – Manual 英文形式の日付を Unix タイムスタンプに変換する なかなかできる子です。 PHP マニュアルのサンプルはこうなってるけど echo strtotime("now"), "\n"

ホーム 記事 PHPカンファレンス WordCamp Tokyo PHPカンファレンス2012 & WordCamp Tokyo 2012 講演資料まとめ #phpcon2012 #wctokyo 2012.09.16 2016.01.03 PHPカンファレンス2012 & WordCamp Tokyo 2012 講演資料まとめ #phpcon2012 #wctokyo 講演資料とかまとめ おはようございます。 昨日のイベントは本当に楽しかったです！ スタッフさん、講演者さん、参加者の皆さんお疲れ様でしたm(_ _)m さて、昨日の夜あたりから、twitterなどで講演資料の情報が色々出ていますね。 非常にありがたいのですが、どれも単発で収集が面倒だったので 現時点で見つけたものをまとめてみました。 最近はNAVERまとめにまとめるのが良いんでしょうけど 僕はどうもあそこは苦手でして… 順

「追記とか」にコメントの返答や追記をしてますので合わせてどうぞ。 かれこれ３年くらいPHPをやっているので、せっかくなので１０個の便利な関数を並べてみました。 作業効率がかなりアップするので、これからPHPをやってみようかなぁって思う方は知っておくと便利だと思います。 変数、配列の内容をキレイに表示する関数「d」 変数や配列の内容をHTML構文でキレイに表示してくれます。 しかも、var_dumpと書くとタイピングが大変なので「d($hoge)」として簡単に記述。 これだけでも作業効率8倍 function d() { echo '<pre style="background:#fff;color:#333;border:1px solid #ccc;margin:2px;padding:4px;font-family:monospace;font-size:12px">'; foreac