PerlのHTTP::Responseモジュールだがis_successというメソッドがある。 前回のHTTPSのクローラーでも正常な通信の判定に利用していたが、これに落とし穴が。 サーバーが302のMoved Permanentlyを返した時にFALSEとなるのである。 CPANにあるドキュメントを読んでみると、 http://search.cpan.org/~gaas/libwww-perl-5.808/lib/HTTP/Response.pm $r->is_info $r->is_success $r->is_redirect $r->is_error These methods indicate if the response was informational, successful, a redirection, or an error. See HTTP::Status fo

Perl › モジュール › here Perlの5.10からTime::Pieceと呼ばれる時刻を便利に扱うためのモジュールが標準モジュールに加わりました。Perlの5.10以上を使用している場合はTime::Pieceモジュールを日付と時刻を扱いたい場合に利用すると便利です。 従来のPerlでは日付や時刻を直感的に扱う手段が標準モジュールにはありませんでした。日付や時刻を扱うためには少し面倒な作業が必要でした。Time::Pieceは日付と時刻の直感的な操作を提供します。また日付・時刻の書式化の機能や解析する機能も備えます。 Perlには実質的に日付を扱うモジュールのスタンダードといえるDateTimeというモジュールがあります。ただしこのモジュールは標準モジュールではなくCPANからインストールする必要があります。また巨大なモジュールですのでモジュールを読み込む時間が非常にかかります

{{tag: go, test, testing, actually }} actually は Go の testing ライブラリです。明示的なインターフェースと一貫性の高いメソッド群、そしてメンテナンスやリファクタリングの際に力を発揮するフェイルレポートを備えています。 [[https://github.com/bayashi/actually ac... つづきを読む

正規表現の概要 正規表現は、Perlの中で最も重宝する機能のひとつです。正規表現にはテキスト処理のための様々な機能があり、文字列の中から特定のパターンを見つけ出したり、置換したりすることができます。 正規表現の基本的な使用方法 たとえば、$strという変数に格納したデータの中から、「A」で始まって途中は何があるかわからないが最後が「E」という文字列を探したい場合､次のように記述することで、条件にマッチする文字列を見つけることができます。 $str =~ /A.*E/; 上記では、ドット( . )が改行以外の1文字を表し、アスタリスク( * )がその任意の文字の0回以上の繰り返しを意味します。このように、正規表現において特殊な働きを持った文字を正規表現演算子、またはメタ文字と呼びます。また、=~ はパターン結合演算子と呼ばれ、「左辺の値から右辺の値を検索する」という意味があります。 正規表現

Perl › 関数 › here glob関数を使用すると、ファイル一覧を取得することができます。 my @all_files = glob "*"; ファイル一覧を取得するには、glob 演算子を使います。対象は、カレントディレクトリのファイル(ディレクトリを含む)になります。別のディレクトリのファイル一覧を取得したときはchdir関数 で、カレントディレクトリを移動するか、相対パスあるいは、絶対パスで、表現します。 glob の引数の表現例 "*" .で始まらない、すべてのファイル "*.txt" .txt で終わるファイル "*.txt *.pl .txt あるいは、 .pl で終わるファイル( .txt と .pl の間に空白があります ) "* .*" すべてのファイル( * と .* の間に空白があります ) "lib/* libディレクトリ以下のファイル c:/dir/* 絶

via Web::Scraper プレゼン＠YAPC::EU Web::Scraperにコマンドラインインタフェースが追加されたのでさっそく遊んでみた。お題は、オライリー・ジャパン発行書籍一覧から書籍情報の抽出。簡単杉…。 HTMLソースはこんなん。スクレイピング向きのきれいなソースだね。 ... <table class="booklist" width="100%" cellspacing="0" cellpadding="0" border="0"> <tr class="booklist defaultcolor"> ... </tr> <tr class="up"> <td class="booklistisbn"> <a name="4-87311-094-7" /> 4-87311-094-7 </td> <td class="booklisttitle"><a href="

使い方は、use Web::Scraper; - 今日のCPANモジュールをがっつり参照。 コマンドラインがすごい便利よい〜なぁ〜 と、思ったものの練習用にうってつけなページ （シンプルかついろいろこみこみなページ）が 見当たらなかったので、ちょっと遊べる程度のページを作ってみました。 →テスト用のページ。 で、さっそく遊んでみる。 まずは、コンソールを立ち上げて上記URLを指定。 scraper "http://musicbb.s270.xrea.com/tes/hatena2/004/scraper.html" ◇cssセレクタ idやclassがあればピンポイントで攻めれるんでまずはそちらから。 idの場合 上記テストページの２行目で遊んでみる <p id="id1">噂のページは<a href="./scraper.html" id="id2" target="_blank">こち

1.ハッシュへ値を代入 ハッシュ変数は、配列のインデックスが文字列となったもので、このインデックスを『キー』と呼びます。ハッシュの場合は要素の値がキーによって管理されます。 ハッシュの宣言 ハッシュへ値を代入 ハッシュの宣言 ハッシュを宣言するときは変数名の前にパーセント（ % ）を付けます。 %hash; ハッシュへ値を代入 配列では、[ ] でインデックスを囲みましたが、ハッシュは、 { }でキーを囲みます。例えば社員の名前とメールアドレスを管理する場合、次のような方法でハッシュを使った管理ができます。 $hash{'Akai'} = 'akai@domain.com'; $hash{'Ishikawa'} = 'ishi@domain.com'; $hash{'Ueda'} = 'ueda@domain.com'; 複数の値を一度にハッシュへ代入するには、キー、値の順番で記述します。

2008年03月30日19:45 カテゴリLightweight Languages一日一行野郎 perl - ワンライナーの書き方入門 まあ、ruby のコマンドラインオプションって、Perl由来ですから。 Rubyでワンライナーを書く方法のまとめ まぁ、Perlもあるしあんまり需要が無いのかも知れませんが。 というわけで、Rubyistにも役立つPerlのワンライナー入門です。 基本中の基本 コマンドとしてのperlは、スイッチがない場合、引数はスクリプト名として扱われます。 % cat hello.pl print "Hello, world!\n"; % perl hello.pl Hello, world! % コマンドライン中の文字列をスクリプトとして解釈させるには、-eを使います。 % perl -e 'print "Hello, World!\n"' Hello, worl