2013年02月09日22:30 カテゴリTipsLightweight Languages regexp - で Apache Combined Log を Parse する けだし同感。 ましてや Apache Combined Log を LTSV に を書いた後では。 combined2ltsv.plの最初のバージョンのparserはこうなっていました。 sub parse_line_ng { my $line = shift; my %rec; ( $rec{host}, $rec{ident}, $rec{user}, $line ) = split ' ', $line, 4; $line =~ s/^(\[.*?\]) //; $rec{time} = $1; $line =~ s/^\"(.*?)\" //; $rec{req} = $1; ( $rec{status},

2012年01月21日21:45 カテゴリTipsLightweight Languages algorithm - Patricia Trie (Radix Trie) を JavaScript で スマホ手袋 5本指全てタッチできる smarttouch 5105 ミドリ安全 寒いのでこれをしたまま書きました。 dankogai/js-trie-patricia - GitHub 404 Blog Not Found:Algorithm - 連想配列の実装としてのハッシュはオワコン? Trieが連想配列の代わりになるというのを体でも納得しておきたかったので。 はじめてのTrie というわけで早速作ってみましょう。あっけにとられるほど簡単です。ここではObject、つまり連想配列で分岐点を実現するというある意味本末転倒なことをしていますが、JSならばしかたがない。 var Trie =

2011年07月09日15:00 カテゴリLightweight LanguagesTips RegExp - /dan|dankogai/ != /dankogai|dan/ 詳説 正規表現 第3版 Jeffrey Friedl 株式会社ロングテール / 長尾高弘訳 [原著:Mastering Regular Expressions (3rd Ed.)] 夏の正規表現祭りで一つ大事なことを言い忘れていたのは猛暑のせいにしておこう。 それは、タイトルどおり、/dan|dankogai/と/dankogai|dan/が違うということ。 Perl 5.12 use 5.012; say ( "dankogai" =~ /(dan|dankogai)/ ); say ( "dankogai" =~ /(dankogai|dan)/ ); JavaScript (SpiderMonkey 1.7

2010年10月04日04:45 カテゴリLightweight Languages perl - 実践で役立たないPerl正規表現 完全解説 役立つ方をお探しの方は、以下まで。 実践で役立つPerl正規表現 完全解説 - サンプルコードによるPerl入門 s/$regexp/$substitution/ 実のところ、正規表現ではなくs///演算子のお話です。Perlではあまりに正規表現と密接に関係しているので、これ全体を「正規表現」と呼んでしまいがちなのですが、実際のところ $string =~ s/$regexp/$substitution/; とある場合、$regexpのみが正規表現なのでお間違えがないよう。 s/$regexp/$substitution/sex で、全世界の Perl Mongers の皆さんがご存知のように、s/$regexp/$substitution/の最後

2010年09月23日02:00 カテゴリLightweight Languages DHTML - 構造化テキストは構造化するのがやっぱ正しい うーん、気に食わない。 404 Blog Not Found:構造化テキストの間違ったエスケープ手法について make_link = function(href, text) { var a = document.createElement('a'); a.href = href; a.innerHTML = text; var div = document.createElement('div'); div.appendChild(a); return div.innerHTML; }; 何が気に食わないって、折角作ったDOMという構造をベタテキストに戻しちゃうところ。 脱構造しない例 こうすればよいのではないか。 (function(){ v

2010年09月22日21:30 カテゴリLightweight Languages 構造化テキストの間違ったエスケープ手法について 昨晩のtwitter XSS祭りは、ふだんもtwitter.comは使わない私には遠くの祭り囃子だったのですが、せっかくの自戒の機会なので。 Kazuho@Cybozu Labs: (Twitter の XSS 脆弱性に関連して) 構造化テキストの正しいエスケープ手法について 正しいアプローチは、全てのルールを同時に適用することです。 これは残念ながら(おそらく)必要条件であっても十分条件ではありません。 こういう(かなりええかげんな)正規表現でtweetをparseしていたとします。 re_http = '(?:https?://[\\x21-\\x7e]+)'; re_user = '(?:[@][0-9A-Za-z_]{1,15})'; re_hash

2010年09月01日18:30 カテゴリLightweight Languages regexp - to \b or not to \b 詳説 正規表現 第3版 Jeffrey Friedl 株式会社ロングテール / 長尾高弘訳 [原著:Mastering Regular Expressions (3rd Ed.)] 正規表現の単語境界\bは便利ですが、これでうまく行かない場合もあります。 gist: 52e8422175f25d982fd9 - GitHub However when we have punctuation characters at the beginning or end of the keyword we add to the TRIE itself, like "#android", this \b gets in the way, since '#' is

2010年07月22日13:00 カテゴリ regexp - でエラトステネスのふるい やりましょう。 正規表現で素数判定 - NO!と言えるようになりたい 正規表現でエラトステネスのふるいはさすがに無理かなできました。 #!/usr/bin/perl use strict; use warnings; my $max = shift || 100; my @primes; sieve: for my $ns ( map { 1 x $_ } ( 2 .. $max ) ) { for my $ds (@primes) { last if $ds x length($ds) gt $ns; next sieve if $ns =~ /^(?:$ds)+$/; } push @primes, $ns; printf "%3d:%s\n", length $ns, $ns; } 見ての通り、本

2010年04月23日07:00 カテゴリLightweight Languages perl - Unicode「'あ'はAlphabetですが、何か?」 結論から言うと、仕様です。 Is "あ" an alphabet? - FloralCompany.log use utf8; print 1 if "あ" =~ /\p{IsAlpha}/; print 2 if "あ" =~ /\p{Alphabetic}/; print 3 if "あ" =~ /[[:alpha:]]/; ﾅﾝﾃﾞﾔﾈｰﾝ それも、PerlではなくUnicodeの。 UAX #44: Unicode Character Database Characters with the Alphabetic property. For more information, see Chapter 4 in [Unicode

2010年04月21日17:30 カテゴリ書評/画評/品評Lightweight Languages /for more regexp users/ > any(other) - 書評 - 正規表現クックブック オライリー矢野様より献本御礼。 正規表現クックブック Jan Goyvaerts / Steven Levithan / 長尾高弘訳 [原著:Regular Expressions Cookbook] もっと早く出てしかるべきだった一冊。 と同時に、「言語繚乱」とも言える今でこそ出せた一冊でもある。 こう叫びたい。 「本書を読む前にぐぐったあげくのダメ正規表現を使う羽目になるな」、と。 本書「正規表現クックブック」は、今やテキスト処理用の「サブ言語」としてありとあらゆる言語に登場する正規表現を、それぞれの言語でどう表現するかを、「よく使う場面」ごとにレシピとしてまとめたもの。 正規

2009年10月01日18:00 カテゴリLightweight Languages書評/画評/品評 #perl #regexp - $utf8 =~ /.../i # の傾向と対策 というわけで、その傾向と対策を。 [Perl]UTF8-flagged strings affects regexps with the "i" modifier - use GFx::WebLog; Perlではutf8フラグ付きの文字列に対するuc/lc/"i"正規表現修飾子は非常に遅いのだが，H::F::Liteでは/iを使っているので，試しに/iを使わないようにしてみると，速度が改善した id:gfxの主張は、以下のようにして確かに確かめられる。 use strict; use warnings; use Benchmark qw/cmpthese timethese/; { use bytes; m

2009年07月22日20:00 カテゴリLightweight Languages javascript+regexp - ていうか首都最強東京bookmarklet 一都民にして一JavaScripterにして一正規表現者として書かずにいられませんでした。 ていうか東京都最強です - 怒りにも似た祈り（イカノリ） 東京都最強bookmarklet 以下、お試し用。 東京都庁 JR東日本東京駅 東京タワー 東京電波塔 江戸東京博物館 東京都 東京都中央区 東京都江戸川区 東京電力 東京特許許可局 三菱東京UFJ銀行 三菱東京三和銀行 東京オリンピック 東京五輪 東京マラソン 東京摩羅村 東京武技鵜議 東京だよおっ母さん 東京ラブストーリー 東京失恋物語 東京ディズニーランド 東京鼠地帯 「非首都ディズニーランド千葉」にならないじゃないかというお叱りを受けそうですが、したらしたらで今度は東

タイトル変えました。旧タイトル「JavaScriptでよく使う書き方」。よく使うけど毎回忘れる。 正規表現にマッチするかどうか。 RegExp#testを使う。 /abc/.test("abcdefg") // => true String#searchはマッチした位置を返す。マッチしない場合は-1。先頭にマッチすると0でfalseなので注意。真偽値が欲しい場合はString#searchを使わない。 "abcdefg".search(/xxx/) // => -1 "abcdefg".search(/def/) // => 3 "abcdefg".search(/abc/) == false // => true 正規表現の部分マッチを得る。 部分マッチを得るには、RegExp#execかString#matchを使う。execとmatchの速度は大して変わらない。 正規表現のベンチマー

2009年05月01日14:00 カテゴリTipsLightweight Languages tips - "%E5%BC%BE" を「弾」にするには? これ、昨今では最もよく再発明されている車輪の一つかも。 検索サイトなどのURL中に含まれる「％＋１６進」の形にエンコードされた日本語文字列（例えばI%E3%82%B7%E3%83%A1%E3%82%B8I）を、LinuxのCUI上でデコードする簡単な方法は.. - 人力検索はてな 最古の文字コード変換プログラムの一つであるnkfが対応していたとは知らなかった。 JavaScriptで decodeURIComponent()を使えばOKです。以下、例。 Decoded: Encoded: <dl> <dt>Decoded:</dt> <dd><input id="uri.decoded" type="text" size="64" val

2009年03月25日17:15 カテゴリLightweight Languages perl - Encode 2.33 Released! Encode 2.33 を Release したのでお知らせします。 /lang/perl/Encode/trunk - CodeRepos::Share - Trac Dan Kogai / Encode - search.cpan.org http://www.dan.co.jp/~dankogai/cpan/Encode-2.33.tar.gz 詳説 正規表現 第3版 Jeffrey Friedl 株式会社ロングテール / 長尾高弘訳 [原著:Mastering Regular Expressions (3rd Ed.)] 2.31で一カ所だけ$&が混じってしまったのを直したのが前VERSIONとの唯一の違いです。念のため fgrep '$&

2009年03月20日05:00 カテゴリLightweight Languages regexp - 'test@[127.0.0.1' . "\\\x1f]" はRFC2822準拠 私自身驚いたのだが、'test@[127.0.0.1' . "\\\x1f]"はRFC2822に準拠している。 へぼへぼCTO日記 - 「danコガいはもう正規表現をblogに書くな」と言わせないでくれ おかげで上記のコードもvalidだ。なんてこったなぜそうなのか、というのは、RFC2822のdomain-literalの仕様による。 domain-literal = [CFWS] "[" *([FWS] dcontent) [FWS] "]" [CFWS] 「[]で囲まれたdcontent」っていったいなんだ？ dcontent = dtext / quoted-pair 「dtextまたはquoted

2009年03月19日18:00 カテゴリLightweight Languages 「PHP使いはもう正規表現をblogに書くな」と言わせないでくれ ああ、まただよ... かなり使えるPHPの正規表現まとめ - IDEA*IDEA 〜 百式管理人のライフハックブログ 〜 正規表現って、プログラミング言語間の差が少ないサブ言語なのに、なぜ「PHP」がつくとダメ正規表現ばかり登場するのか。うんざりだ。 かなり使えるPHPの正規表現まとめ - IDEA*IDEA 〜 百式管理人のライフハックブログ 〜メールアドレスは厳密にチェックしようとするとなかなか難しいのですが、簡単なチェックだったらこれでOKぽいですね。 /^[^0-9][a-zA-Z0-9_]+([.][a-zA-Z0-9_]+)*[@][a-zA-Z0-9_]+([.][a-zA-Z0-9_]+)*[.][a-zA-Z]{2,4}$

2009年03月09日00:30 カテゴリLightweight LanguagesTips regexp - ^$でなくて\A\zを使おう まずは回答から。 正規表現で「制御文字以外」のチェック - ockeghem(徳丸浩)の日記 文字エンコーディングの妥当姓 制御文字(\x00〜\x1f, \x7f)のチェック 文字列長のチェック このうち後ろ二つを正規表現として書くにはどうすればいいかを考えていました。 こういう時には、「全文字がOKならOK」と考えるのではなく、「一文字でもNGならNG」と考えると楽になります。それは「スペースと非制御文字以外」なのですから、/[^ \S]/が求めていた正規表現で、=~ではなく!~が使うべき演算子ということになります。全角スペースもOKにしたければ、/[^ \x{3000}\S]/。[追記参照] [Run via Codepad] #!perl -

2009年02月16日22:30 カテゴリ書評/画評/品評 regexp - possessive quantifier (独占的|絶対最大)量指定子とは何か? 入門正規表現 岩谷宏 ちがうよ!バグじゃないよ! 404 Blog Not Found:perl - Encode-2.31 Released, 2.30 zapped, regexp bug in 5.10.0 ちょっと調べてみると.... % perl5.10.0 -le 'print "perl" =~ /^\w{1,8}+$/' 1 % perl5.8.8 -le 'print "perl" =~ /^\w{1,8}+$/' Nested quantifiers in regex; marked by <-- HERE in m/^\w{1,8}+ <-- HERE $/ at -e line 1. というわけで、Perl