2021.06.11 はじめての正規表現とベストプラクティス10: 危険な「Catastrophic Backtracking」前編 1: 基本となる8つの正規表現 2: 正規表現とは何か/ワイルドカードとの違い 3: 冒頭/末尾にマッチするメタ文字とセキュリティ、文字セットの否定と範囲 4: 先読みと後読みを極める 5（特別編）|と部分マッチのワナ 6: 文字セットのショートハンド 7: Unicode文字ポイントとUnicode文字クラス 8: 対象の構造を意識した「適度にDRYな」書き方 9: .*や.+がバックトラックで不利な理由 10: 危険な「Catastrophic Backtracking」前編（本記事） 主にRubyを中心としながらも、なるべく一般的な形で正規表現を解説しています。誤りやお気づきの点がありましたら@hachi8833までどうぞ🙇。 きっかけ 以下の記事の

こんにちは、hachi8833です。前回記事に続き、enno.jpにあえて搭載していない機能について書きました。 日本語エラーチェックサイトenno.jpで サポートしない機能がある理由（前編） 4. 設定のカスタマイズはサポートしない enno.jpには、ユーザー向けの設定変更機能は付けていません。 前回記事で自動修正をサポートしなかったのと同じ理由で、ユーザーが設定について思いわずらう必要なしにチェックを進められることを優先することにしました。 他の機能については別のチェックツールとの併用をお願いします。私もそうしています。 5. 構文解析や機械学習は使っていない enno.jpでは、構文解析や機械学習ベースのビッグデータ解析のような、意味に踏み込んだチェックは一切行っていません。外見だけで判断できるあからさまなエラーだけをチェックしています。 構文解析を取り入れていない理由は、手間が

こんにちは、hachi8833です。最近PEG（Parsing Expression Grammar）という形式言語で遊んでいます。正規表現に似ているせいか、私にとっては楽しいおもちゃです。 PEGについて 参考: Parsing Expression Grammar - Wikipedia PEGについて詳しくはWikipediaに譲りますが、PEGで仕様を記述して、それをPEGパーサージェネレータで変換するとパーサー（parser: 構文解析器）のコードを生成できます。 参考: 構文解析器 - Wikipedia Wikipediaにはさまざまな言語用のPEGパーサージェネレータが紹介されています。私の場合は、以下のpointlander/pegという、Go言語用のPEGパーサージェネレータを使っています。 自分にとってPEGは、正規表現ですべてに名前（ルール名）を付けて書いているよう

はじめに: Rubyの数値リテラルの単項演算子 Rubyのリテラルのうち、少なくとも整数リテラルには、以下のように符号を複数持つ単項演算子を付けることもできます（小数リテラルなどの数値リテラルや変数などの単項演算子については調べていません）。 # 1つの行がひとつの単項です 1 1 -1 ---1 -----1 -1 ---1 -----1 - 1 --- 1 ----- 1 +- 1 +--- 1 +----- 1 -+1 ---+1 -----+1 - + 1 --- + 1 ----- + 1 -1 -+-+-1 +- + + - -+ + + - -1 --1 ----1 ------1 +--+1 ※Rubyの日本語ドキュメント↓を調べてみると、単項演算子を「+符号や-符号やスペース文字を0個以上含むもの」とする説明は見当たりませんでしたが、本記事では便宜上「+符号や-符号やスペ

こんにちは、hachi8833です。 10月18日（金）に市ヶ谷のオプトテクノロジーズ様のスペースで開催された「Regex Festa -- 正規表現を楽しもう」に参加してきました。正規表現厨としてはもうたまらない企画です😋。 イベント: Regex Festa - connpass opt.connpass.comより 当日の雰囲気はTwitterのタイムラインをどうぞ↓。この記事には貼っていませんが、セッションのスライドもほぼ出揃っているのでタイムラインで拾えます。 #regexfesta - Twitter検索 / Twitter 参加してみて オープニングのキーノートスピーチは『正規表現技術入門』↓の著者の一人である新屋良磨さんが務めました。オーラスのLTも新屋さんが途中からホワイトボードに右方跳躍オートマトンという先端的なトピックについて直書きを始めるという異色の展開となりまし

🔗 正規表現は文字列メソッドより「遅い」 新しい話ではなくて恐縮です。 Rubyに限らず、一般に正規表現は言語の文字列マッチメソッドより低速になります。 複雑なパターンを調べたい場合は正規表現を使うことになりますが、特に「開始文字列」「終了文字列」とのマッチを単純にチェックするだけなら、String#start_with?やString#end_with?でマッチを取る方が可読性の上でも速度面からもおすすめです。 本記事ではtrue/falseを返す文字列マッチメソッドについてのみ言及していますが、文字列の取り出しや置換といった操作についても、専用メソッドの方が正規表現よりも一般に高速なので、「正規表現は次なる手段」と考えるようにしています。 🔗 文字列マッチ専用メソッド（単機能、高速） String#start_with? (Ruby リファレンスマニュアル) String#end_

BPSの福岡拠点として一緒にお仕事させて頂いてます、株式会社ウイングドアのアリタです。 サイト開発を行なっていると、ユーザー情報や会社情報などで入力された住所データを扱う事があると思います。 今回は正規表現を使って住所から「都道府県」を抽出する方法をご紹介します。 前提 今回は下記の前提のもとで進めていきます。 「都道府県」より下の市区町村などは今回スコープ外 住所の文字コードはUTF-8を想定 PHP / Ruby / Pythonの各言語で住所から都道府県を抽出する PHPで都道府県を抽出してみる さくっと試すため、PHPのインタラクティブモードを利用します。 $ php -a Interactive shell 住所を$addressという変数に代入します（ここではBPSさんの住所を引用）。 php > $address = "東京都新宿区西新宿6-20-7コンシェリア西新宿TOWE

@gfxさん作のruby-regexp_trie gemを使うと、Rubyで文字列の配列から凝縮された正規表現を楽に生成できることを知りました😍。 リポジトリ: gfx/ruby-regexp_trie: Fast keyword matching with the Trie algorithm (a Ruby port of Perl's Regexp::Trie) 文字列リストを単に|でつなげるだけならRuby標準のRegexp.unionでもできますが、文字列リストが巨大になってくると単純連結では効率が低下します。 以下説明のために、わざとソート順を崩したaryを用います。 ary = %w( YMS-15 MSM-10 YMS-14 MAN-07 MSN-02 MSM-07S MA-05 MSM-07 MSM-04F MSM-03 MS-X16 MAN-03 MS-X10 MS-

1: 基本となる8つの正規表現 2: 正規表現とは何か/ワイルドカードとの違い 3: 冒頭/末尾にマッチするメタ文字とセキュリティ、文字セットの否定と範囲 4: 先読みと後読みを極める 5（特別編）|と部分マッチのワナ 6: 文字セットのショートハンド 7: Unicode文字ポイントとUnicode文字クラス 8: 対象の構造を意識した「適度にDRYな」書き方（本記事） 9: .*や.+がバックトラックで不利な理由 10: 危険な「Catastrophic Backtracking」前編 ⚓対象の構造を意識して正規表現を書く 日本語のような自然言語を対象とする場合、初めのうちはついつい「マッチすればそれでいい」的な正規表現を書いてしまいがちです。そういうときの気持ちになって、わざと雑な正規表現を書いてみます。 例: モビルスーツ（ジオン公国軍）の型番にマッチする正規表現: /(MSM|Y

正規表現で漢数字のマッチをUnicode文字クラスで一発で表現できないかと試行錯誤したことがありました。 普通っぽい漢数字: 〇一二三四五六七八九十百千万億兆京 マニアックな漢数字: 零〇壱一弐二参三肆四伍五陸六漆七捌八玖九拾十陌百阡千萬万億兆京 でも結局、ユースケースに応じて文字セット[]でべた書きプラスアルファするよりないというのが私なりの結論です。 日本の元号の漢数字にマッチさせる 例: 日本の元号（明治以降）の漢数字にマッチ: /(?<=明治|大正|昭和|平成)[二三四五六七八]?[一十]?[元一二三四五六七八九十〇](?=年)/（regex101） ご覧のとおり、「平成元年」だの「平成一〇年」「平成三〇年」というパターンにも対応しています。 一見冗長に見えるかと思いますが、一応以下のように文字セット[]を桁ごとに分けて精度を高め、かつメンテしやすくしているのがポイントです。 [二

2019.02.20 はじめての正規表現とベストプラクティス#7: Unicode文字ポイントとUnicode文字クラスのプロパティ #1: 基本となる8つの正規表現 #2: 正規表現とは何か/ワイルドカードとの違い #3: 冒頭/末尾にマッチするメタ文字とセキュリティ、文字セットの否定と範囲 #4: 先読みと後読みを極める #5（特別編）|と部分マッチのワナ #6: 文字セットのショートハンド #7: Unicode文字ポイントとUnicode文字クラス（本記事） #8: 対象の構造を意識した「適度にDRYな」書き方 #9: .*や.+がバックトラックで不利な理由 10: 危険な「Catastrophic Backtracking」前編 主にRubyを中心としながらも、なるべく一般的な形で正規表現を解説しています。誤りやお気づきの点がありましたら@hachi8833までどうぞ🙇。 ⚓U

#1: 基本となる8つの正規表現 #2: 正規表現とは何か/ワイルドカードとの違い #3: 冒頭/末尾にマッチするメタ文字とセキュリティ、文字セットの否定と範囲 #4: 先読みと後読みを極める #5（特別編）|と部分マッチのワナ #6: 文字セットのショートハンド（本記事） #7: Unicode文字ポイントとUnicode文字クラス #8: 対象の構造を意識した「適度にDRYな」書き方 #9: .*や.+がバックトラックで不利な理由 10: 危険な「Catastrophic Backtracking」前編 主にRubyを中心としながらも、なるべく一般的な形で正規表現を解説しています。誤りやお気づきの点がありましたら@hachi8833までどうぞ🙇。 ⚓文字セットの「ショートハンド」とは 本連載の#3 よく使われる文字範囲で、文字セット（文字クラス）を範囲で表現する方法をいくつかご紹介し

#1: 基本となる8つの正規表現 #2: 正規表現とは何か/ワイルドカードとの違い #3: 冒頭/末尾にマッチするメタ文字とセキュリティ、文字セットの否定と範囲 #4: 先読みと後読みを極める #5（特別編）|と部分マッチのワナ（本記事） #6: 文字セットのショートハンド #7: Unicode文字ポイントとUnicode文字クラス #8: 対象の構造を意識した「適度にDRYな」書き方 #9: .*や.+がバックトラックで不利な理由 10: 危険な「Catastrophic Backtracking」前編 今回は特別編として、論理ORを表す|の注意について書きます。 今回を含め、本シリーズでは主に日本語の文章でのマッチを扱う場合を念頭においています。 ⚓|のワナ はじめの八歩でご紹介した論理ORを表す|（代替構成体）は、柔軟かつ可読性の高い正規表現を書くのになくてはならないメタ文字です。

#1: 基本となる8つの正規表現 #2: 正規表現とは何か/ワイルドカードとの違い #3: 冒頭/末尾にマッチするメタ文字とセキュリティ、文字セットの否定と範囲 #4: 先読みと後読みを極める（本記事） #5（特別編）|と部分マッチのワナ #6: 文字セットのショートハンド #7: Unicode文字ポイントとUnicode文字クラス #8: 対象の構造を意識した「適度にDRYな」書き方 #9: .*や.+がバックトラックで不利な理由 10: 危険な「Catastrophic Backtracking」前編 今回あたりから正規表現が本領発揮しつつ、魔界入りし始めます。今回の記事は自分でもかなり苦しみました。まだ見落としがあるかもしれませんので、今後も更新すると思います。 正規表現の先読み・後読みは言葉で説明するとわかりづらいので、具体例から先に学ぶのがよいと思います。Rubularの実行例

正規表現記事を書いていて発見したregular-expressions.info↓という神サイトをちびちび読んでいました。 regular-expressions.infoより すると、「Ruby（つまりOnigmo）では以下のように&&という特殊なメタキャラクタを使うと、文字セットのintersect演算、つまり共通集合を取れる」という記述が目に入り、思わず息を呑みました。 [class&&[intersect]] 文字セットの演算機能といえば、.NET Frameworkの[class-[class]]という記法で文字セットの差分を取る機能ぐらいしかないと思っていたのが、まさかRubyにもあこがれの文字セット演算があるなんて。目を疑いました。早速試しました。 今さらですが、正規表現の文字セットと文字クラスは同じものを指します。 1. 文字セットのintersect 急いで作ったので実用

2021.01.22 はじめての正規表現とベストプラクティス3: 冒頭/末尾にマッチするメタ文字とセキュリティ、文字セットの否定と範囲 1: 基本となる8つの正規表現 2: 正規表現とは何か/ワイルドカードとの違い 3: 冒頭/末尾にマッチするメタ文字とセキュリティ、文字セットの否定と範囲（本記事） 4: 先読みと後読みを極める 5（特別編）|と部分マッチのワナ 6: 文字セットのショートハンド 7: Unicode文字ポイントとUnicode文字クラス 8: 対象の構造を意識した「適度にDRYな」書き方 9: .*や.+がバックトラックで不利な理由 10: 危険な「Catastrophic Backtracking」前編 更新情報 - 2018/11/07: 初版公開 - 2021/01/22: 細部を更新 ⚓正規表現はじめの九歩: \Aと\z \A 文字列の冒頭を表す（\Aは大文字！）

2018.10.19 JavaScript: Chrome V8なら正規表現で後読み（look behind）がフル機能で使える 以下は記事公開時点の情報です。 Chrome V8だと正規表現の後読みが、動くぞ！ きっかけは、regex101.comでJavaScriptの正規表現をチェック中に、後読み（look behind）がエラーを起こしていないことに気づいたことでした（実行環境はChrome 70.0.3538.67）。 regex101.comより あれ？JavaScriptの正規表現といえば後読みがまったく使えないんじゃなかったっけ？ その場はスルーしていましたが、それからしばらくして今度は以下の記事を見かけました。 元記事: lookaheads (and lookbehinds) in JavaScript regular expressions Lookbehinds w

更新情報 2018/10/12: 初版公開 2020/11/12: 更新 1: 基本となる8つの正規表現 2: 正規表現とは何か/ワイルドカードとの違い（本記事） 3: 冒頭/末尾にマッチするメタ文字とセキュリティ、文字セットの否定と範囲 4: 先読みと後読みを極める 5（特別編）|と部分マッチのワナ 6: 文字セットのショートハンド 7: Unicode文字ポイントとUnicode文字クラス 8: 対象の構造を意識した「適度にDRYな」書き方 9: .*や.+がバックトラックで不利な理由 10: 危険な「Catastrophic Backtracking」前編 ⚓ 正規表現とは 正規表現は「Regular Expression」を直訳したもので、しばしばRegexpとかRegexと略されます（たまにREとも略されます）。正規表現について詳しく説明するときりがありませんが、さしあたって「言

更新履歴 2018/10/11: 初版公開 2020/11/12: 追記・更新 1: 基本となる8つの正規表現（本記事） 2: 正規表現とは何か/ワイルドカードとの違い 3: 冒頭/末尾にマッチするメタ文字とセキュリティ、文字セットの否定と範囲 4: 先読みと後読みを極める 5（特別編）|と部分マッチのワナ 6: 文字セットのショートハンド 7: Unicode文字ポイントとUnicode文字クラス 8: 対象の構造を意識した「適度にDRYな」書き方 9: .*や.+がバックトラックで不利な理由 10: 危険な「Catastrophic Backtracking」前編 こんにちは、hachi8833です。 BPS社内勉強会で発表したスライドを元に、正規表現を学ぶときに最初に押さえておきたい基本的なポイントを入門用にまとめました。説明では主にRubyの正規表現を使っていますが、特定の正規表現

概要 原著者の許諾を得て翻訳・公開いたします。 英語記事: Idiosyncratic Ruby: Escape Back Referencing 原文公開日: 2017/12/25 著者: Jan Lelis サイト: Idiosyncratic Ruby Rubyには、直近の正規表現マッチの追加情報（グループキャプチャなど）にアクセスする方法がいくつもあります。ドル記号$付きの$`や$&や$'や$1〜$9や$+などの特殊変数を用いる方法もあれば、MatchDataオブジェクト$~を使う方法もあります。これらは、正規表現にマッチしたメソッドを使った後に利用可能になります。また、メソッドがブロックをサポートしていれば、そのブロック内で既に利用できます。 しかし、文字列置き換えメソッドであるString#gsubやString#subでもサポートされている特殊な文字列処理が存在します。ここで