これまでに挙げた文字コードについて、正規表現を使用して mb_check_encoding() の代替用の関数を書いてみました。ある程度、妥当なものになっているとは思いますが、間違い等に気付いた方がおられましたら、ご指摘ください。 UTF-8 については、RFC3629 を参考にしました。各文字は4バイト以下、冗長な表現、サロゲートペアの領域を FALSE と判定します。 <?php function is_valid_encoding( $str, $encoding ) { switch ( $encoding ) { case 'ASCII' : $regex = '/(?:' . '[\x00-\x7f]' // ASCII (mb_check_encoding) // . '[\x00\x09\x0a\x0d\x20-\x7f]' // ASCII (mb_detect_enco

はじめに Windows VistaのJIS2004対応により、WindowsのUnicode環境で使用できる日本語漢字の数が増えました。従来、12238字（Windows XP）だったのが13145字（Windows Vista）になり、907字追加されることになりました。これによって、JIS第3水準、JIS第4水準の漢字がすべてサポートされることになったのです（Windows XPまでは一部サポート）。 またWindows XPでも、パッチさえ当てれば、Windows Vistaと同じように追加907字を加えた13145字の漢字が使用できるようになりました。 ところが、この追加された907字の中には「サロゲートペア」という特殊な文字が304字あり、これらは今までのUnicodeの文字とは扱いが少し違います。この点について解説していきたいと思います。 対象読者 Unicodeでデータ処理

「プログラマのための文字コード技術入門」を読んで自分なりに理解した点をザックリとまとめてみる。 それほど正確性を求めて書いているわけではないので、間違ってる可能性大です。 間違いなどあればコメントなど頂けるとありがたいです。 それぞれの文字コードはどう違うのか？ 日本語の文字コードは大きく以下の２つに分けられる JIS X 0208 文字集合をベースにしたもの Unicode文字集合をベースにしたもの JIS X 0208 文字集合をベースにした文字コードには、EUC-JP, Shift_JIS, ISO-2022-JP がある。 Unicode文字集合をベースにした文字コードには、UTF-8, UTF-16 などがある。 上で挙げた「文字コード」とは正確には「エンコーディング（文字符号化方式）」の事を指す。 文字符号化方式 文字集合って？ 読んでそのまんま”文字の種類の集まり”。「キャラ

今回は、文字コードに関連するセキュリティの話題では古参ともいえるUTF-8の冗長なエンコードというテーマについて紹介します。 UTF-8とは UTF-8は、各文字を1～4バイトの可変長で表現するUnicodeの符号化方式のひとつです。 U＋0000からU＋007Fの範囲の文字を0x00から0x7Fの1バイトで表現しているため、US-ASCIIと互換性がある、バイト列の途中からでも文字の先頭バイトを簡単に検出できる、多バイト文字の途中に0x00や0x5C（\⁠）⁠、0x2F（/）などが現れない、などの特徴があります。 UTF-8での文字のビットパターンは表1のようになります。 表1　UTF-8でのビットパターン

今回から5回にわたって，アプリケーション全体に関する文字コードの問題と対策について説明する。文字コードがセキュリティとどう関わるのか，疑問に思うかもしれないが，Webアプリケーションで文字コードを指定可能な個所は非常に多く，しかも文字コードの選定や処理方法次第ではぜい弱性の原因になることが分かってきている（図1）。実は文字コードはWebアプリケーションのセキュリティ問題の最新の話題と言ってよい。 2008年10月に開催されたセキュリティ・イベントBlack Hat Japan 2008では，ネットエージェントの長谷川陽介氏が「趣味と実益の文字コード攻撃」と題して，文字コード問題の広範なプレゼンテーションを発表した 。そのプレゼンテーション資料が発表されている のでこの問題の詳細に関心のある方は参照されたい。ここでは，セキュアなWebアプリケーションを開発するために文字コードの問題をどのよう

何故かあたり前にならない文字エンコーディングバリデーション | yohgaki's blog ってあるように、いまいち文字コードの不正な判定による危険性ってのが分かってない。 SJISの問題は、（2/3）SQLインジェクションを根絶！セキュア開発の極意 - 第5回■注目される文字コードのセキュリティ問題：ITproの記事がわかりやすかった。 というか、やっぱりPHP使ってると誰でも一度は「なんじゃこの『￥』は？」って思うもんなんで。 なるほど、確かに↓の図のように「あるバイト」が2つの意味を持つっていう文字コード形態はやばいんだなと。 EUC-JPはそんなことはしないで、1つのバイトには1つの意味しか取らせない。 だけど、これでも文字化けが起こることがある。経験的には、「マルチバイトをXX文字で切り落としたい」とかやった場合。ちゃんと文字コードを判定してくれるPHPでいえばmb_subst

UTF-8の冗長なエンコードとは何で、なんでそれがセキュリティ的に危ないのか？を文字コード知識レヴェル3くらいの凡プログラマが考えてみる ＠ それ図解で。・・・tohokuaikiのチラシの裏 これを読んで、ちゃんと疑問に持ったことを検証したりするのって凄いなとか、自分は文字コードってかなりなんとなくでしかわかっていないな、と思いこれがレベル3であればそれを埋めるための知識をちゃんと理解しようと勉強しつつエントリをまとめてみました。 ってことで、文字コードを理解するに当たって現状はというと、 ・ 文字コードってメジャーどころだとEUC-JPとかShift-JISとかUTF-8とか色々あるよね ・ その当たりのコード変換すると理由はよくわからないけど文字化けすることあるよね ・ 文字コード表ってよく見るけどマトリックス表に漢字とかが埋められてて、それが文字コードごとに違うんだよね ってぐらい

矢沢　久雄 コンピュータの世界には，様々な文字コード体系が存在しますが，Windowsユーザーが最低限知っておきたいものは，ASCII，JISコード，シフトJISコード，Unicode，EUCの5つでしょう。特にASCIIは，文字コードの元祖とも呼べるほど重要なものです。そのほかの大部分の文字コードは，ASCIIを基にして作られたと言っても過言ではありません。今回は，ASCIIの仕組みと特徴，および文字コードがディスプレイやプリンタに表示，印字されるしくみを説明します。 ●ASCII誕生の経緯 そもそも，なぜ文字コードなどというものが必要だったのでしょう？ もちろん，コンピュータで文字を処理するためです。ただし，文字コードが必要な理由は，もう一つあります。それは，異なる機種のコンピュータで，文書データを交換するためです。 文書データと聞くと，ワープロを想像されることでしょう。昔のワープロ専

ISO-2022-JPの場合、マルチバイト文字の境界（開始と終了）で3byteずつ消費します。 あ=3+2+3=8byte ああ=3+2+2+3=10byte あああ=3+2+2+2+3=12byte あaあ=3+2+3+1+3+2+3=17byte 文字数制限なのか、バイト数制限なのかはよくよく考える必要があります。 "".getBytes("ISO-2022-JP").lengthとすればちゃんと上記バイト数を取得してくれるので、 基本的には問題ないのですが、 なんとなく暗算で1000byte制限だから、半角で1000文字で全角で最大500文字ね〜なんてチェックだとはまります。 じゃぁ実際携帯キャリアはどうなの？最大文字数とかで表現していますけど というのは調べていません。