文字コードとutf8フラグ Perl において、「文字コード」と「utf8フラグ」は別物です。文字コードの話の中で utf8フラグが語られるので、同じもののように思っている人も多いかもしれませんが、別物です。いや、たとえば同じものだとしても、別物だと思った方が理解しやすいと思います。 文字コード は文字とコードのマッピングに名前をつけたもので、utf8フラグは、Perlにおける文字列の扱いに付随するフラグのことです。 たとえば、以下のようなソースコードをレガシーな感じに EUC-JP で書いていたとして、 my $euc_str = 'ソースが EUC-JP なのでここは EUC-JP'; $euc_str には EUC-JP の文字列が格納されています。 これを、utf8フラッグド(utf8 flag on)にしてみます。 use Encode; my $euc_str = 'ソースが

この記事では、.NET に用意されている、さまざまなエンコード スキームを使用してテキストをエンコードおよびデコードするためのクラスの使用方法について説明します。 この手順は、.NET での文字エンコードの概要に関する記事を既に読んでいることを前提としています。 エンコーダーとデコーダー .NET には、さまざまなエンコード システムを使用してテキストをエンコードおよびデコードする、エンコーディング クラスが用意されています。 たとえば、UTF8Encoding クラスには、UTF-8 へのエンコードと UTF-8 からのデコードに関する規則が記述されています。 .NET では、string インスタンスに対して UTF-16 エンコード (UnicodeEncoding クラスによって表されます) が使用されます。 エンコーダーとデコーダーは、他のエンコード スキームでも使用できます。

a-blogというブログ作成パッケージを使って、 友人のブログを構築している時のこと。 カスタマイズするモジュールがいくつか公開されていて、 そのモジュールを処理していると思われるときに、 不正な文字があるというメッセージが表示される。 a-blogの他の部分のソースは非公開なので、 （どこかに出力されているかもしれない）ログをたよりにプログラムを追いかける という外科的な診断はできない。 カスタマイズの状況をかえながら、発生する現象を観察する という内科的な方法を試みた。 カスタマイズ用のモジュールの文字化けが原因とのベンダからのアドバイスをうけて、 そのモジュールを Java 5.0 で読み込みコンソールに表示してみた。 エディタ（秀丸エディタ 4.14）では普通に表示されている全角マイナスが、 コンソールには、? と表示されているではないか。 そういえば、 Unicode と コード

日本語の漢字は、戸籍などに使われているものも含めると６万字あるのに対し、コンピューターは、実は１万字しか扱うことができません。これに対し、このほど１５年越しの作業の末、６万字すべてが統一の規格にまとめられて、コンピューターがすべての漢字を扱えるようになり、ビッグデータの活用をはじめさまざまな効果が期待されています。 中には、メーカーなどが独自に対応した外字もありますが、コードが無いために、メーカーごとの互換性が無く、データを受け渡してもコンピューターが認識できずに「文字化け」してしまったり、ある人の名前に本名の外字を充てたものと略字を充てたものの２つのデータがあった場合、コンピューター上では、別の人と認識されてしまったりするなどの問題が起きていました。 このためＩＰＡ＝情報処理推進機構は平成１４年から、経済産業省とともに外字を含めたおよそ６万字の漢字１つ１つに、コードを割りつける作業を進め

さよならレガシーエンコーディング。 文字エンコーディング宣言が存在するかどうかにかかわらず、文書のエンコードに使用される実際の文字エンコーディングはUTF-8でなければならない。 4.2.5.5 文書の文字エンコーディングを指定する - HTML Standard 日本語訳 Require utf-8 when specifying character encoding by sideshowbarker · Pull Request #3091 · whatwg/htmlにより、HTMLで使用できるエンコーディングはUTF-8のみとなりました。これにより、古いHTMLでは許容されていた、Shift_JIS、ISO-2022-JP、EUC-JP、UTF16LEといった文字エンコーディングは適合するHTMLではなくなりました。すでにNu Html CheckerでUTF-8以外の文字エンコー

これまでのMySQLでよく問題になった、絵文字や日本語の文字の照合やソート順序の問題に関して、来たるMySQL 8.0では大幅な改善が加えられる予定になっている。この問題の概要と今後の改善方針について、MySQL開発チームからの解説。 免責事項 この記事はManyi Lu氏によるMySQL Server Blogの投稿「Sushi = Beer ?! An introduction of UTF8 support in MySQL 8.0」(2017/1/13)をユーザが翻訳したものであり、Oracle公式の文書ではありません。 MySQL 8.0での私たちの計画として、utf8のサポートを大幅に改善します。utf8サポート自体はMySQL 4.1の頃にさかのぼりますが、いくつかの制限が存在しています。記事タイトルにもある「寿司 = ビール」問題は、バグ#76553のことを指しています。少

いつか遠い未来に新たな元号が決まったとして、それはJIS X 0213に収録されるのか、という趣旨の質問をいただいた。現在、1-13-77「㍾」、1-13-78「㍽」、1-13-79「㍼」、1-13-63「㍻」がJIS X 0213に収録されているので、これに新たな元号が追加されうるのか、という疑問である。私(安岡孝一)個人の意見としては、かなり難しそうだと思う。というのも、これらの『国内実装互換文字』は、以下のような経緯で選定されたからだ(JIS X 0213:2000解説p.511)。 4.4.12　国内実装互換文字　この規格では，過去の資産との互換性を維持するため，国内のパーソナルコンピュータなどで広範に実装されていた1面13区のJIS外字については，非漢字の選定の規準の適用を除外することととし，JIS X 0208と重複しているものを除いた73文字を，面区点位置を保存して採録するこ

第16回 渋谷Javaでの発表資料です。

README のファイル名は慣習的にすべて大文字（であることが多い） GitHub でプロジェクトを作るときに README を作成するオプションを入れておくと、README.md というファイルができる。それ以外の場所のプロジェクトでも README.txt や README など、ファイル名がすべて大文字になっているものをよく見かける。 なんか気持ち悪いなぁ、って思ってました。 readme でいいじゃん、と。 詳解 Linuxカーネル 第3版 作者: Daniel P. Bovet,Marco Cesati,高橋浩和,杉田由美子,清水正明,高杉昌督,平松雅巳,安井隆宏出版社/メーカー: オライリー・ジャパン発売日: 2007/02/26メディア: 大型本購入: 9人 クリック: 269回この商品を含むブログ (71件) を見る 調べてみた README - Wikipedia, th

gitで日本語ファイルが文字化けする こんばんは。小室です。gitを使っていて日本語のファイル名を入れるとファイル名の表示が崩壊するという経験をしました。 割と今までは放置していたのですが、きちんと日本語ファイル名を表示するコマンドを教えてもらったため、備忘録として記録しておきます。 若干人を小馬鹿にしたようなファイル名のファイルを配置したディレクトリをサンプルとして用意しました。 $ ls -la total 8 drwxr-xr-x 4 komurohiraku staff 136 Mar 25 19:09 . drwxr-xr-x 22 komurohiraku staff 748 Mar 25 19:08 .. drwxr-xr-x 10 komurohiraku staff 340 Mar 25 19:08 .git -rw-r--r-- 1 komurohiraku staff

最近文字コード周りでハマった時に、文字コードというものをそもそもちゃんと分かってないと気づいた。そこで「プログラマのための文字コード技術入門」を読んで勉強してみた。 プログラマのための文字コード技術入門 (WEB+DB PRESS plus) (WEB+DB PRESS plusシリーズ) 作者:矢野 啓介技術評論社Amazon この本はコンピュータにおける文字について体系的にまとめてくれている。ASCIIやLatin1、UTF-8やUnicodeについて、どういう分類で何のために使われているかを知ることができる。また、歴史も合わせて教えてくれるので、今現状起こっている問題(円マークとバックスラッシュ問題とか)がどういう経緯で起こってしまったのかなどを理解できる。 簡単な文章で書かれているので、一度でも文字コードに関係することでハマったことのある人なら、どんどん読めると思う。ただ、符号化文

これで Perl のプログラムが UTF-8 を使って記述されていることを宣言することができます。テキストエディタなどでプログラムを記述した時に、文字コードを UTF-8 を指定して保存して下さい。 ただし Windows 環境の場合であれば、何かキーボードから文字を入力したり、画面に出力する時には Shift_JIS を使用するため合わせて次の設定が必要となります。

先日以下のような記事を書きまして 誕生日に片思いの相手から電話がかかってきた。 - 自省log 要約すると 誕生日に片想いの人から電話があって、うぉおおおお！ってなってうぉおおおおおおお！！！ってなった 話で、おかげ様でたくさんの方にご覧いただいた次第でございます。皆さんその切はありがとうございました。 ただ上記記事を投下した5月24日(私の誕生日)はなんだか休日出勤を余儀なくされておりまして、何故誕生した日に一人さみしく休日出勤しなければいけないのか。なんて毒付きながら半べそかいておりましてね。 そんな自分へのご褒美を買うべく、Amazonで「馬のたてがみ」と検索したら、「ﾕ･鬣`､ﾎ･､･ﾟ･ﾆｩ`･ｷ･逾ﾎﾕ」みたいな商品が出てきまして、すごく元気になりましたので本日は皆さんにもおすそ分けすることにしました。 誕生日に一人で仕事しながら見ると元気が出る「ﾕ･鬣`､ﾎ･､･ﾟ･ﾆｩ`

アルファベットをすべて選択して半角に統一する文書中のアルファベットをすべて全角や半角に統一したいと思ったことはありませんか。そのためには、文書中のすべてのアルファベット（全角・半角）を選択したあとで、全角や半角に置き換えると簡単です。今回は、その具体的な操作を紹介します。 アルファベットだけを選択できたら便利なのに…… 文書中に「Windows」や「Office」といったアルファベットを入力するとき、皆さんは全角で入力していますか？ あるいは半角でしょうか？ 私は半角で統一しています。理由は、仕事で書く原稿では半角のアルファベットを要求されるからです。Webサイトや雑誌・書籍などでは、半角アルファベットの方がきれいに見えるため、原稿も半角のアルファベットなのです。 このため、仕事ではない文章を書くとき、たとえば私用のメールを書いたりブログを書いたりするときもアルファベットは半角で統一する癖