Participate: GitHub whatwg/encoding (new issue, open issues) Chat on Matrix Commits: GitHub whatwg/encoding/commits Snapshot as of this commit @encodings Tests: web-platform-tests encoding/ (ongoing work) Translations (non-normative): 日本語 1. Preface The UTF-8 encoding is the most appropriate encoding for interchange of Unicode, the universal coded character set. Therefore for new protocols and for

サービス終了のお知らせ NAVERまとめは2020年9月30日をもちましてサービス終了いたしました。 約11年間、NAVERまとめをご利用・ご愛顧いただき誠にありがとうございました。

こんにちは。検索サービス開発2チームの斎藤です。休日は都内の美術館や博物館を巡り歩いています。 先日は池袋の古代オリエント博物館に行き、ハムラビ法典(のレプリカ)を見てきました。楔形文字はアシの筆を粘土板に押し当てて記述するものですが、ハムラビ法典は閃緑岩の石柱に彫られたそうです。「法典は石柱に彫ってね」と役人に無茶ぶりされて、当時の職人も「用途がちがーう」とか愚痴ったのかなぁ・・・と妄想してしまいました。 さて私の普段の業務ですが、NAVER LINEプロジェクトで絵文字やスタンプ関連の開発に携わっています。ちょうど楔形文字の話もしたところですので、このエントリでも絵文字の変換処理について解説させていただきます。 ドコモ/au/ソフトバンクの携帯電話(以下、フィーチャーフォン)で長く使われてきた絵文字も、2010年にUnicodeコンソーシアムによってUnicode 6.0で正式に定

高橋基信氏のだめだめ日記によれば、現在は unix charset パラメータに依存する Samba の内部文字コードを、固定化するという議論が開発チームで起きているようだ。 これについては 2004 年の議論において既に高橋氏が UTF-16 を内部文字コードとして使用することを主張していたのだが、当時は置き去りになったことである。内部コードが可変であるのは望ましくないことであるので、今度こそうまく進んでもらいたいものである。

Google Blogによると、WWWで利用されている文字コードのうちUTF-8が占める割合が50％に近づいたそうだ。 UTF-8の利用は2006年あたりから急激に増加しており、一方でUS-ASCIIやW.Eu.（ISO/IEC 8859-1/Windows 1252のことだと思われる）の割合が減少してる。日本語（SJIS等）についてはもともと10％以下しか無かったが、こちらもUTF-8への以降が進んでいるようだ。 かつては「文字化け」で（ブラウザの設定を変えないと）見られないサイトもよく見られたが、現在では確かにこのようなサイトは少なくなってきた。/.J読者の皆様の関わっているサイトはUTF-8対応しているだろうか?

_U+00A5を用いたXSSの可能性 前回の日記では、昨年のBlack Hat Japanにおける長谷川陽介氏の講演に「趣味と実益の文字コード攻撃(講演資料)」に刺激される形で、Unicodeの円記号U+00A5によるSQLインジェクションの可能性について指摘した。 はせがわ氏の元資料ではパストラバーサルの可能性を指摘しておられるので、残る脆弱性パターンとしてクロスサイト・スクリプティング(XSS)の可能性があるかどうかがずっと気になっていた。独自の調査により、XSS攻撃の起点となる「<」や「"」、「'」などについて「多対一の変換」がされる文字を探してきたが、現実的なWebアプリケーションで出現しそうな組み合わせは見つけられていない。 一方、U+00A5が処理系によっては0x5C「\」に変換されることに起因してXSSが発生する可能性はある。JavaScriptがからむ場合がそれだ。しかし、

問題をよく考えましょう． 単独で動作するアプリケーションの話ではなく，不特定多数の相手との通信アプリケーション 直接に相手の(文字コードなどの)能力仕様を確認する手順を踏まずに， 仮定(相手が ISO-2022-JP 等を処理できると決めうち)の上でいきなり送りつける (SMTPによる MTA 間のやり取りはEHLO 等で仕様確認して調整する余地があるが， MUA間のやり取りは RFC822,RFC2822,RFC5322 などの仕様で書かれたものを，完全一方通行で送る) (とりあえず 8bit through かどうかはまた別の問題ということで置いておく) さてここで，歴史的に考えるとこんな感じになります． 原始時代: 英語? ローマ字?(私はよく知らない) pre-MIME時代: メッセージには JIS(≒ISO-2022-JP)を使うという プロトコル外の「共通の了解事項」を設定する

前回はJIS文字コードへの影響をまとめた安岡孝一氏の発表「常用漢字表の拡大はJIS漢字にどういう混乱をもたらすか」を紹介した。これをまとめると、特定の文字を常用漢字表に追加した場合、「漢字政策の玉突き現象」が起き、JIS X 0213で不整合が起こる。 （1）新常用漢字表に文字が追加 ↓ （2）人名用漢字が新常用漢字表に対応し、同じ文字を追加、1字種2字体になる ↓ （3）JIS X 0213は従来包摂していた2字体を区別しなければならなくなり、包摂を分離、その結果不整合が発生する 今のところ一応は安定しているJIS X 0213における包摂の範囲が、他の漢字政策の都合によって分離せざるを得なくなり、これにより不整合が起きてしまうというのが安岡氏の指摘の趣旨だ。これを安岡氏が例に挙げた「箸」で図にしてみた（図1）。 これが発生する条件は「常用漢字表に印刷標準字体と違う字体＝略字体が追加され

● 頻度調査から機械的に3500字を選び、そこから絞り込む 前回まで説明した前提のもと、新常用漢字表の追加候補の選定作業が進められたわけだが、ここから先の作業については文書『国語分科会漢字小委員会における審議について（案）』が参考になる[*1]。執筆時点での審議状況を交えながら短くまとめると、まず最新の『漢字出現頻度数調査（3）』[*2]から日常よく使われる漢字を機械的に3500字選び[*3]、これに前述の新聞常用漢字を加えたものを母集合とする。重複を除けば都合3506字となり、ここから絞り込んでいく作業を行なった。 実際の作業は新たに選出された漢字ワーキンググループ（以下、漢字WG）が行ない[*4]、できあがった素案を叩き台に漢字小委員会で討議、出された意見を元に漢字WGが再検討するという進め方になる。選定を進めるにあたっては、単に使用頻度だけを見るのでなく、以下のような条件を総合的に勘

● 歴代の国語施策が固有名詞の漢字を収録しなかった理由 いよいよ実際の選定作業について説明する番だが、その前に選定に関わる前提として討議されたことをひとつだけ説明しておきたい。それは固有名詞が新常用漢字表でどのように考えられるかということだ。 もともと固有名詞は、日本語の標準化にとっては鬼門とも言えるものだ。現行の常用漢字表では前書きの第3項目で〈この表は、固有名詞を対象とするものではない〉と明確に適用範囲外であることを宣言している。この方針は常用漢字表だけではない。その前の当用漢字表（1946年）でも[*1]、戦前の常用漢字表（1925年発表、1931年に修正版）[*2]でも、やはりはっきりと固有名詞を除外しており、社会全般に向けた漢字表としては、国語施策はずっと固有名詞をオミットしてきたことになる。 それはなぜか？　まず日本語ではほとんど固有名詞にしか使われないような字が意外に多い。例