The history of UTF-8 as told by Rob Pike
Rob Pike explains how Ken Thompson invented UTF-8 in one evening and how they together built the first system-wide implementation in less than a week. Subject: UTF-8 history From: "Rob 'Commander' Pike" <r (at) google.com> Date: Wed, 30 Apr 2003 22:32:32 -0700 (Thu 06:32 BST) To: mkuhn (at) acm.org, henry (at) spsystems.net Cc: ken (at) entrisphere.com Looking around at some UTF-8 background, I se
絵文å—ãŒã‚る種ã®Unicodeãƒã‚°ã‚’世界ã‹ã‚‰ä¸€æŽƒã—ã¤ã¤ã‚る件ã«ã¤ã„ã¦ï½œRui Ueyama
Unicodeã®UTF-16エンコーディングã§ã¯ã»ã¨ã‚“ã©ã®æ–‡å—（コードãƒã‚¤ãƒ³ãƒˆï¼‰ã¯2ãƒã‚¤ãƒˆã§è¡¨ç¾ã•ã‚Œã‚‹ãŒã€Unicodeã«å¾Œã‹ã‚‰è¿½åŠ åŽéŒ²ã•ã‚ŒãŸæ–‡å—ã®å¤šãã¯4ãƒã‚¤ãƒˆã§è¡¨ç¾ã•ã‚Œã‚‹ã€‚4ãƒã‚¤ãƒˆæ–‡å—ãŒã†ã¾ã扱ãˆãªã„プãƒã‚°ãƒ©ãƒ ã¨ã„ã†ã®ã¯ã‚ã‚Šã¨ã‚ˆãã‚る。ã—ã‹ã—世界ä¸ã§åºƒã使ã‚れるよã†ã«ãªã£ãŸçµµæ–‡å—ãŒã‚ˆã‚Šã«ã‚ˆã£ã¦4ãƒã‚¤ãƒˆæ–‡å—ã§ã‚ã‚‹ã›ã„ã§ã€ãã®ã‚ˆã†ãªæ–‡å—ãŒæ‰±ãˆãªã„å•é¡ŒãŒã‚ˆã„ペースã§è§£æ±ºã«å‘ã‹ã„ã¤ã¤ã‚る。ãã‚Œã«ã¤ã„ã¦å°‘ã—説明ã—ã¦ã¿ã‚ˆã†ã¨æ€ã†ã€‚ UnicodeãŒ80年代ã‹ã‚‰90年代åˆé ã«ã‹ã‘ã¦ãƒ‡ã‚¶ã‚¤ãƒ³ã•ã‚ŒãŸã¨ãã®ç›®æ¨™ã®ä¸€ã¤ã¯ã€Unicodeã«å«ã¾ã‚Œã‚‹æ–‡å—æ•°ã‚’65536個以内ã«åŽã‚ã‚‹ã“ã¨ã ã£ãŸã€‚ç¾ä»£ã®æ–‡ç« を実用的ãªãƒ¬ãƒ™ãƒ«ã§è¡¨ã™ãŸã‚ã«ã¯ã€æ¼¢å—ãªã©ã‚’å«ã‚ã¦ã‚‚ãã‚Œã ã‘ã®ç¨®é¡žã®æ–‡å—ãŒã‚ã‚Œã°å分ã ã¨è€ƒãˆã‚‰ã‚ŒãŸã®ã 。当然ã“ã‚Œã¯1æ–‡å—ã‚’2ãƒã‚¤ãƒˆã§è¡¨ã™ã“ã¨ã‚’念é ã«ç½®ã„ã¦ã„ãŸã€‚ã¤ã¾ã‚Šã‚³ãƒ³ãƒ”ュータã®æºç±ƒæœŸã‹ã‚‰å½“時ã«è‡³ã‚‹ã¾ã§å˜ç´”ã«è‹±èªž
Perl ã®æ–‡å—列エンコーディングã®è©± | Hachioji.pm æ—¥ã‚ãりテックトーク
ãƒã‚¡ã‚¤ï¼Œå…ˆæ—¥ Plack::Request::WithEncoding ã¨ã„ã†ãƒ¢ã‚¸ãƒ¥ãƒ¼ãƒ«ã‚’リリースã—ã¾ã—ãŸï¼Œ@moznion ã§ã™ï¼Žçš†æ§˜ã„ã‹ãŒãŠéŽã”ã—ã§ã—ょã†ã‹ï¼Ž ã•ã¦ï¼Œã“ã®ãƒ¢ã‚¸ãƒ¥ãƒ¼ãƒ«ã‚’書ã„ã¦ã¦ Perl ã®æ–‡å—列エンコーディングã«é–¢ã™ã‚‹çŸ¥è˜ã‚’å¹¾ã°ãã‹æ·±ã‚ã¾ã—ãŸã®ã§ï¼Œå…±æœ‰ã—ãŸã„ã¨æ€ã„ã¾ã™ï¼Žã¾ã‚大体ã®çš†ã•ã‚“ã¯ã€Œãã‚“ãªã“ã¨çŸ¥ã£ã¦ã‚‹ãœï¼ï¼ã€€å¸¸è˜ã ã‚ï¼ã€ã¨ã„ã†è¶£ã ã¨å˜ã˜ä¸Šã’ã¾ã™ãŒâ€¦â€¦ ãŸã ã¾ã‚，「文å—化ã‘ã—ã¦ã¤ã‚‰ã„ï¼ï¼ã€ã¿ãŸã„ãªã®ã¯èª°ã—も通るé“ã ã¨æ€ã„ã¾ã™ã®ã§è¨˜ã—ã¦ãŠãã“ã¨ã¨ã—ã¾ã™ï¼ TL;DR 入りå£ã§ decode ã—ã¦ï¼Œå†…部ã§ã¯ã™ã¹ã¦ flagged utf8 ã§æ‰±ã„，出å£ã§ encode ã™ã‚‹ï¼Žã“ã‚ŒãŒã™ã¹ã¦ã§ã™ï¼ã¨ã«ã‹ãã“ã®åŸºæœ¬æ–¹é‡ã‚’ã¾ã‚‚ã£ã¦ã„ã‚Œã°å¹¸ã›ã«ãªã‚Œã¾ã™ï¼Ž from Perl 㧠utf8 化ã‘ã—ãŸã¨ãã«ã©ã†ã—ãŸã‚‰ã„ã„ã‹ - blog.64p.org ã¶ã£ã¡ã‚ƒã‘，上記ã®ã‚¨ãƒ³ãƒˆãƒªè‰¯ã™
Perl: æ–‡å—コードã¨utf8フラグã«ã¤ã„ã¦
æ–‡å—コードã¨utf8フラグ Perl ã«ãŠã„ã¦ã€ã€Œæ–‡å—コードã€ã¨ã€Œutf8フラグã€ã¯åˆ¥ç‰©ã§ã™ã€‚æ–‡å—コードã®è©±ã®ä¸ã§ utf8フラグãŒèªžã‚‰ã‚Œã‚‹ã®ã§ã€åŒã˜ã‚‚ã®ã®ã‚ˆã†ã«æ€ã£ã¦ã„る人も多ã„ã‹ã‚‚ã—ã‚Œã¾ã›ã‚“ãŒã€åˆ¥ç‰©ã§ã™ã€‚ã„ã‚„ã€ãŸã¨ãˆã°åŒã˜ã‚‚ã®ã ã¨ã—ã¦ã‚‚ã€åˆ¥ç‰©ã ã¨æ€ã£ãŸæ–¹ãŒç†è§£ã—ã‚„ã™ã„ã¨æ€ã„ã¾ã™ã€‚ æ–‡å—コード ã¯æ–‡å—ã¨ã‚³ãƒ¼ãƒ‰ã®ãƒžãƒƒãƒ”ングã«åå‰ã‚’ã¤ã‘ãŸã‚‚ã®ã§ã€utf8フラグã¯ã€Perlã«ãŠã‘ã‚‹æ–‡å—列ã®æ‰±ã„ã«ä»˜éšã™ã‚‹ãƒ•ãƒ©ã‚°ã®ã“ã¨ã§ã™ã€‚ ãŸã¨ãˆã°ã€ä»¥ä¸‹ã®ã‚ˆã†ãªã‚½ãƒ¼ã‚¹ã‚³ãƒ¼ãƒ‰ã‚’レガシーãªæ„Ÿã˜ã« EUC-JP ã§æ›¸ã„ã¦ã„ãŸã¨ã—ã¦ã€ my $euc_str = 'ソース㌠EUC-JP ãªã®ã§ã“ã“㯠EUC-JP'; $euc_str ã«ã¯ EUC-JP ã®æ–‡å—列ãŒæ ¼ç´ã•ã‚Œã¦ã„ã¾ã™ã€‚ ã“れをã€utf8フラッグド(utf8 flag on)ã«ã—ã¦ã¿ã¾ã™ã€‚ use Encode; my $euc_str = 'ソースãŒ
UTF-8ãªæ–‡å—列をsubstrã™ã‚‹
ãšã„ã¶ã‚“以å‰ã‹ã‚‰Perlã§ç‰©ã‚’書ãã¨ãã«ã¯ã€æ–‡å—コードをUTF-8ã«ã—ã€use utf8ã‚’ã—ãªã„ã§æ›¸ã„ã¦ã„る。 ã§ã€ãã®éš›ã€substrãªã©ã§æ–‡å—列を切り出ã—ãŸã„ã¨ã™ã‚‹ã¨ã€UTF-8ã¯1æ–‡å—ã‚ãŸã‚Šã®é•·ã•ãŒå¯å¤‰é•·ã§ã‚ã‚‹ãŸã‚ã€å…¥åŠ›æ–‡å—列ã«ã‚ˆã£ã¦ã¯å¤‰ãªæ–‡å—ãŒåˆ‡ã‚Šå‡ºã•ã‚Œã¦ã—ã¾ã†ã“ã¨ã«ãªã‚‹ã€‚ ã“れをæ£ã—ã切り出ã™ã¨ãã«è‰²ã€…調ã¹ã¦ã¿ãŸãƒ¡ãƒ¢ã€‚ use utf8ã«ã¤ã„㦠Perl 5.8.x Unicode関連ã«è¨˜ã•ã‚Œã¦ã„るよã†ã«ã€ 1.ソースコードä¸ã®æ–‡å—列ãŒUTF8ã«ãªã‚‹ã€‚ 2.マルãƒãƒã‚¤ãƒˆã®å¤‰æ•°åãªã©ã‚‚使ãˆã‚‹ã€‚ ãªã“ã¨ãŒã‚¦ãƒªã‚‰ã—ãã€è¡¨é¢ä¸Šã®æ„味ã¯ã€Perlã«scriptãŒUTF-8ã§æ›¸ã‹ã‚Œã¦ã„ã‚‹ã“ã¨ã‚’æ•™ãˆã‚‹äº‹ãŒç›®çš„らã—ã„ã®ã§ã€æ¬¡ã®ã‚ˆã†ãªã‚³ãƒ¼ãƒ‰ã‚‚通りã¾ã™ã€‚*1 #!/usr/local/bin/perl use utf8; my $ã‚ã„ã†ãˆãŠ = "x"; print $ã‚ã„ã†ãˆãŠ; ã§ã€ã“ã®ã¨ãã«s
JavaScriptã§URLã‚’ã¡ã‚‡ã£ã¨è³¢ã解èªã™ã‚‹ã€‚ CodingFirst
C言語ã€Perlã€JavaScriptã€æœ€è¿‘ã¯Pythonも。出æ¥ä¸ŠãŒã£ãŸã‚‚ã®ã‚ˆã‚Šã€ãƒ—ãƒã‚°ãƒ©ãƒ を書ãã“ã¨ãŒå¥½ã。ã‚ã¨ã€ã‚¹ã‚¤ãƒ¼ãƒ„。 ã¡ã‚‡ã£ã¨è³¢ãURLデコードã™ã‚‹ã€‚UTF-8é™å®šã ã‘ã©ã€‚ Googleã®æ¤œç´¢çµæžœã¨ã‹ã§URLã« %E3%81%AD%E3%81%8E ãªã©ã¨ã€ %xxãªæ–‡å—列ã«ãªã£ã¦ã„る事ãŒã‚ã‚‹ãŒã€ URIã®è¦å‰‡ã‚’定ã‚ã‚‹ RFC 3986 ã§ã¯ã€URIã«ASCIIã®éžäºˆç´„æ–‡å—[1]以外ã®æ–‡å—データを用ã„ã‚‹å ´åˆã«ã¯ã€ã€Œ%xxã€ï¼ˆxxã¯16進数）ã¨ã„ã†å½¢ã§ã‚³ãƒ¼ãƒ‰ã‚’表記ã™ã‚‹ã“ã¨ãŒå®šã‚られã¦ã„る。 URLエンコード - Wikipedia ã¨ã„ã†äº‹ã§ã€JavaScriptã§å…ƒã®æ–‡å—ã«æˆ»ã™ã«ã¯ã€decodeURIã™ã‚Œã°ã„ã„。 decodeURI('%E3%81%AD%E3%81%8E'); //=>'ããŽ' ã§ã‚‚エラーã«å¼±ãã¦ã€ä¾‹ãˆã°ã€ decodeURI('%E3%81%AD%E3%81
1
ランã‚ング
メンテナンス
ランã‚ング
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
{{#tags}}- {{label}}
{{/tags}}