Hacking with Unicode in 2016This presentation explores common mistakes made by programmers when dealing with Unicode support and character encodings on the Web. For each mistake, I…
æ–‡å—コード（UTF-8,Shift_JIS,EUC-JP,ISO-2022-JP）ã«ã¤ã„ã¦ã®ä¿ºçš„ã¾ã¨ã‚ - 今日もスミマセン。
「プãƒã‚°ãƒ©ãƒžã®ãŸã‚ã®æ–‡å—コード技術入門ã€ã‚’èªã‚“ã§è‡ªåˆ†ãªã‚Šã«ç†è§£ã—ãŸç‚¹ã‚’ザックリã¨ã¾ã¨ã‚ã¦ã¿ã‚‹ã€‚ ãã‚Œã»ã©æ£ç¢ºæ€§ã‚’求ã‚ã¦æ›¸ã„ã¦ã„ã‚‹ã‚ã‘ã§ã¯ãªã„ã®ã§ã€é–“é•ã£ã¦ã‚‹å¯èƒ½æ€§å¤§ã§ã™ã€‚ é–“é•ã„ãªã©ã‚ã‚Œã°ã‚³ãƒ¡ãƒ³ãƒˆãªã©é ‚ã‘ã‚‹ã¨ã‚ã‚ŠãŒãŸã„ã§ã™ã€‚ ãã‚Œãžã‚Œã®æ–‡å—コードã¯ã©ã†é•ã†ã®ã‹ï¼Ÿ 日本語ã®æ–‡å—コードã¯å¤§ãã以下ã®ï¼’ã¤ã«åˆ†ã‘られる JIS X 0208 æ–‡å—集åˆã‚’ベースã«ã—ãŸã‚‚ã® Unicodeæ–‡å—集åˆã‚’ベースã«ã—ãŸã‚‚ã® JIS X 0208 æ–‡å—集åˆã‚’ベースã«ã—ãŸæ–‡å—コードã«ã¯ã€EUC-JP, Shift_JIS, ISO-2022-JP ãŒã‚る。 Unicodeæ–‡å—集åˆã‚’ベースã«ã—ãŸæ–‡å—コードã«ã¯ã€UTF-8, UTF-16 ãªã©ãŒã‚る。 上ã§æŒ™ã’ãŸã€Œæ–‡å—コードã€ã¨ã¯æ£ç¢ºã«ã¯ã€Œã‚¨ãƒ³ã‚³ãƒ¼ãƒ‡ã‚£ãƒ³ã‚°ï¼ˆæ–‡å—符å·åŒ–æ–¹å¼ï¼‰ã€ã®äº‹ã‚’指ã™ã€‚ æ–‡å—符å·åŒ–æ–¹å¼ æ–‡å—集åˆã£ã¦ï¼Ÿ èªã‚“ã§ãã®ã¾ã‚“ã¾â€æ–‡å—ã®ç¨®é¡žã®é›†ã¾ã‚Šâ€ã€‚「ã‚ャラ
Unicodeエスケープ - sawatã®ãƒ–ãƒã‚°
付箋紙Greasemonkeyã§ã€GM_setValueã«ç™»éŒ²ã—ãŸæ—¥æœ¬èªžã®æ–‡å—化ã‘対ç–ã«encodeURIã‚’ã¤ã‹ã£ãŸã‘ã©ã€encodeURIã¯URIをエンコードã™ã‚‹ãŸã‚ã®é–¢æ•°ãªã®ã§ã‚ã‚“ã¾ã‚Šè¤’ã‚られãŸä½¿ã„æ–¹ã§ã¯ãªã„ã§ã™ã。ã—ã‹ã‚‚ã€encodeURIã®ã‚ˆã†ãªURLエンコーディングã¯æ–‡å—列をUTF-8ã«ã—ã¦ã‹ã‚‰ã€ã‚¨ãƒ³ã‚³ãƒ¼ãƒ‰å¯¾è±¡ã®å„ãƒã‚¤ãƒˆã‚’%xxå½¢å¼*1ã§è¡¨ç¾ã™ã‚‹ã®ã§ã€æ—¥æœ¬èªžï¼‘æ–‡å—ã‚’ã‚らã‚ã™ã®ã«ãŸã„ã¦ã„ã®å ´åˆASCII9æ–‡å—ãŒå¿…è¦ã«ãªã£ã¦åŠ¹çŽ‡ãŒæ‚ªã„ã§ã™ã€‚*2 ãªã®ã§ã€å‰è¿°ã®ã‚ˆã†ãªå˜ã«éžASCIIæ–‡å—をエスケープã—ãŸã„ã ã‘ã®ã‚ˆã†ãªã‚±ãƒ¼ã‚¹ã§ã¯Unicodeエスケープを使ã£ãŸæ–¹ãŒã‚ˆã„ã§ã™ã€‚Javaã®propertiesã¨ã‹native2asciiã¨ã‹ã®ã‚„ã¤ã§ã™ã€‚ Unicodeエスケープã¯\uxxxx*3ã®å½¢å¼ã§ã‚らã‚ã™ã®ã§ã€ãŸã„ã¦ã„ã®æ—¥æœ¬èªžï¼‘æ–‡å—ã¯ASCII6æ–‡å—ã«ãªã£ã¦ã€URLエンコーディングã«æ¯”ã¹
図解: Perl 㨠Unicode æ–‡å—列 - daily dayflower
id:tomi-ru ã•ã‚“㌠[http://e8y.net/mag/015-encode/:title] ã¨ã„ã†ã¨ã¦ã‚‚プラクティカル㪠[http://search.cpan.org/perldoc?Encode:title=Encode] 入門をãŠæ›¸ãã«ãªã£ãŸã®ã§ï¼Œã‚ãŸã—ã‚‚é•ã†åˆ‡ã‚Šå£ã§æ›¸ã„ã¦ã¿ãŸããªã‚Šã¾ã—ãŸã€‚ ã„ã¡ãŠã†ã®åŸºç¤Žï¼ˆèªã¿é£›ã°ã—å¯ï¼‰ æ–‡å—セット, ã‚ャラクタセット, æ–‡å—集åˆ, æ–‡å—é›†åˆ - Wikipedia エンコーディング, 符å·åŒ–æ–¹å¼, æ–‡å—符å·åŒ–æ–¹å¼ - Wikipedia ã“ã®2ã¤ã¯ç•°ãªã‚Šã¾ã™ã€‚ã¨ãã«çŸ¥ã‚‰ãªãã¦ã‚‚下記ã®æ–‡æ›¸ã‚’èªã‚€ã“ã¨ã¯ã§ãã¾ã™ãŒï¼Œç†è§£ã—ã¦ã„ã‚‹ã¨ãŸã‚ã«ãªã‚Šã¾ã™ã€‚ãã‚ã—ã知りãŸã„人ã¯è‡ªç¿’ã—ã¦ãã ã•ã„。 æ–‡å—セットã®ä¾‹ Unicode JIS X 0208 ã²ã‚‰ãŒãªã¨ã‹ã‚«ã‚¿ã‚«ãƒŠã¨ã‹æ¼¢å—ã¨ã‹ ASCII æ–‡å— ã‚¨ãƒ³ã‚³ãƒ¼ãƒ‡ã‚£ãƒ³ã‚°ã®ä¾‹ UTF-8 ISO-202
Unicode ã®16進数ã®å®Ÿä½“å‚照をæ£è¦è¡¨ç¾ãªã©ã§å…ƒã«æˆ»ã™
Unicode ã®16進数ã®å®Ÿä½“å‚照をæ£è¦è¡¨ç¾ãªã©ã§å…ƒã«æˆ»ã™ 2008-05-10-3 [Programming] 普段ã¯é©åˆ‡ã«å‡¦ç†ã‚’ã•ã‚Œã¦ã¦å•é¡Œã«ãªã‚‰ãªã„ã‚“ã ã‘ã©ã€ ã¨ãã©ãã²ã‚‡ã‚“ãªå±€é¢ã§å‡ºä¼šã£ã¦ã—ã¾ã†ã®ãŒã€ "�" ã¨ã„ã†å½¢å¼ã®æ–‡å—列ã€16進数ã®å®Ÿä½“å‚ç…§ã§ã™ã€‚ Perl ã§ãƒ‡ã‚³ãƒ¼ãƒ‰ã™ã‚‹æ–¹æ³•ã‚’メモ。 pack 㨠Encode::decode を使ã†ã¨è‰¯ã„ã¿ãŸã„。 #!/usr/bin/perl use strict; use warnings; use Encode; use utf8; binmode STDOUT, ":utf8"; my $a = "情報時代"; $a =~ s/&#x([0-9A-F]{4});/decode('UCS2', pack('H*', $1))/ge; print "$a\n";
perl - æ–‡å—å‚照を(en|de)codeã™ã‚‹ : 404 Blog Not Found
2008å¹´05月11æ—¥21:00 カテゴリLightweight LanguagesTips perl - æ–‡å—å‚照を(en|de)codeã™ã‚‹ ã™ã§ã«æ£è§£ãŒæ›¸ã‹ã‚Œã¦ã„ã¾ã™ãŒã€ [ã‚’] Unicode ã®16進数ã®å®Ÿä½“å‚照をæ£è¦è¡¨ç¾ãªã©ã§å…ƒã«æˆ»ã™ pack 㨠Encode::decode を使ã†ã¨è‰¯ã„ã¿ãŸã„。 ã¯ã¦ãªãƒ–ックマーク - miyagawaã®ãƒ–ックマーク / 2008å¹´05月11æ—¥ ãã‚Œ HTML::Entities::decode / regexp ã§ã‚‚ chr(hex($1)) ã®ã»ã†ãŒã‚ã‹ã‚Šã‚„ã™ããªã„ã‹ãª ç¹°ã‚Šè¿”ã—ã¦ãŠãã ã‘ã®ä¾¡å€¤ã¯ã‚ã‚‹ã®ã§ã€‚ HTML::Entitiesを使ㆠã¾ãšã€HTML::Entitiesã®decode_entities()を使ã†ã¨ã„ã†æ–¹æ³•ãŒã‚ã‚Šã¾ã™ã€‚ã“ã‚ŒãŒãƒ™ã‚¹ãƒˆãƒ—ラクティスã‹ãªã€‚ #!/usr/local/bin/perl use strict;
perl - Encode ä¸ç´š : 404 Blog Not Found
2008å¹´05月08æ—¥04:00 カテゴリLightweight Languages perl - Encode ä¸ç´š 以å‰æ›¸ã„㟠404 Blog Not Found:perl - Encode 入門 ã¯å¤§å¥½è©•ã§ã—ãŸãŒã€ ウェブã§åˆ©ç”¨ã•ã‚Œã‚‹æ–‡å—コードã€UnicodeãŒASCIIを上回る--グーグルãŒæ˜Žã‚‰ã‹ã«:マーケティング - CNET Japan UnicodeãŒASCIIを追ã„越ã—ã€World Wide Web上ã§æœ€ã‚‚多ã利用ã•ã‚Œã¦ã„ã‚‹æ–‡å—コード体系ã«ãªã£ãŸã¨Googleã®ã‚·ãƒ‹ã‚¢ã‚¤ãƒ³ã‚¿ãƒ¼ãƒŠã‚·ãƒ§ãƒŠãƒ«ã‚½ãƒ•ãƒˆã‚¦ã‚§ã‚¢ã‚¢ãƒ¼ã‚テクトMark Davisæ°ãŒãƒ–ãƒã‚°ã§è¿°ã¹ã¦ã„る。 ã¨ã„ã†æ™‚代ã«å®Œå…¨å¯¾å¿œã™ã‚‹ã«ã¯ã€å…¥é–€ä»¥ä¸Šã®çŸ¥è˜ãŒã¡ã‚‡ã£ã¨å¿…è¦ã«ãªã‚Šã¾ã™ã€‚ 例ãˆã°ã€æœ¬blogをホストã—ã¦ãã‚Œã¦ã„ã‚‹livedoor blogã®æ–‡å—コードã¯EUC-JP。「時代ã¯Unicodeã€ã ã¨è¨€ã£ã¦ã‚‚ã€ã“ã†ã—ãŸäº‹æƒ…ã‚‚ã¾ã
Unicode - ä¼¼ãŸæ–‡å—åŒå£«ã«ã”用心 : 404 Blog Not Found
2008å¹´05月02æ—¥04:00 カテゴリLightweight Languages Unicode - ä¼¼ãŸæ–‡å—åŒå£«ã«ã”用心 後者ã¯ãƒã‚¤ãƒ•ãƒ³ã§ãªãã¦ãƒžã‚¤ãƒŠã‚¹è¨˜å·ã§ã‚“ãŒãªã€‚ [ã‚’] UTF-8 ã®å…¨è§’ãƒã‚¤ãƒ•ãƒ³ãŒ Perl ã®æ£è¦è¡¨ç¾ã«ãƒžãƒƒãƒã—ãªãã¦æ‚©ã‚“ã ã§ã€å…ƒã®ãƒ†ã‚ストファイルã®å…¨è§’ãƒã‚¤ãƒ•ãƒ³ã‚’「od -t x1〠ã§è¦‹ã¦ã¿ã‚‹ã¨ã€Œef bc 8dã€ã¨ã€Œe2 88 92ã€ã®ï¼’種類ãŒæ··ã˜ã£ã¦ã„ã¾ã—ãŸã€‚ å‰è€…ã¯ã€Œ\p{Hyphen}ã€ã«ãƒžãƒƒãƒã™ã‚‹ã®ã§ã™ãŒå¾Œè€…ã¯ãƒ€ãƒ¡ã€‚ ã¾ã‚åŽŸå› ã¯åˆ†ã‹ã£ãŸã®ã§ã€å‰å‡¦ç†ã§ãƒã‚¤ãƒŠãƒªç½®æ›ã—ã¦è§£æ±ºã—ã¾ã—ãŸã€‚ ã§ã€ç´›ã‚‰ã‚ã—ãã†ãªã®ã‚’åå‰ã®HYPHENã¨MINUS SIGNã§grepã™ã‚‹ã¨ã“ã‚“ãªæ„Ÿã˜ã«ãªã‚‹ã€‚ egrep '(HYPHEN|MINUS SIGN)' /usr/local/lib/perl5/5.10.0/unicore/Name.pl -002DHYPHEN-MI
404 Blog Not Found:perl - utf8::is_utf8("\x{ff}") == 0
2008å¹´02月18æ—¥10:00 カテゴリLightweight Languages perl - utf8::is_utf8("\x{ff}") == 0 ã¡ã‚‡ã†ã©ã„ã„機会ãªã®ã§ã€Perl 5.8以é™ã«ãŠã‘ã‚‹utf8フラグã®ç«‹ã¡æ–¹ã‚’。 unknownplace.org - 2008/02/17 - utf8::is_utf8 ã¨ã„ã†ã“ã¨ã§ã€"\x{6751}\x{702c}\x{5927}\x{8f14}" ãªã©ã¨ã„ã†Data::Dumper表記ã§ã‹ãªã‚‰ãšã—ã‚‚ utf-8フラグãŒãŸã¤ã‚ã‘ã˜ã‚ƒãªã„。ã¨ã„ã†ã“ã¨ãŒã„ã„ãŸã‹ã£ãŸã‚“ã ã¨æ€ã†ã®ã ã‘ã‚Œã©ã€ \x{UUUUUU}ã¨utf8 flag ã¾ãšã¯ã‚¯ã‚¤ã‚ºã§ã™ã€‚以下ãŒã©ã†å‡ºåŠ›ã•ã‚Œã‚‹ã‹ã‚’ç”ãˆãªã•ã„。 sub pfrag{ print utf8::is_utf8($_[0]) ? 1 : 0, "\n" } pfrag "Hell\xC3, worl
今日ã®CPANモジュール（跡地） 目次
Redirecting… Click here if you are not redirected.
Perl 㧠Unicode Character ã«ã¤ã„ã¦è§¦ã‚‹ - daily dayflower
Python ã® unicodedata モジュール - bkブãƒã‚° ã‚’èªã‚“ã§ï¼Œãã‚Œ Perl ã ã¨ã©ã†ã‚ˆã¨æ€ã£ãŸã‚“ã§å¯¾å¿œã‚’ã¾ã¨ã‚ã¦ã¿ã¾ã—ãŸã€‚utf8 flag ã‚„ Encode モジュールã«ã¤ã„ã¦ã¯ç‰¹ã«è§£èª¬ã—ã¾ã›ã‚“ã®ã§ã€‚ æ–‡å—ã®åå‰ã‚’å–å¾—ã™ã‚‹ charnames モジュール（Perl 5.6 より付属）㮠viacode 関数を使ã†ã¨æ–‡å—ã®åå‰ã‚’å–å¾—ã™ã‚‹ã“ã¨ãŒã§ãã¾ã™ã€‚引数ã¨ã—ã¦æ–‡å—列ã§ã¯ãªãæ–‡å—コードを渡ã™ã¨ã“ã‚ãŒè¦æ³¨æ„ã§ã™ã€‚ use utf8; use charnames qw( :full ); print charnames::viacode(ord 'A')), "\n"; # 'LATIN CAPITAL LETTER A' print charnames::viacode(ord 'ã‚')), "\n"; # 'HIRAGANA LETTER A' æ–‡å—列リテラルã¨ã—ã¦æ¨™æº–
javascript - encodeURIUnicode()ã¨%uXXXXå•é¡Œ : 404 Blog Not Found
2007å¹´03月10æ—¥17:30 カテゴリLightweight Languages javascript - encodeURIUnicode()ã¨%uXXXXå•é¡Œ ã“れを見ã¦ã€(de|en)codeURIUnicodeãŒã‚ã‚Œã°ã„ã„ã¨æ€ã£ãŸã®ã§ä½œã£ã¦ã¿ãŸ sawatã®æ—¥è¨˜ - Unicodeエスケープ ãªã®ã§ã€å‰è¿°ã®ã‚ˆã†ãªå˜ã«éžASCIIæ–‡å—をエスケープã—ãŸã„ã ã‘ã®ã‚ˆã†ãªã‚±ãƒ¼ã‚¹ã§ã¯Unicodeエスケープを使ã£ãŸæ–¹ãŒã‚ˆã„ã§ã™ã€‚Javaã®propertiesã¨ã‹native2asciiã¨ã‹ã®ã‚„ã¤ã§ã™ã€‚ Decoded: Dan å¼¾ 𪚲 Encoded: Dan%20%u5F3E%20%uD869%uDEB2 è¦ã¯ã€U+00ffã¾ã§ã¯encodeURIComponent互æ›ã€ãれ以上ã¯escape()互æ›ã¨ã„ã†ã‚‚ã®ã€‚ã“ã†ã—ã¦encodeã•ã‚ŒãŸã‚‚ã®ã¯ã€CGI.pmã¨ã‹ã§ã‚‚ã»ã¼ãã®ã¾ã¾ä½¿ãˆã‚‹ã€‚
Unicodeã§æ‹¡å¼µåã‚’å½è£…ã•ã‚ŒãŸå®Ÿè¡Œãƒ•ã‚¡ã‚¤ãƒ«ã®é˜²å¾¡æ–¹æ³• - 葉ã£ã±æ—¥è¨˜
「ãã‚Œ Unicode ã§ã€ãªã©ã§ç´¹ä»‹ã•ã‚Œã¦ã„ã‚‹ã€Unicode ã® U+202E (RIGHT-TO-LEFT OVERRIDE; RLO)を使ã£ã¦æ‹¡å¼µåã‚’å½è£…ã•ã‚ŒãŸ exe ファイルã®å®Ÿè¡Œã‚’抑æ¢ã™ã‚‹æ–¹æ³•ã‚’æ€ã„ã¤ã„ãŸã€‚ メモ帳を開ã„ã¦ã€"**"ã¨å…¥åŠ›ã™ã‚‹(å‰å¾Œã®å¼•ç”¨ç¬¦ã¯ä¸è¦)。 "*"ã¨"*"ã®é–“ã«ã‚ャレット(カーソル)を移動ã•ã›ã‚‹ å³ã‚¯ãƒªãƒƒã‚¯ã§ã€ŒUnicode 制御文å—ã®æŒ¿å…¥ã€ã‹ã‚‰ã€ŒRLO Start to right-to-left overrideã€ã€ŒRLO Start of right-to-left overrideã€ã‚’é¸æŠž Ctrl-A ã§å…¨ã¦é¸æŠžã€Ctrl-C ã§ã‚¯ãƒªãƒƒãƒ—ボードã«ã‚³ãƒ”ー。 ãƒãƒ¼ã‚«ãƒ«ã‚»ã‚ュリティãƒãƒªã‚·ãƒ¼ã‚’é–‹ã ç”»é¢å·¦å´ã®ã€Œè¿½åŠ ã®è¦å‰‡ã€ã‚’å³ã‚¯ãƒªãƒƒã‚¯ 「新ã—ã„パスã®è¦å‰‡ã€ã‚’é¸æŠž 「パスã€æ¬„㧠Ctrl-V ã‚’ã—ã¦ã€ãƒ¡ãƒ¢å¸³ã®å†…容を貼り付ã‘る。 ã‚»ã‚ュリティレベルãŒã€Œ
1
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
IBM Developer
https://piro.sakura.ne.jp/latest/entries/mozilla/xul/2005-09-28_unicode-escape.files/unicode.xul
{{#tags}}- {{label}}
{{/tags}}