Perl UTF-8 crash course
I’ve been seeing the occurrences of perl programmers not understanding perl’s very simple (and sometimes buggy but easily fixable) handling of Unicode strings. I confess I had the same misunderstanding until 6–7 years ago, and don’t want everyone to repeat the same mistake. Let’s forget what you know for 5 minutes, and take this simple course. 1. print($a, $b) and print($a . $b); Let’s forget, for
Perl ã®å†…部表ç¾ã®ä¸€ã¤ã¯ãŸã¾ãŸã¾ UTF-8 ã§ã™ã€‚内部表ç¾ã¯ä½•ã‹åˆ†ã‹ã‚‰ãªã„エンコーディングã§ã€å¸¸ã«æ˜Žç¤ºçš„ã«ã‚¨ãƒ³ã‚³ãƒ¼ãƒ‰ã¨ デコードãŒå¿…è¦ã¨ã„ã†ã“ã¨ã«ã—ã¦ãŠã„ãŸæ–¹ãŒã‚ˆã„ã§ã™ã€‚ - ã“ã‚“ã«ã¡ã¯ã“ã‚“ã«ã¡ã¯monmonã§ã™ï¼
追記 ajiyoshiã•ã‚“ã®æ˜”ã®è¨˜äº‹ãŒã¨ã¦ã‚‚ã‚ã‹ã‚Šã‚„ã™ã‹ã£ãŸã®ã§å‚考ã«ã€‚ VOYAGE GROUP エンジニアブãƒã‚° : ã‚ãªãŸã«ã‚‚今日ã“ãPerlã®æ–‡å—化ã‘ãŒç†è§£ã§ãã‚‹ãŸã£ãŸä¸€ã¤ã®åŽŸå‰‡ 元記事 記事タイトルã¯perlunifaqã®ã€ŒUTF8 フラグã€ã£ã¦ä½•?ã‹ã‚‰ãã®ã¾ã¾å¼•ç”¨ã—ãŸã‚‚ã®ã€‚ 昔ã¯ã€ŒUTF8フラグã£ã¦ã‚ˆãã‚ã‹ã‚‰ãªã„ã€ã£ã¦ãªã£ã¦ãŸã‘ã©ã€ã“ã®1æ–‡èªã‚€ã ã‘ã§ã€Œå†…部表ç¾ãŒãŸã¾ãŸã¾UTF-8ã ã£ãŸã‹ã‚‰UTF8フラグã£ã¦è¨€è‘‰ã«ãªã£ãŸã®ã‹ã€ã¨ã‹ã€ã€Œãã‚‚ãも内部表ç¾ãŒä½•ã‹ã£ã¦ã“ã¨ã¯æ°—ã«ã™ã‚‹å¿…è¦ãªã„ã®ã‹ã€ã£ã¦æ€ãˆã¦ã„ã„。 ã§ã€ãã®è¾ºã®è©±ã‚’説明ã—ã¦ãã‚Œã¦ã„る人ãŒã„ãŸã®ã§å¼•ç”¨ã€‚ Perl上級者コーナーPart01 503 ：nobodyã•ã‚“ [↓] ：2011/08/26(金) 02:37:40.52 ID:??? >>501 難ã—ã考ãˆã™ãŽã€‚難ã—ã„ã¨å‹˜é•ã„ã—ã¦ã„ã‚‹ã®ãªã‚‰ã€ãã®åŽŸå› ã¯utf8（フラグ）
日本語ã®è‡ªç„¶è¨€èªžå‡¦ç†ã«ã¯ Perl も便利 - アスペ日記
å°ãƒã‚¿ã€‚Perl ã§æ—¥æœ¬èªžã®ç°¡å˜ãªå‡¦ç†ã‚’ã™ã‚‹ã‚„り方（ã“ã†ã„ã†ã“ã¨ãŒç°¡å˜ã«ã§ãã‚‹ã¨ã„ã†ä¾‹ã§ã€å…·ä½“çš„ãªã‚ªãƒ—ションã®æ„味ç‰ã¯è§£èª¬ã—ã¦ã„ãªã„）。 コマンドラインã§ã¡ã‚ƒã¡ã‚ƒã£ã¨æ—¥æœ¬èªžã®å‡¦ç†ã‚’ã—ãŸã„時ã€Perl ã¯ã‘ã£ã“ã†å½¹ã«ç«‹ã¤ã€‚日本語ã®ä¸€æ–‡å—を一文å—ã¨ã—ã¦æ‰±ãˆã‚‹ã‹ã‚‰ã€‚特ã«ã€ã‚³ãƒžãƒ³ãƒ‰ãƒ©ã‚¤ãƒ³ã‚„ファイルã®ã‚¨ãƒ³ã‚³ãƒ¼ãƒ‡ã‚£ãƒ³ã‚°ã‚’ UTF-8 ã§çµ±ä¸€ã—ã¦ãŠãã¨ã„ã„。 例ãˆã°ã€ã²ã‚‰ãŒãªã®å˜èªžãƒªã‚¹ãƒˆã‚’èªã¿è¾¼ã‚“ã§ã‚«ã‚¿ã‚«ãƒŠã«ã™ã‚‹ã«ã¯ã€æ¬¡ã®ã‚ˆã†ã«ã™ã‚Œã°ã„ã„（「ヴã€ã¯æ‰±ã„æ–¹ã«ã‚ˆã£ã¦å¤‰ã‚ã‚‹ã®ã§çœç•¥ï¼‰ã€‚ perl -CS -Mutf8 -ple 'tr/ã-ã‚“/ã‚¡-ン/' < in.txt > out.txt カタカナã®å˜èªžãƒªã‚¹ãƒˆã®æœ€åˆã®ä¸€æ–‡å—ã‚’æ¿éŸ³ã‹ã‚‰æ¸…音ã«ã—ãŸã„ã¨ã„ã†ã“ã¨ãŒã‚ã‚‹ã‹ã‚‚ã—ã‚Œãªã„。ãã†ã„ã†æ™‚ã¯ã“ã†ã™ã‚‹ï¼ˆã€Œãƒ´ã€ã«ã¤ã„ã¦ã¯åŒä¸Šã€åŠæ¿éŸ³ã®å‡¦ç†ã‚‚略）。 perl -CS -Mutf8 -ple 's{^(.)}{my $
perlunitut - Perl Unicode Tutorial - Perldoc Browser
CONTENTS NAME DESCRIPTION Definitions Unicode UTF-8 Text strings (character strings) Binary strings (byte strings) Encoding Decoding Internal format Your new toolkit I/O flow (the actual 5 minute tutorial) SUMMARY Q and A (or FAQ) ACKNOWLEDGEMENTS AUTHOR SEE ALSO #NAME perlunitut - Perl Unicode Tutorial #DESCRIPTION The days of just flinging strings around are over. It's well established that mode
Unicodeã§ã®æ£è¦è¡¨ç¾ - ã±ã›ã‚‰ã‚“メモ
http://kjirou.sakura.ne.jp/mt/2008/10/python_unicode.html例ãˆã°ã€ãƒ¦ãƒ‹ã‚³ãƒ¼ãƒ‰åž‹æ–‡å—列ã®å†…ã€æ¼¢å—ã®ã¿ï¼ˆ"一"〜"é¾¥"）をマッãƒã•ã›ã‚‹å ´åˆ l = re.findall(u"[\u4e00-\u9fa5]+", "ã²ã‚‰ãŒãªæ¼¢å—カタカナascii".decode("utf-8")) print l[0].encode("utf-8") # -> "æ¼¢å—" ä»–ã®è¨€èªžã¨é•ã£ã¦Unicodeåž‹ã¨ã„ã†ãƒ‡ãƒ¼ã‚¿åž‹ãŒã‚ã‚‹ã®ã§æ˜Žçžæ¥µã¾ã‚Šãªã„ï¼ ï¼ˆfrom http://kjirou.sakura.ne.jp/mt/） Pythonã¯ã‚ã‹ã‚‰ãªã„ã‘ã©Perlã«é€šã˜ã‚‹ã‚‚ã®ã‚’æ„Ÿã˜ãŸã®ã§Perlã§ã‚„ã£ã¦ã¿ãŸã€‚ ã¾ãšã¯ä¸Šè¨˜ã®ã‚³ãƒ¼ãƒ‰ã«ä¼¼ã›ãŸãƒ‘ターン。スクリプトファイルã¯UTF-8ã§ä½œæˆã€‚ use strict; use warnings; use Encode; my
#perl - utf8::decode()ã§ã¯ãªãEncode::decode_utf8()を使ã†ã¹ãç†ç”± : 404 Blog Not Found
2009å¹´09月13æ—¥13:00 カテゴリLightweight Languages #perl - utf8::decode()ã§ã¯ãªãEncode::decode_utf8()を使ã†ã¹ãç†ç”± 駄目ã§ã™ã€‚ [ã‚’] Perl ã® utf8 ã¾ã‚ã‚Šã®ãŠã¾ã˜ãªã„ 最近良ã使ã†ãŠã¾ã˜ãªã„ã€ã¨ã„ã†ã‹ã‚¤ãƒ‡ã‚£ã‚ªãƒ 。 utf8::decode($text) unless utf8::is_utf8($text); ã“ã†ã„ã†å ´åˆã¯ã€Encode::decode_utf8()ã§ãªã„ã¨ã€‚ 以下をã”らんãã ã•ã„。 #!/usr/bin/perl use strict; use warnings; use Encode; use Devel::Peek; for my $bytes ( "\x2F", "\xC0\xAF", "\xE0\x80\xAF", "\xF0\x80\x80\xAF" ) { my $u
utf8 ファイルを open ã—ãŸã‘ã©æ–‡å—化ã‘ã™ã‚‹ã‚±ãƒ¼ã‚¹
utf8 ファイルを open ã—ãŸã‘ã©æ–‡å—化ã‘ã™ã‚‹ã‚±ãƒ¼ã‚¹ 2008-06-07-2 [Programming] open ã®å¼•æ•°ã¯ã€ŒFILEHANDLEã€ã€ŒMODEã€ã€Œãƒ•ã‚¡ã‚¤ãƒ«åãªã©ã€ã€ã«åˆ†ã‘ã¦æ¸¡ã™ã®ãŒã‚»ã‚ュリティ上良ã„らã—ã„ã®ã ãŒã€é¢å€’ãªã“ã¨ã‚‚ã‚る。 例ãˆã°ã€perl 5.8.5 㨠5.8.6 ã§è©¦ã—ãŸã‚“ã ã‘ã©ã€ä¸‹è¨˜ã®ã‚¹ã‚¯ãƒªãƒ—トを実行ã™ã‚‹ã¨ã€ŒAã€ã ã‘æ–‡å—化ã‘ã™ã‚‹ã€‚ ã¿ã‚“ãªã©ã†ã‚„ã£ã¦ã‚‹ã‚“ã ã‚ã†ã€‚ ã„ã¡ã„ã¡ "<:utf8" ã¨ã‹ã‚„ã‚ŠãŸããªã„ã—。 ãŸã¶ã‚“ç§ãŒä½•ã‹ä½¿ã„方を間é•ã£ã¦ã„ã‚‹ã‚“ã ã¨æ€ã†ã€‚ 「use open ':utf8'ã€ã®æ„味を勘é•ã„ã—ã¦ã„ã‚‹ã®ã‹ã‚‚。 #!/usr/bin/perl use strict; use warnings; use Encode; use utf8; use open ':utf8'; binmode STDIN, ":utf8"; binmode S
技林ブãƒã‚°: Perl5.8ã§UTF-8ã®ãƒ¡ãƒ¢
This domain may be for sale!
1
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
Unicode and Perl - Perl Hacks
perlunifaq - Perl Unicode FAQ - Perldoc Browser
{{#tags}}- {{label}}
{{/tags}}