Ruby ã® invalid byte sequence in UTF-8 例外を encode("UTF-8", "UTF-8") ã§å›žé¿ã™ã‚‹ã®ã¯ãŠã‹ã—ã„よã€ã¨ã„ã†è©± : sonots:blog
nabokov7; rehash : Twitterã®140æ–‡å—ã¯ä»–言語ã§ã¯ä½•æ–‡å—ãらã„ã‹
August 15, 201211:31 カテゴリ統計 Twitterã®140æ–‡å—ã¯ä»–言語ã§ã¯ä½•æ–‡å—ãらã„ã‹ ...ã¨ã„ã†ã®ãŒæ°—ã«ãªã£ã¦ä»¥å‰èª¿ã¹ãŸã“ã¨ãŒã‚ã‚‹ã‚“ã ã‘ã©ã€å…ˆã«åŒã˜ã“ã¨ã‚’ã‚„ã£ã¦ãŸäººã‚’見ã¤ã‘ãŸã€‚ → Twitterã¯560æ–‡å—制é™!? åŒã˜æ–‡å—æ•°ã«è¾¼ã‚ã‚‰ã‚Œã‚‹æƒ…å ±é‡ã®é•ã„ ↑ã¯è–書ã®å„国語翻訳版を使ã£ã¦æ–‡å—数を比ã¹ã¦ã‚‹ã€‚ 自分ã®å ´åˆã¯ wikisource を使ã£ãŸã€‚例ãˆã°ã‚¸ã‚ルåšå£«ã¨ãƒã‚¤ãƒ‰æ°ã®ãƒšãƒ¼ã‚¸ã‚’見るã¨ã€åŒã˜å†…容ã«å¯¾ã—ã¦5カ国語ã®å¯¾è¨³ãŒã‚ã‚‹ã®ã§ã€ã“ã‚Œã§æ–‡å—数を比ã¹ã‚‹ã“ã¨ãŒã§ãる。 上ã®ãƒªãƒ³ã‚¯å…ˆã®è¨˜äº‹ã®æ–¹ãŒã‚«ãƒãƒ¼ã—ã¦ã„る言語ãŒå¤šãã¦ç²¾åº¦ã‚‚良ã•ã’ãªã‚“ã ã‘ã©ã€å¾®å¦™ã«ç•°ãªã‚‹ã¨ã“ã‚ã‚‚ã‚ã‚‹ã—ã€ã›ã£ã‹ããªã®ã§å¯¾å¿œè¡¨ã‚’作ã£ã¦ã¿ãŸã€‚ 言語英語1ã«å¯¾ã™ã‚‹ utf-8 一文å—ã®æƒ…å ±é‡140æ–‡å—を英語ã«æ›ç®—ã—ãŸæ–‡å—数上記記事 ã«ã‚ˆã‚‹ä¸€æ–‡å—ã®æƒ…å ±é‡(å‚考)ä¸å›½èªž3.28459(ç´„4.0)日本語1.942
Encodeã§ãƒ©ã‚¯ãƒ©ã‚¯æ—¥æœ¬èªžå‡¦ç† - JPerl Advent Calendar 2009
ã“ã‚“ã«ã¡ã¯ï¼ãƒ©ãƒ–プラスã¨ã¨ãメモ４ã®ç‹é–“ã§æºã‚Œå‹•ã„ã¦ã„ã‚‹xaicronã§ã™ï¼ï¼ 今日ã¯æ—¥æœ¬ã§ãƒ—ãƒã‚°ãƒ©ãƒ を書ã„ã¦ã„ãŸã‚‰é¿ã‘ã¦ã¯é€šã‚Œãªã„æ°—ãŒã™ã‚‹ã€Encodeã®è©±ã‚’ã—よã†ã¨æ€ã„ã¾ã™ï¼ ã¯ã˜ã‚ã« ã¾ãšã€ã“ã®è¨˜äº‹ã‚’èªã‚€å‰ã«ã€Perlã®ãƒãƒ¼ã‚¸ãƒ§ãƒ³ã®ç¢ºèªã‚’ã—ã¦ãã ã•ã„。以下ã®ã‚ˆã†ã«ã‚„ã‚Œã°ãƒãƒ¼ã‚¸ãƒ§ãƒ³ãŒè¡¨ç¤ºã•ã‚Œã¾ã™ã€‚ % perl -v ã“ã“ã§ã€5.8.1より下ã®æ•°å—ãŒã§ãã¦ããŸæ–¹ã¯ã€Perlã®ãƒãƒ¼ã‚¸ãƒ§ãƒ³ã‚¢ãƒƒãƒ—ã‚’ã—ã¦ãã ã•ã„。5.8.1より下ã®ãƒãƒ¼ã‚¸ãƒ§ãƒ³ã§ã¯ã€Perlã®å†…部文å—コードãŒå®‰å®šã—ã¦ã„ãªã„ã®ã§ã€ã„ã„æ„Ÿã˜ã«ãªã‚Šã¾ã›ã‚“。ã§ãã‚Œã°5.8.8以上ã®ãƒãƒ¼ã‚¸ãƒ§ãƒ³ã‚’使ã„ã¾ã—ょã†ã€‚ ãã‚Œã‹ã‚‰ã€æ–‡å—コードã£ã¦ãªã«ã‚ˆã£ã¦äººã‚‚é©å½“ã«Wikiã¨ã‹ã§èª¿ã¹ã¦ã‹ã‚‰èªã‚“ã æ–¹ãŒã„ã„ã¨æ€ã„ã¾ã™ï¼ï¼ Encode.pm Encodeã¯æ˜”ã®jcode.plã‚„Jcode.pmã«ä»£ã‚ã‚‹ã€ç¾åœ¨ã®æ–‡å—コード処ç†ã®ã‚¹ã‚¿ãƒ³ãƒ€ãƒ¼ãƒ‰Moduleã§ã™ã€‚
perl - use encoding; #ã¯é»’æ´å² : 404 Blog Not Found
2009å¹´06月08æ—¥14:30 カテゴリLightweight Languages perl - use encoding; #ã¯é»’æ´å² ãŽã‚ƒã‚ãã length関数ã§æ–‡å—列ã®é•·ã•ã‚’求ã‚ã‚‹ - perlåˆå¿ƒè€…BLOG - Hatena::Group::Perl 日本語ã®æ–‡å—æ•°ã‚’æ£ç¢ºã«æ±‚ã‚ãŸã„å ´åˆã€use encodingを指定ã™ã‚‹ use encoding;ã¯ã€jperlãªã©ã€ã‹ã¤ã¦å˜åœ¨ã—ãŸL10Nã•ã‚ŒãŸperl用ã«æ›¸ã‹ã‚ŒãŸãƒ¬ã‚¬ã‚·ãƒ¼ã‚¹ã‚¯ãƒªãƒ—トをã€ãƒ¢ãƒ€ãƒ³perlã§å‹•ã‹ã™ã¨ãã®ãŸã‚ã®ãŠã¾ã˜ãªã„ã§ã™ã€‚ã“ã†ã„ã†ç›®çš„ã§åˆ©ç”¨ã™ã¹ãã§ã¯ã‚ã‚Šã¾ã›ã‚“。 ã“ã®ã‚ãŸã‚Šã®ã“ã¨ã¯ã€ä»¥å‰ 404 Blog Not Found:perl - no encoding; # whenever possible ã§ã‚‚書ã„ãŸã®ã§ã™ãŒã€å¤§äº‹ãªã“ã¨ãªã®ã§ã¾ãŸæ›¸ãã¾ã™ã€‚ スクリプトã¯UTF-8ã§æ›¸ãã€use utf8;ã™ã‚‹ ã®ãŒãƒ¢
perl - æ–‡å—列ã°ã‚‰ã—ã¯split //, $str㧠: 404 Blog Not Found
2007å¹´11月27æ—¥13:30 カテゴリLightweight Languages perl - æ–‡å—列ã°ã‚‰ã—ã¯split //, $str㧠ã†ãƒ¼ã‚“ã€ã“ã“ãŒã‚ãã¾ã¸ã‚“。 [ã‚’] 転置インデックスã«ã‚ˆã‚‹æ¤œç´¢ã‚·ã‚¹ãƒ†ãƒ を作ã£ã¦ã¿ã‚ˆã†ï¼ 9 my @char = ($c =~ /([\x00-\x7f]|[\xC0-\xDF][\x80-\xBF]| 10 [\xE0-\xEF][\x80-\xBF]{2}| 11 [\xF0-\xF7][\x80-\xBF]{3})/gsx); æ–‡å—列をã°ã‚‰ã—ã¦(utf8ã®)æ–‡å—一ã¤ä¸€ã¤ã®é…列ã«ã™ã‚‹ã«ã¯ã€ãƒã‚¤ãƒˆåˆ—ã«æ£è¦è¡¨ç¾ã‚’ã‹ã¾ã™ã®ã§ã¯ãªãã€utf8æ–‡å—列ã«ã—ã¦ã‹ã‚‰ãã‚Œã«split //ã‚’ã‹ã¾ã™ã®ãŒä¸€ç•ªã§ã™ã€‚å˜ã«ã‚ã‹ã‚Šã‚„ã™ã„ã ã‘ã§ã¯ãªãã€ãã®æ–¹ãŒãšã£ã¨é«˜é€Ÿã§ã™ã€‚以下ã€Benchmark。 #!/usr/local/bin/perl use strict; u
技林ブãƒã‚°: Perl5.8ã§UTF-8ã®ãƒ¡ãƒ¢
We’re getting things ready Loading your experience… This won’t take long.
UTF-8ã§4ãƒã‚¤ãƒˆã«ãªã‚‹æ–‡å— at softelメモ
JIS X 0213ã®ç¬¬3・4水準漢å—ã®ä¸€éƒ¨ãŒ4ãƒã‚¤ãƒˆã¨ãªã‚‹ã€‚マイナーãªæ–‡å—ã§ã™ã。 例ãˆã°ã€ç¬¬1・2水準漢å—ã ã‘対応ã—ã¦ã„ã‚Œã°ã‚ˆã„案件ãªã©ã§ã¯è€ƒæ…®ã—ãªãã¦ã‚ˆã„ã§ã—ょã†ã€‚ MySQLã§ã¯ã“ã®UTF-8ã§4ãƒã‚¤ãƒˆã«ãªã‚‹æ–‡å—を扱ãˆãªã„ã®ã ã¨ã‹ï¼ˆMySQL6ãªã‚‰å¯¾å¿œã—ãŸãã†ã ）。 数値文å—å‚ç…§ã§å…¨éƒ¨æ›¸ã„ã¦ã¿ãŸã€‚ （パッãƒã®ã‚ãŸã£ã¦ã„ãªã„WindowsXPãªã©ã§ã¯è¡¨ç¤ºã•ã‚Œãªã„ã§ã™ã€‚） 𠀋 𡈽 𡌛 ð¡‘® ð¡¢½ 𠮟 ð¡š´ 𡸴 𣇄 𣗄 𣜿 𣣠𣳾 𤟱 𥒎 𥔎 𥱠𥧄 𥶡 𦫿 𦹀 𧃴 𧚄 𨉷 ð¨ 𪆠𠂉 ð ‚¢ 𠂤 𠆢 𠈓 𠌫 ð Ž ð ± ð ¹ ð ‘Š 𠔉 ð —– 𠘨 ð ð ‡ ð º ð ¢¹ ð ¥¼ ð ¦ ð «“ ð ¬ ð µ… ð ·¡ 𠺕 ð ¹ ð ¹¤ 𠽟 𡈠𡉕 𡉻 𡉴 𡋤 ð¡‹— ð¡‹½ 𡌶 ð¡„ ð¡„ ð¡‘ ð¡—— 𦰩 𡙇 𡜆 𡂠𡧃
ã•ãらã®VPSサーãƒãƒ¼æ§‹ç¯‰ãƒ¡ãƒ¢ – vim, zsh, gitをインストール – Yuyak
å‰å›žã®ã€Œã•ãらã®VPSサーãƒãƒ¼æ§‹ç¯‰ãƒ¡ãƒ¢ – 基本è¨å®šç·¨ã€ã®ç¶šãã§ã™ã€‚ å¿…è¦ãªã‚‚ã®ã‚’インストールã™ã‚‹ vimをインストール $ sudo yum -y install vim-enhanced .vimrcã®ã‚µãƒ³ãƒ—ル。最低é™ã€UTF-8ã®è¨å®šã ã‘ã—ã¦ãŠã。 $ vi ~/.vimrc set encoding=utf-8 set fileencodings=utf-8,iso-2022-jp,euc-jp,sjis zshをインストール zshを知らãªã„人ã¯ã“ã®ã‚ãŸã‚Šã‚’å‚照→漢ã®zsh – マイコミジャーナル $ sudo yum -y install zsh zshを使用ã™ã‚‹è¨å®šã‚’ã™ã‚‹ã€‚ $ vi ~/.bash_profile # use zsh if [ -f /bin/zsh ]; then exec /bin/zsh fi zshrcã®ã‚µãƒ³ãƒ—ル。 $ vi ~/.zshrc # #
Encode 日本語ãªã©ã®ãƒžãƒ«ãƒãƒã‚¤ãƒˆæ–‡å—列をé©åˆ‡ã«å‡¦ç†ã™ã‚‹ - Perl入門〜サンプルコードã«ã‚ˆã‚‹Perl入門〜
Perl › モジュール › here 日本語ãªã©ã®ãƒžãƒ«ãƒãƒã‚¤ãƒˆæ–‡å—ã‚’Perlã§é©åˆ‡ã«æ‰±ã†ã«ã¯Encodeモジュールを使用ã—ã¾ã™ã€‚次ã®3ã¤ã®ã“ã¨ã‚’覚ãˆã¦ãŠã‘ã°å¤šãã®å ´åˆé©åˆ‡ã«æ—¥æœ¬èªžã‚’扱ã†ã“ã¨ãŒã§ãã¾ã™ã€‚ 外部ã‹ã‚‰å…¥åŠ›ã•ã‚ŒãŸæ–‡å—列ã¯Encodeモジュールã®decode関数ã§ãƒ‡ã‚³ãƒ¼ãƒ‰ã™ã‚‹ 外部ã¸å‡ºåŠ›ã™ã‚‹æ–‡å—列ã¯Encodeモジュールã®encode関数ã§ã‚¨ãƒ³ã‚³ãƒ¼ãƒ‰ã™ã‚‹ ソースコードã¯UTF-8ã§ä¿å˜ã—utf8プラグマを有効ã«ã™ã‚‹ ã“ã®è§£èª¬ã§ã®ç”¨èªž ã“ã®è§£èª¬ã§ã¯å¤–部ã‹ã‚‰å…¥åŠ›ã•ã‚ŒãŸæ–‡å—列ã®ã“ã¨ã‚’「ãƒã‚¤ãƒˆæ–‡å—列ã€ã¨å‘¼ã¶ã“ã¨ã«ã—ã¾ã™ã€‚Perlã®å†…部表ç¾ã«å¤‰æ›ã•ã‚ŒãŸæ–‡å—列を「内部文å—列ã€ã¨å‘¼ã¶ã“ã¨ã«ã—ã¾ã™ã€‚ã¾ãŸã€Œãƒã‚¤ãƒˆæ–‡å—列ã€ãŒç‰¹å®šã®æ–‡å—コードã§è¨˜è¿°ã•ã‚Œã¦ã„ã‚‹å ´åˆã¯ã€ŒUTF-8ãƒã‚¤ãƒˆæ–‡å—列ã€ã€ŒShift_JISãƒã‚¤ãƒˆæ–‡å—列ã€ãªã©ã¨å‘¼ã¶ã“ã¨ã«ã—ã¾ã™ã€‚ プãƒã‚°ãƒ©ãƒŸãƒ³ã‚°ã§æ—¥æœ¬èªžã‚’扱ã†å ´åˆã«ãã®æ–‡å—列ãŒãƒã‚¤ãƒˆæ–‡å—
sambaã®æ–‡å—コードã¯UTF-8ã«è¨å®šã™ã‚‹ã¨ãƒ™ã‚¹ãƒˆ - サーãƒãƒ¼æŠ€è¡“メモ
ã¯ã¦ãªäººåŠ›æ¤œç´¢ã¸ã®å›žç”ã§ã™ã€‚ http://q.hatena.ne.jp/1182403623 æ–‡å—コードã„ã‚ã„゠日本語文å—コードã®ä»£è¡¨ã¨ã—ã¦ã¯ã€ã€ŒShift_JISã€ã€ŒEUC-JPã€ã€ŒUTF-8ã€ãŒã‚ã‚Šã¾ã™ã€‚ ã“ã®ã†ã¡ã€ŒShift_JISã€ã¨ã€ŒEUC-JPã€ã«ã¯å®Œå…¨ãªäº’æ›æ€§ãŒã‚ã‚Šã¾ã›ã‚“。 ã¾ãŸã€ŒUTF-8ã€ã¸å¤‰æ›ã™ã‚‹ãŸã‚ã®æ£å¼ãªå¤‰æ›ãƒ†ãƒ¼ãƒ–ルもãªã„ãŸã‚ã“ã‚ŒãŒæ¨™æº–ã¨ã„ã†ã®ã¯ã‚ã‚Šã¾ã›ã‚“。 Shift_JIS 日本語Windows標準 EUC_JP 日本語UNIXã®æ¥ç•Œæ¨™æº– UTF-8 国際è¦æ ¼ ã¾ã é‹ç”¨ã‚’始ã‚ã¦é–“ã‚‚ãªã„ãªã‚‰ã€ŒUTF-8ã€ã®ã¾ã¾ãŒãŠå¥¨ã‚ã§ã™ã€‚ Debianã®sambaã§ç¢ºèªã—ã¾ã—ãŸãŒã€ãƒ‡ãƒ•ã‚©ãƒ«ãƒˆã€ŒUTF-8ã€ã®ã‚ˆã†ã§ã™ã€‚ ã©ã‚Œã‚’å–ã£ã¦ã‚‚若干ã®å•é¡ŒãŒã§ã¦ãã‚‹ã®ã§ã€å›½éš›è¦æ ¼ã‚’é¸æŠžã—ãŸã»ã†ãŒå¾Œã€…ã„ã„よã†ãªæ°—ãŒã—ã¾ã™ã€‚ æ–‡å—コード関連ã®è¨å®š ã¨ã‚Šã‚ãˆãšã€ŒUTF-8ã€å‰æã§èª¬æ˜Žã—ã¾ã™ã€‚
1
ランã‚ング
ランã‚ング
メンテナンス
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
tmuxã§æ—¥æœ¬èªžãŒæ–‡å—化ã‘ã™ã‚‹ - Humanity
{{#tags}}- {{label}}
{{/tags}}