Counting UTF-8 characters with word - なるせにっき

Counting UTF-8 characters with word - なるせにっき

こちらも search non ascii 同様にワード単位で見れば早くなります。具体的には、そもそも UTF-8 は tra...概要を表示 こちらも search non ascii 同様にワード単位で見れば早くなります。具体的には、そもそも UTF-8 は trail byte が [\x80-\xBF] に限定され、またこの範囲は lead byte には出現しません。つまり、バイト列の中から、0b10xxxxxx 以外のバイトの数を数えれば、それがそのまま文字列長になります。これをワード単位で並列して実行する場合は、バイトの最上位ビットの否定と、2番目のビットの論理和をとり、それが真なものを数えれば大丈夫です。 範囲 2進 最上位ビット 最上位ビットの否定 2番目 論理和 \x00-\x7F 0b0x0000 0 1 x 1 OR x = 1 \x80-\xBF 0b100000 1 0 0 0 OR 0 = 0 \xC0-\xFF 0b000000 1 1 0 1 OR 0 = 1 #if SIZEOF_VOIDP =