テキストの文字種分割の補足 - daily dayflower

テクノロジーカテゴリーの変更を依頼記事元:

dayflower.hatenablog.com

36 usersがブックマークコメント

コメント

8

記事へのコメント8件

注目コメント
新着コメント

minoton alphabeticについて

programming

2014/03/24 リンク

mogwaing よくまとまっていて、すごい！

perl
unicode

2008/02/14 リンク

NeoCat 同一文字種の固まりにsplit

2008/02/11 リンク

hirose31 Property Script Block

unicode

2008/02/08 リンク

mitsuki_engawa Unicodeの文字の分類

charcode

2008/02/07 リンク

kdaiba なんで文字コードってめんどいんだろう

Perl

2008/02/07 リンク

hirataka522 あとで

2008/02/07 リンク

sankaseki [!GTD::資料(いつか読む)] テキストの文字種分割の補足 - daily dayflower

2008/02/07 リンク

注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています

規約違反を報告

アプリのスクリーンショット

いまの話題をアプリでチェック！

バナー広告なし
ミュート機能あり
ダークモード搭載

アプリをダウンロード

関連記事

{{ total_bookmarks_with_user_postfix }}{{ root_title }}

テキストの文字種分割の補足 - daily dayflower

Perl で日本語テキストを簡単に字種かたまりに分割できないかな、と思い、perlunicode を読みながらサ... Perl で日本語テキストを簡単に字種かたまりに分割できないかな、と思い、perlunicode を読みながらサンプルプログラムを書いてみました。対象テキストは UTF-8。 Perl で日本語テキストを字種分割たつをさんは，m// でマッチングさせて分割させてますけど，これだと正規表現で網羅されてないトークンが失われてしまうと思います。 #!/usr/bin/perl use strict; use warnings; use utf8; binmode \*STDOUT, ':utf8'; my $src = <<"END_DATA"; zーあyxルーラでう、う9 10AB.DE「"GH'」★で漢字をカ・ナ食ったー!?ＭＪＤ３９\x{2466}。 END_DATA print $src, "\n"; my @cs = ( $src =~ m/ ( \p{M}+ | \p{N}+

ブックマークしたユーザー

minoton2014/03/24
motorif2011/11/01
muddydixon2010/12/20
kimata242010/08/27
jp-myk2009/10/31
koko1000ban2008/12/23
teruwyi2008/03/15
sassano2008/02/18
kat0usi2008/02/17
mogwaing2008/02/14
B-SAKATU2008/02/14
NeoCat2008/02/11
yokochie2008/02/09
takatoshiono2008/02/08
hirose312008/02/08
nitsuji2008/02/07
otsune2008/02/07
palm3r2008/02/07

同じサイトの新着

同じサイトの新着をもっと読む

いま人気の記事

いま人気の記事をもっと読む

いま人気の記事 - テクノロジー

いま人気の記事 - テクノロジーをもっと読む

新着記事 - テクノロジー

新着記事 - テクノロジーをもっと読む

設定を変更しましたx