ã™ã¹ã¦ã®æ¼¢å—ã‚’å–り出ã™æ£è¦è¡¨ç¾ - totonã®ãƒ–ãƒã‚°http://www.unixuser.org/~euske/doc/python/sample.py.html # 日本語トークンを切り出ã™ãŸã‚ã®æ£è¦è¡¨ç¾ã€‚ JP_TOKEN = re.compile(u"[一-é¾ ]+|[ã-ã‚“]+|[ã‚¡-ヴ]+|[a-zA-Z0-9]+") http://www.ascii.co.jp/pb/ascii/archive/aftercare/1999.html ［亜-ç…•ï¼½ã¯JISæ¼¢å—を検出ã™ã‚‹ã¨ãã«ä½¿ã†æ£è¦è¡¨ç¾ã«ãªã‚Šã¾ã™ã€‚ 本文ä¸ã§è§¦ã‚Œã¦ã„る「一太郎 Lite2ã€ã®æ£è¦è¡¨ç¾ã¯Unicode仕様ãªã®ã§ï¼Œã™ã¹ã¦ã®æ¼¢å—を検出ã™ã‚‹ã«ã¯ï¼Œ[一-é¾ ]を使用ã—ã¦ãã ã•ã„ï¼ˆé¾ ã¯éŸ³èªã¿ã§ã€Œãƒ¤ã‚¯ã€ï¼Œè¨“èªã¿ã§ã€Œãµãˆã€ï¼ŒUnicodeã§ã¯ã€Œ9FA0ã€ã«ã‚ãŸã‚Šã¾ã™ï¼‰ã€‚ 追記 ※「ã™ã¹ã¦ã®æ¼¢å—ã‚’å–り出ã™æ£è¦è¡¨ç¾ã€ã«ã¤ã„ã¦ã¯ã€id:toton:20051105 ã«è¨˜äº‹ã‚’è¿½åŠ ã—ã¾ã—ãŸã€‚
ã»ã¼æ—¥åˆŠã‚¤ãƒˆã‚¤æ–°èž - 樹ã®ä¸Šã®ç§˜å¯†åŸºåœ° - （第５回ã®ï¼–）「 特別座談会・今ã ã‹ã‚‰è¨€ãˆã‚‹ã“ã¨ã€ã€œã€€ã‚‚ã®ã‚’ã¤ãã‚‹ã¨ã¯ä½•ã‹ã€€å¾Œç·¨ã€€ã€œ
ã»ã¼æ—¥åˆŠã‚¤ãƒˆã‚¤æ–°èž -æ–‰è—¤ç”±å¤šåŠ ã®ã€Œé ã®ãªã‹ã€
ã»ã¼æ—¥åˆŠã‚¤ãƒˆã‚¤æ–°èž-糸井é‡é‡Œã®è„±ç·šWEBé©å‘½
ã»ã¼æ—¥åˆŠã‚¤ãƒˆã‚¤æ–°èž-糸井é‡é‡Œã®è„±ç·šWEBé©å‘½
{{#tags}}- {{label}}
{{/tags}}