大è¦æ¨¡ãƒ†ã‚ストã«ãŠã‘ã‚‹N-gram統計 - Negative/Positive Thinkingã¯ã˜ã‚㫠大è¦æ¨¡ãªãƒ†ã‚ストデータã§ã®N-gram統計をå–ã‚‹å ´åˆã€ç‰¹ã«NãŒå¤§ãã„å ´åˆ(N>=3)ã¯ã€çµ„ã¿åˆã‚ã›ã®æ•°ãŒå¤šããªã‚Šå‡ºã¦ãã‚‹N-gramã‚’ã™ã¹ã¦ãƒ¡ãƒ¢ãƒªã«ä¿æŒã—ãªãŒã‚‰å€‹æ•°ã‚’カウントã™ã‚‹ã®ãŒé›£ã—ã„。効率的ãªæ–¹æ³•ãŒã‚ã‚‹ã®ã‚’知ã£ãŸã®ã§ã¡ã‚‡ã£ã¨è©¦ã—ã¦ã¿ãŸã€‚ 大è¦æ¨¡ãƒ†ã‚ストã«ãŠã‘ã‚‹N-gram統計ã®å–ã‚Šæ–¹ 岩波講座ソフトウェア科å¦15「自然言語処ç†ã€ è«–æ–‡: http://ci.nii.ac.jp/naid/110002934647 æ‰‹é † ngramã‚’å–ã‚ŠãŸã„æ–‡ç« ã‚’1ã¤ã®æ–‡ã¨ã—ã¦æ‰±ã† ã“ã®æ–‡ã‚’メモリã«èªã¿è¾¼ã¿ã€å„æ–‡å—ã®å…ˆé アドレスをä¿æŒã™ã‚‹é…åˆ—ã‚’ä½œæˆ ãã®å…ˆé アドレスã®å ´æ‰€ã®æ–‡å—ã‹ã‚‰æ–‡æœ€å¾Œã¾ã§ã®éƒ¨åˆ†æ–‡å—列を1ã¤ã®å˜èªžã¨ã¿ã‚‹ ã“ã®å˜èªžã‚’è¾žæ›¸é †ã«ä¸¦ã³æ›¿ãˆã‚‹(アドレスé…列ã ã‘) ソートã—ãŸå˜èªžã®é †ç•ªã§ã€æ¬¡ã®å˜èªžã¨ã€Œå…ˆé ã‹ã‚‰å…±é€šã—ã¦ã„ã‚‹æ–‡å—æ•°ã€ã‚’ä¿æŒã™ã‚‹é…åˆ—ã‚’ä½œæˆ Ngramをカウントã™ã‚‹ã¨ãã¯ã€å˜èªžã®
Ngram(N-gram)ã¨ã¯ä½•ã‹ & å½¢æ…‹ç´ è§£æžã¨ã®æ¯”較
N-gramモデルを利用ã—ãŸãƒ†ã‚スト分æžã€€â€•ã‚¤ãƒ³ãƒ‡ãƒƒã‚¯ã‚¹ãƒšãƒ¼ã‚¸â€•
{{#tags}}- {{label}}
{{/tags}}