本当ã«å¿…è¦ãªN-gramã¯2割ã—ã‹ãªã„ - nokunoã®æ—¥è¨˜Entropy-based Pruning of Backoff Language Modelsã‚’èªã‚“ã ．å˜èªžN-gramã¯ã¨ã¦ã‚‚よãã§ãã¦ã„ã¦è¨€èªžãƒ¢ãƒ‡ãƒ«ã¨ã—ã¦ã®æ€§èƒ½ã¯ã‹ãªã‚Šã®ã‚‚ã®ãªã®ã ãŒï¼Œãªã‚“ã®æžåˆˆã‚Šã‚‚ã›ãšã«ä¸è¦æ¨¡ã€œå¤§è¦æ¨¡ãªãƒ‡ãƒ¼ã‚¿ã«é©ç”¨ã—よã†ã¨ã™ã‚‹ã¨ã‚µã‚¤ã‚ºãŒé¦¬é¹¿ã§ã‹ããªã£ã¦ã—ã¾ã†ï¼Žãã®ãŸã‚ã®å¯¾ç–ã¨ã—ã¦ã‚ˆãã‚ã‚‹ã®ãŒèªžå½™ã®ã‚µã‚¤ã‚ºã‚’制é™ã™ã‚‹æ–¹æ³•ã¨ï¼ŒN-gramã®é »åº¦ãŒä¸€å®šä»¥ä¸‹ã®ã‚‚ã®ã‚’切りæ¨ã¦ã‚‹ã¨ã„ã†æ–¹æ³•ï¼ˆå¾Œè€…ã®å ´åˆã¯èªžå½™ã‚‚自動的ã«åˆ¶é™ã•ã‚Œã‚‹ï¼‰ï¼ŽGoogle 日本語N-gramãªã©ã‚‚é »åº¦20以上ã®ã‚‚ã®ãŒé…布ã•ã‚Œã¦ãŠã‚Šï¼ŒåŠ¹çŽ‡ã‚ˆãデータサイズを減らã™ãŸã‚ã«ã¯é »åº¦ã§ã‚«ãƒƒãƒˆã‚ªãƒ•ã™ã‚‹æ–¹å¼ãŒã‚ˆã使ã‚ã‚Œã¦ã„ã‚‹ã¨æ€ã†ï¼ˆèªžå½™ã ã‘ã ã¨ã‹ãªã‚Šåˆ¶é™ã—ãªã„ã¨ã‚µã‚¤ã‚ºãŒæ¸›ã‚‰ãªã„）．ã—ã‹ã—カットオフã—ã™ãŽã‚‹ã¨æ€§èƒ½ã¯ã‹ãªã‚Šè½ã¡è¾¼ã‚€ã®ã§ï¼Œã†ã¾ã„方法ã¯ãªã„ã‚‚ã®ã‹ã¨è€ƒãˆã‚‰ã‚ŒãŸã®ãŒã“ã®è«–æ–‡ã®æ‰‹æ³•ã§ã‚る．N-gramã®ãƒ‡ãƒ¼ã‚¿ã«ã¯é »åº¦ã®é«˜ã„
{{#tags}}- {{label}}
{{/tags}}