梅æ‘ç ”ç©¶å®¤ - 未è¸ãƒ†ã‚スト用ã®ã‚ーワード抽出システãƒ
ç ”ç©¶ãƒ†ãƒ¼ãƒž 未è¸ãƒ†ã‚スト用ã®ã‚ãƒ¼ãƒ¯ãƒ¼ãƒ‰æŠ½å‡ºã‚·ã‚¹ãƒ†ãƒ æ¦‚è¦ ã‚ーワード抽出 文書ä¸ã®ã‚ーワードã¯éžå¸¸ã«æœ‰ç”¨ãªæƒ…å ±ã§ã‚ã‚Šã€æ–‡æ›¸ã®æ¤œç´¢ãƒ»è¦ç´„ã«ãŠã„ã¦ã‚‚éžå¸¸ã«é‡è¦ãªæŠ€è¡“ã§ã™ã€‚ç§ãŸã¡ã®ç ”究室ã§ã¯ã€ã“ã®ã‚ーワードを自動ã§æŠ½å‡ºã™ã‚‹ã‚·ã‚¹ãƒ†ãƒ を構築ã—ã¾ã—ãŸã€‚下図ã®èµ¤ã„部分ãŒæŠ½å‡ºã—ãŸã‚ーワードã§ã™ã€‚ ã“ã®ã‚·ã‚¹ãƒ†ãƒ ã¯ã€è¾žæ›¸ã‚’å…¨ã用ã„ãšã«ã‚·ã‚¹ãƒ†ãƒ を構築ã—ã¦ã„ã¾ã™ã€‚ã™ãªã‚ã¡ã€æ¼¢å—ã‚‚ã€æ—¥æœ¬èªžã‚‚å…¨ã知らãªã„システムã§ã™ã€‚当然ã€å¥èªç‚¹ã‚„助詞ã¨ã„ã£ãŸæ¦‚念も全ã考慮ã—ã¦ã„ã¾ã›ã‚“。ãã‚Œã«ã‚‚ã‹ã‹ã‚らãšã€è¨€è‘‰ã‚’ã†ã¾ãæ‰ãˆã¦ã„ã‚‹ã“ã¨ãŒã§ãã¦ã„ã‚‹ã¨æ€ã„ã¾ã›ã‚“ã§ã—ょã†ã‹ï¼Ÿ システムã«å¯¾ã™ã‚‹å…¥åŠ›ã¯ä»¥ä¸‹ã®ï¼’ã¤ã§ã™ã€‚ 「ã‚ーワードを抽出ã—ãŸã„ドã‚ュメント〠「ã‚ーワードを抽出ã—ãŸã„ドã‚ュメントã€ã¨åŒã˜ã‚ˆã†ãªå¤§é‡ã®ãƒ‰ã‚ãƒ¥ãƒ¡ãƒ³ãƒˆé›†åˆ ã“れらã®ãƒ‡ãƒ¼ã‚¿ã«å¯¾ã—ã¦é »åº¦æƒ…å ±ã‚„çµ±è¨ˆé‡ã®è¨ˆç®—ã‚’è¡Œã„ã€å¾—られãŸçµ±è¨ˆæƒ…å ±ã‚’å…ƒã«ã—ã¦ã‚ーワードを抽出ã—ã¾ã™ã€‚ 特徴 本
ãã¾ãれ日記: ã‚ーワード抽出: tf-idf ã®æ„味ã¥ã‘
å˜èªžã®é‡ã¿ä»˜ã‘ã®å¤å…¸çš„ãªæ–¹æ³•ã« tf-idf ãŒã‚ã‚Šã¾ã™ã€‚文書ä¸ã®å„å˜èªžã® tf-idf 値計算ã—ã€å€¤ã§ã‚½ãƒ¼ãƒˆã™ã‚‹ã¨ã€ãã®æ–‡æ›¸ã«ç‰¹å¾´çš„ãªå˜èªžãƒªã‚¹ãƒˆã‚’å¾—ã‚‹ã“ã¨ãŒã§ãã¾ã™ã€‚ http://nais.to/~yto/clog/2005-10-12-1.html tf-idf ã¯ã€å˜ãªã‚‹ãƒ’ューリスティックスã ã¨è€ƒãˆã‚‰ã‚Œã¦ã„ã¾ã—ãŸãŒã€æœ€è¿‘言語モデルã«åŸºã¥ãæƒ…å ±æ¤œç´¢æ‰‹æ³•ãŒã•ã‹ã‚“ã«ç ”究ã•ã‚Œã‚‹ã‚ˆã†ã«ãªã‚Šã€tf*idf ã®è§£é‡ˆãŒæ˜Žã‚‰ã‹ã«ãªã£ã¦ãã¾ã—ãŸã€‚言語モデルã«åŸºã¥ã手法ã¯ã€ãƒ’ューリスティックスã°ã‚Šã°ã‚Šã®æ‰‹æ³•ã¨åŒæ€§èƒ½ã«ã‚‚ã‹ã‹ã‚らãšã€æ–‡æ›¸ã®ãƒ©ãƒ³ã‚ングã«ç†è«–çš„ã§åˆç†çš„ãªèª¬æ˜Žã‚’与ãˆã‚‹ã“ã¨ãŒã§ãã¾ã™ã€‚ æƒ…å ±æ¤œç´¢ã¯ã€ã‚¯ã‚¨ãƒª q ã«å¯¾ã—ã€ã‚‚ã£ã¨ã‚‚é©åˆã™ã‚‹æ–‡æ›¸ d_opt を求ã‚るタスクã§ã™ã€‚ã¤ã¾ã‚Šã€q ãŒä¸Žãˆã‚‰ã‚ŒãŸã¨ãã€æ–‡æ›¸ d ãŒå‡ºç¾ã™ã‚‹ç¢ºçŽ‡ p(d|q) ã®æœ€å¤§åŒ–å•é¡Œã¨è§£é‡ˆã§ãã¾ã™ã€‚ d_opt = argmax
â€å°‚門用語（ã‚ーワード）自動抽出システムâ€ã®ãƒšãƒ¼ã‚¸
1.専門用語（ã‚ーワード）自動抽出システムã¨ã¯ï¼Ÿ 当サイトã§ã¯ã€å°‚門用語（ã‚ーワード）自動抽出システムã®åŸºæœ¬ã‚·ã‚¹ãƒ†ãƒ ãŠã‚ˆã³å¿œç”¨ã‚·ã‚¹ãƒ†ãƒ ã‚’æä¾›ã—ã¦ã„ã¾ã™ã€‚ 専門用語（ã‚ーワード）自動抽出システムã¨ã¯ã€å˜ãªã‚‹æ–‡ç« ã®å˜èªžåˆ†å‰²ã§ã¯ã‚ã‚Šã¾ã›ã‚“。一般ã«æ–‡ç« ä¸ã§ã¯è¤‡æ•°ã®å˜èªžã®çµ„ã¿åˆã‚ã›ã§è¤‡é›‘ãªæ¦‚念を表ã™å ´åˆãŒå¤šãã€æ–‡ç« ã®å†…容ãŒå°‚門的ãªäº‹é …ã«ç‰¹åŒ–ã™ã‚Œã°ãã®å‚¾å‘ã¯ã•ã‚‰ã«é¡•è‘—ãªã‚‚ã®ã¨ãªã‚‹ã§ã—ょã†ã€‚ã—ãŸãŒã£ã¦æ–‡ç« ä¸ã‹ã‚‰ã‚ーワードを抽出ã™ã‚‹å ´åˆã€å˜èªžåˆ†å‰²æ©Ÿèƒ½ã ã‘ã§ã¯æ„味をæˆã—ã¾ã›ã‚“。ãã“ã§ã€ã“ã®ã‚·ã‚¹ãƒ†ãƒ ã§ã¯ã€ï¼ˆï¼‘ï¼‰å½¢æ…‹ç´ è§£æžãƒ—ãƒã‚°ãƒ©ãƒ ã«ã‚ˆã‚‹å˜èªžåˆ†å‰²ã€ï¼ˆï¼’）複åˆèªžã®ä½œæˆã€ï¼ˆï¼“ï¼‰æ–‡ç« ä¸ã«ãŠã‘ã‚‹é‡è¦åº¦ã®è¨ˆç®—ã€ã¨ã„ã†ï¼“ã¤ã®ã‚¹ãƒ†ãƒƒãƒ—ã‚’è¸ã‚€ã“ã¨ã§ã€è¤‡åˆèªžã«ã‚ˆã‚Šè¤‡é›‘ãªæ¦‚念を表ã™ã“ã¨ãŒå¤šã„専門用語をã‚ーワードã¨ã—ã¦æ–‡ç« ä¸ã‹ã‚‰æŠ½å‡ºã™ã‚‹ã“ã¨ã«æˆåŠŸã—ã¾ã—ãŸã€‚ 自作ã®æ–‡ç« ã‹ã‚‰ã‚ーワードを抽出ã—ãŸã„ï¼ ãƒ¡ã‚¿ãƒ‡ãƒ¼ã‚¿ä½œæˆã®ãŸã‚ã«ã‚¦ã‚§ãƒƒãƒ–サイト
1
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
http://www.ss.ics.tut.ac.jp/thesaurus.html
http://66.102.7.104/search?q=cache:F-Ghp1m5z8EJ:www.ipa.go.jp/NBP/12nendo/12mito/mdata/10-36h/10-36h.pdf%20%E6%9C%AA%E8%B8%8F%E3%83%86%E3%82%AD%E3%82%B9%E3%83%88%E6%83%85%E5%A0%B1%E4%B8%AD%E3%81%AE&hl=ja&lr=lang_ja&client=firefox-a
http://66.102.7.104/search?q=cache:F-Ghp1m5z8EJ:www.ipa.go.jp/NBP/12nendo/12mito/mdata/10-36h/10-36h.pdf%20%E6%9C%AA%E8%B8%8F%E3%83%86%E3%82%AD%E3%82%B9%E3%83%88%E6%83%85%E5%A0%B1%E4%B8%AD%E3%81%AE
{{#tags}}- {{label}}
{{/tags}}