時系列é‡è¦ - odz buffer
人力検索ã¯ã¦ãª - ã¯ã¦ãªãƒ€ã‚¤ã‚¢ãƒªãƒ¼ã®ã‚ˆã†ã«ã‚ーワードを自動ã§ãƒªãƒ³ã‚¯ã™ã‚‹ã‚¢ãƒ«ã‚´ãƒªã‚ºãƒ を知りãŸã„ã§ã™ã€‚ ãªãœèª°ã‚‚ã¯ã¦ãªãƒ€ã‚¤ã‚¢ãƒªãƒ¼è‡ªå‹•ãƒªãƒ³ã‚¯APIã¨ãã®é«˜é€ŸåŒ–è°è«–ã«è§¦ã‚Œãªã‹ã£ãŸã®ã ã‚ã†ã‹ã€‚ã‚ã‚“ã©ãã•ã„ã‹ã‚‰ãƒªãƒ³ã‚¯ã—ãªã„ã‘㩠ヒント：質å•ç™»éŒ²æ—¥ 最近見ãŸã‹ã‚‰ã¨ã„ã£ã¦ã€æœ€è¿‘ã®ã“ã¨ã¨ã¯é™ã‚‰ãªã„ã¨ã„ã†å¥½ä¾‹ã€‚
ã¯ã¦ãªãƒ€ã‚¤ã‚¢ãƒªãƒ¼ã®ã‚ˆã†ã«ã‚ーワードを自動ã§ãƒªãƒ³ã‚¯ã™ã‚‹ã‚¢ãƒ«ã‚´ãƒªã‚ºãƒ を知りãŸã„ã§ã™ã€‚…
ã¯ã¦ãªãƒ€ã‚¤ã‚¢ãƒªãƒ¼ã®ã‚ˆã†ã«ã‚ーワードを自動ã§ãƒªãƒ³ã‚¯ã™ã‚‹ã‚¢ãƒ«ã‚´ãƒªã‚ºãƒ を知りãŸã„ã§ã™ã€‚å˜ç´”ã«è€ƒãˆã‚‹ã¨ã€â‘ ã‚ーワードã®ãƒªã‚¹ãƒˆã‚’æŒã£ã¦ãŠã。②対象ã¨ãªã‚‹æ–‡ç« ã«ã€ã‚ã‚‹ã‚ーワードãŒå«ã¾ã‚Œã¦ã„ã‚‹ã‹ã‚’検索ã™ã‚‹ã€‚③「②ã€ã®æ¤œç´¢ã‚’ã‚ーワードã®æ•°ã ã‘ç¹°ã‚Šè¿”ã™ã€‚ã¨ã„ã†ã“ã¨ã«ãªã‚‹ã¨æ€ã„ã¾ã™ã€‚1万語ã®ã‚ーワードリストãŒã‚ã‚‹å ´åˆã€1万回ã®æ¤œç´¢ã‚’è¡Œã†ã“ã¨ã«ãªã‚Šã€ãŸã¨ãˆã°å¤šæ•°ã®æŠ•ç¨¿ãŒã‚ã‚‹å ´åˆã¯åŠ¹çŽ‡ã‚‚悪ã„ã§ã™ã—è² è·ã‚‚掛ã‹ã‚Šã¾ã™ã€‚ã‚‚ã£ã¨åŠ¹çŽ‡ã®ã„ã„アルゴリズムãŒã‚ã‚‹ã®ã§ã—ょã†ã‹ã€‚
ã¯ã¦ãªãƒ€ã‚¤ã‚¢ãƒªãƒ¼ã‚ーワードãµã‚ŠãŒãªãƒªã‚¹ãƒˆã‚’公開ã—ã¾ã—㟠- ã¯ã¦ãªãƒ€ã‚¤ã‚¢ãƒªãƒ¼æ—¥è¨˜
本日ã€ã‚ーワードåã¨ãµã‚ŠãŒãªãŒå¯¾ã«ãªã£ã¦ã„ã‚‹ã€ã¯ã¦ãªãƒ€ã‚¤ã‚¢ãƒªãƒ¼ã‚ーワードãµã‚ŠãŒãªãƒªã‚¹ãƒˆã‚’公開ã—ã¾ã—ãŸã€‚ユーザー様ãŒç‹¬è‡ªã«ä½œæˆã•ã‚Œã¦ã„る辞書ãªã©ã§ã€åè©žã®èªã¿ä»®åãªã©ã§ã”活用ã„ãŸã ãã¨ä¾¿åˆ©ã‹ã¨æ€ã„ã¾ã™ã€‚ 以下ã®URLã‚’å³ã‚¯ãƒªãƒƒã‚¯ã§ãƒ•ã‚¡ã‚¤ãƒ«ã«ä¿å˜ã—ã¦ã”覧ãã ã•ã„。 http://d.hatena.ne.jp/images/keyword/keywordlist_furigana.csv http://d.hatena.ne.jp/images/keyword/keywordlist_furigana_with_kid.csv (ã‚ーワードID ã¤ã) ※タブ区切り㮠csv å½¢å¼ã€æ–‡å—エンコード㯠EUC ã§æ”¹è¡Œã‚³ãƒ¼ãƒ‰ã¯ LF ã¨ãªã£ã¦ãŠã‚Šã¾ã™ã€‚ ※ファイルサイズãŒæœ¬æ—¥ç¾åœ¨ 4M å¼·ã»ã©ã‚ã‚Šã¾ã™ã€‚ブラウザã§é–‹ãéš›ã¯ã”注æ„下ã•ã„。 ã“ã®ãƒªã‚¹ãƒˆã‚’ã¯å®šæœŸçš„ã«æœ€æ–°æƒ…å ±ã«æ›´æ–°ã—ã¦ã„ã¾ã™ã€‚ã©ã†ãžã”利用下ã•
ã¯ã¦ãªã‚ーワード抽出ã®ç¢ºèª - odz buffer
上ã®ã‚¨ãƒ³ãƒˆãƒªã®ã‚¹ã‚¯ãƒªãƒ—トã®å‹•ä½œç¢ºèªã€‚ ã¨ã‚Šã‚ãˆãšæŠ½å‡ºãƒŸã‚¹ãŒãªã„ã‹ã©ã†ã‹ã ã‘確èªã€‚ #!/usr/bin/env perl use strict; use warnings; if (@ARGV != 2) { printf STDERR "usage: %s keywordlist keywordlist.extracted\n", $ARGV[0]; exit 1; } open my $rfh, $ARGV[0] or die; my $regex = join '', <$rfh>; close $rfh; open my $fh, $ARGV[1] or die; while (my $line = <$fh>) { chomp $line; if ($line !~ /^$regex$/o) { print STDERR "$line is not match\n"; close
ã¯ã¦ãªãƒ€ã‚¤ã‚¢ãƒªãƒ¼ã‚ーワードã¨è¾žæ›¸ - 焼ãサンマ綺麗ã«é£Ÿã¹ã‚‹ãƒ–ãƒã‚°
自然言語処ç†è¬›ç¿’会ã§å½¢æ…‹ç´ 解æžå™¨ã¸ã®è¾žæ›¸ã®è¿½åŠ 方法ãŒã‚ã‹ã£ãŸã€‚「ã¯ã¦ãªãƒãƒ³ã‚¶ã‚¤ã€ã¨ã„ã†ã“ã¨ã§ã€ã¯ã¦ãªãƒ€ã‚¤ã‚¢ãƒªãƒ¼ã‚ーワードを全部ユーザー辞書ã«ã—よã†ã¨ã„ã†ã“ã¨ã‚’考ãˆãŸã€‚ 最åˆã€ä¸€è¦§ãƒšãƒ¼ã‚¸ã‚’全部æŒã£ã¦ãã¦ã‚„ã‚ã†ã‹ã¨æ€ã£ã¦ãŸã‘ã©ã€å…ˆè¼©ã«è¨€ã‚ã‚Œã¦ã¯ã¦ãªãƒ€ã‚¤ã‚¢ãƒªãƒ¼ã‚ーワード自動リンクAPIã®æ£è¦è¡¨ç¾ç‰ˆãŒã‚ã‚‹ã¨ã„ã†ã“ã¨ãªã®ã§ãれを用ã„ã¦ã¯ã¦ãªãƒ€ã‚¤ã‚¢ãƒªãƒ¼ã‚ーワードをå–å¾—ã—よã†ã¨ã„ã†ã“ã¨ã«ã€‚ ãã‚Œã§ã€ãƒ€ã‚¦ãƒ³ãƒãƒ¼ãƒ‰ã—ã¦ã¿ãŸã‚‰ã€ã‚ˆãã‚ã‹ã‚‰ãªã„æ–‡å—列ã«ãªã£ã¦ã„ãŸã€‚ã„ã‚ã„ã‚ã‚„ã£ã¦ã¿ã‚‹ã¨æ–‡å—列を1ãƒã‚¤ãƒˆã”ã¨ã«åˆ†å‰²ã—ã¦ã„ã‚‹Trieã«ãªã£ã¦ã„ã‚‹ã£ã½ã„。Regexp::Trie(http://search.cpan.org/dist/Regexp-Trie/lib/Regexp/Trie.pm)ãªã‚“ã¦ã„ã†ãƒ¢ã‚¸ãƒ¥ãƒ¼ãƒ«ã‚‚ã‚ã‚‹ã“ã¨ã ã—。 ãã®ãŸã‚ã€å±•é–‹ã—ã¦ã¿ã‚ˆã†ã¨ã„ã†è©±ã«ãªã£ãŸã‘ã©çµå±€ã‚ˆãã‚ã‹ã‚‰ãªã„。 ã†ã€œã‚“ã€ã‚‚ã£ã¨ç°¡å˜ã«ã§ã
ã¯ã¦ãªã‚ーワードAPIã‹ã‚‰ã¯ã¦ãªã‚ーワード一覧をå–å¾—ã™ã‚‹ - odz buffer
technical note - ã¯ã¦ãªãƒ€ã‚¤ã‚¢ãƒªãƒ¼ã‚ーワードã¨è¾žæ›¸ ã“ã†ã§ã™ã‹ï¼Ÿè‰¯ãã‚ã‹ã‚Šã¾ã›ã‚“。 % wget http://d.hatena.ne.jp/images/keyword/keywordlist % python extractkeyword.py keywordlist > keywordlist.extracted % grep java keywordlist.extracted | head -n 10 10688:java 10689:java community process 10690:java computing 10691:java desktop system 10692:java ee 10693:java press 10694:java se 10695:java server faces 10696:java studio 10697:java
ã¯ã¦ãªãƒ€ã‚¤ã‚¢ãƒªãƒ¼ã‚ーワード連想語APIã¨ã¯ ã¯ã¦ãªã®äººæ°—・最新記事を集ã‚ã¾ã—㟠- ã¯ã¦ãª
「ã¯ã¦ãªãƒ€ã‚¤ã‚¢ãƒªãƒ¼ã‚ーワード連想語APIã€ã¯ã€Œã¯ã¦ãªã‚ーワード連想語APIã€ã«å称変更ã—ã¾ã—ãŸã€‚ 本APIã«ã¤ã„ã¦è©³ã—ãã¯ã€ã¯ã¦ãªã‚ーワード連想語APIã‚’ã”覧ãã ã•ã„。 ã“ã®ã‚¿ã‚°ã®è§£èª¬ã«ã¤ã„ã¦ã“ã®è§£èª¬æ–‡ã¯ã€ã™ã§ã«çµ‚了ã—ãŸã‚µãƒ¼ãƒ“ス「ã¯ã¦ãªã‚ーワードã€å†…ã§æœ‰å¿—ã®ãƒ¦ãƒ¼ã‚¶ãƒ¼ãŒä½œæˆãƒ»ç·¨é›†ã—ãŸå†…容ã«åŸºã¥ã„ã¦ã„ã¾ã™ã€‚ãã®æ£ç¢ºæ€§ã‚„網羅性をã¯ã¦ãªãŒä¿è¨¼ã™ã‚‹ã‚‚ã®ã§ã¯ã‚ã‚Šã¾ã›ã‚“。å•é¡Œã®ã‚る記述を発見ã—ãŸå ´åˆã«ã¯ã€ãŠå•ã„åˆã‚ã›ãƒ•ã‚©ãƒ¼ãƒ よりã”連絡ãã ã•ã„。
ãã¾ãれ日記: Autolink: å‰æ–¹æœ€é•·ä¸€è‡´ã§ã¯ãªã最長ã‚ーワード優先一致を実ç¾ã™ã‚‹
Hatena ã®ã‚ーワード置æ›ã‚¢ãƒ«ã‚´ãƒªã‚ºãƒ ãŒTRIE ベースã®æ‰‹æ³•ã«å¤‰æ›´ã«ãªã£ãŸã‚ˆã†ã§ã™ã€‚以å‰ã« AC法ã§ã‚„る方法ã®è¨˜äº‹ã‚’書ã„ãŸã®ã§ã™ãŒã€ãã‚Œã¨ä¼¼ãŸã“ã¨ã‚’ã‚„ã£ã¦ã‚‹ã®ã§ã—ょã†ã‹ã€‚ AC法ã®ã‚„ã‚Šæ–¹ã¯å˜ç´”ã§ã€å‰æ–¹ã‹ã‚‰æœ€é•·ä¸€è‡´ã§ã‚ーワードを見ã¤ã‘ã¦ã„ãã¾ã™ã€‚ã“ã‚Œã¾ã§ã¯é•·ã„ã‚ーワードã‹ã‚‰é †ç•ªã«è¦‹ã¤ã‘ã¦ã„ã方法(最長ã‚ーワード優先一致)ã ã£ãŸãã†ã§ã™ãŒã€å‰æ–¹ã‹ã‚‰è¦‹ã¤ã‘ã¦ã„ã方法ã ã¨çŸã„ã‚ーワードãŒå„ªå…ˆã•ã‚Œã‚‹å ´åˆãŒã‚ã‚Šã¾ã™ã€‚ http://d.hatena.ne.jp/ita/20060119/p1 http://d.hatena.ne.jp/hatenadiary/20060119/1137667217 本文：ã‚ã„ã†ãˆãŠã‹ããã‘ã“ã•ã—ã™ã›ã KW1 ã„ㆠKW2 ã†ãˆãŠã‹ã KW3 ã‹ãã KW4 ããã‘ã“ã•ã— ã¨ã„ã†æ–‡ã§KW1-KW4ã®ã‚ーワードãŒãƒžãƒƒãƒã™ã‚‹å ´åˆã€æ–°ã—ããªã£ãŸæ–¹æ³•ã§ã¯ã€Œã„ã†ã€ã¨ã€Œã‹ã
1
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
『ãã¾ãれ日記: Autolink: å‰æ–¹æœ€é•·ä¸€è‡´ã§ã¯ãªã最長ã‚ーワード優先一致を実ç¾ã™ã‚‹ã€ã¸ã®ã‚³ãƒ¡ãƒ³ãƒˆ
{{#tags}}- {{label}}
{{/tags}}