2012/6/21ã®PFI全体セミナー, 「文å—列データ圧縮ã“ã¨ã¯ã˜ã‚ã€ã®å†…容ã§ã™ã€‚データ圧縮ã®è©±ã¨ãã‚Œã«çºã‚ã‚‹æ´å²ã¨æœ€è¿‘ã®è©±ã‚’紹介ã—ã¦ã„ã¾ã™ã€‚
æ–‡å—列データ圧縮ã“ã¨ã¯ã˜ã‚ | SlideShare
2012/6/21ã®PFI全体セミナー, 「文å—列データ圧縮ã“ã¨ã¯ã˜ã‚ã€ã®å†…容ã§ã™ã€‚データ圧縮ã®è©±ã¨ãã‚Œã«çºã‚ã‚‹æ´å²ã¨æœ€è¿‘ã®è©±ã‚’紹介ã—ã¦ã„ã¾ã™ã€‚
Linuxコマンドã§ãƒ†ã‚ストデータを自在ã«æ“ã‚‹ - ã˜ã£ãりコトコト煮込んã ã¿ã‹ã‚“
Linuxã§ãƒ†ã‚ストデータを扱ã†ã¨ãã«ã€ã‚³ãƒžãƒ³ãƒ‰ã‚’パイプã§ç¹‹ã’ã‚‹ã ã‘ã§ã„ã‚ã„ã‚ãªå‡¦ç†ãŒã§ãã¦é¢ç™½ã„ã®ã§ã™ãŒã€ç¶ºéº—ã«æ•´ç†ã•ã‚Œã¦ã„ãªã„æ°—ãŒã™ã‚‹ã®ã§ã¾ã¨ã‚ã¦ã¿ã¾ã™ã€‚ã“ã“ã§ã¯ã€cat, paste, join, grep, head, tail, cut, awk, sed, tr, sort, uniq, wc ã‚’å–り上ã’ã¾ã™ã€‚ ファイルを縦ã«çµåˆ ファイルを縦ã«çµåˆã—ã¾ã™ã€‚ コマンド 説明 cat file1 file2 ... file1, file2, ... を縦ã«çµåˆ cat file | ... ã¨ã—ã¦ãƒ•ã‚¡ã‚¤ãƒ«ã®ä¸èº«ã‚’パイプã«æµã™ã®ã«ã‚‚よã使ã„ã¾ã™ã€‚ ファイルを横ã«çµåˆ ファイルを横ã«çµåˆã—ã¾ã™ã€‚ã‚ã¾ã‚Šä½¿ã‚ãªã„？*1 コマンド 説明 paste file1 file2 .. file1, file2, ... を横ã«çµåˆ join file1 file2 file1 㨠file2
Perl ã§è‡ªç„¶è¨€èªžå‡¦ç†
ã“ã‚Œã‹ã‚‰è‡ªç„¶è¨€èªžå‡¦ç†ã‚’æ¥å‹™ã§ã‚„ã£ã¦ã¿ã‚ˆã†ã¨ã—ã¦ã„る技術者を対象ã«ã—ã¦ã„ã¾ã™ã€‚ å‰åŠã¯è‡ªç„¶è¨€èªžå‡¦ç†ã‚„å¦ç¿’方法ã«ã¤ã„ã¦è¿°ã¹ã¦ãŠã‚Šã€å¾ŒåŠã¯Webサービスã«é©ç”¨ã—ã‚„ã™ã„自然言語処ç†æŠ€è¡“ã«ã¤ã„ã¦è¿°ã¹ã¦ã„ã¾ã™ã€‚
ノート/テã‚ストマイニング/NLTK - æ±é‚¦å¤§å¦ç†å¦éƒ¨æƒ…å ±ç§‘å¦ç§‘　山内ã®ã‚µã‚¤ãƒˆ
サイトトップ ノート マイニング ├マイニング ├ãƒã‚¹ã‚±ãƒƒãƒˆè§£æž ├ãƒã‚¹ã‚±ãƒƒãƒˆè§£æžã‚’Ｒ㧠├図書貸出をＲ㧠└ テã‚ストマイニング ├テã‚ストマイニングTM ├TMã¨ã‚·ã‚½ãƒ¼ãƒ©ã‚¹ ├PubMedã‚’TM ├TMã¨MeSH ├TMã¨NLTK ├テã‚ストマイニングã¨tagger ├医薬å“添付文書ＤＢ ├論文ã®å‡¦ç†1 â”” 分åé€²åŒ–å¦ â”œåˆ†åé€²åŒ–å¦ â”” Pythonã¨è«–文アクセス ├Pythonを使ã£ã¦ã¿ã‚‹ ├Pythonã§PubMed ├Pythonã§...続ã â”” CUDA ├GPU ├ProgrammingGuide ├Selandメモ ├数値ç©åˆ† â”” ACSã€PHPã‹ã‚‰LDAP ├ACSå°Žå…¥ ├新è¦ãƒ›ã‚¹ãƒˆç§»è¡Œ ├å†åº¦ã‚„り直㗠├OpenLDAPå°Žå…¥ â”” Linuxã§ãƒ“デオ ├Linuxã§ãƒ“デオデータを作る ├AVIフ
[NLP][機械å¦ç¿’] 言語モデル覚ãˆæ›¸ã - tsubosakaã®æ—¥è¨˜
ã“ã®æ–‡ç« ã«ã¤ã„㦠最近言語モデル方é¢ã«ã‚‚å°‘ã—興味ãŒã‚ã‚‹ã®ã§è‡ªåˆ†ã®çŸ¥è˜ã‚’æ•´ç†ã™ã‚‹æ„味ã§æ›¸ã„ã¦ã¿ãŸã€‚NLPã¯å°‚é–€ã§ã¯ãªã„ã®ã§ã€ãŠã‹ã—ãªã“ã¨ã‚’書ã„ã¦ã‚ã‚‹å¯èƒ½æ€§ãŒã‚ã‚Šã¾ã™ãŒãã®å ´åˆã¯ã”指摘ãã ã•ã„。 æœ¬æ–‡ç« ã§ã¯n-gramモデルã€å˜èªžã®å‡ºç¾ç¢ºçŽ‡ãŒn-1個å‰ã®å˜èªžã®ã¿ã«ä¾å˜ã™ã‚‹ãƒ¢ãƒ‡ãƒ«ã‚’考ãˆã‚‹ã€‚ å•é¡Œ who is * ã¨ã„ã†æ–‡ãŒä¸Žãˆã‚‰ã‚ŒãŸã¨ãã«*ã«ãã‚‹æ–‡å—ã®ç¢ºçŽ‡ã‚’求ã‚ã‚‹ã“ã¨ã‚’考ãˆã‚‹ã€‚ã“ã®å ´åˆã ã¨*ã«ã¯ä¾‹ãˆã°heãŒå½“ã¦ã¯ã¾ã‚‹ã‹ã‚‚ã—ã‚Œãªã„ãŒ, isãŒå…¥ã‚‹ã“ã¨ã¯ã¾ãšãªã•ãã†ã«æ€ãˆã‚‹ã€‚ã“ã®ã“ã¨ã¯æ–‡æ³•çš„ã«ã‚‚説明ãŒã§ãã‚‹ã¨æ€ã†ãŒã€æ–‡æ³•ã®ãƒ«ãƒ¼ãƒ«ã‚’作るã®ã¯å¤§å¤‰ã ã—ã€æ–‡æ³•çš„ã«æ£ã—ã„å˜èªžã®ä¸ã§ã©ã‚ŒãŒå‡ºã‚„ã™ã„ã‹ã¨ã„ã†ã“ã¨ã¯ã§ããªã„。 一方ã§æ©Ÿæ¢°å¦ç¿’を使ã£ãŸè¨€èªžãƒ¢ãƒ‡ãƒ«ã®æ–‡è„ˆã§ã¯æ–‡æ³•çš„知è˜ã‚’余りæŒãŸãšã€ä¸Žãˆã‚‰ã‚ŒãŸã‚³ãƒ¼ãƒ‘スã‹ã‚‰è‡ªå‹•çš„ã«å‡ºã‚„ã™ã„å˜èªž/表ç¾ã‚’å¦ç¿’ã™ã‚‹æ–¹é‡ã‚’ã¨ã‚‹ã€‚ 最尤推定 一番簡å˜ãªãƒ¢ãƒ‡ãƒ«ã¨ã—ã¦ã¯æœ€å°¤æŽ¨å®šã‚’使ã†ã‚‚ã®
![[NLP][機械å¦ç¿’] 言語モデル覚ãˆæ›¸ã - tsubosakaã®æ—¥è¨˜](https://cdn-ak-scissors.b.st-hatena.com/image/square/651be80fab5754f2593b685a79835e03672bfe12/backend=imagemagick;height=288;version=1;width=512/https%3A%2F%2Fogimage.blog.st-hatena.com%2F17680117127124028144%2F17680117127124030005%2F1557332435)
ã‚ã‹ã‚Šã‚„ã™ã„æŠ€è¡“æ–‡ç« ã®æ›¸ãæ–¹
誰ãŒèªã‚€ã®ã‹ã€‚ èªã¿æ‰‹ã«ã©ã‚“ãªæ„Ÿæƒ³ã‚’æŒã£ã¦ã‚‚らã„ãŸã„ã‹ã€‚ èªã¿æ‰‹ã¯ã©ã‚Œãらã„ã®äºˆå‚™çŸ¥è˜ã‚’æŒã£ã¦ã„ã‚‹ã‹ã€‚ èªã¿æ‰‹ã¯ã©ã‚“ãªç›®çš„ã§ã€ä½•ã‚’期待ã—ã¦èªã‚€ã®ã‹ã€‚ èªã¿æ‰‹ãŒçœŸã£å…ˆã«çŸ¥ã‚ŠãŸã„ã“ã¨ã¯ä½•ã‹ã€‚ レãƒãƒ¼ãƒˆãƒ»è«–æ–‡ã¨ã¯ä½•ã‹ å•ã„ãŒä¸Žãˆã‚‰ã‚Œã€ã¾ãŸã¯è‡ªåˆ†ãŒå•ã„ã‚’æèµ·ã—〠ãã®å•é¡Œã«å¯¾ã—ã¦æ˜Žç¢ºãªç”ãˆã‚’与ãˆã€ ãã®ä¸»å¼µã‚’è«–ç†çš„ã«è£ä»˜ã‘ã‚‹ãŸã‚ã®äº‹å®Ÿãƒ»ç†è«–çš„ãªæ ¹æ‹ ã‚’æ示ã—ã¦ã€ä¸»å¼µã‚’論証ã™ã‚‹ã€‚ 標準的ãªæ§‹æˆè¦ç´ ã¨ã¯ä½•ã‹ レãƒãƒ¼ãƒˆãƒ»è«–æ–‡ã®æ§‹æˆã¯ã€ æ¦‚è¦ åºè«– 本論 è«–è° ã¨ã„ã†è¦ç´ ãŒæ¨™æº–çš„ã§ã‚る。次ã«ãã‚Œãžã‚Œã®è¦ç´ ã«ã¤ã„ã¦ç°¡å˜ã«è¦‹ã¦ã¿ã‚‹ã€‚ æ¦‚è¦ è«–æ–‡å…¨ä½“ã‚’çµè«–ã‚‚å«ã‚ã¦ã€ã™ã¹ã¦è¦ç´„ã™ã‚‹ã€‚ åºè«– 本論ã§å–り上ã’る内容ã¯ä½•ã‹ã€‚ ãã®å•é¡Œã‚’ã©ã‚“ãªå‹•æ©Ÿã§å–り上ã’ãŸã®ã‹ã€‚ ãã®å•é¡Œã®èƒŒæ™¯ã¯ä½•ã‹ã€‚ ãã®å•é¡Œã«ã¤ã„ã¦ã©ã‚“ãªã‚¢ãƒ—ãƒãƒ¼ãƒã‚’å–ã£ãŸã®ã‹ã€‚ 本論 èª¿æŸ»ãƒ»ç ”ç©¶ã®æ–¹æ³•ãƒ»çµè«– è«–è° è‡ªå·±ã®è°è«–・çµè«–を客観的・第三者的ã«è©•ä¾¡ã™ã‚‹ã€‚ ã
Rabin Karp アルゴリズムã§ã‚³ãƒ¼ãƒ‰é‡è¤‡ã®æ¤œå‡º blog.bulknews.net
Rabin Karp アルゴリズムã§ã‚³ãƒ¼ãƒ‰é‡è¤‡ã®æ¤œå‡º YAPC::NA ã§ä¼šã£ãŸ Fotango ã® Norman Nunley ãŒã¤ãã£ã¦ã‚‹ Algorithm::RabinKarp モジュールãŒé¢ç™½ã’ã§ã™ã€‚ Rabin Karp æ–‡å—列探索アルゴリズム(wikipedia) を使ã£ã¦æ–‡å—列ã®ãƒãƒƒã‚·ãƒ¥ï¼ˆãƒ€ã‚¤ã‚¸ã‚§ã‚¹ãƒˆï¼‰ã‚’ãƒã‚§ãƒƒã‚¯ã—ã€åŒä¸€ã®å€¤ã‚’示ã™éƒ¨åˆ†ã‚’é‡è¤‡ã—ã¦ã„ã‚‹ã¨ã¿ãªã—ã¦ãƒ¬ãƒãƒ¼ãƒˆã—ã¦ãã‚Œã¾ã™ã€‚ã¤ã¾ã‚Šã€ãƒ—ãƒã‚¸ã‚§ã‚¯ãƒˆå†…ã®ã‚³ãƒ¼ãƒ‰ã®ã‚³ãƒ”ーペーストを検出ã™ã‚‹ãƒ„ールã¨ã—ã¦ä½¿ãˆã‚‹ã¨ã„ã†ã‚ã‘。 ãŸã‚ã—ã« Plagger ã§è©¦ã—ã¦ã¿ãŸçµæžœã¯ rabin.txt ã®ã‚ˆã†ã«ãªã‚Šã¾ã—ãŸã€‚プラグイン㮠register_hook ã‚„ CustomFeed ã§ã® Feed オブジェクトã®ç”Ÿæˆãªã©ã€ã‚¤ãƒ‡ã‚£ã‚ªãƒ çš„ã«ä½¿ã†éƒ¨åˆ†ãŒå¤§åŠã«ãªã£ã¦ã—ã¾ã£ã¦ã„ã¾ã™ãŒã€ã„ãã¤ã‹å®Ÿéš›ã‚³ãƒ”ペã§å†åˆ©ç”¨ã—ã¦ã„るコードãŒæ¤œå‡ºã§ãã¦ã„ã¾ã™ã€‚ c
æ¼”ç¿’ï¼“ã€€ä»Šäº•ç ”ã€€ç¬¬ä¸€å›ž(04/04/28) Compressed Suffix Trees Random-Decodable Compression
演習３ ä»Šäº•ç ” 第二回 第三回 Compressed Suffix Trees Compressed Suffix Arrays 04/04/28 04/05/12 岡野原 大輔 調ã¹ã‚‹é¡Œæ CST (Compressed Suffix Trees) CSA (Compressed Suffix Arrays) CSA [Grossi, Vitter 00] [Sadakane 03] [Grossi, Guputa, Vitter 03] FM-index [Ferragina, Manzini 00] 括弧木ã®è¡¨ç¾åŠã³æ“作 rankåŠã³selectã«é–¢ã‚る話 全体を並行ã«èª¿ã¹ã¦ã„ã Suffix Treesã€Suffix Arraysã«ã¤ã„㦠Suffix T[1…n]ã®æ™‚ã€Tã®å„部分列Ti = T[i…n]ã‚’Tã®Suffixã¨å‘¼ã¶ã€‚ Suffix Trees Tã®å…¨ã¦ã®
sary: a suffix array library and tools
What is sary? sary is a suffix array library and tools. It provides fast full-text search facilities for text files on the order of 10 to 100 MB using a data structure called a suffix array. It can also search specific fields in a text file by assigning index points to those fields. Table of Contents What's New Characteristics Brief Introduction to Suffix Array libsary Reference Manual Using the I
[ã‚’] Suffix Array ã®è§£èª¬æ–‡æ›¸ã®ãƒªãƒ³ã‚¯é›†
Suffix Array ã®è§£èª¬æ–‡æ›¸ã®ãƒªãƒ³ã‚¯é›† 2006-04-10-3 [Algorithm] Suffix Array ã«ã¤ã„ã¦è§£èª¬ã—ã¦ã„る日本語ã«ã‚ˆã‚‹æ–‡æ›¸ã®ã†ã¡ã€ Webã§é–²è¦§ã§ãã‚‹ã‚‚ã®ã®ãƒªãƒ³ã‚¯é›†ã€‚éšæ™‚更新予定。 - 用語解説: Suffix Array (PDF) via http://ta2o.net/tools/sufary/ - Suffix Array ã®è§£èª¬ in Dè«– (PDF) via http://ta2o.net/tools/sufary/ - 横ç€ãƒ—ãƒã‚°ãƒ©ãƒŸãƒ³ã‚° 第9回: sary: Suffix Array ã®ãƒ©ã‚¤ãƒ–ラリã¨ãƒ„ール http://0xcc.net/unimag/9/ - Suffix Arrayã®ç°¡å˜ãªèª¬æ˜Ž http://sary.sourceforge.net/docs/suffix-array.html - Suffix Trees and
![[ã‚’] Suffix Array ã®è§£èª¬æ–‡æ›¸ã®ãƒªãƒ³ã‚¯é›†](https://cdn-ak-scissors.b.st-hatena.com/image/square/2edf4d3e4771da902adc2b4333fd61f6ca3fcd5b/backend=imagemagick;height=288;version=1;width=512/https%3A%2F%2Fchalow.net%2Fimages%2Ftcl-logo-25.png){kind=logo}
横ç€ãƒ—ãƒã‚°ãƒ©ãƒŸãƒ³ã‚° 第9回: sary: Suffix Array ã®ãƒ©ã‚¤ãƒ–ラリã¨ãƒ„ール
最終更新日: 2002-12-18 (公開日: 2002-12-18) Unix Magazine 誌㫠2002å¹´1月å·ã‹ã‚‰ 2003å¹´2月å·ã«ã‹ã‘ã¦é€£è¼‰ã— ã¦ã„ãŸè¨˜äº‹ã®å…ƒã®åŽŸç¨¿ã§ã™ã€‚ ç§ã«ãƒ•ãƒãƒ¼ãƒãƒ£ãƒ¼ãƒˆã ã‘を見ã›ã¦ã€ãƒ†ãƒ¼ãƒ–ルã¯è¦‹ã›ãªã„ã¨ã—ãŸã‚‰ã€ ç§ã¯ãšã£ã¨ç…™ã«å·»ã‹ã‚ŒãŸã¾ã¾ã«ãªã‚‹ã ã‚ã†ã€‚逆ã«ãƒ†ãƒ¼ãƒ–ルãŒè¦‹ã›ã¦ もらãˆã‚‹ãªã‚‰ã€ãƒ•ãƒãƒ¼ãƒãƒ£ãƒ¼ãƒˆã¯ãŸã„ã¦ã„å¿…è¦ãªããªã‚‹ã€‚ -- Frederick P. Brooks Jr. *1 プãƒã‚°ãƒ©ãƒŸãƒ³ã‚°ã«ãŠã„ã¦ã¯ãƒ‡ãƒ¼ã‚¿æ§‹é€ ãŒé‡è¦ã§ã‚ã‚Šã€æ£ã—ã„データ æ§‹é€ ã‚’é¸æŠžã™ã‚Œã°ã‚¢ãƒ«ã‚´ãƒªã‚ºãƒ ã¯è‡ªæ˜Žãªã‚‚ã®ã¨ãªã‚‹ã€ã¨ã„ã†ä¸»å¼µãŒ ã‚る。Rob Pike*2 ã® "Notes on Programming in C" *3 ã«ã‚ˆã‚‹ã¨ã€ç¾å®Ÿçš„ãªãƒ—ãƒã‚°ãƒ©ãƒ ã«å¿…è¦ãªãƒ‡ãƒ¼ã‚¿æ§‹é€ ã¯æ¬¡ã® 4ã¤ã§ã‚ ã‚‹ã¨ã„ã†ã€‚ é…列 (array) 連çµãƒªã‚¹ãƒˆ (linked list) ãƒãƒƒã‚·ãƒ¥ãƒ†ãƒ¼ãƒ–ル
クライアント最å‰ç·šã€€ä½œã£ã¦ç†è§£ã™ã‚‹Ajax（第3回）
å‰å›žã¯ï¼Œã‚¤ãƒ³ã‚¯ãƒªãƒ¡ãƒ³ã‚¿ãƒ«æ¤œç´¢ã‚’実ç¾ã™ã‚‹Ajaxアプリケーションã®ã‚¯ãƒ©ã‚¤ã‚¢ãƒ³ãƒˆãƒ»ã‚µã‚¤ãƒ‰ã®å®Ÿè£…を紹介ã—ã¾ã—ãŸã€‚今回ã¯ï¼Œã‚µãƒ¼ãƒãƒ¼ã¨ã—ã¦ç¨¼åƒã™ã‚‹CGIプãƒã‚°ãƒ©ãƒ を作æˆã—ã¾ã™ã€‚ã“ã®CGIプãƒã‚°ãƒ©ãƒ ã¯ï¼Œã‚¯ãƒ©ã‚¤ã‚¢ãƒ³ãƒˆã‹ã‚‰é€ã‚‰ã‚Œã¦ããŸã‚¯ã‚¨ãƒªãƒ¼ã«åŸºã¥ã„ã¦ãƒ†ã‚ストを検索ã—，ãã®çµæžœã‚’è¿”é€ã—ã¾ã™ã€‚Ajaxアプリケーションã¯é€šå¸¸ã®Webアプリケーションã«æ¯”ã¹ã¦ï¼Œã‚µãƒ¼ãƒãƒ¼ãƒ»ã‚¢ã‚¯ã‚»ã‚¹ãŒå¢—åŠ ã—ãŒã¡ã§ã™ã€‚ã“ã®ãŸã‚サーãƒãƒ¼ã‚’ã„ã‹ã«åŠ¹çŽ‡ã‚ˆã実装ã§ãã‚‹ã‹ãŒï¼Œã‚µãƒ¼ãƒ“スを快é©ã«æä¾›ã§ãã‚‹ã‹ã©ã†ã‹ã‚’å·¦å³ã—ã¾ã™ã€‚サーãƒãƒ¼è² è·ã‚’下ã’る手法ã«ã¤ã„ã¦ã‚‚考ãˆã¦ã¿ã¾ã—ょã†ã€‚ テã‚スト検索ã«saryを使用 ã¿ãªã•ã‚“，テã‚スト検索ã¨ã„ãˆã°ã©ã‚“ãªæ–¹æ³•ã‚’æ€ã„ã¤ãã§ã—ょã†ã‹ã€‚å˜ç´”ãªã¨ã“ã‚ã§ã¯grepコマンドã®åˆ©ç”¨ãŒè€ƒãˆã‚‰ã‚Œã¾ã™ã—，データをMySQLã‚„PostgreSQLãªã©ã®RDBMSã§ç®¡ç†ã—ã¦ï¼Œãã®RDBMSã®æ¤œç´¢æ©Ÿèƒ½ã‚’利用ã™ã‚‹æ‰‹ã‚‚ã‚ã‚Šã¾ã™ã€‚ã¾ãŸï¼ŒN
ãŠæ‰‹è»½Perlã§SuffixArrayã«æŒ‘戦
試ã—ã«PERLã§SuffixArrayã¤ã„ã§ã«ã‚½ãƒ¼ãƒˆã®å‹‰å¼· 下記ã®ãƒšãƒ¼ã‚¸ã‚’å‚考ã«ã—ã¦ã„ã‚‹ http://www.namazu.org/~satoru/unimag/9/ ã“ã“ã«è¨˜è¿°ã•ã‚Œã¦ã„るコードã¯ã€å®Ÿé¨“ã®ãŸã‚ã«æ›¸ã‹ã‚Œã¦ã„ã‚‹ã®ã§ã€ ã¸ã‚“ãªã¨ã“ã‚ã¯ã”容赦を... インデックスを作ã£ã¦ã¿ã‚‹ Cã§æ›¸ã‹ã‚ŒãŸã‚µãƒ³ãƒ—ルをperlã§ã‹ã„ã¦ã¿ãŸã€‚ PERLã§ã‚‚quicksortã®é–¢æ•°ã¯ã‚ã‚‹ãŒã€ä¸€å¿œPERLã§ã‹ã„ã¦ã¿ãŸã€‚ ãƒã‚¤ãƒŠãƒªãƒ¼å½¢å¼ã§ã‚¤ãƒ³ãƒ‡ãƒƒã‚¯ã‚¹ãƒ•ã‚¡ã‚¤ãƒ«ã‚’書ã出ã—ã¦ã„る。 テストã®ãŸã‚ã®ã‚µãƒ³ãƒ—ルプãƒã‚°ãƒ©ãƒ ãªã®ã§ã€æ›¸ã出ã—ãŸã‚ã¨ã‚ˆã¿ã ã—ã¦è¡¨ç¤ºã—ã¦ã„る。 pushを使ã£ã¦é…列を拡大ã—ã¦ã„ã‚‹ãŒã€ã“ã‚Œã£ã¦ã‚¹ãƒ”ード的ã«ã„ã„ã®ã ã‚ã†ã‹ï¼Ÿ pack,unpack関数ã¯ã„ã‚ã„ã‚使ã„ã§ã‚ã‚Šãã†ï¼ï¼ 1: #!/usr/bin/perl 2: 3: #2003/03/14 4: #UNIXマガジン2002 10æœˆå· æ¨ªç€ãƒ—
Suffix Array
TopCoder SRM187〠DNAMultiMatcher ã¯ã€ StringãŒ3ã¤(ãã‚Œãžã‚Œã®é•·ã•ã¯æœ€å¤§2500)与ãˆã‚‰ã‚ŒãŸã¨ã〠3ã¤å…¨ã¦ã«å«ã¾ã‚Œã‚‹æœ€é•·ã®Substringã®é•·ã•ã‚’求ã‚ãªã•ã„。 ã¨ã„ã†å•é¡Œã§ã™ã€‚ã“ã‚Œã«å¯¾ã—ã¦ã€ é•·ã•ã‚’Bi...
Java 㧠Suffix Array - odz buffer
ãªã‚“ã‹ Java 㧠Suffix Array ãªã‚³ãƒ¼ãƒ‰ã¨ã„ã†ãƒªã‚¯ã‚¨ã‚¹ãƒˆãŒã‚ã£ãŸã®ã§ç°¡å˜ã«ã€‚ ã¨ã‚Šã‚ãˆãš Suffix Array ã®æ§‹ç¯‰ã ã‘。効率ã¨ã‹ä¸€åˆ‡ç„¡è¦–ã§ã€‚ import java.io.IOException; import java.util.Arrays; import java.util.Comparator; import java.util.regex.Matcher; import java.util.regex.Pattern; public class SuffixArrayBuilder { public void build(String text, Integer[] sa) { Arrays.sort(sa, new SuffixComparator(text)); } private static class SuffixComparator imple
SuffixArray - ã¿ãšã´ãƒ¼æ—¥è¨˜
30分プãƒã‚°ãƒ©ãƒ ã€ãã®580。id:Gemmaã•ã‚“ã«å€Ÿã‚ŠãŸWEB+DB PRESS Vol.50ã«ã€suffix arrayã®è§£èª¬ãŒè¼‰ã£ã¦ã„ãŸã®ã§ã‚„ã£ã¦ã¿ãŸã€‚ 解説をèªã‚“ã ã¨ãã¯ã€Œã¡ã‚‡ã†ç°¡å˜ã˜ã‚ƒã‚“。ã•ãã£ã¨å®Ÿè£…ã—ã¦ã‚„んよã€ã¨æ€ã£ã¦ã„ãŸã‘ã©ã€ã„ã–始ã‚ãŸã‘ã©ã€ã‘ã£ã“ã†å¤§å¤‰ã ã£ãŸã€‚ç°¡å˜ã¨ã‹è¨€ã£ã¦ã€ã”ã‚ã‚“ãªã•ã„。 ãã‚‚ãã‚‚araryã¨ã¤ã„ã¦ã‚‹æ™‚点ã§å¤§å¤‰ãªã“ã¨ã«æ°—ãŒã¤ãã¹ãã ã£ãŸã€‚ボクã€OCamlã§arrayを使ã£ãŸã“ã¨ãªã‚“ã¦ã»ã¨ã‚“ã©ãªã„ã˜ã‚ƒãªã„ã‹ã€‚ 使ã„æ–¹ ã‚·ã‚°ãƒãƒãƒ£ã¯ã“ã‚“ãªæ„Ÿã˜ã€‚ type t val make : string -> t val find : t -> string -> int list ã¾ãšã€suffix arrayを作る。 # let s = SuffixArray.make "abracadabra";; val s : SuffixArray.t = <abstr>
Javascriptã§SuffixArray - ã‚„ã‚Œã°ã§ãã‚‹åã®æ—¥è¨˜
全文検索エンジンを試作ã—ã¦ã¿ãŸã‚ˆ - ã‚„ã‚Œã°ã§ãã‚‹åã®æ—¥è¨˜ã¨Javascriptを組ã¿åˆã‚ã›ã¦ã‚‚ã†ã¡ã‚‡ã£ã¨ãªã«ã‹ã§ããªã„ã‹ãªã‚ã¨æ€ã£ã¦ã€Javascriptã§SuffixArrayを作ã£ã¦ã¿ã¾ã—ãŸã€‚ 上手ã„å…·åˆã«çµ„ã¿åˆã‚ã›ã‚‹ã‚¢ã‚¤ãƒ‡ã‚¢ãŒæ€ã„ã¤ã‘ãªã‹ã£ãŸ(ã©ã†ã›å…¨æ–‡æ¤œç´¢ç”¨ã®ã‚¤ãƒ³ãƒ‡ãƒƒã‚¯ã‚¹ã‚’ä¿æŒã—ã¡ã‚ƒã†ã®ã§ã€åˆ¥é€”SuffixArrayã‚’ä¿æŒã™ã‚‹æ„味ãŒãªã•ãã†)ã®ã§ã€ç´ ã®ã¾ã¾å…¬é–‹ã—ã¡ã‚ƒã„ã¾ã™ã€‚ ã¡ãªã¿ã«ã€Javascriptも自信ãªã„ã§ã™ã€‚僕ã¯JSã§ã®ã¹2000行程度ã—ã‹æ›¸ã„ãŸã“ã¨ãªã„ã¯ãšã€‚ /* Suffix Array構築ã®ã‚¢ãƒ«ã‚´ãƒªã‚ºãƒ ã¯è‰²ã€…ç ”ç©¶ã•ã‚Œã¦ã„ã¾ã™ã€‚ 以下ã®ã‚³ãƒ¼ãƒ‰ã¯ã‹ãªã‚Šæœ€æ‚ªãªã‚¢ãƒ«ã‚´ãƒªã‚ºãƒ ãªã®ã§ã€å®Ÿç”¨ã®éš›ã¯èª¿æŸ»ã—ã¦ãã ã•ã„。*/ function genSA(text){ var sa = new Array(text.length) for(var i = 0; i < text.l
perlã«ã‚ˆã‚‹å¤§è¦æ¨¡ãƒ‡ãƒ¼ã‚¿ã®å–扱ã„
本ページã§ã¯ï¼Œperlã§ã©ã®ã‚ˆã†ã«ã—ã¦å¤§è¦æ¨¡ãªãƒ‡ãƒ¼ã‚¿ã‚’ä¿å˜ã™ã‚‹ã‹ã¤ã„㦠説明ã—ã¾ã™ï¼Žä¸»ã«ã‚¹ã‚¿ãƒ³ãƒ‰ã‚¢ãƒãƒ³ã§å‹•ãã‚‚ã® (クライアント<->サーãƒåž‹ ã§ãªã„，ã„ã‚ゆる組込ã¿åž‹) ã«ã¤ã„ã¦ç´¹ä»‹ã—ãŸã„ã¨æ€ã„ã¾ã™ï¼Ž Menu Berkeley DB BerkeleyDB DB_File SDBM SDBM_File GDBM GDBM_File CDB CDB_File QDBM Depot Curia Villa TDB TDB_File SQLight DBD::SQLite SUFFIX ARRAY SUFARY SARY 複雑ãªãƒ‡ãƒ¼ã‚¿æ§‹é€ Data::Dumper Storable MLDBM ã„ã‚ã„ã‚ãªæ¯”較 ファイルサイズ Benchmark Link サンプルデータã«ã¤ã„㦠Berkeley DB Berkeley DBã¯ï¼Œçµ„ã¿è¾¼ã¿å‘ã‘データベースã§ã™ï¼Žé€šå¸¸ãƒ‡ãƒ¼ã‚¿ãƒ™ãƒ¼ã‚¹ã¨ã„ㆠã¨Oracl
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
Graham Neubig
Suffix Arrayを用ã„ãŸãƒ•ãƒ¬ãƒ¼ã‚ºæŠ½å‡º - kuronekonacchan
{{#tags}}- {{label}}
{{/tags}}