éžæ§‹é€ 化データ分æžæŠ€è¡“ã®ã‚ªãƒ¼ãƒ—ンソース実装「Apache UIMA 2.3ã€ãƒªãƒªãƒ¼ã‚¹ | OSDN Magazine
Apache Software Foundation（ASF）ã®Apache UIMA開発コミュニティã¯1月28æ—¥ã€UIMA（Unstructured Information Management Architecture）ã®ã‚ªãƒ¼ãƒ—ンソース実装「Apache UIMA 2.3.0ã€ã‚’発表ã—ãŸã€‚ASF内ã®ãƒ—ãƒã‚¸ã‚§ã‚¯ãƒˆãƒšãƒ¼ã‚¸ã‚ˆã‚Šå…¥æ‰‹ã§ãる。 UIMAã¯ã€ç±³IBMãŒè‡ªç„¶è¨€èªžå‡¦ç†æŠ€è¡“ã¨ã—ã¦é–‹ç™ºã—ãŸæŠ€è¡“ã§ã€ãƒ†ã‚ストã€ç”»åƒã€å‹•ç”»ãªã©ã®éžæ§‹é€ 化データを分æžã—ã€é–¢é€£æ€§ã‚’見ã¤ã‘ã‚‹ã“ã¨ãŒã§ãる。IBMã¯2005å¹´ã«UIMAをオープンソースã¨ã—ã¦å…¬é–‹ã€2006年よりASFã®ã‚¤ãƒ³ã‚ュベータプãƒã‚¸ã‚§ã‚¯ãƒˆã¨ã—ã¦é–‹ç™ºãŒé€²ã‚“ã§ã„る。UIMAã¯2009å¹´ã«ã¯ã€æ¨™æº–化団体OASIS（Organization for the Advancement of Structured Information Standards）ã«ã‚ˆã‚Š
Wikipedia API（検索＆パース）を作りã¾ã—㟠| Tokyo O life
最近ã€Wikipediaã®ãƒ‡ãƒ¼ã‚¿ã‚’活用ã—ãŸã‚µãƒ¼ãƒ“スãŒå¢—ãˆã¦ã„る。 ãŸã ã—ã€å…ˆæ—¥Wikipediaã®ãƒ€ãƒ³ãƒ—データをDBã«æŠ•å…¥ã™ã‚‹ ã§ç´¹ä»‹ã—ãŸã‚ˆã†ã«ã€Wikipediaã¯ã‚µãƒ¼ãƒã‹ã‚‰å©ã‘ã‚‹APIã‚’æä¾›ã—ã¦ã„ãªã„。ä¸å®šæœŸã«ãƒ€ãƒ³ãƒ—データãŒæä¾›ã•ã‚Œã¦ã„ã‚‹ã®ã§ã€ãれを自分ã®ã‚µãƒ¼ãƒã®ãƒ‡ãƒ¼ã‚¿ãƒ™ãƒ¼ã‚¹ã«æŠ•å…¥ã—ã¦ä½¿ã†ã“ã¨ã¯å¯èƒ½ãªã®ã ãŒã€åŽéŒ²ã•ã‚Œã¦ã„るデータã¯ã€Wikiã®ãƒžãƒ¼ã‚¯ã‚¢ãƒƒãƒ—ãŒã¤ã„ãŸã¾ã¾ã®ç”Ÿãƒ†ã‚ストãªã®ã§ã€ä½¿ã„å‹æ‰‹ãŒã‚ˆããªã„。 以å‰ã‹ã‚‰æä¾›ã•ã‚Œã¦ã„ã‚‹SimpleAPI「Wikipediaã€ã¯ã€ãŸã¶ã‚“ã“ã®ãƒ€ãƒ³ãƒ—データを使ã£ã¦ã€ç‹¬è‡ªã«æ¤œç´¢APIã‚’æä¾›ã—ã¦ã„ã‚‹ã®ã ã¨æ€ã†ãŒã€ 複数ã®æ¤œç´¢çµæžœã‚’一度ã«è¿”ã—ã¦ãる。 簡易ãªè¦ç´„æ–‡ã—ã‹æä¾›ã•ã‚Œãªã„。 ã¨ã„ã†åˆ¶ç´„ãŒã‚ã£ã¦ã€Wikipediaã«åŽéŒ²ã•ã‚Œã¦ã„る豊富ãªãƒ‡ãƒ¼ã‚¿ã‚’活用ã™ã‚‹ã«ã¯ã€ã¡ã‚‡ã£ã¨è¶³ã‚Šãªã„æ„Ÿã˜ãŒã™ã‚‹ã€‚ ãã“ã§ã€Wikipediaã®ãƒžãƒ¼ã‚¯ã‚¢ãƒƒãƒ—を解釈ã—ã¦ã€XMLã«å¤‰
Tokyo O life - ãšã°ã´ãŸãƒ†ãƒƒã‚¯ » Wikipediaã®ãƒ€ãƒ³ãƒ—データをDBã«æŠ•å…¥ã™ã‚‹
最近ã€Wikipediaã®ãƒ‡ãƒ¼ã‚¿ã‚’引用ã—ã¦è¡¨ç¤ºã™ã‚‹ã‚µãƒ¼ãƒ“スãŒè‰¯ãã‚る。ã©ã†ã‚„ã£ã¦ã€å®Ÿç¾ã—ã¦ã„ã‚‹ã®ã‹ï¼Ÿ Wikipediaã«ã¯ã€åŽéŒ²ãƒ‡ãƒ¼ã‚¿ã‚’HTMLã§ã¯ãªãXMLã§è¿”ã—ã¦ãれるモードもã‚ã‚‹ãŒã€ã“ã‚Œã¯Webブラウザå‘ã‘ã®ã‚µãƒ¼ãƒ“スã§ã€PHPãªã©ã§ã‚¢ã‚¯ã‚»ã‚¹ã—ã¦å–å¾—ã—よã†ã¨ã™ã‚‹ã¨ã€403ã®ã‚¨ãƒ©ãƒ¼ã§æ‹’å¦ã•ã‚Œã‚‹ã€‚ã¾ãŸã€ã€Œã‚µãƒ¼ãƒãƒ¼ã«è² æ‹…ãŒã‹ã‹ã‚‹ã®ã§ã€ã‚¯ãƒãƒ¼ãƒªãƒ³ã‚°ã—ãªã„ã§ãã ã•ã„ã€ã¨æ˜Žè¨˜ã•ã‚Œã¦ã„る。 ãã®ä»£ã‚ã‚Šã€Wikipediaã®å…¨ãƒ‡ãƒ¼ã‚¿ã‚’XMLå½¢å¼ã§ãƒ€ãƒ³ãƒ—ã—ãŸã‚‚ã®ãŒè‡ªç”±ã«ãƒ€ã‚¦ãƒ³ãƒãƒ¼ãƒ‰ã§ãるよã†ã«ãªã£ã¦ã„る。ã“れをèªã¿è¾¼ã‚“ã§ã€è‡ªåˆ†ã®ãƒ‡ãƒ¼ã‚¿ãƒ™ãƒ¼ã‚¹ã‚µãƒ¼ãƒã«æŠ•å…¥ã—ã¦ä½¿ãˆã°ã„ã„ã®ã 。データベースã¯MySQLã‚„PostgreSQLã«å¯¾å¿œã—ã€æŠ•å…¥ç”¨ã®ãƒ„ールも用æ„ã•ã‚Œã¦ã„る。 Wikipediaã®ã‚·ã‚¹ãƒ†ãƒ ã§ã‚ã‚‹ã€MediaWikiã®ã‚½ãƒ¼ã‚¹ã‚³ãƒ¼ãƒ‰ã‚‚æä¾›ã•ã‚Œã¦ã„ã¦ã€ã“ã‚Œã«å«ã¾ã‚Œã¦ã„ã‚‹importDump.phpを使ã†ä¾‹ãŒä¸Š
ãƒã‚°ã‚¤ãƒ³ã—ã¦ãã ã•ã„：日経クãƒã‚¹ãƒ†ãƒƒã‚¯ï¼ˆxTECH）
 会員é™å®šã‚µãƒ¼ãƒ“スã§ã™ 月é¡ãƒ—ランãŒ10月末ã¾ã§ç„¡æ–™ ãŠç”³ã—込㿠会員ã®æ–¹ã¯ã“ã¡ã‚‰ ãƒã‚°ã‚¤ãƒ³ 日経クãƒã‚¹ãƒ†ãƒƒã‚¯ TOPページ
Apache UIMA - Apache UIMA
Welcome to the Apache UIMAâ„¢ project. Our goal is to support a thriving community of users and developers of UIMA frameworks, tools, and annotators, facilitating the analysis of unstructured content such as text, audio and video. What is UIMA? Unstructured Information Management applications are software systems that analyze large volumes of unstructured information in order to discover knowledge t
Javaè£½å½¢æ…‹ç´ è§£æžã‚¨ãƒ³ã‚¸ãƒ³ã€ŒIgoã€ã‚’試ã—ã¦ã¿ã‚‹
Igoã¯Javaã§ä½œã‚‰ã‚ŒãŸå½¢æ…‹ç´ 解æžã‚¨ãƒ³ã‚¸ãƒ³ã§ã™ã€‚ Javaã¯JVMã¨ã„ã†é–‰ã˜ãŸç©ºé–“ã§å‹•ä½œã™ã‚‹åˆ†ã€Cãªã©ã®ãƒã‚¤ãƒ†ã‚£ãƒ–アプリã¨é€£æºã™ã‚‹éš›ã®å®‰å®šæ€§ã‚„性能ãŒã‚¤ãƒžã‚¤ãƒã€‚ ãã®ãŸã‚å½¢æ…‹ç´ è§£æžã‚’ã—ãŸã„å ´åˆã‚‚MeCabを使ã‚ãšã«Java製ã®ã‚‚ã®ã‚’利用ã™ã‚‹ã‚±ãƒ¼ã‚¹ãŒç›®ç«‹ã¡ã¾ã™ã€‚Igoã¯Javaã§å½¢æ…‹ç´ 解æžã‚’ã™ã‚‹å ´åˆã«é¸æŠžè‚¢ã®1ã¤ã¨ã—ã¦æŒ™ã’られã¾ã™ã€‚ @Date 2010/12/18 @Env Igo0.4.2/Fedora14 Igoã¯MeCabã®è¾žæ›¸ã‚’利用ã™ã‚‹ã“ã¨ãŒã§ãã€ã»ã¼MeCabã¨åŒã˜è§£æžçµæžœã‚’è¿”ã™ã“ã¨ã‚’æ„è˜ã—ã¦ä½œã‚‰ã‚Œã¦ã„ã‚‹ãã†ã§ã™ï¼ˆè©³ç´°ã¯å…¬å¼ã‚µã‚¤ãƒˆå‚照）。 Igo - Javaå½¢æ…‹ç´ è§£æžå™¨ http://igo.sourceforge.jp/ 下記ページã«ã‚ˆã‚‹ã¨ã€å®Ÿè¡Œé€Ÿåº¦ã‚‚MeCabã¨æ¯”ã¹ã¦ãã‚Œã»ã©å¤§ãã劣るã“ã¨ã¯ãªã„よã†ã§ã™ã€‚ Igo : MeCabã¨å½¢æ…‹ç´ 解æžé€Ÿåº¦æ¯”較 http://d.hat
nokunoã®æ—¥è¨˜
引ã続ãæ±å¤§ã®ã€Œå‰µé€ æƒ…å ±å¦é€£æºè¬›ç¾©VIIã€ã‚ˆã‚Šè³€æ²¢ã•ã‚“ã®èª²é¡Œ1ã§ã‚‚ã‚ã‚‹ã€IBMモデル1ã®å®Ÿè£…ã‚’è¡Œã„ã¾ã—ãŸã€‚å‰µé€ æƒ…å ±å¦é€£æºè¬›åº§IBMモデル1ã®EMアルゴリズムを実装ã—ã¦ã‚µãƒ³ãƒ—ルデータã§çµæžœã‚’確èªã›ã‚ˆã¨ã„ã†å•é¡Œã§ã™ã€‚ #!/usr/bin/env python from collections import defaultdict def train(corpus): pair = defaultdict(float) for english, forein in corpus: for e in english.split(" "): for f in forein.split(" "): pair[(e,f)] += 1. print 'pair:', pair t = defaultdict(float) for e,f in pair.keys(): t[(e,f)] = 0.25 f
Gomoku: 辞書込ã¿ã®å½¢æ…‹ç´ 解æžå™¨ - sileã®ãƒ–ãƒã‚°
Igoをベースã«ã—ã¦JARファイルã«è¾žæ›¸ãƒ‡ãƒ¼ã‚¿ã‚’åŒæ¢±ã—ãŸå½¢æ…‹ç´ 解æžå™¨ã‚’作æˆã—ãŸã€‚ åå‰ã¯åŒç³»çµ±ã®Gomoku(ver 0.0.1)。 特徴 開発コンセプト(?)ã¯ã€ŒJARファイルã®ã¿ã§å½¢æ…‹ç´ 解æžã€ã¨ã€Œã‚µã‚¤ã‚ºã‚’(比較的)å°ã•ãã€ã®äºŒç‚¹ã€‚ ã“ã®JARファイル一ã¤ã§å½¢æ…‹ç´ 解æžãŒè¡Œãˆã‚‹(外部ã®è¾žæ›¸ãƒ‡ãƒ¼ã‚¿ä¸è¦)ã€ã¨ã„ã†ç‚¹ãŒæœ€å¤§ã®ç‰¹å¾´ã€‚ ãŸã ã—ã€ãã®åˆ†è¾žæ›¸ã®ã‚«ã‚¹ã‚¿ãƒžã‚¤ã‚ºæ€§ã«ã¯ä¹ã—ã„。 ※ 辞書を変更ã™ã‚‹å ´åˆã¯jarファイルã”ã¨å–り替ãˆã‚‹å¿…è¦ãŒã‚ã‚‹ ãã®ä»–ã®ç‰¹å¾´ã‚’列挙: 辞書データサイズãŒIgoよりå°ã•ã„ 辞書込ã¿JARファイルã®ã‚µã‚¤ã‚ºã¯4MB程度。解å‡æ™‚ã¯10MB程度*1。※ Igoã¯è¾žæ›¸ã‚µã‚¤ã‚ºã¯40MB程度 辞書ã®ãƒ‡ãƒ¼ã‚¿ã‚µã‚¤ã‚ºã‚’節約ã™ã‚‹ãŸã‚ã«ã€å½¢æ…‹ç´ ã®ç´ 性ã‹ã‚‰å“詞以外ã®æƒ…å ±ã‚’é™¤å¤– ãã®ãŸã‚原型やèªã¿ç‰ã®æƒ…å ±ã‚’è§£æžçµæžœã‹ã‚‰å¾—ã‚‹ã“ã¨ã¯ä¸å¯èƒ½ (デフォルトã®)辞書ã«ã¯IPADIC(mecab-ipadic
機械å¦ç¿’ ã¯ã˜ã‚よㆠ記事一覧 | gihyo.jp
é‹å–¶å…ƒã®ãƒã‚´ Copyright © 2007-2024 All Rights Reserved by Gijutsu-Hyoron Co., Ltd. ページ内容ã®å…¨éƒ¨ã‚ã‚‹ã„ã¯ä¸€éƒ¨ã‚’ç„¡æ–ã§åˆ©ç”¨ã™ã‚‹ã“ã¨ã‚’ç¦æ¢ã—ã¾ã™â 。個別ã«ãƒ©ã‚¤ã‚»ãƒ³ã‚¹ãŒè¨å®šã•ã‚Œã¦ã„る記事ç‰ã¯ãã®ãƒ©ã‚¤ã‚»ãƒ³ã‚¹ã«å¾“ã„ã¾ã™ã€‚
1
ランã‚ング
ランã‚ング
ランã‚ング
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
Lotus Notes データベースã‹ã‚‰ã‚¢ã‚¤ã‚³ãƒ³ç”»åƒã‚’å–り出ã™(1)
IBM Developer
shin3tky blog: テã‚ストã®åˆ†ã‹ã¡æ›¸ã
{{#tags}}- {{label}}
{{/tags}}