日本語形態素解析の裏側を覗く！MeCab はどのように形態素解析しているか - クックパッド開発者ブログ
こんにちは、買物情報事業部の荒引 (@a_bicky) です。 前回、「検索結果の疑問を解消するための検索の基礎」で単語単位でインデキシングする前提で説明しましたが、今回は文などを単語単位で分割するために使う技術である形態素解析について触れます。 形態素解析器には色々ありますが、中でもメジャーと思われる MeCab の仕組みについて説明します。 MeCab の解析精度を上げるために辞書に単語を追加したことのある方もいると思いますが、動作原理を理解することで単語を追加する際に適切な生起コストを設定できるようになったり、学習の際に適切なパラメータを設定できるようになったりするはずです。 なお、MeCab は汎用テキスト変換ツールとしても使用できます が、簡単のため MeCab + IPA 辞書のデフォルト設定前提で説明します。 アジェンダ 形態素解析とは MeCab における最適な解析結果の推
CentOSにMeCabとmecab-rubyを入れる - よしだ’s diary
CentOSにMeCabとmecab-rubyを入れるメモ。 インストール MeCab本体インストール cd /tmp/ wget http://mecab.googlecode.com/files/mecab-0.98.tar.gz tar -xvf mecab-0.98.tar.gz cd mecab-0.98 ./configure --with-charset=utf8 --enable-utf8-only make make install ldconfig 辞書インストール cd /tmp/ wget http://mecab.googlecode.com/files/mecab-ipadic-2.7.0-20070801.tar.gz tar -xvf mecab-ipadic-2.7.0-20070801.tar.gz cd mecab-ipadic-2.7.0-20070
Google App Engine からYahoo!日本語形態素解析Webサービスを利用する方法 - Object Design
Home > Index > Google App Engine からYahoo!日本語形態素解析Webサービスを利用する方法 Oreillyの「集合知プログラミング」の付録Ｃを参考に Google App Engine上から Yahoo!日本語形態素解析Webサービス を利用しようとするとうまくいかない。 調べてみると、quote_plus や urlopen が問題になるようです。 以下のように、 The URL Fetch API に置き換えて形態素解析を呼び出すとうまく作動しました。 splitter.py from google.appengine.api import urlfetch from urllib import urlencode from BeautifulSoup import BeautifulSoup #pageurl='http://api.jlp.yah
テキスト解析:キーフレーズ抽出API - Yahoo!デベロッパーネットワーク
指定されたURLは存在しません。 URLが正しく入力されていないか、このページが削除された可能性があります。
テキスト解析 - Yahoo!デベロッパーネットワーク
LINEヤフーが提供するテキスト解析WebAPI 日本語形態素解析 日本語文を形態素に分割し、品詞、読みがなの付与、統計情報を取得できる機能を提供します。 かな漢字変換 ローマ字、ひらがなの文を文節に区切り、変換候補を提示します。短い文字列から変換候補を推測するモードも提供します。VJEと同じ方式のかな漢字変換です。 ルビ振り 漢字かな交じり文に、ひらがなとローマ字のふりがな（ルビ）を付けます。 校正支援 日本語文の校正作業を支援します。文字の入力ミスや言葉の誤用がないか、わかりにくい表記や不適切な表現が使われていないかなどをチェックします。 日本語係り受け解析 日本語文の係り受け関係を解析する機能を提供します。 キーフレーズ抽出 日本語文を解析し、特徴的な表現（キーフレーズ）を抽出します。 自然言語理解 日本語文を解析し、情報の抽出を行う機能を提供します。 固有表現抽出 日本語文を解析し
ヤフー、文章を解析できるAPI「日本語形態素解析Webサービス」を公開ニュース - CNET Japan
ヤフーは6月18日、開発者向けサイト「Yahoo!デベロッパーネットワーク」において、日本語の文章を解析できるAPI「日本語形態素解析Webサービス」を公開した。 日本語形態素解析Webサービスは、ヤフーの日本語処理技術部がYahoo! JAPAN研究所と共同で開発を進めてきた形態素解析エンジン「Web MA」を社外の開発者向けにAPIとして公開するもの。このエンジンは、ヤフーのブログ検索や商品検索などのテキスト処理、ブログ検索の「評判検索機能」、「まとめ検索機能」などのテキストマイニング処理にも利用されている。 このAPIを利用することで、開発者は解析対象となる日本語の文章を形態素に分割し、品詞や読み、基本形を取得できるほか、対象となる文章に多く含まれている単語、その文章を構成する特徴的な単語などを把握することが可能だ。 また、すでに公開済みのAPIから取得したデータを解析することもでき
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
{{#tags}}- {{label}}
{{/tags}}