Yahoo 日本語形態素解析Webサービスを使ってみる

Perl

使ってみた。

日本語文を形態素に分割し、品詞、読みがなの付与、統計情報を取得できる機能を提供します。

http://developer.yahoo.co.jp/jlp/MAService/V1/parse.html

とりあえず動けばいいや、という版。

#!/usr/bin/perl
use strict;
use LWP::UserAgent;
use XML::Simple;
use YAML qw/ Dump /;
use Encode qw/ encode_utf8 /;

my $ua = LWP::UserAgent->new();
$ua->env_proxy();

my $text;
while (<>) {
    $text .= $_;
}

my $uri = q{http://api.jlp.yahoo.co.jp/MAService/V1/parse};
my $res = $ua->post(
    $uri, {
        appid    => '******',
        sentence => $text,
    },
);

my $xml = $res->content;
my $ref = XMLin( $res->content );
print Dump $ref;
for my $w ( @{ $ref->{ma_result}->{word_list}->{word} } ) {
    print encode_utf8( sprintf "%s\t%s,%s\n", $w->{surface}, $w->{pos}, $w->{reading} );
}

入力文書。

日本語形態素解析Webサービスは、24時間以内で1つのIPアドレスにつき50000件のリクエストが
上限となっています。
また、1リクエストの最大サイズを100KBに制限しています。
詳しくは「利用制限」をご参照ください。

出力結果。

日本語  名詞,にっぽんご
形態素  名詞,けいたいそ
解析    名詞,かいせき
Web     名詞,Web
サービス        名詞,さーびす
は      助詞,は
、      特殊,、
24      名詞,24
時間    接尾辞,じかん
以内    接尾辞,いない
で      助詞,で
1       名詞,1
つ      接尾辞,つ
の      助詞,の
IP      名詞,IP
アドレス        名詞,あどれす
に      助詞,に
つき    動詞,つき
50000   名詞,50000
件      接尾辞,けん
の      助詞,の
リクエスト      名詞,りくえすと
が      助詞,が
上限    名詞,じょうげん
と      助詞,と
なっ    動詞,なっ
て      助詞,て
い      助動詞,い
ます    助動詞,ます
。      特殊,。
また    副詞,また
、      特殊,、
1       名詞,1
リクエスト      名詞,りくえすと
の      助詞,の
最大    名詞,さいだい
サイズ  名詞,さいず
を      助詞,を
100     名詞,100
KB      名詞,KB
に      助詞,に
制限    名詞,せいげん
し      助動詞,し
て      助詞,て
い      助動詞,い
ます    助動詞,ます
。      特殊,。
詳しく  形容詞,くわしく
は      助詞,は
「      特殊,「
利用    名詞,りよう
制限    名詞,せいげん
」      特殊,」
を      助詞,を
ご参照  名詞,ごさんしょう
ください        助動詞,ください
。      特殊,。

ちなみに Mecab だとこうなる。

日本語  名詞,一般,*,*,*,*,日本語,ニホンゴ,ニホンゴ
形態素  名詞,一般,*,*,*,*,形態素,ケイタイソ,ケイタイソ
解析    名詞,サ変接続,*,*,*,*,解析,カイセキ,カイセキ
Web     名詞,固有名詞,組織,*,*,*,*
サービス        名詞,サ変接続,*,*,*,*,サービス,サービス,サービス
は      助詞,係助詞,*,*,*,*,は,ハ,ワ
、      記号,読点,*,*,*,*,、,、,、
24      名詞,数,*,*,*,*,*
時間    名詞,接尾,助数詞,*,*,*,時間,ジカン,ジカン
以内    名詞,非自立,副詞可能,*,*,*,以内,イナイ,イナイ
で      助詞,格助詞,一般,*,*,*,で,デ,デ
1       名詞,数,*,*,*,*,*
つ      助動詞,*,*,*,下二・タ行,基本形,つ,ツ,ツ
の      助詞,連体化,*,*,*,*,の,ノ,ノ
IP      名詞,固有名詞,組織,*,*,*,*
アドレス        名詞,一般,*,*,*,*,アドレス,アドレス,アドレス
に      助詞,格助詞,一般,*,*,*,に,ニ,ニ
つき    動詞,自立,*,*,五段・カ行イ音便,連用形,つく,ツキ,ツキ
50000   名詞,数,*,*,*,*,*
件      名詞,接尾,助数詞,*,*,*,件,ケン,ケン
の      助詞,連体化,*,*,*,*,の,ノ,ノ
リクエスト      名詞,一般,*,*,*,*,リクエスト,リクエスト,リクエスト
が      助詞,格助詞,一般,*,*,*,が,ガ,ガ
上限    名詞,一般,*,*,*,*,上限,ジョウゲン,ジョーゲン
と      助詞,格助詞,一般,*,*,*,と,ト,ト
なっ    動詞,自立,*,*,五段・ラ行,連用タ接続,なる,ナッ,ナッ
て      助詞,接続助詞,*,*,*,*,て,テ,テ
い      動詞,非自立,*,*,一段,連用形,いる,イ,イ
ます    助動詞,*,*,*,特殊・マス,基本形,ます,マス,マス
。      記号,句点,*,*,*,*,。,。,。
また    接続詞,*,*,*,*,*,また,マタ,マタ
、      記号,読点,*,*,*,*,、,、,、
1       名詞,数,*,*,*,*,*
リクエスト      名詞,一般,*,*,*,*,リクエスト,リクエスト,リクエスト
の      助詞,連体化,*,*,*,*,の,ノ,ノ
最大    名詞,一般,*,*,*,*,最大,サイダイ,サイダイ
サイズ  名詞,一般,*,*,*,*,サイズ,サイズ,サイズ
を      助詞,格助詞,一般,*,*,*,を,ヲ,ヲ
100     名詞,数,*,*,*,*,*
KB      名詞,固有名詞,組織,*,*,*,*
に      助詞,格助詞,一般,*,*,*,に,ニ,ニ
制限    名詞,サ変接続,*,*,*,*,制限,セイゲン,セイゲン
し      動詞,自立,*,*,サ変・スル,連用形,する,シ,シ
て      助詞,接続助詞,*,*,*,*,て,テ,テ
い      動詞,非自立,*,*,一段,連用形,いる,イ,イ
ます    助動詞,*,*,*,特殊・マス,基本形,ます,マス,マス
。      記号,句点,*,*,*,*,。,。,。
詳しく  形容詞,自立,*,*,形容詞・イ段,連用テ接続,詳しい,クワシク,クワシク
は      助詞,係助詞,*,*,*,*,は,ハ,ワ
「      記号,括弧開,*,*,*,*,「,「,「
利用    名詞,サ変接続,*,*,*,*,利用,リヨウ,リヨー
制限    名詞,サ変接続,*,*,*,*,制限,セイゲン,セイゲン
」      記号,括弧閉,*,*,*,*,」,」,」
を      助詞,格助詞,一般,*,*,*,を,ヲ,ヲ
ご      接頭詞,名詞接続,*,*,*,*,ご,ゴ,ゴ
参照    名詞,サ変接続,*,*,*,*,参照,サンショウ,サンショー
ください        動詞,非自立,*,*,五段・ラ行特殊,命令ｉ,くださる,クダサイ,クダサイ
。      記号,句点,*,*,*,*,。,。,。

最後のほうの「ご参照」が、Yahoo では「ご参照」だが Mecab では

ご      接頭詞,名詞接続
参照    名詞,サ変接続

となるのが違うな……