評価値表現辞書 (評価表現辞書) はじめに 近年，blogなどを通して個人がネット上に配信する情報の重要性が広く認知 されるようになり，それにともなって，個人の意見をWeb上のテキストから収集，分析する技術への関心が高まっています． 実際に，ここ数年で意見を扱った多くの研究が発表されています (関連研究についてはこちらをご参照ください)． 意見の収集，分析には評価をあらわす表現(以下，評価値表現)が手がかりになると考えられます． 我々は，評価値表現はある程度ドメイン横断的に使用可能だと考え，半自動手法を使用しつつ辞書を作成しました． この辞書が意見情報抽出や分析の研究に携わっていらっしゃる方々の手助けになれば幸いです． 評価値表現辞書とは 評価値表現辞書は，評価を表すために使われる可能性のある表現を集めた辞書です． 我々は評価を以下のように定義しています． 評価の主体が評価対象のクラスに対

セマンティックWebという言葉の意味に踏み込んだ文書データ処理が話題になって10年くらい経つと思いますが、華々しくサービスとして使われているとは耳にしませんし、ユーザーとしてもその恩恵に預かってる感覚はありません。やはり表記ゆれや同義語、意味階層に関する膨大なルール体系（オントロジー）を完璧に作り上げたり、コンテンツに対するメタデータ付けたりという人手のボトルネックが解消されなかったことが原因なのでしょうか。そんな停滞したエリアに、Googleがいつも通り少々暴力的（？）な方法で一石を投じる成果を公開したようです。 From Words to Concepts and Back: Dictionaries for Linking Text, Entities and Ideas [Google Research Blog] 中身はいたってシンプルで、英語版Wikipedia記事1ページをそ

海野です。ちょっと時間があいてしまいましたが、昨年の12月に開催されたNTCIR-9という会議のRecognizing Inference in TExt (RITE)というタスクに、前職の方々と共著で出場しました。 Syntactic Difference Based Approach for NTCIR-9 RITE Task. Yuta Tsuboi, Hiroshi Kanayama, Masaki Ohno and Yuya Unno. NTCIR-9, 2011. [pdf] 含意関係認識といわれるこのタスクは、大雑把に言うと与えられた2つの文が同じ意味のことを言っているかどうか判定しなさいというタスクです（厳密には一方からもう一方が帰結できるかの判定です）。今日は、その中で使ったTree Edit Distance (TED) について解説します。 TEDは2つの順序付き木が

インターネットの普及により、一般消費者が製品やテレビ番組などのコンテンツに対する意見や感想を、Twitter、ブログ、ウェブ掲示板などで発信する機会が増えています。こうした新しい動きを捉え、ウェブ上の書き込みをマーケティングに応用する“評判解析技術”への注目が高まっています。 ところが、Twitterなどでユーザーの年齢や性別などを記入するプロフィール欄は、ほとんどが空欄です。そのため、意見や感想を集めることはできても、どのような人たちが肯定的で、否定的なのはどういった人たちなのかといった詳細な分析を行うことはできません。 そこでKDDI研究所では、Twitterなどの書き込みを解析することで、投稿者のプロフィール（年代、性別、職業、居住地、趣味など）を自動推定する技術の研究に着手し、業界に先駆けて開発に成功しました。この技術を利用してTwitterでプロフィールが確認できた約1万ユーザー

はじめに この文書は、 Steven Bird, Ewan Klein, Edward Loper 著 萩原 正人、中山 敬広、水野 貴明　訳 『入門 自然言語処理』 O'Reilly Japan, 2010. の第12章「Python による日本語自然言語処理」を、原書 Natural Language Processing with Python と同じ Creative Commons Attribution Noncommercial No Derivative Works 3.0 US License の下で公開するものです。 原書では主に英語を対象とした自然言語処理を取り扱っています。内容や考え方の多くは言語に依存しないものではありますが、単語の分かち書きをしない点や統語構造等の違いから、日本語を対象とする場合、いくつか気をつけなければいけない点があります。日本語を扱う場合にも

KyTeaを使った単語分割の分野適応 KyTeaホームに戻る はじめに KyTea の最も大きな利点の１つは分野適応が簡単であることです。特に、部分的アノテーション(後述)を使った分野適応は有用です。従来手法では、辞書に単語を追加する以外には、フルアノテーションコーパスを準備する必要がありました。フルアノテーションコーパスは、 この 時期 の 中心 人物 は 、 風穴 延昭 で あ る 。 のように、全ての単語境界に空白を入れ、単語境界のないところに空白を入れないことで、すべての文字間の境界情報をアノテーションします。しかし、この文の中で、「風穴」以外、ほとんどの単語境界は自明であり、アノテーションする必要はないため、時間の無駄が生じます。その代わり、部分的アノテーションでは、以下のように「風穴」のところだけをアノテーションすることができます。 こ の 時 期 の 中 心 人 物 は 、|

日本語形態素解析システム JUMAN † 本システムは，計算機による日本語の解析の研究を目指す多くの研究者に共通に使える形態素解析ツールを提供するために開発されました．その際, 学校文法が計算機向きではないという問題を考慮し，使用者によって文法の定義，単語間の接続関係の定義などを容易に変更できるように配慮しました． 新バージョン7.0の拡張点は以下の通りです． 非反復形オノマトペ，長音記号による非標準表記，長音記号・小書き文字を用いた長音化の自動認識 Wikipediaから抽出した辞書の追加 自動辞書(Webテキストから自動獲得した辞書)の改良 UTF-8化 たとえば，次のようなテキストを入力すると， % cat sample.txt カサつく ビミョーだ がんがる アジャイルだ 爽健美茶 ＴｈｉｎｋＰａｄ 上海ガニ ぺっちゃりしてる ありがとー 行きたぁぁぁい 以下の解析結果が得られます

目次 日本語Wikipediaエントリの係り受けデータベースとは 新着情報 ダウンロード 利用方法 利用条件 リンク 公開しているその他のオープンソースツール・言語資源 高度言語情報融合フォーラム（ALAGIN）言語資源サイト 日本語Wikipediaエントリの係り受けデータベースとは 本データベースは、日本語の大量（約6億ページ、約430億文、クロール時期は 2007年5月19日から11月13日）のWeb文書から、Wikipediaの記事のタイトル（エントリ）の内、二文節以上のもの（例：「三保の松原」「風と共に去りぬ」）に関する係り受けとその頻度を抽出したものです。通常の形態素解析・係り受け解析では、これらのエントリが複数の文節に分割されてしまうため、これまで高度言語情報融合フォーラム（ALAGIN）で公開してきた日本語係り受けデータベース (Version 1.0)では、これらのエント

形態素解析器としてMeCab（ラティス上の系列予測）とKyTea（点予測）を利用する（モデルはチューニングしていないので、チューニングをしたら両方とも少し精度があがる）。この二つの形態素解析器で以下のような分野適応戦略を比較する： 適応無し：一般分野のテキストと辞書を利用する。 辞書追加（再学習なし）：Webコーパスにある単語を辞書追加し、MeCabの単語追加ページの指示に従ってそのコストを似たような単語（頻度の低い名詞）と一緒にする。（MeCabのみ） 辞書追加（再学習あり）：辞書に単語を追加し、もう１回一般分野コーパスでモデルの重みを学習。 コーパス追加：一般分野＋Webコーパスで辞書を作り、モデル学習を行う。 実験結果 実験は以下のような結果になった。

overlasting.net 2019 Copyright. All Rights Reserved. The Sponsored Listings displayed above are served automatically by a third party. Neither the service provider nor the domain owner maintain any relationship with the advertisers. In case of trademark issues please contact the domain owner directly (contact information can be found in whois). Privacy Policy

About The Course We are offering this course on Natural Language Processing free and online to students worldwide, January - March 2012, continuing Stanford's exciting forays into large scale online instruction. Students have access to screencast lecture videos, are given quiz questions, assignments and exams, receive regular feedback on progress, and can participate in a discussion forum. Those w

オライリー出版社さんから，「入門 ソーシャルデータ ―データマイニング、分析、可視化のテクニック」というタイトルでソーシャルデータを対象としたデータマイニング，自然言語処理の書籍が発売されます．リンク先の通り，私も監訳という形で編集に参加させていただいております（五十音順で一番前に来てますが他意はありません）．入門 ソーシャルデータ ―データマイニング、分析、可視化のテクニックO’Reilly Japan - 入門 ソーシャルデータ特に書籍中のコードは主にPythonで書かれており，NLTKを使っている部分もあるためそのあたりを重点的に担当させていただきました．具体的には，7章，8章の修正を行いました（各章は必ず1人が担当しているわけではありません）．今回のお話は@overlastさんからいただき，大変よい経験になりました．今後もこのような形で技術と実践の間を橋渡ししていければと考えていま

Marti Hearst SIMS,UC Berkeley hearst@sims.berkeley.edu October 17, 2003 I wrote this essay for people who are curious about the topic of text mining after having read the New York Times article by Lisa Guernsey (10/16/2003) or heard my Future Tense interview with Jon Gordon (10/20/2003). What is text mining? What are its potential applications and limitations? Text Mining is the discovery by compu