概要 すぐに使えるKNBCコーパスを対象に、モダンなRの書き方でテキスト解析したときのメモです。TF-IDFや共起頻度（ネットワーク作成）、LDAやGloVeまでをパッケージで実行しました。 解析済みブログコーパス 定義・設定 最初に処理で利用するライブラリの読み込みや定数・関数の定義。 library(pacman) library(widyr) # 読み込むパッケージ SET_LOAD_PACKAGE <- c("tidyverse", "Rcpp", "chunked", "tidytext", "visNetwork", "textmineR", "Matrix", "topicmodels", "LDAvis", "text2vec") # コーパスファイルの設定 SET_CORPUS_FILE <- list( DOWNLOAD_URL = "http://nlp.ist.i.

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

$ mecab (入力) 毎日が土曜日だと良いのになあ 毎日 名詞,固有名詞,組織,*,*,*,毎日,マイニチ,マイニチ が 助詞,格助詞,一般,*,*,*,が,ガ,ガ 土曜日 名詞,副詞可能,*,*,*,*,土曜日,ドヨウビ,ドヨービ だ 助動詞,*,*,*,特殊・ダ,基本形,だ,ダ,ダ と 助詞,接続助詞,*,*,*,*,と,ト,ト 良い 形容詞,非自立,*,*,形容詞・アウオ段,基本形,良い,ヨイ,ヨイ の 名詞,非自立,一般,*,*,*,の,ノ,ノ に 助詞,格助詞,一般,*,*,*,に,ニ,ニ なあ 助詞,終助詞,*,*,*,*,なあ,ナア,ナー EOS こんな感じで形態素解析ができるように。 辞書追加 本来入っている辞書を追加 上記のやり方だと、/usr/local/Cellar/mecab/0.996/lib/mecab/dic下にipadicが入る。 brewでインストール

日本語テキスト解析を行うRMeCabには、docMatrix関数という便利な関数があります。これは、docMatrixは、第1引数で指定されたフォルダ内のすべてのファイルを読み込んで、ターム・文書行列を作成する、いかにも形態素解析っぽいナイスガイな関数です。 今回の記事は、Rによるテキストマイニング入門のP62をもとに書いていますが、本にものっていないdocMatrix関数の使い方について書き残しておきます。 1.日本語文章を2つのファイルに そもそも、docMatrix関数はフォルダ内の複数のファイルをまとめて行列を作成してくれます。なので、docsフォルダに2つのテキストファイル(doc1.txtとdoc2.txt)を格納します。 ちなみに今回使用するネタは、川端康成の「雪国」の序文です。 序文その1（doc1.txt） 国境の長いトンネルを抜けると雪国であった。夜の底が白くなった。信

この記事は abicky.net の MeCab ソースコードリーディング私的メモ（形態素解析編） に移行しました

こんにちは、買物情報事業部の荒引 (@a_bicky) です。 前回、「検索結果の疑問を解消するための検索の基礎」で単語単位でインデキシングする前提で説明しましたが、今回は文などを単語単位で分割するために使う技術である形態素解析について触れます。 形態素解析器には色々ありますが、中でもメジャーと思われる MeCab の仕組みについて説明します。 MeCab の解析精度を上げるために辞書に単語を追加したことのある方もいると思いますが、動作原理を理解することで単語を追加する際に適切な生起コストを設定できるようになったり、学習の際に適切なパラメータを設定できるようになったりするはずです。 なお、MeCab は汎用テキスト変換ツールとしても使用できます が、簡単のため MeCab + IPA 辞書のデフォルト設定前提で説明します。 アジェンダ 形態素解析とは MeCab における最適な解析結果の推

はじめに 任意のテキストファイルにどのような特性があるのか？そのテキストファイルに、ネガティブな発言が多いか、それとも、ポジティブな発言が多いかの傾向をざっくりと把握するには、ネガポジ度を分析するとよいです。このTipsでは、とある組織のウィークリーレポートを使って、その内容にどのような特性があるのかを分析してみます。手順としては、①ウィークリーレポートをRMeCabで形態素解析後、②単語感情極性表(注1)からスコアを算出し、③ネガポジ度を三次元円グラフで描画します。単語感情極性とは、その語が一般的に良い印象を持つか（positive） 悪い印象を持つか（negative）を表したものです。例えば、「良い」、「美しい」などはpositiveな極性、 「悪い」、「汚い」などはnegativeな極性を持ちます。 テキストのネガポジ度を分析する ▼サンプルスクリプト # 三次元円グラフライブラリ

# R v3.2.2で"package ‘RMeCab’ is not available (for R version 3.2.2)"というエラーが出たので対応． $ r # error > install.packages("RMeCab") > 警告メッセージ: > package ‘RMeCab’ is not available (for R version 3.2.2) # success > install.packages ("RMeCab", repos = "http://rmecab.jp/R", type = "source") > library("RMeCab")

About A Part-Of-Speech Tagger (POS Tagger) is a piece of software that reads text in some language and assigns parts of speech to each word (and other token), such as noun, verb, adjective, etc., although generally computational applications use more fine-grained POS tags like 'noun-plural'. This software is a Java implementation of the log-linear part-of-speech taggers described in these papers (

追記 （３月２８日追記）neologd側でインストール時にユーザ辞書を生成すれば対応できるので別途記事を書いた。そちらを参照のこと。 http://d.hatena.ne.jp/dichika/20150328/p1 経緯 MeCabの新しい辞書が公開された。 https://github.com/neologd/mecab-ipadic-neologd/blob/master/README.ja.md 開発者の方が今週末のTokyoRで発表してくださるらしいが俺は行けない。 https://atnd.org/events/63990 行けないのでRMeCabから使ってみてこの気持ちを昇華させる。 使い方 Mac、Linuxなら難しくない。 インストールは公式の手順に従えば良い。 https://github.com/neologd/mecab-ipadic-neologd/blob/ma

4. KHCoderとは • KH Coderとは、テキスト型（文章型）データを統計的 に分析するためのフリーソフトウェアです。アンケー トの自由記述・インタビュー記録・新聞記事など、 さ まざまな社会調査データを分析するために制作しま した。「計量テキスト分析」または「テキストマイニン グ」と呼ばれる方法に対応。 (作者HPより引用) http://khc.sourceforge.net/

概要 偶然５７５７７になっている文章を短歌としてつぶやく Twitter の bot を作りました。 フクロウが鳴くと明日は晴れるので洗濯物を干せという意味 #tanka ウィキペディア日本語版「フクロウ」より http://t.co/Dm1uHcQdzR— 偶然短歌bot (@g57577) 2014, 12月 31 再帰的アルゴリズムが有効な問題として有名であり #tanka ウィキペディア日本語版「ハノイの塔」より http://t.co/vm2ZqwImKi— 偶然短歌bot (@g57577) 2014, 12月 31 文章はウィキペディア日本語版を対象としました。 作り方 jawiki-latest-pages-articles.xml.bz2 をダウンロード。 WP2TXT で上記を扱いやすい形式に変換。 このスクリプト で５７５７７になっている文を抽出。数時間かけて（遅い）

概要 本稿はRakutenMAというJavaScriptだけで動く学習器付きの形態素解析器を利用する入門記事です。本記事を読了すると、形態素解析の実行と形態素解析のモデルを作成・更新出来るようになります。 また、本稿ははてな×PC工房との連動企画の補足をするべく書きました。 「あんちべさんと一緒に Rakuten MA で形態素解析」はてなニュース連動企画 第二弾！ : パソコン工房 パソコン工房のPCで遊ぼう第2弾！ あんちべさんと一緒に Rakuten MA で形態素解析 - はてなニュース RakutenMAを利用したエディタ判定器デモ エディタ判定器 :パソコン工房 【やじうまWatch】Emacs派とVim派の対立を煽る「エディタ判定器」が面白いと評判 -INTERNET Watch はじめに 近年、twitterやFacebookなどのSNSやAmazonのレビューなどから得ら

javaで動作できる形態素解析ソフトを探してMeCabというソフトを知り、試しにMacで動作させてみました。 インストール先 Mac OS X：10.7.2(Lion) java：1.6.0_29 インストールするMeCab MeCab本体：0.98 MeCab辞書：2.7.0 MeCab本体をインストール MeCab本体のダウンロードサイトから最新版をダウンロード。 mecab-0.98.tar.gzを取得し、/usr/local/srcに配置。 srcディレクトリ（無ければ作成して）に移り、解凍。 $ cd /usr/local/src $ tar zxvf mecab-0.98.tar.gz 作成された「mecab-0.98」ディレクトリに移動し、configureします。 このとき、prefixでインストール先を、with-charasetでutf8を指定しておきましょう。 $ c

顔文字を形態素解析？ テキストコミュニケーションにおける「身振り手振り言語」とも言われる顔文字は、目・鼻・口などの顔のパーツから構成されています。ところで顔文字をパーツごとに分割し、パーツの種類（品詞）を推定するというタスクは、形態素解析と同じ問題に帰着します。そこで今回私は、形態素解析器として使われているMeCabを用いて、顔文字を形態素解析してみました。 デモ まずはデモを試してみてください。 http://www.haroperi.info/cgi-bin/emoticon.cgi 実行結果 未知語処理が苦手なようで、なかなか正確な形態素解析は行えませんが、教師データを解析してみると、以下のように綺麗に分割・品詞付与されます。 詳細 詳細はhttp://www.haroperi.info/emoticon/mecab.htmlに書きました。これ以上はどこにも書いていません。 今後、M