MeCabとは、形態素解析をするためのライブラリです。 NEologdとは、Web上から得た新語に対応しており、毎週更新されるMeCab用のシステム辞書です。 この二つで最新の単語に対応した形態素解析ができます！ 「画像での上のコマンド」がデフォルトの辞書、「画像での下のコマンド」がNEologdです。 NEologdでは、「ポケモンGO」「位置情報」などが固有名詞として取得できている。 インストール確認環境 ・さくらVPSのCentOS6 ・AWSEc2のCentOS7 MeCabのインストール 公式サイト http://taku910.github.io/mecab/ ダウンロードするもの まずは公式サイトに行き、 ・Sourceからmecab-0.996.tar.gz ・IPA 辞書から辞書 の２つをダウンロードします。 ２つをサーバでインストールする ・mecab-0.996.ta

連載第2回目では、GCP（Google Cloud Platform）のNatural Language APIを用いた簡易的なツイート分析のWebアプリケーションを紹介しながら、このAPIを利用する方法を解説します。Cloud Natural Language APIは、人間が使う自然言語を対象として構文解析や固有表現抽出などの処理を行う、「自然言語処理」の機能を提供しています。2017年3月現在、英語・日本語・スペイン語の3つの言語に対する各処理がサポートされています。 1.アプリケーションの全体像 はじめに、サンプルアプリケーションの内容を説明しておきます。今回のアプリケーションは、Twitterのユーザーを指定して（図1）、そのユーザーの最近の呟きがどれくらいポジティブで どんな単語を呟いているのか（図2）、を機械的に傾向分析するものです。この分析のための「感情分析」と「エンティテ

皆さん、こんにちは。テクニカルエバンジェリストの戸倉彩です。 マイクロソフト本社のMicrosoft Imagine(読み方:マイクロソフト イマジン)チームが公開しているGitHubに、今注目されている人工知能が体験できる 「Cognitive Services(読み方:コグニティブサービス)」 の一部となる自然言語解析サービス『LUIS(Language Understanding Intelligent Services)』 のワークショップやハンズオン等に参考になるコンテンツが新たに加わりましたので、ご紹介させていただきます。 ■LUIS Hands on Labo (英語) https://github.com/MSFTImagine/computerscience/blob/master/Workshop/14.%20LUIS/LUIS%20HOL.md ■このHands on

放送大学が自然言語処理（NLP）の講義を今年から配信すると聞いた。2月ごろ。 以前から興味があった＆業務でちょびっとかじったNLP。面白そうだったので、単位取得までしてみるか。ということで、放送大学 自然言語処理('15)を科目履修生として履修しました。 受講した理由は、ネット（たしかTwitterだったような...）で知って、座学を体系だってインプットしてみるか思い立ったため。業務でちょびっとかじったことあるのも関係していると思う。 受講したいけど、悩んでるって人がいたら、コメント欄やツイッターなどで連絡取ってみてください。詳細答えます。記事へのツッコミも歓迎。 結論・結果 無事単位取得。 すっごい楽しかった。 客員として京大黒橋教授の講義がラジオ配信で受けられるとかラッキーだった。 体系通り基礎を学ぶことができた。 コストは18,000円と諸経費α（学生証の写真代とか） 実際には書籍に

We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

クラスタ分析って？K平均法って？ こんなの。 クラスタ分析：データを似たもの同士グループ分けする分析。 K平均法：クラスタ分析の手法のひとつ。 応用分野は色々あるけど、まぁ一番わかりやすい例が 座標上にバラバラに散らばった点をご近所さん同士まとめるプログラム。 今回作るのがこれ。 どうやるの？ Wikipediaによると、こうやるらしい。 K-平均法は、一般には以下のような流れで実装される。 データの数を n 、クラスタの数を K としておく。 1.各データ x_i(i=1... n) に対してランダムにクラスタを割り振る。 2.割り振ったデータをもとに各クラスタの中心 V_j(j=1... K) を計算する。計算は通常割り当てられたデータの各要素の算術平均が使用される。 3.各 x_i と各 V_j との距離を求め、x_i を最も近い中心のクラスタに割り当て直す。 4.上記の処理で全ての

みなさまこんにちは。 前回の連載 【特別連載】 さぁ、自然言語処理を始めよう！（第1回： Fluentd による Tweet データ収集） では Twitter Streaming API 経由で、日本人がつぶやいた Tweet の 1% ランダムサンプリングデータを fluentd を用いて取得し、その結果を DB (MySQL) に格納しました。 今回はこの集めた Tweet データを、形態素解析ライブラリの MeCab 、Python というプログラミング言語、数値計算用ライブラリである numpy、scipy、scikit-learnを用いて「ある時間における特徴的な言葉」を機械的に抽出してみたいと思います。 実行環境は前回構築した Amazon Web Service (AWS) の fluentd 用サーバを引き続き利用します。 ・前回利用した Fluentd 用サーバ (AW

リクルートテクノロジーズの大杉です。 広島市立大学修士２回生の飯沼さんと一緒に、自然言語要約ツールを作りましたので、リクルートテクノロジーズのgithubアカウントにて公開します。このapiでは、入力した文章から、指定したパラメータ（行数など）に応じて、重要だと思われる文の抽出ができます。例えば、当ブログ当記事の直前のこの記事を3行で要約すると、以下のようになります。 1. “リクルートテクノロジーズでは、ここ最近、UXデザインの専門家とビッグデータの専門家が、協力してリクルートグループ内の各事業に入り、プロジェクトを推進していく事例が多くなっています。”, 2. “UXデザインでは、定性的なリサーチと定量的なアクセスログ解析を組み合わせて、ユーザ行動を可視化することは以前からやってきました。”, 3. “「成功体験とは何か」を定義して、きちんとデザインできるかが、UXデザインの大きな

こんにちは、買物情報事業部の荒引 (@a_bicky) です。 前回、「検索結果の疑問を解消するための検索の基礎」で単語単位でインデキシングする前提で説明しましたが、今回は文などを単語単位で分割するために使う技術である形態素解析について触れます。 形態素解析器には色々ありますが、中でもメジャーと思われる MeCab の仕組みについて説明します。 MeCab の解析精度を上げるために辞書に単語を追加したことのある方もいると思いますが、動作原理を理解することで単語を追加する際に適切な生起コストを設定できるようになったり、学習の際に適切なパラメータを設定できるようになったりするはずです。 なお、MeCab は汎用テキスト変換ツールとしても使用できます が、簡単のため MeCab + IPA 辞書のデフォルト設定前提で説明します。 アジェンダ 形態素解析とは MeCab における最適な解析結果の推

概要 偶然５７５７７になっている文章を短歌としてつぶやく Twitter の bot を作りました。 フクロウが鳴くと明日は晴れるので洗濯物を干せという意味 #tanka ウィキペディア日本語版「フクロウ」より http://t.co/Dm1uHcQdzR— 偶然短歌bot (@g57577) 2014, 12月 31 再帰的アルゴリズムが有効な問題として有名であり #tanka ウィキペディア日本語版「ハノイの塔」より http://t.co/vm2ZqwImKi— 偶然短歌bot (@g57577) 2014, 12月 31 文章はウィキペディア日本語版を対象としました。 作り方 jawiki-latest-pages-articles.xml.bz2 をダウンロード。 WP2TXT で上記を扱いやすい形式に変換。 このスクリプト で５７５７７になっている文を抽出。数時間かけて（遅い）

この記事は abicky.net の Latent Dirichlet Allocation (LDA) ゆるふわ入門 に移行しました

「Word2Vec」は、米グーグルの研究者であるトマス・ミコロフ氏らが提案した手法であり、いくつかの問題について従来のアルゴリズムよりも飛躍的な精度向上を可能にした自然言語処理の手法。 Word2Vecは、その名前の表す通り、単語をベクトル化して表現するする定量化手法である。例えば日本人が日常的に使う語彙数は数万から数十万といわれるが、Word2Vecでは各単語を200次元くらいの空間内におけるベクトルとして表現する。 その結果、今まで分からなかったり精度を向上するのが難しかった単語同士の類似度や、単語間での加算・減算などができるようになり、単語の「意味」を捉えられるようになった。 というわけで、かなり興味深いないようなので、早速実践してみることにします。 1.環境構築 subversionを使ってWord2Vecのソースコードをcheckoutする。 mkdir ~/word2vec_t

Twitter で新しい MeCab 用の辞書が公開されたことを知ったので、例によって NMeCab で試してみました。 [O] MeCab 用の新語辞書 mecab-ipadic-neologd を公開しました MeCab に付いている IPA 辞書はかなり更新されていないので新語に弱いですが、今回公開された新しい辞書は Wikipedia やはてなキーワードなどから新語を収録しているらしいです。これは素晴らしいですね。 この mecab-ipadic-neologd は Linux か OS X 上でビルドする必要があるみたいなので、適当に立ち上げてあった Ubuntu の仮想マシン上にインストールして、バイナリ辞書を Windows にコピーしてくることにします。 公開された辞書はインストール時に IPA 辞書をベースにしてコンパイルしてくれるみたいです。ちなみに辞書のサイズはコンパ

About the content This content has been published here with the express permission of the author. Apple has offered an API for natural language processing since iOS 5, which allowed us to tokenize text, detect the language, and determine parts of speech. With Swift and the introduction of Playgrounds, it’s faster and more delightful than ever to experiment with linguistics. We welcomed Ayaka Nonak

概要 本稿はRakutenMAというJavaScriptだけで動く学習器付きの形態素解析器を利用する入門記事です。本記事を読了すると、形態素解析の実行と形態素解析のモデルを作成・更新出来るようになります。 また、本稿ははてな×PC工房との連動企画の補足をするべく書きました。 「あんちべさんと一緒に Rakuten MA で形態素解析」はてなニュース連動企画 第二弾！ : パソコン工房 パソコン工房のPCで遊ぼう第2弾！ あんちべさんと一緒に Rakuten MA で形態素解析 - はてなニュース RakutenMAを利用したエディタ判定器デモ エディタ判定器 :パソコン工房 【やじうまWatch】Emacs派とVim派の対立を煽る「エディタ判定器」が面白いと評判 -INTERNET Watch はじめに 近年、twitterやFacebookなどのSNSやAmazonのレビューなどから得ら

概要 この記事は自然言語処理という分野の最新手法word2vec を利用して誰でも遊べるようにするための手順を説明するものです。 word2vecを利用すると意味の計算が実現できます。 例えば"king"から"man"を引いて"woman"を足すと"queen"が出てきたり、 "東京"から"日本"を引いて"フランス"を足すと"パリ"が出てくるという面白い手法です。 自然言語処理とは人間が日常的に用いる自然言語をコンピュータに処理させ、 翻訳や要約、文字入力支援や質問応答システムを作るなどに活用されている分野です。 自然言語処理と言うと耳慣れない言葉かもしれませんが、 実は検索や推薦などで私たちが日常的に利用しているなじみ深い技術でもあります。 自然言語処理の適用範囲や要素技術は幅広いのですが、 その中でもword2vecの特色は、 冒頭でも挙げたように「意味の計算」が出来ることです。 これ