はてなブックマーク

2017/2/27に国立情報学研究所(NII)から不満カテゴリ辞書データが公開されました。 このデータを使って遊んで見る記事です。 本記事で紹介すること 不満カテゴリ辞書データってのが公開されたよ カテゴリ分類が割と簡単にできる 誰でも利用することができる 注：本記事は、ややステマっぽいです。不満買取センターは私の所属企業ですし、紹介するコードは私が自分で書きました。 そもそも不満買取センターってなによ？ 不満買取センターは「みんなからの不満意見をあつめてるよー」っていう会社です。 ユーザーの皆様から不満意見を頂戴して、分析して、情報を必要とする企業に売りに行くっていうサイクルの活動をしています。 NIIから公開されてるスライドによると、サービス開始から1年10ヶ月で、ユーザー30万人、投稿件数が500万件に達しているとのことです。 不満カテゴリ辞書データって何よ？ 平たくいうと、「カテゴ

この記事の内容 Juman++をサーバーモードで利用すると、はかどる話 形態素解析を簡単に実行するPythonパッケージでJuman++を利用可能にした話 Juman++とは？ Juman++とは京大・黒橋研究室で開発された形態素解析器です。 「それ、Mecabと何が違うん？」と言う点ですが、Juman++では「RNN（いわゆるディープラーニング系のやつ）言語モデルを利用している」点が異なります。 Qiitaでも紹介記事が徐々に増えつつあり、今後の普及が楽しみです。 新形態素解析器JUMAN++を触ってみたけど思ったより高精度でMeCabから乗り換えようかと思った話 複数の形態素解析器を見比べる Juman++のちょっと気になる点 依存ライブラリを新しくしないといけない。特にgcc周り 遅い 依存ライブラリ問題は、gccを更新して、他のコード郡が動かなくなるかもしれない・・・という懸念はあ

% echo "太郎は歌舞伎町の風俗街で豪遊しているので、夜の帝王と呼ばれている。" | juman | knp # S-ID:1 KNP:4.2-04a482f DATE:2016/01/06 SCORE:-39.34690 太郎は──┐　<体言> 歌舞伎町の──┐　　　　　　　│　<体言> 風俗──┤　　　　　　　│　<体言> 街で──┐　　　│　<体言><Wikipediaエントリ:風俗街> 豪──┐　　　│　　　│　<体言> 遊──┤　　　│　<体言> しているので、──┤　<用言:動><格解析結果:ガ/-;ヲ/遊;デ/街> 夜の──┐　　　│　<体言> 帝王と──┤　<体言> 呼ばれている。<用言:動><格解析結果:ガ/太郎;ト/帝王;ノ/-> EOS # S-ID:1 KNP:4.2-04a482f DATE:2016/01/06 SCORE:-27.50426 * 5D <文

この記事は何？ Pythonパッケージの作り方を説明する Pythonパッケージを作るときに意識して欲しいことを説明する この記事はポエムです これまでのあらすじ インターンを迎える予定なのですが、彼らはパッケージを作ったことがないそうです。 一方で、企業としては、パッケージ化までしてくれないと、実務に使うまで時間がかかってしまって大変です。 そこで、社内向けに「Pythonパッケージの作り方」という文書を書きました。これをインターンの人に読んでもらっていい感じのパッケージを作ってもらうぜ！という都合の良い目論見です。 しかし、 私もいままでパッケージ化のノウハウをきちんと体系的に勉強したわけではないので、イマイチ不安です。そこで、Qiitaにポエム投稿して、ポエム修正をしてもらおうと思ったわけです。 ところどころ日本語が変なのはご容赦ください。日本語に不自由してます。1 この記事を読む人

この記事で紹介すること kmeansの距離関数って本当にユークリッド距離大正義なの？ scikit-learnのk-meansって何が動いているの？ scikit-learnのk-meansで距離関数を変更するにはどうするの？ k-means法といえば、みなさんご存知、ぐにょぐにょっとデータを分割してくれるアレですね。 教科書にもよく出てくるアレなので、細かい説明は省きますが、いまだに使われてるのは、（禁則事項です）ということですよね。 あ、ちなみにこういう動画とかこういうツールとか使うと、k-meansの動きがよくわかってナイスだと思います。 で、k-meansではセントロイドと各データとの距離を測るために、「距離関数」が必要になります。 教科書的には「ユークリッド距離」一択のことが多いのですが、それって本当に正しいのでしょうか？ この論文, Anna Huang, "Similarit

この記事で紹介すること 特徴量選択するパッケージ作ったので紹介 テキストデータから特徴量選択することの大切さ 代表的な特徴量選択の手法 かんたんな例 てかなんで、特徴量選択とか必要なの？ これを読んでいる方は、すでにテキストデータから特徴量（以下、素性）を抽出して何かしろの機械学習を試したことがある方だと思います。たとえば、文書分類とかですね。 Qiitaをサクッと探してみてもいくつか「やってみた系」の記事が見つかります。 モーニング娘。のブログを自動分類してみました。 Rで自然言語処理。ナイーブベイズで文書分類を試みる 文書分類では、単語を素性に利用して、行列データを作成するのがベーシックな手法です。頻度行列と呼ばれる行列ですね。 さてさて、ここで１つ疑問が出てきます。分類に関係ないような単語も多く含まれているけど、それって大丈夫なの？ よい疑問です。大丈夫ではないです。 分類に関係ない

この記事の内容 Pythonで形態素解析器の比較ができるパッケージ作りました。 Python2.7, Python3.xで動作します。 4つの形態素解析器をサポートしてます pipでインストールできます。 pip install JapaneseTokenizer パッケージのURL ただしWindowsはダメです。ごめんなさいね。 パッケージの特徴 単語分割するための簡単なインターフェース提供 「単語分割 -> ストップワードと品詞でフィルタリング」の操作が1行で完結 Mecab, Juman, Juman++, Kyteaの4種類を同じインターフェースで呼び出し可能 実務でバリバリ使える 株式会社インサイトテックの至るところで1年間半以上、使われてます。 数百万件のテキストでも割とバリバリと処理してくれます 実は本家のpyknp(v0.3)よりも動作が早い 辞書追加の簡単なインターフェ

この記事で紹介すること Deep Learning(RBM)を使って遊んでみる１事例としてミスコン支援アプリを作る PyLearn2で簡単に学習を実行 Pythonコードでインタラクティブな散布図を作成する はじめに Deep Learningを使ったタスクの応用事例として、「ミスコン支援アプリを作る」ということをやってみました。 いまは便利な世の中で、大学ミスコンのポータルサイトが存在します。 出場者が多く、楽しみがいもあります。 しかし、同時に、全員をまとめて眺めてみたい気もしました。 そして、似た顔をまとめてみたいとも思いました。（邪道なのかもしれませんが、少なくとも私はそうやってミスコンを楽しんでいます） そこで、今回は次の目標を設定します インタラクティブな散布図を作る。 散布図をみて、似た顔が集まっていれば成功 ミスコン支援したいので、投票するモチベーションが高くなればOK（個