いつものやつ はじめに 各研究の分類 ニュースの品質に関する研究 Predicting News Values from Headline Text and Emotion Incongruent Headline: Yet Another Way to Mislead Your Readers Deception Detection in News Reports in the Russian Language Fake News Detection using Stacked Ensemble of Classidiers From Clickbait to Fake News Detection: An Aproach based Detecting the Stance of Headlines to Articles ニュースとユーザとの関係に関する研究 Predicting U

評価極性辞書の構築 極性辞書は別に感情を取り扱うだけのものじゃない（と思う） 極性のPolarityという意味で軸を対象にネガティブとポジティブが存在するものをさすそうです よく感情をガロア理論のように何かしらの対象構造を取れるとする主張も多いのですが、わたしはこの主張に対して少し懐疑的で、果たして楽しいの反対は悲しいなのか、無数の軸がある中でどうしてそれを対称だと思ったのかなどなど色々疑問点はあります。 すでに東北大学の乾研究室さまが、感情に関する極性に関してはプロフェッショナルであり、たまに彼らの研究成果を後追いしているレベルです。 さて、多くの研究では最初に極性の辞書を主観評価で決定します。これは、主に何を持って悪感情か、嬉しい感情なのか不明なため人間が定義してやる必要があるのですが、ここに主観が混じるので、評価者の人間の判断に委ねられるという側面があります。 機械学習らしく、データ

最大エントロピーモデルについての解説。 既存の資料としては、A Simple Introduction to Maximum Entropy Models for Natural Language Processing や「言語処理のための機械学習入門」（通称高村本）が詳しい。 記事中でもその用語を適宜使ったり、内容を引用したりする。 ここでは、できるだけ直感的に理解できるような説明を目指す。 まず、最大エントロピーモデルとは何か。 最大エントロピーモデルは、分類を行う時に使われる。 たとえば、あるレビューに出てきた単語（good とか bad とか）から、そのレビューがポジティブなのかネガティブなのか分類する、というようなもの。 この分類先のことをクラスと呼ぶ。 最大エントロピーモデルは識別モデルの一種。 識別モデルの他には生成モデルというものもある。 これらの違いは、レビューの例で言う

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 自然言語においても、最近は生ビールを頼む感覚で「とりあえずディープラーニング」となることが多いです。実際ディープラーニングは高精度を記録できることが多いですが、実はその精度は基礎的なモデルでも記録できたり、あげく負けるようなこともあったりします。 研究機関として名高いDeepMindの発表した論文でも、こうした事態がありました。 文章を読み、理解する機能の獲得に向けて-Machine Comprehensionの研究動向-より また、最近はベースラインとして良く利用されているモデルでも最高精度を達成できるといった論文もありました。このよ

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? ============================================= ナイーブベイズ分類器、あるいは単純ベイズ分類器という分類器について解説したいと思います。 何それ？という方。まずはわけがわからないとしてもWikipediaのエントリを見てみましょう。 http://ja.wikipedia.org/wiki/単純ベイズ分類器 上の説明でよくわかったという方はこれ以上先に進む必要はありません。 ナイーブベイズ分類器は、一言でいうと、 分類問題ってベイズの定理を使えば解けるんじゃね？ というものです。入力 $X$

"Bias Analysis in Text Classification for Highly Skewed Data"(Lei and Huan)を読んでいて、「文書分類タスクでよく使われるfeature selectionは４つある。Information GainとChi-squared testとOdds ratioとBi-Normal Separationだ」みたいなことが書いてあった。 自分の中で、あんまりわかってないまま使ってる感があったので、しっかり調べてみた。 Information Gain Information GainはよくIGとか省略される。 IGは要は、「クラスとの関連性がでかい単語ほど大きい値になるよ」というやり方。 簡潔にまとめると、 単語数×クラス数のクロス集計表をつくる。クロス表は(termが出現 or Not)×(クラス=c or Not)の４要素

このようにすることで、 そもそも mecab-ipadic-NEologd に意味はあるの? mecab-ipadic-NEologd で分かち書きして悪影響は無いの? mecab-ipadic-NEologd を週2回も更新することに意味はあるの? などの典型的な疑問について考察する材料を得たいと考えました。 学習器と特徴ベクトルの作り方 学習器は LIBLINEAR を使用しました。LIBLINEAR で学習するときのパラメーターですが、今回は辞書やデータごとに最適なパラメーターを探すことが今回の目的ではありません。そこで、別の期間のデータと MeCab 用の辞書を用意して、事前に実験と相対的に同様なデータと辞書の関係を作って探索することにしました。その結果、「s=5, c=0.8, B=-1」という設定が比較対象の UniDic にとって総合的に有利だったのでそれを採用しました。 各

Twitterで教えて頂きました．なお情弱過ぎたため極性辞書という単語が頭の中に出て来なかった模様．なんだ「＋かーかみたいな辞書」って．Polar Phrase Dictionary，というらしいです． @cocomoff 東工大の高村さんの辞書、東大の鍜治さんの polar phrase dictionary、東北大の乾研で公開している辞書（元々はNAISTの小林のぞみさんが作った評価表現辞書に同じくNAISTの東山さんがポジネガをつけたもの）が代表的なところです。 — Mamoru Komachi (@mamoruk) February 10, 2014 関連の情報はこちらにもありました． [O] 3つの日本語評価極性辞書（岩波国語辞書見出し語、用言のみ、名詞のみ） 単語感情極性対応表 PN Table 日本語および英語の単語とその感情極性の対応表を、 研究目的の利用に限り公開します。

負のオーラを自動検出したい 前回のエントリで、著作権侵害にあたる違法アップロード動画を自分のTwitterで拡散してしまっている懸念を考えて、YouTube動画のリンクが貼ってあるツイートをまとめて削除しました。 前回のエントリでも言いましたが、著作権侵害モノ以外にも、「残しておくとまずいツイート」は色々ある可能性があり、たとえば誹謗中傷の類いがあるかと思います。誹謗中傷ツイートを自動抽出する方法はにわかには思いつきませんが、たぶん「クソ」とか「死ね」とか「バカ」とかそういう悪口の辞書が必要になりそうです。 ところで、言語データの分析手法として、単語ごとに感情特性を評価した辞書というものがあちこちで作られていまして、これを使ってツイートがどのような感情を帯びているか分析するということが、よくやられています。Yahoo!がそういうツールを提供してたりもします（参考リンク）。 Yahoo!のリ

Text ClassificationLatest Update: I have uploaded the complete code (Python and Jupyter notebook) on GitHub: https://github.com/javedsha/text-classification Document/Text classification is one of the important and typical task in supervised machine learning (ML). Assigning categories to documents, which can be a web page, library book, media articles, gallery etc. has many applications like e.g. s

アニメのタイトルを入力する際、変換に手間取ったことはないだろうか。 この記事を読めば、そのような悩みから解放されることになる。 俺は君たちに辞書を配りたい。 アニメタイトル100年分が収録された辞書を。 2016/11/27 更新 辞書データ更新 2016/11/15 更新 辞書データをgithubに上げたことを追記 2016/11/15 更新 416作品追加 タイトルや読み仮名の修正 最強のアニメ辞書 次の文章には誤りがある。 今期で一番おもしろいスポーツアニメは『競女!!!!!!!』である。 わかっただろうか。 正解は「"!"の数が1つ足りない」だ。 このようにアニメのタイトルというものは、正しく入力するのが難しいものもある。それは『競女!!!!!!!!』のように数を間違えやすいものや、『侍霊演武：将星乱』のように読みが分かりにくい*1もの、あるいは『魔法少女なんてもういいですから。』

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? さまざまなニュースアプリ、ブログ、SNSと近年テキストの情報はますます増えています。日々たくさんの情報が配信されるため、Twitterやまとめサイトを見ていたら数時間たっていた・・・なんてこともよくあると思います。世はまさに大自然言語時代。 *from [THE HISTORICAL GROWTH OF DATA: WHY WE NEED A FASTER TRANSFER SOLUTION FOR LARGE DATA SETS](https://www.signiant.com/articles/file-transfer/the-