別にブログに書いてもしょうがないかなーと思っていたのですが、同じような目に遭う方がいるかもしれないのでちょろっとだけ書いておきます。 先日Stupaという関連文書検索システムを公開したのですが、その中で使用していたBayesian Setsというアルゴリズムが既に特許を取得されているため、公開を停止してほしいってメールが来ました。以前に公開したBayesian SetsのCPANモジュールAlgorithm::BayesianSetsも同様に下ろしてほしいとのことでした。特許の内容は以下のページに書いてあります。 http://www.wipo.int/pctdb/en/wo.jsp?WO=2007063328 特許の出願者がBayesian Setsの論文の著者と大学の機関のようなので、おそらく論文発表の前に出願したのではないかと思います。請求項の内容などをすべて詳細に読んだわけではない

いつものやつ はじめに 各研究の分類 ニュースの品質に関する研究 Predicting News Values from Headline Text and Emotion Incongruent Headline: Yet Another Way to Mislead Your Readers Deception Detection in News Reports in the Russian Language Fake News Detection using Stacked Ensemble of Classidiers From Clickbait to Fake News Detection: An Aproach based Detecting the Stance of Headlines to Articles ニュースとユーザとの関係に関する研究 Predicting U

皆さんこんにちは お元気ですか。週末の発表資料も作っています。 本記事は自然言語処理アドベントカレンダー第13日です。 qiita.com 画像処理ではデータをアフィン変換などで変形して、 画像を拡張する処理（＝Data Augmentation）が知られています。 変換などをかけて過学習を防ぐ役割が１つとしてあります。 今回は、自然言語処理でもData Augmentationを実現したいと思います。 テキストのData Augmentationの意義 自分でデータセットを作る場合に、全てを網羅して１つ１つの単語が変わった場合を 作り上げるのは非常に困難で、時間がかかります。 そのため、一定の問題ない範囲（＝結果が変わらない範囲）で データを拡張する試みをすることで精度やロバストな学習ができる可能性があります。 WordNetの説明 Wikipediaより WordNet（わーどねっと）

皆さんこんにちは お元気ですか。アドベントカレンダー真っ盛りですね。 本日は「python Advent Calendar 2017」のアドベントカレンダー第5日です。 qiita.com 自然言語処理には様々なライブラリ（NLTKやCoreNLP）があります。 せっかくの機会として、本記事では紹介が少ないspaCyを紹介します。 spaCy spaCyとは spaCyはPythonの発展的な自然言語処理のライブラリです。 実際に使われていることを想定しており、英語、ドイツ語、フランス語、スペイン語に対応しています。 トークナイザーは日本語もあるとのこと（確かJanomeで動作します）。 github.com 次のリンク先には他の自然言語処理ライブラリの アルゴリズムの観点や精度（Dependency parsing、Named entity comparison）が 載っており、他のライ

背景 自然言語処理分野の博士課程の学生です。何もわからないのが得意 研究テーマないし進め方に悩んでいます。その考えごとを書きます 何もわからん ここに何を書きたいか 研究が進められていない気がする。論文が書けない気がする。何も考えていないわけではないと思うが、自分の研究をどのように進めればよいのか混乱している。自分の目的・条件・研究分野の性質等を整理して、手がかりを得たい。という感じです。本当は（訓練のためにも）英語で書くべきですが、やはり日本語で考えたほうが脳内の通りがよいので（たとえばこういう表現自体を英語にできない）このまま日本語で書きます。 個人的な目的・目標 自然言語処理や計算言語学（以下 NLP/CL）と呼ばれるものの定義は様々ですが、個人的には「人間がどのように言語を獲得・理解・産出（以下まとめて処理とします）するのかを計算可能な仕方でモデル化し、言語資源・知識資源・視覚や音

研究開発部の原島です。部のマネージメントのかたわら、自然言語処理関連の開発に従事しています。本エントリでは、最近社内で開発した自然言語処理システムを紹介します。 ■ 「しょうゆ」のバリエーションは 100 種類以上 クックパッドで以前から解決したかった課題の一つに材料の名前（以下、材料名）の正規化があります。 クックパッドのレシピは複数の材料から構成され、各材料は名前と分量から構成されています。例えば、上のレシピの一つ目の材料は「豚薄切り肉」が名前で、「200g」が分量です。 さて、この材料名はこのレシピでは「豚薄切り肉」という表現でした。しかし、他のレシピでは「豚うす切り肉」という表現かもしれません。「豚うすぎり肉」や「ぶた薄切り肉」、「豚薄ぎり肉」等の表現もありえますね。 これは異表記同義（いわゆる表記揺れ）の問題ですが、同様の問題は他にも沢山あります。例えば、以下のようなものです。

統計的自然言語処理を徹底的に論じた教科書 原著が刊行されたのは18年ほど前になるので、本書の内容の一部は歴史的な記録となっており、現在の状況に照らして異なる含意を読み取るべき言及もある。そのような若干の注意書きを要するとはいえ、本書の重要性、今日性は高い。 学問的基礎の記述の豊かさに加えて、マルコフモデルや確率文脈自由文法など、統計的自然言語処理の基盤となる概念について、丁寧な式の導出を含めたわかりやすい説明がなされている。そのような理論的基盤と合わせて、n-グラムモデルにおけるスムージングや分類学習における過学習など、実際に研究を進める上では重要でありながら、えてして短めの注意書きになりがちな部分についても、十分な量が割かれている。 「今」の自然言語処理研究をその基礎から正しく理解し、その上に新たな積み上げを行うための基盤を提供してくれる良書となっている。 ［原著名：Foundation

NLP若手の会、通称YANSに行ってきました。 今回写真を一枚も撮っていなかったのが残念です。部屋にいる時間が少なくて、ほとんど電池が切れてしまっていました。。 Twitterの様子は小町先生がまとめてくださっています。（Togetterまとめ） YANSとは NLP若手の会 (YANS) は、自然言語処理および関連分野の若手研究者の交流を促進し、若手のアクティビティを高めることを目指したコミュニティです。 (NLP若手の会 第9回シンポジウム) 研究の発表も多々あるのですが、それ以上にNLPの若手な人たちの交流会や親睦会のような役目も大きいようです。特に今年はその色が強かったようで、普段は各々がホテルを取って参加するような形式だったところ、今回は2泊3日の合宿形式でした。様々な方々の協力によって合宿形式の実現ができたそうです。運営委員の方々やスポンサーの方々に感謝です。 特に、ただでさえ

こんにちは。白木（@YojiShiraki）です。デザイナーです。 今日はPythonで英文形態素解析をする上でお手軽便利なpolyglotについて紹介します。 背景 当社ではデータを分析・解析する機会がままありまして、こうしたときに自然言語解析の処理のツールを利用しています。特に最近では英語データが多く、このあたりのツールのニーズが高くなっています。 しかし、いざ英語の解析となると意外に情報がありません。 例えば、日本語の解析ならMeCabやChaSen、Kuromojiといったものはすぐ見つかります。しかし英文の自然言語解析ではTreeTaggerの情報は目につくもののイマイチまとまった情報がありません（このページやこのページに他の選択肢がまとまっていますが）。 おそらくこの領域ではNLTKが王道なのかと思いますが、やや重厚感あります。 そこでもう少しライトなものをということでPoly

のように、単語を複数の特徴と数字で表現したものです。高次元なので、この特徴の項目を200個~300個にして表現します。 GoogleのTensorFlow、FacebookのFastTextというライブラリはディープラーニングを用いてテキストデータから分散表現されたモデルを獲得します。 Embedding Projector を見るとすごくイメージしやすいです。 このサービスはGoogleが提供しているもので、分散表現が3Dまたは2Dで可視化されたサービスです。これを用いて例えば”Japan”と入力すると (見づらいのでご了承ください…) “korea”,“chainese”とともに”manga”や”sony”といった日本に関連の深い単語が表示されます。”manga”と”anime”はとても近いことがわかります。 面白い技術です。これは使ってみたい！ということで Pythonを使って”類似

本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 こんにちは、アナリティクスサービス本部の三浦です。 本日はSkip-thoughtというアルゴリズムを用いた、テキストの数値ベクトル化についてご紹介したいと思います。 ■Skip-thoughtとは Skip-thoughtとはRyan Kirosらによって2015年に考案された、文書中の文の表現を数値ベクトル化する、深層学習のアルゴリズムです。アルゴリズムの特徴として教師なし学習であることが挙げられ、学習する際にラベル付けやアノテーションされたテキストは必要ありません。順序付けられた文で構成された文書*1さえ存在すれば、それを元に学習を行いモデルを構築することが可能です。 数年前に単語をベクトル化できるWord2vec*2が話題になりましたが、Skip-thoughtは単語ではなく文やフ

ランニングできず　英語30分 The Boune Leagacy (1) DeepMindの自然言語を理解するUNREALモデルの論文を読み、深い感動を覚える。 このモデルは自然言語理解に於ける２つの懸案事項を解決している。 ・計算機が言語を教える事を可能にした。 言語理解で正解すれば計算機がエージェントに報酬を与えることで、 数十万の繰り返し学習を可能にした。従来は人間が計算機に教えるしかなく、 試行回数の壁があった。 ・複雑な文章理解では、単純な文章学習を経ていけば可能になることを実証した DeepMindの証明したかったことは以上の3点である ・言語理解を解明するには、人間の環境に似た３要素の模擬環境が必要 ・動作できるエージェント ・エージェントが存在する３D環境 ・報酬と罰則 ・言語学習には相当な繰り返しが必要 ・複雑理解では適切な学習手順が必要

こんにちわ。白ヤギコーポレーションでエンジニアをしている谷田です。 自然言語処理では、テキストに含まれる単語をベクトルとして表現するというタスクが頻繁に発生します。最近ではそのために、日本語テキストが来たらMeCabに渡してword2vecに投入する、というのが定番パターンのひとつかと思います。word2vecは単語を分散表現と呼ばれる低次のベクトルに変換するモデルですが、単語をベクトルに変換するためには事前に学習を走らせておく必要があります。word2vecモデルの学習にはよくWikipedia日本語版をコーパスとして使ったりするのですが、全記事で学習を走らせると結構時間がかかります。 そこで、白ヤギが作った日本語word2vecモデルを公開します! http://public.shiroyagi.s3.amazonaws.com/latest-ja-word2vec-gensim-mo

世界中の学会および業界から100人以上のボランティアと71チームの協力を得て、偽ニュース根絶のために行われている草の根運動が「Fake News Challenge」です。同プロジェクトを推進するのはDean Pomerleau氏とDelip Rao氏の2人で、プロジェクトの目標は「機械学習や自然言語処理、人工知能(AI)といった技術を用いてニュース記事の中に隠れるねつ造や誤報を識別することの可能性を模索すること」とのこと。 Fake News Challenge http://www.fakenewschallenge.org/ 偽ニュースは、ニューヨーク・タイムズにより「読者を欺く意図で作られる『作り話』」と定義されています。この偽ニュースを正す動きは現在の報道界において最も重大なチャレンジになることは明らかで、既にワシントン・ポストが偽ニュースを配信するサイトを200以上掲載したブラ

こんにちは。技術本部：秋葉原ラボの数見です．Advent Calendar 2016 4日目では，Twitterデータを利用したAbemaTVの分析について紹介したいと思います。 所属は異なりますが，弊社アドテクスタジオ（アドテクブログはこちら）で開催されている自然言語処理ゼミに参加していました． ゼミ活動の一環で，Twitterのデータを利用することができたので，同じく秋葉原ラボの角田と一緒に， AbemaTVの立ち上げから3ヶ月間、Twitter上のユーザのAbemaTVに対する反響を調査した分析事例を紹介したいと思います．具体的には，以下の3点について分析を行いました． どういったツイートがリツイートされているか ユーザから，サービスに対してどのような要望があるのか どのようなことに興味のあるユーザがAbemaTVを利用しているのか 1. リツイート分析 ある期間における， Abem

(06/13 19:25 追記：バイオ系を追加しました) (06/23 : 画像系を追加しました) (09/30 : RNNのまとめを追加しました) 最近、github上でarxivの面白い論文（主にdeep learning系）をまとめている人が多いので、 自分の知っている有用なリンクをまとめておきます。 自然言語処理、強化学習とカテゴリごとにまとめてくれる人が居て有り難いですね。 自然言語処理系 NLPの論文 github.com NLPの論文（感想も載せているので有り難い） github.com 画像系 github.com 強化学習系 GitHub - junhyukoh/deep-reinforcement-learning-papers: A list of recent papers regarding deep reinforcement learning github.c

{ "entities": [ { "salience": 0.26294392, "mentions": [ { "text": { "content": "語", "beginOffset": 51 }, "type": "COMMON" }, { "text": { "content": "語", "beginOffset": 63 }, "type": "COMMON" }, { "text": { "content": "語", "beginOffset": 81 }, "type": "COMMON" } ], "type": "OTHER", "name": "語", "metadata": {} }, { "salience": 0.16206388, "mentions": [ { "text": { "content": "Google", "beginOffset":

米Googleは5月12日（現地時間）、機械学習システム「TensorFlow」に統合されたニューラルネットワークフレームワーク「SyntaxNet」をオープンソースで公開したと発表した。GitHubで公開されている。 自然言語理解（NLU）システムの基礎を提供するものという。SyntaxNetには、新たなモデルに学習させるのに必要なすべてのコードと、英語の文章の構文解析のためにGoogleが開発した英文解析ツールの「Parsey McParseface」が含まれる。 Parsey McParsefaceは、言語構造解析方法を学習する強力な機械学習アルゴリズム上に構築されており、文章内の各ワードの機能的役割（動詞、形容詞など）を解析できるという。Parsey McParsefaceは世界で最も正確な構文解析ツールだとGoogleは説明する。 コンピュータにとって、人間の話す自然言語はあまり