With many products comes many reviews for training.In this article, we will be using fine food reviews from Amazon to build a model that can summarize text. Specifically, we will be using the description of a review as our input data, and the title of a review as our target data. To download the dataset, and learn more about it, you can find it on Kaggle. If you decide to build a model like mine,

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに はじめまして。NTTデータ数理システムでリサーチャーをしている大槻 (Ken) です。 人間と雑談を行うチャットボットを作ることに関心を抱いています。 最近あちこちでチャットボットを耳にするようになりましたね。 Microsoft の女子高生AIりんなや、LOHACO のマナミさん、リクルートテクノロジーズの A3RT Talk API など、様々なチャットボットが盛んに開発されています。その勢いから 2016年はチャットボット元年だったとも言われているほどです。ディープラーニング業界でも自然言語処理系の研究が急速に増えており

@tkngueと共著 TL;DR NMTを試してみました. 翻訳結果を見ると、うまくいっている翻訳は驚きの結果でした. ただ,内容語をとんでもない間違いかたをしているものもあったりして面白かったです. 概要 __"でぃ〜ぷらーにんぐ"__の波が機械翻訳にも来ていて 大きなパラダイムシフトになりつつあります. その圧倒的な表現能力の高さ　や　高価なGPGPUが大量にないと話にならないお金持ちゲーであること や 膨大なハイパパラメータ（学習の際の設定の組み合わせ）が 存在することから 「さわるの嫌だなー」と思いつつも、さわらざるを得ない状況になったので触ってみました. 実際にさわってみて, やっぱり凄かったので 投稿する次第です. 本稿では, 再配布可能な対訳コーパスKFTTを対象に日英翻訳をニューラルネット翻訳(NMT)で試してみます. 加えて, これまでのフレーズベースの統計的機械翻訳の典

はじめに 昨今，DNNs(Deep Neural Networks)の進歩が目覚ましくあらゆる分野で成功を収めています． 良く耳にするのは，画像分類や音声認識の分野ですが，対話システムも例外ではなくなりました． Pythonのライブラリ環境が充実しつつある今，DNNsを用いた対話システムの構築について簡単に紹介したいと思います． 対話システムのためのDNNsモデル 対話システムを構築するためのDNNsのモデルは大きく分けて2つあります． 大量の応答候補に対するランキング学習 -> 入力に対して応答候補文をそのまま選択 発話と応答のペアから，Encoder-Decoderモデルを学習．-> 入力に対して単語単位で応答発話生成 本記事では，後者のEncoder-Decoderモデルについて扱います． Chainerなどのライブラリが充実したおかげで，発話と応答のペアとなるデータさえあれば，誰で

seq2seqで利用可能な日本語対話データセットをダウンロードするツールの続きです。TensorFlowのseq2seqサンプルを、このデータで学習できるようにしてみました。 オリジナルのTensorFlowサンプルseq2seqは、WMTの配布する巨大な英仏翻訳のデータセットをダウンロード、展開して処理するコードが入っています。考えなしに動かせる点ではとてもお手軽で良いのですが、自分で用意したデータセットを与えるには向いていません。そこで、指定したディレクトリ上にあるinput.txt(encoder用データ)とoutput.txt(decoder用データ)を読みに行くよう修正したバージョンをgithubに置きました。オリジナルのコードに準じてApache 2.0ライセンスです。 knok/tf-seq2seq-mod: Modified seq2seq on TensorFlow これ

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

仕事上でわかったことのうち顧客に関わる情報が無い物、一般公開して差し障りのなさそうな事をたまーに投稿しています。 ちなみに、記事上に載せた私が書いたコードは、用途問わず再利用いただいてかまいませんが、保障は一切いたしませんので、あしからず。 ですます調の記事とである調の記事が混ざりますが..こちらも、あしからず。 翻訳に使われているモデル seq2seq で対話もできるときいたので、 やってみたのだけど.. ..一向に話をしようとしない.. たとえば、 > こんにちは、ごきげんいかが。 そんなに そんなに そんなに どう どう どう どう どう どう どう どう どう どう どう どう どう どう どう どう どう どう どう どう どう どう どう どう どう どう どう どう どう どう どう どう どう どう どう どう どう どう どう どう どう どう どう どう どう どう ど

knok/make-meidai-dialogue: Get Japanese dialogue corpus というものを作りました。 背景 seq2seq実装をいくつか触ってみて、何かしらの知見を共有したいと思っているのですが、あまり具体例に踏み込んだ話題をなかなか見かけません。 その要因の一つに「日本語」で「対話」の「自由に利用できる」データセットがないことがあるのではないかと考えています。 個人的にTwitterから適度に対話を取得してくるスクリプトを一度作ったことがあったのですが、ノイズが多くかなり手作業でデータをクレンジングする必要がありました。 LSTMで自然な受け答えができるボットをつくったという記事を書かれた人は、ask.fmからデータをクローリングしていますが、やはり苦労はされているようです。 今回作ったもの githubのREADMEにも書きましたが、このツールは日本

#!/usr/bin/env python # -*- coding: utf-8 -*- # Licensed under the Apache License, Version 2.0 (the "License"); # you may not use this file except in compliance with the License. # You may obtain a copy of the License at # # http://www.apache.org/licenses/LICENSE-2.0 from __future__ import absolute_import from __future__ import division from __future__ import print_function import math import os i

Deploy ML on mobile, microcontrollers and other edge devices

世の中ディープラーニングということで、対話システムに応用できる？とseq2seqをTensorFlowで実装してみます。英仏翻訳のチュートリアルがありますが、今回は日本語の対話でやりたかったので、下記を参考にとりあえずそのまま動かしてみることにします。 TensorFlowのseq2seqを自前のデータセットで試す http://qiita.com/knok/items/b24deb8cff3df48920ee 準備編 seq2seqのコード 対話させてみる おまけ 準備編 まずは日本語での対話データが必要です。これあんまりその辺にあるわけでもないし、ディープラーニングに流せる程度の量を自分一人で作るのは現実的ではないので、上のQiitaの記事のやり方で取得しておきます。 $ git clone https://github.com/knok/make-meidai-dialogue $

最近ずっと NN/CNN/RNN/LSTM などで遊んでいたのだけど Seq2Seq の encoder/decoder と word embeddings を理解したかったので Seq2Seq の chatbot を動かしてみた。Keras でフルスクラッチで書いていたのだけど上手く動かず。論文読んでもわからないところがあったので https://github.com/1228337123/tensorflow-seq2seq-chatbot を自分なりに読み解いてプロセスが別れてわかりやすいように書き換えた。同時に日本語に対応させて Twitter Bot として動くようにした。 会話例 seq2seq Google 翻訳などでも利用されている seq2seq というタイプの Neural Networks を利用しています。入力も出力も時系列データ。例えば会話とか翻訳とかに使えます。

こんにちは。今年は冬休みをとても長くとったのですが、肉や蟹や餅や酒を連日消費しているうちに人体が終わっていき、気持ちになったので(様々な方向に感極まった状態のことを「気持ちになる」と表します)、世間で流行っているらしいディープラーニングの関連情報をつまみ食いしてチャットボットを作ってみることにしました。 入力文に対しニューラルネット(RNN)で応答文を生成して返事します。 @neural_chatbot というtwitterアカウントで動かしています。 ご興味があればぜひ@neural_chatbotに話しかけてみてください。 あらすじ ニューラルネットというものがあり、関数を近似することができ、知られています。 Recurrent Neural Network (RNN)というものがあり、内部状態を持つことができ、自然言語を含む可変長の系列を取り扱うのに便利で、知られています。 Sequ