WindowsでLinuxやMac環境のようにpythonを使うための手順 参考 コマンドプロンプトからの脱却 cmder インストール http://cmder.net/ でDownload Fullからダウンロード これでgitとかsshとかcdとかlsとか．．．使えるようになる chocolatey インストール cmderで以下実行 @powershell -NoProfile -ExecutionPolicy Bypass -Command "iex ((new-object net.webclient).DownloadString('https://chocolatey.org/install.ps1'))" && SET PATH=%PATH%;%ALLUSERSPROFILE%\chocolatey\bin これでchoco install ~ で色々インストールできるよ

79. 参照・リソース - Pascal Vincent, Hugo Larochelle, Yoshua Bengio and Pierre-Antoine Manzagol (2008) Extracting and Composing Robust Features with Denoising Autoencoders - Pascal Vincent, Hugo Larochelle, Isabelle Lajoie, Yoshua Bengio and Pierre-Antoine Manzagol Stacked Denoising Autoencoders: Learning Useful Representations in a Deep Network with a Local Denoising Criterion - CM. ビショップ パターン認識と機械学習 (上

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? Christopher Olah氏のブログ記事 http://colah.github.io/posts/2015-08-Understanding-LSTMs/ の翻訳です。 翻訳の誤りなどあればご指摘お待ちしております。 ##リカレントニューラルネットワーク 人間は毎秒ゼロから思考を開始することはありません。このエッセイを読んでいる間、あなたは前の単語の理解に基づいて、各単語を理解します。すべてを捨てて、またゼロから思考を開始してはいません。あなたの思考は持続性を持っています。 従来のニューラルネットワークは、これを行うことができま

ヤフーは24日、高次元データの高速検索技術「NGT（ Neighborhood Graph and Tree for Indexing）」を開発し、オープンソースソフトウェア（OSS）として「GitHub」に公開したと発表した。 NGTは、テキストや画像、商品・ユーザーデータなど、複数の特徴を持つ高次元データを、膨大なデータベースの中から高速に検索する技術。AIやIoTの登場で膨らみ続けるビッグデータの分析を高速化でき、200万件の言語データを対象に実施した「SASH」との比較では約4倍、「FLANN」と比較すると約12.3倍の高速化を確認したという。 NGTを活用することで近似したデータのマッチングを高速化でき、AI技術の精度向上が可能になるほか、フォーマットや入力方法がバラバラの大量のデータを高速に照合することで、企業内で活用し切れていないデータを名寄せし、AIに最適なビッグデータを生

サービスに機械学習技術(例えばSVM)を入れる際に、「この機械学習技術は本番サービスに投入しても大丈夫なものか?」を考える基準がまとまっていると人に説明するときに便利だなとふと思ったのでまとめてみました。散々言われ尽くされている話だとは思います。 前提 考慮に入る採用基準 予測精度 (コードの)メンテナンスの容易性 計算オーダー 学習時 予測時 挙動のコントロールのしやすさ/予測説明性の容易さ チューニングの必要性 その他 まとめ 前提 機械学習がプロダクトの主要な武器になる(例えば最近話題になっているGoogle翻訳におけるNMT)ものではなく、サービスにデータがまずあり、機械学習でデータを活用することにより、そのサービスを支えていくようなものを前提に考えています(例えばCGMサービスのスパム判定)。また、投稿内容は私個人の意見であり、所属組織を代表するものではありませんとお断りしておき

TensorFlowにもRNN(Reccurent Neural Network) が実装されており，Tutorialもあるものの，例題自体が言語モデルを扱った少し複雑なもので，初学者にはとっつきにくいなと感じました． 今回は言語モデルでない，より単純なモデルを扱う問題を例に挙げ，TensorFlowでのRNN実装を試します． 注意 TensorFlowのバージョンがあがり，動かなくなっている部分があるので，こちら(TensorFlow RNN関連のimportやBasicLSTMCellでエラーが出た場合の対処(v 0.11r~)) もみてみてください． 環境 OSX python 2.7.11 TensorFlow r0.8 SimpleなRNN SimpleなRNNのモデルや，その実装方法としてはPeter's noteというブログが大変参考になるので，初めての場合はそちらをまず読ん

第二世代人工知能の亡霊がもたらす"AIの冬" AI Winter is coming!! 2016.11.21 Updated by Ryo Shimizu on November 21, 2016, 15:49 pm JST 日立が公開した「汎用人工知能」のプロモーションビデオが日本のAI業界で悪い意味での注目を集めています。 このビデオでは、日立は自社で開発したAI技術「H(エイチ)」を、「汎用人工知能」と自称しています。 しかし、「汎用人工知能」は、通常、AGI(Artificial General Intelligence)の訳とされ、人工知能研究のメインストリームでは、GoogleやFacebookなどを含めて「まだ世界の誰も開発に成功していない」ものとされています。 ビデオに登場する株式会社日立製作所、研究開発グループ技師長の矢野和夫氏によれば、このH(エイチ)は、「(カスタマ

このエントリについて 2種類の要件 性能要件のテスト offline と online offline 性能テストの自動化 A/B テストはすぐにほしい 機能要件のテスト 性能テストのみで十分なのでは？ テストデータ生成 機能テストをいつ作るか まとめ このエントリについて ポエムです。 11/8(火) に開催された Cloudera World Tokyo 2016 に参加しました。 大規模データに対するデータサイエンスの進め方 #CWT2016 (以下、発表 1) データ分析グループの組織編制とその課題 マーケティングにおけるKPI設計の失敗例 ABテストの活用と、機械学習の導入 #CWT2016 (以下、発表 2) その中で上記の2つの発表がとてもいい話でした。 多少絡みのある内容として機械学習を利用するプロダクトのテストについて述べたいとちょっと前から考えていたので、いい機会なので

プログラミング言語「Python」は機械学習の分野で広く使われており、最近の機械学習／Deep Learningの流行により使う人が増えているかと思います。一方で、「機械学習に興味を持ったので自分でも試してみたいけど、どこから手を付けていいのか」という話もよく聞きます。本連載「Pythonで始める機械学習入門」では、そのような人をターゲットに、Pythonを使った機械学習について主要なライブラリ／ツールの使い方を中心に解説していきます。 連載第1回は、ライブラリ／ツール群の概要説明からです。各ライブラリ／ツールの詳細な使い方や実用上のテクニックは連載第2回以降で解説していきます。ここで挙げるライブラリ／ツール群は「普段、筆者が仕事で使っているもの」という基準で選定されています。そういう意味で全く網羅的ではなく、独断と偏見であることを自覚していますので、ご了承ください。 連載初回である本稿で

前記事にて，Deep Learning Framework "TensorFlow" のドキュメントが難しい，という点に触れた．本記事では，TensorFlowの2層ネットワークを使って MNIST（手書き数字の分類問題）を解くことをやってみたい． 動機 - for Beginners と for Experts の間を埋めたい TensorFlowのTutorialに目を通すと，最初に ”MNIST for Beginners” があってその次が "Deep MNIST for Experts" となっており，かなり技術レベルのジャンプがあるように見える． For Beginners ... Softmax Regression （ソフトマックス関数による多クラス，ロジスティック回帰） （ネットワークモデルの基本，MLP (Multi Layer Perceptron Neural Ne

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? Chainerは、Preferred Networksが開発したニューラルネットワークを実装するためのライブラリです。その特徴としては、以下のような点があります(ホームページより)。 高速: CUDAをサポートし、GPUを利用した高速な計算が可能 柔軟: 柔軟な記法により、畳み込み、リカレントなど、様々なタイプのニューラルネットを実装可能 直観的: ネットワーク構成を直観的に記述できる 個人的には、さらに一つ「インストールが簡単」というのも挙げたいと思います。 ディープラーニング系のフレームワークはどれもインストールが面倒なものが多いの

思ったよりカンタン。無料API『wit.ai』で、チャットボットにAIを搭載してみた手順全無料API『wit.ai』で、チャットボットにAIを搭載してみた全手順 こんばんわこんばんわ。 やってみたコーナーの今回のお題はFacebookでも「Hey Siri」のようなことができちゃうという噂の『wit.ai』。これを30分で試してみた手順を公開してみようと思います。 最初にデモでどんな事ができるのか確認 >>https://labs.wit.ai/demo/index.html まずは上記リンクをクリックして画面を開いたらマイクのアイコンをクリックして画面に向かって叫びましょう。 「ターノンザティーヴィーッ！！」（叫び終わったらもう一度マイクのアイコンをクリック） どうです？ＴＶはつきましたか？ 筆者のつたない英語でも解析してもらえたのでみなさんも大丈夫だったかと思います。 ここでマイクの左

今時のかっこいいデザイン、素敵なエフェクトを備えたレスポンシブ対応の縦長ページ、ランディングページ、プロダクトページ、ポートフォリオ、ブログなど、HTML5+CSS3の無料のテンプレートを紹介します。 単に使うだけでなく、レスポンシブ時のレイアウトのバリエーション、使い勝手のよいコンポーネント、気持ちいい繊細なアニメーションなど勉強にもなります。 Editorial デモページ 文字を見せることに拘ったシンプルなデザインのテンプレート。読むことが邪魔にならない繊細なアニメーションも素敵です。 各UIエレメントのデザインは、ハンバーガーメニューのElementsから。

前回紹介した「きゅうりの自動選別機」の撮影台を使って順調に画像データを集めている途中ですが、並行してTensorFlowでの学習もやり始めたところです。 さて、学習を始めるに当たり、Batch Normalizationという早く学習を進める手法があるということで試してみました。 Batch Normalizationとは、ミニバッチごとに平均が0,分散が1になるように正規化を行う手法で、 ・学習が早く進む ・初期値依存性を軽減できる といった利点があるそうです。 詳しくは、論文が公開されています。 (batch normalizationで検索するとトップに出てくると思います） また、詳しく解説してくださっている下記ブログがとても参考になりました。 Qiita – [Survey]Batch Normalization: Accelerating Deep Network Trainin

前記事でTensorFlowのTutorialコードとして，Neural Networkの基本MLP(Multi-layer Perceptron)のコードを紹介した．今回は，そのコードを発展させる形でTensorFlowの諸機能について調べてみた． コードの変更点は以下の通り． - 活性化関数を tf.sigmoid() から tf.nn.relu() に変えた． - オプティマイザーを勾配降下法(Gradient Descent)のものからAdagrad法のものに変更． - ２層レイヤーから３層レイヤーに変更． - TensorBoardの機能を使い，学習カーブをプロットしてみた． （プログラミングの環境は，Python 2.7.10, tensorflow 0.5.0 になります．） "Wine"データセットの概略 季節がら(?) "Wine" データセットを用いることにした．UCI