こんにちは。データサイエンスチームのtmtkです。 この記事では、最近公開されたBERTの学習済みモデルを試してみます。 はじめに 今年10月末に、BERTという自然言語処理のモデルが発表されました。事前に学習したモデルをファインチューニングする仕組みで、自然言語処理の各種タスクで最高のスコアを更新したため、話題になりました。 このBERTのソースコードと事前学習済みのモデルが、先月末にGitHubで公開されました。 この記事では、このBERTの事前学習済みモデルをつかって、英語の文が「Alice’s Adventures in Wonderland（不思議の国のアリス）」と「Pride and Prejudice（高慢と偏見）」の二つのうちどちらの作品の文かを判定する機械学習モデルを作ってみます。 実験 いつものように、AWSのEC2で実験をします。AMIとしてDeep Learning

はじめに 概要 コードの前提 Edward2 肝は tfp.edward2.RandomVariableクラス ベイズロジスティック回帰 ロジスティック回帰を書く 事後分布を書く 事前分布のセッティング 対数尤度 MCMCの実行 事後分布を見る 最後に はじめに 概要 現在開発が急ピッチで進んできている（ように私には見える）、TensorFlow Probabilityですが、 PyroやStanなどの先発組に比べて明らかに遅れを取っているように見えます。 このことに関して「ネット上に良いサンプルコードが見当たらない」ということと「ドキュメントを読んでもどのAPIを使えば良いか分からない」ということが大きな原因かなと思います。 特にtfp.distributionsとtfp.edward2の差異は明確ではなく、どっちをどのように使うのか…というのはかなりわかりづらいところです。 結論を述べ

この記事は TensorFlow Advent Calendar 2017の最終日の記事です。 何を書こうか迷っていたのですが、最近 kubeflow というものを知ったので、それについて書こうと思います。 機械学習システムの実運用 TensorFlowが公開されて2年ほど経ち、いろいろな事例が出てくるようになりました。昨年度は、いわゆるPOC(Proof of Concept)の事例が多かったように思いますが、徐々にビジネスで本格的に深層学習を使っているような事例も出てくるようになってきており、今後は深層学習のアルゴリズムそのものではなく、如何に実システムに組み込み運用するか、という観点も重要になってくるだろうと思います。 言い古された話ですが、機械学習を本番に導入して運用していくには、いろいろんはハードルがあります。このあたりは2014年にGoogleから出された論文「[Machine

« Software Design 2018年7月号「Vim 絶対主義」の執筆に参加しました。 | Main | ボタンを押したら golang の if err... を自動入力 » tensorflow といえば Python と思っておられる方も多いのではないでしょうか。間違いではないのですが、これは初期に作られた Python 向けのバインディングに研究者達が多く食いついた結果に過ぎないと思っています。実際 tensorflow は現在 C言語、C++、Python、Java、Go から利用する事ができ、最近では JavaScript にも移植されています。筆者自身も Go で tensorflow を使ったシステムを構築し、運用保守しています。問題も発生せず機嫌良く動いています。学習の利用部分は GPU のパフォーマンスに依存しますが、それ以外の部分については各言語の実装に依存し

こんにちは、freee株式会社でエンジニアをやっている米川（@yonekawa）です。最先端のテクノロジーを使って新しいソリューションを生み出していくことをミッションにした、CTW (Change The World) という役職で働いています。 この記事はfreee Developers Advent Calendar 2017の23日目です。 機械学習ではアルゴリズムや大規模データ処理が注目されがちですが、学習したモデルをどうやってサービスで運用するかも悩ましい問題です。実験やアルゴリズムの検証では強力なツールが揃っているPythonがよく使われるので、そのままPythonでAPI作るケースが多いと思います。しかしプロダクション環境で運用するとなると開発しやすさ以外にも、大量リクエスト時のパフォーマンスやデプロイ、モデルの精度評価やA/Bテストなどさまざまな課題があります。 またfre

「TensorFlow.js」公開、Webブラウザ上で機械学習の開発、学習、実行が可能に。WebGL経由でGPUも活用 TensorFlow.jsの基となったオリジナルの「TensorFlow」は、Googleが開発しオープンソースとして公開されている機械学習ライブラリです。Windows、Mac、Linuxなどに対応し、Python、C＋＋、Java、Goなどに対応したAPIを備えています。 今回発表されたTensorFlow.jsはそのJavaScript版で、Webブラウザ上で実行可能。TensforFlow.jsのAPIはオリジナルTensorFlowのPython APIのすべてをサポートしているわけではありませんが、似た設計となっており、機械学習のモデルの構築、学習、学習済みモデルの実行が可能なほか、学習済みモデルのインポートも可能。 WebGLを通じてGPUを利用した処理の高

.app 1 .dev 1 #11WeeksOfAndroid 13 #11WeeksOfAndroid Android TV 1 #Android11 3 #DevFest16 1 #DevFest17 1 #DevFest18 1 #DevFest19 1 #DevFest20 1 #DevFest21 1 #DevFest22 1 #DevFest23 1 #hack4jp 3 11 weeks of Android 2 A MESSAGE FROM OUR CEO 1 A/B Testing 1 A4A 4 Accelerator 6 Accessibility 1 accuracy 1 Actions on Google 16 Activation Atlas 1 address validation API 1 Addy Osmani 1 ADK 2 AdMob 32 Ads

Philosophy We strive to create an environment conducive to many different types of research across many different time scales and levels of risk. Learn more about our Philosophy Learn more

これは TensorFlow Advent Calendar 2017 の 1 日目の記事です。 もちろん主張したいことはタイトルの通りです。 順を追って、かつドラマチックに説明していきましょう。 TFRecord って何？ TensorFlow 用のデータフォーマットです。 詳しくはこのあたりを見ると良いと思います。 Reading data  |  TensorFlow Data IO (Python functions)  |  TensorFlow 今回重要なポイントは複数の画像ファイルを 1 つの TFRecord に詰め込むことが可能という点です。 TFRecord を使うデメリット 実は僕は TFRecord 別に使わなくても良いんじゃね派でした。 なので、まずはデメリットから挙げておきましょう。 バイナリファイルなので人間が目で見てデータを確認できない 何かデータに手を加え

Philosophy We strive to create an environment conducive to many different types of research across many different time scales and levels of risk. Learn more about our Philosophy Learn more

1. Yuta Kashino presented on Edward, a probabilistic programming library built on TensorFlow. Edward allows defining probabilistic models and performing Bayesian inference using techniques like MCMC and variational inference. 2. Dropout was discussed as a way to approximate Bayesian neural networks and model uncertainty in deep learning. Adding dropout to networks can help prevent overfitting. 3.

何の話かというと 機械学習におけるカーネル法の説明で、よく登場するのがこちらの図です。 左側の (x, y) 平面上の点を分類する場合、このままだと線形分類器（直線で分類するアルゴリズム）ではうまく分類できないのが、右図のように z 軸を追加してデータを変形すると、平面できれいに分割できるようになって、線形分類器による分類がうまくいくというものです。このように、高次元空間にデータを埋め込むことでうまいこと分類するのがカーネル法の仕組みだというわけです。 なのですが・・・・・・・・・・・・・・・・・・・・ これ、本当にカーネル法の原理を知っている方には、ちょっと気持ち悪くないですか？ ※ 以下はカーネル法を知っている方向けのつぶやきです。 上記の例は、データの配置にあわせて、うまいこと z 軸方向の変形をしているのでうまくいっているのですが、カーネル法には、データの配置にあわせてうまいこと変

Philosophy We strive to create an environment conducive to many different types of research across many different time scales and levels of risk. Learn more about our Philosophy Learn more

Google、DNNを用いるオープンソース音声認識システム「Kaldi」と同社機械学習ライブラリ「TensorFlow」とを統合。強力な自動音声認識（ASR）システム開発へ 2017-08-29 Googleは、DNN（Deep Neural Network）を用いているオープンソースの音声認識システム「Kaldi」と、同社が提供する機械学習ライブラリ「TensorFlow」とを統合したことを発表しました。 この統合により、Kaldiを使用している自動音声認識（ASR）などの開発者は、TensorFlowを使用して、Kaldiの音声認識パイプラインにDeep learningモデルを展開することができます。 統合することで、自然言語モデルをトレーニングするASRの場合、開発サイクルが一桁も短縮されたと報告します。 TensorFlowでKaldiを使い始めるには、Kaldi repoをチェ

FloydHubはディープラーニング向けのHerokuという位置付けのPasSサービスです。 Herokuはいつもお世話になっているので（無料プランだけど…）この触れ込みを聞くと試さずにはいられません。。 (￣ー￣) ということで、使ってみました。 （注）2017/10/1からトライアルのGPU利用時間が100->2時間に変わったようです Is my free plan changed to 2 hours free GPU according to new free plan? CLIの使い方もそこそこ変わっているようです。（これはいい意味で） FloydHub とは 簡単にクラウド上で学習が実行できる （実際に簡単だった! ^^） クレジットカードなしでも登録できトライアルとして100時間分GPUが利用できる コストはAWSの約50%で課金は秒単位でリーズナブル Every one w

今回は第9回に続いて、公開されている「Inception-v3」のモデルを用いて、画像識別のWebアプリケーションを作成します。 1. 画像識別タスクと分類モデル 第9回では、画像内からの物体認識について紹介しました。 さまざまな物体が含まれた画像に対して、画像のどのあたりに物体が写っているかを検出し、その種類についても判断していました。一方、今回扱う画像識別とは、与えられた画像に対し「その画像には何が写っているか」を判別するタスクです。画像識別では、「与えられた画像そのもの」に対して、「写っているものが何か」を分類するということになります。 「何が写っているか」といってもその答えは無限にあり、実際には解決したい課題によって範囲や対象を絞ることになります。 例えば「この手書き文字はどの数字か」であったり「この顔画像はどのアイドルか」であったり「これは有毒なアリか そうではないか」であったり

目的 ゼロからKerasとTensorFlow(TF)を自由自在に動かせるようになる。 そのための、End to Endの作業ログ(備忘録)を残す。 ※環境はMacだが、他のOSでの汎用性を保つように意識。 ※アジャイルで執筆しており、精度を逐次高めていく予定。 目次 Keras(Tensorflow)の環境構築 KerasでMINSTの学習と予測 KerasでTensorBoardの利用 Kerasで重みファイルの保存/読み込み Kerasで自前データの学習と予測 Kerasで転移学習 <---いまココ 概要 このページを読んでできるようになること VGG16のFine-tuningによる17種類の花の分類 で紹介されている fine tuning のサンプルプログラムを動かす。 上記の学習はCPUだと2日間近くかかるため、事前に用意してある学習済みのパラメータを読み込み、学習結果を確認

Cloud ML Engine のruntime versionが1.2になったので、Kerasが小細工なしで使えるようになりました。TensorFlowの高レベルAPIもいい感じになって来ていますが、やはりKerasのpretrained modelの多さは魅力的です。とりあえずやり方だけ把握しておこうと、せっかくなので学習だけでなくOnline PredictionもKerasモデルでserveしてみました。 Cloud ML Engineとは TensorFlowのフルマネージドな実行環境です。分散環境で学習、オートスケールしAPIで推論リクエスト可能なOnline Prediction等、TensorFlowの運用には最高の環境です。 KerasをCloud ML Engine(training)で使う 注意するのは、 Kerasのimportをtf.contribからする job