Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? （この記事は「Elixir Advent Calendar 2018」の23日目です） fukuoka.ex代表のpiacereです ご覧いただいて、ありがとうございます fukuoka.ex#11で、αバージョンを初お披露目した「Esuna」は、「データ前処理」「機械学習（ディープラーニング）モデル構築／呼出」「ビジュアライゼーション」を搭載した、データサイエンスプラットフォームです どの機能も、WebUIで操作でき、誰にでも使えることが特徴です Elixir／Phoenix＋Vue.js＋Chart.jsで開発しています モデル構築

機械学習チームの林田(@chie8842)です。好きなスポーツはテニスとスノボです。 システムは、その当時の最新の技術で作ったとしても必ずレガシー化します。 機械学習システムも他システムと同様、一度デプロイしたら終わりではなく、継続的なメンテナンスが必要です。昨今機械学習は、特に技術の進歩が目覚ましいため、レガシー化するのも早い分野といえます。本稿ではレガシー化した機械学習アプリケーションのメンテナンスと、それに伴うGPU環境からCPU環境への移行によって、大幅にシステムの運用コストを削減した例をご紹介します。 機械学習アプリケーションにおけるコスト課題 クックパッドにおける最初の大きな機械学習プロジェクトである料理きろくがリリースされたのは、2年前のことです。それ以来、様々な機械学習アプリケーションがデプロイされ、現在では大小含めて30を超える機械学習アプリケーションが運用されています。

We've discovered that the gradient noise scale, a simple statistical metric, predicts the parallelizability of neural network training on a wide range of tasks. Since complex tasks tend to have noisier gradients, increasingly large batch sizes are likely to become useful in the future, removing one potential limit to further growth of AI systems. More broadly, these results show that neural networ

Microsoft's chief technology officer, Kevin Scott, sees two big things coming down the pipeline in the tech industry, he told Business Insider.The first is an explosion of cheap, powerful silicon processors coming in the next five to eight years, leading to every device, everywhere, getting a microprocessor capable of running advanced artificial intelligence.The second, related trend Scott sees is

ソーセージが服を着る動画からわかった、AIが苦手なこと2018.11.17 20:0027,164 George Dvorsky - Gizmodo US ［原文］ （ Rina Fukazu ） 試行錯誤の結果、リアルな動きになりました。 特にかわいくもキモくもない平凡な顔したソーセージが、人間のように頭や腕を動かしながら服を着る......。正直これだけ見るとどう解釈すればいいか戸惑ってしまいそうですが、私たち大人が毎日している動作がじつは複雑なタスクなのではないかと目をつけたのが、ジョージア工科大学の研究者たちでした。 じつは高度な｢服を着る｣動作子どもの頃は誰でも、服から首を出せずにもがいたり、袖に手を通すのに苦戦したりするものです。ジョージア工科大学コンピュータ科学博士課程の学生であるAlexander W. Cleggさん率いる研究チームは強化学習として知られるAI技術を活用し

Kubeflow brings Kubernetes to machine learning workloads New Kubernetes project works with the TensorFlow library to ease machine learning deployments Now in beta, the open source Kubeflow project aims to help deploy a machine learning stack on the Kubernetes container orchestration system. The Kubeflow machine learning toolkit project is intended to help deploy machine learning workloads across m

Googleは8月27日、強化学習研究のためのフレームワーク「Dopamine」をオープンソースで公開した。強化学習アルゴリズムのプロトタイプを高速に実装できるという。 強化学習は入力に対する「報酬」が最大になるような行動を学習によって決定する手法。人間の囲碁棋士に勝利したGoogle DeepMindの囲碁ソフトウェア「Alpha Go」などで採用されている機械学習手法の1つ。 Googleによると、強化学習の課題として既存の強化学習フレームワークは研究者が効果的にイテレーションするのに十分な柔軟性と安全性がなく、新しい研究の方向性を探ることが難しいという問題があるという。また、既存のフレームワークからの結果の再現も時間がかかるという。 Dopamineは機械学習ライブラリのTensorFlowを土台としたオープンソースの強化学習フレームワーク。ベンチマークテストを簡単に実行できる、新し

There was a paper recently where a research team trained a machine learning algorithm (a GAN they called AttnGAN) to generate pictures based on written descriptions. It’s like Visual Chatbot in reverse. When it was just trained to generate pictures of birds, it did pretty well, actually. (Although the description didn’t specify a beak and so it just… left it out.) But when they trained the same al

機械学習モデルにおいて、人間によるチューニングが必要なパラメータをハイパーパラメータと呼ぶ。 ハイパーパラメータをチューニングするやり方は色々とある。 例えば、良さそうなパラメータの組み合わせを全て試すグリッドサーチや、無作為に試すランダムサーチなど。 今回は、それとはちょっと違ったベイズ最適化というやり方を試してみる。 ベイズ最適化では、過去の試行結果から次に何処を調べれば良いかを確率分布と獲得関数にもとづいて決める。 これにより、比較的少ない試行回数でより優れたハイパーパラメータが選べるとされる。 Python でベイズ最適化をするためのパッケージとしては Bayesian Optimization や skopt、GPyOpt などがある。 今回は、その中でも Bayesian Optimization を使ってみることにした。 使った環境は次の通り。 $ sw_vers Produ

「BigQuery ML」：SQLで機械学習ってどういうこと？試しにSQLでロジスティック回帰を書いてみた。 はじめにGoogle Cloud Next 2018でBigQuery MLが発表されました。 文字通り、「BigQuery + 機械学習(Machine Learning)」を実現するもののようです。さっそく試してみたので、どんなものなのかと、その原理（の一部）を紹介したいと思います。この記事ではBigQuery MLの紹介と、それを直接SQLでやったらどのくらい大変かを見てみます。 BigQueryとは？BigQuery は、Google が提供するサーバーレスでスケーラビリティに優れた、低コストのエンタープライズ向けデータ ウェアハウスですとあるように、Googleのクラウドサービスの一つで、大規模なデータを貯めておくことができ、大量のデータに対しても分散して高速なデータの取

2018年4月20日、Deep Learning Labが主催するイベント「音声・言語ナイト」が開催されました。Chainerを提供するPreferred Networksと、Azureクラウドを提供するMicrosoftによる、エンジニアコミュニティDeep Learning Lab。今回は、自然言語処理や合成音声など、音声・言語×深層学習の最新事例や知見を発表しました。プレゼンテーション「深層学習時代の自然言語処理ビジネス」に登場したのは、株式会社Preferred Networksの海野裕也氏。自然言語処理技術の最前線と、ビジネスへの転用可能性について語りました。 検索やレコメンドに必要な形態素解析 海野裕也氏（以下、海野）：自然言語処理の研究とは何かといいますと、私みたいな研究をやっている人間からすると、例えば機械翻訳だったり、質問応答みたいな目標があって、その中の技術として、ここ

最近は Python がデータ分析や機械学習の分野でも使われるようになってきた。 その影響もあって REPL や Jupyter Notebook 上でインタラクティブに作業することも増えたように感じる。 そんなとき、重い処理を走らせると一体いつ終わるのか分からず途方に暮れることもある。 今回紹介する tqdm は、走らせた処理の進捗状況をプログレスバーとして表示するためのパッケージ。 このパッケージ自体はかなり昔からあるんだけど、前述した通り利用環境の変化や連携するパッケージの増加によって便利さが増してきてる感じ。 使った環境は次の通り。 $ sw_vers ProductName: Mac OS X ProductVersion: 10.13.5 BuildVersion: 17F77 $ python -V Python 3.6.5 もくじ もくじ 下準備 基本的な使い方 panda

Researchers have predicted the outcome after simulating the entire soccer tournament 100,000 times. The 2018 soccer World Cup kicks off in Russia on Thursday and is likely to be one of the most widely viewed sporting events in history, more popular even than the Olympics. So the potential winners are of significant interest. One way to gauge likely outcomes is to look at bookmakers’ odds. These co

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 機械学習とはそもそも現実の世界のユーザーの抱える問題を解決、もしくはユーザーの要望に応えるために使うツールであるはずです。このことを理解せずに、このクールなAIテクノロージーをまずは自分のプロダクトに組み込んでみようとするとおかしなことになり、最終的にはお金と時間の無駄になります。 シリコンバレーは特にですが、もちろんそれ以外の場所からも毎日のようにAIを使った新しいスタートアップが出てきています。しかしその中には、たしかにテクノロジー的にはすごいのですが、結局誰の問題も解決していないために、結局はそのテクノロジーを目当て、もしくはそれ

Rules of Machine Learning: Stay organized with collections Save and categorize content based on your preferences. Best Practices for ML Engineering Martin Zinkevich This document is intended to help those with a basic knowledge of machine learning get the benefit of Google's best practices in machine learning. It presents a style for machine learning, similar to the Google C++ Style Guide and othe

5. 社内にアナリティクスのトランスレーターがいない アナリティクスのトランスレーター（翻訳者）とは、ビジネスリーダーが大きなインパクトのあるアナリティクスのユースケースを見つけ出すのを助け、ビジネス要件をデータサイエンティスト、データエンジニア、他のテクノロジーの専門家にしっかりと説明することで、彼らが実行可能なアナリティクスのソリューションを作っていくことを可能にするような人です。さらに彼らは社内でアナリティクスのソリューションが広く採用されるためのサポートを行い、多くのビジネスユーザーの賛同を得られることを可能にします。彼らに必要なスキルとは、業務知識、一般的なテクノロジーへの理解、プロジェクト・マネジメントが混ざったものとなります。 解決案：　一刻も早くトランスレーターを用意するべきです。外から雇うのもいいのですが、その場合は最も重要なあなたのビジネスに関する業務知識というものがあ