https://pycon.jp/2017/ja/ https://www.youtube.com/watch?v=-OSgUsqwCdo

IoT ALGYAN @ 20170401

こんにちは。ぼへみあです。 こんな記事を読みました。 japan.zdnet.com よくあることだと思いますが、上から降ってきた機械学習プロジェクトは99%失敗し、導入したとしても技術的負債という形でエンジニアを苦しめることになるので、やらないほうがいいと思います。 僕は普段から、ディープラーニング面白しれー、機械学習サイコーと世に広めてしまっているのですが、 こちらの講演を聞き、機械学習をシステムに組み込んで運用する際に、普通のシステム以上に技術的負債が発生しやすく、どの企業でも気軽に導入を進めるべきでないと思いましたので、今の考えをまとめてみました。 ディープラーニング、実サービスへの導入の実際 〜niconicoにおけるレコメンド、コメント解析、画像解析〜 | Peatix 機械学習は技術的負債の高利子クレジットカード 近年高い成果を上げ、ブームになっている機械学習を導入したいと考

Googleは米サンフランシスコでイベント「Google Cloud Next'17」を開催。1日目の基調講演で、データサイエンティストのコミュニティを運営する「Kaggle」の買収を発表しました（Googleの発表、Kaggleの発表）。 KaggleのブランドとチームはGoogle Cloudのなかで引き続き存続し、コンペティションなどの運営を続けていくとのこと。 Kaggleは、企業や研究者などがデータを投稿し、世界中のデータサイエンティストらがそのデータを基に、いかに優れたモデルやアルゴリズムなどで与えられた問題を解くかを競うコンペティションなどを運営しています。 Kaggleのコンペティションは、例えば機械学習を利用してガンの兆候を早期発見する方法を競うなど、社会的に重要な問題をコミュニティを通じたクラウドソーシング的な手法とデータサイエンスのアプローチで解決することと同時に、課

Lisp Advent Calendar 2016参加記事 ここ数年ディープラーニングの出現をきっかけにAIが再び盛り上がっているので、いよいよLispの復権があるかと思いきや、ないので（泣）、多少なりともLispに興味を持ってもらえるように、LispとAIの関係について私見を述べておこうと思う。Lispといっても色々あるが、この記事では主にCommon Lispの話になる。 Lispというとどうしても過去の記号処理的AIと結びつけられてしまい、機械学習を駆使するような現代のAIでは役に立たないように思われがちなのだが、これは大体誤解である。少なくともCommon Lispは現代的なAI開発に適した特徴を備えている。まず、AI実装のためのプログラミング言語に必要とされる特徴は何なのかを明らかにするために、AIの歴史から考えてみたい。 AIの歴史 初期の記号処理的AI(以降は記号AIと呼ぶ)

2月15日(木)に開催された「Developers Summit 2018(デブサミ)」（主催：翔泳社）にて「ITエンジニアに読んでほしい！ 技術書・ビジネス書大賞2018」のプレゼン大会と投票が行われ、大関真之先生の著書『機械学習入門 ボルツマン機械学習から深層学習まで』がみごと技術書部門の大賞の栄冠に輝きました！ プレゼン大会では大関先生自ら本書に関する熱い熱い思いを披露していただました。このプレゼンによって「読んでみたい！」「数式が苦手だけどこの本なら読める！」と惹きつけられるオーディエンスが続出！みごと大賞に選ばれることとなりました。ブラボー！ 本書は、おとぎ話の白雪姫に登場するお妃様と鏡の関係をなぞらえ、その問答により「機械学習とは何か」「何ができるのか」を楽しいストーリーと可愛らしくしかも的確なイラスト、そして数式をまったく用いることなく解説している画期的な内容です。 登場する

This slides were used at "5th Machine Learning 15minetes!" http://machine-learning15minutes.connpass.com/event/40294 Introduce important things to tackle machine learning in a company.Read less

2. ⾃⼰紹介 l  ⽐⼾将平（HIDO Shohei） l  Twitter ID: @sla l  専⾨：データマイニング、機械学習 l  経歴： l  2006-2012: IBM東京基礎研究所データ解析グループ l  機械学習のアルゴリズム研究開発（主に異常検知） l  2012-2014: 株式会社Preferred Infrastructure l  ⼤規模オンライン分散機械学習基盤Jubatusチームリーダー l  2014-: 株式会社Preferred Networks l  2015-: Preferred Networks America, Inc. @ シリコンバレー l  Chief Research Officer 2

実タスクで簡単な能動学習を試してみました。結論としては、1200件で到達できる精度に400件程度のアノテーションでも到達でき、それによりアノテーションに要する時間をかなり削減できそうということが分かりました*1。今後、アノテーションを必要とする機械学習タスクをやる際には能動学習で一手間かけるのを検討してみようと思います。 能動学習をする動機 ここしばらく仕事のタスクで機械学習の教師用のデータをアノテーションをする機会がありました。機械学習する上で、1000件程度は学習データ欲しいという想定でポチポチとアノテーションをしていました。一人1時間で大体100件くらいのデータが作れるようなタスクでしたが、1000件アノテーションするには約10時間の作業工程が必要です。アノテーション自体よりはコードを書いたり実験するのが好きな人間なので、5時間くらいずっとアノテーションしていると疲労します。同じ精度

Salesforce.comが米サンフランシスコで開催した年次イベント「Dreamforce 2016」では、AI機能の「Salesforce Einstein」が鳴り物入りで発表されました。 機械学習機能をクラウドで提供するサービスは、GoogleがPrediction APIやVision APIで、AmazonクラウドはAmazon Machine Learningで、マイクロソフトはAzure Machine Learningで、IBMはWatsonなどで提供しているとおり、すでに多くのベンダが発表し、リリースしています。 Salesforce Einsteinがそうした機械学習のサービスと違うのは、最初からSalesforce.comのアプリケーションに組み込まれているところにあります。Dreamforce 2016の講演でも「Salesforce Einsteinはプラットフォ

三菱電機は10月7日、データの特徴を学習して推論処理を行う「ディープラーニング」を自動設計する「ディープラーニング自動設計アルゴリズム」を開発したと発表した。専門知識がなくても、ディープラーニングを活用した人工知能（AI）を短時間・低コストで企業システムなどに導入できるとしている。 学習データがあれば、独自のアルゴリズムでディープラーニングを自動設計できる。学習データの中から特徴的なデータのみを重複なく抽出することで効率的に適切なネットワークを構築できるという。機器のシステムに依存しないため、使用環境に合わせた高度な推論処理が可能だとしている。 従来、企業システムにディープラーニングを導入するには、AIの専門家に依頼して設計してもらう必要があったが、このアルゴリズムを使えば、企業内のシステム専門家だけで設計でき、AI専門家に依頼する必要がないという。専門家に依頼した場合は数日～数週間かかっ

この教科書は、はてなサマーインターンの講義資料として作成されたものです: https://github.com/hatena/Hatena-Textbook 機械学習編1（基礎編）では、最も初歩的な分類器である単純パーセプトロンを題材に、機械学習の基本について勉強しました。機械学習編2（実用編）では、実問題に機械学習を適用する上でのコツや、各種の機械学習アルゴリズムの使い分け、高次元データへの対処法、といったトピックについて解説していきます。 実問題に機械学習を適用する タスクを定義する データを特徴ベクトルに変換する 評価方法を決める 正解データの正例と負例は均等に ベースラインとなる手法を実装する 実データに向き合うときの心構え 機械学習のワークフロー 1. 前処理 データセット作成 サンプリング 特徴抽出 欠損値・欠測値への対応 値のスケーリング 特徴選択 次元削減 2. 学習 モデ

第4回 Ques (2014.4.22 開催) でお話する「機械学習分野におけるテストの自動化」の発表資料です。

8. 機械学習において考えないといけないこと 1. 前処理 1. 前処理の種類 2. 特徴選択 3. 特徴量加工 2. モデル 1. どんなモデルを作るか 1. Logistic Regression, 2. Random Forest 3. パラメータ 1. Ex. SVM(C, kernel ,eps etc） 4. 評価 1. Log loss, mse, rmse

Apache Sparkと機械学習 当社のコラムでも既に何度か取り上げてきたが、Apache Sparkがいよいよ本格的な流行の様子を見せている。Apache Sparkは下図のようなエコシステムを持っているが、特にその中でも、Spark Streamingによるリアルタイム処理とともに、MLlibによる機械学習処理が人気を博している。日本ではHiveを用いてのバッチ処理高速化にてHadoopが広く使われるようになったが、Apache Sparkの場合は、リアルタイム処理・機械学習処理を糸口にパラダイムシフトが行われていると言っても過言ではないだろう。 （出典：Apache Spark公式サイト ） 本コラムではMLlibを用いての機械学習処理について簡単な使い方を説明するものとする。 Apache Sparkは分散メモリRDDを活用することで、特定のデータに対する繰り返し処理に向くアーキ

Sparkシリーズ第３弾の記事です。MLlibのLDAを使ってYahoo Newsの記事をトピックモデル(LDA:Latent Dirichlet allocation)でクラスタリングしてみます。 第一弾 【機械学習】iPython NotebookでSparkを起動させてMLlibを試す http://qiita.com/kenmatsu4/items/00ad151e857d546a97c3 第二弾 【機械学習】Spark MLlibをPythonで動かしてレコメンデーションしてみる http://qiita.com/kenmatsu4/items/42fa2f17865f7914688d #0. 環境 OS: Mac OSX Yosemite 10.10.3 Spark: spark-1.5.0-bin-hadoop2.6 Python: 2.7.10 |Anaconda 2.2.

28. 28 Appendix: API一覧(1/3) Model • constructor: モデルに必要な構成要素(隠れ層)などの定義 • forward(inference): constructorで定義した構成要素を利用し、入力を出 力にする(伝搬)プロセスを定義する。 • 学習中とそうでない場合で構成が変わる場合(Dropoutなど)、それを引数 に取る。※ここでlossを出さないこと(出してもいいが、outputもちゃんと 返す) ModelAPI • constructor: 最低限Modelのパスを取得し、読み込む • predict: 配列などの一般的な変数から、Modelを利用した予測値を返す 29. 29 Appendix: API一覧(2/3) Trainer • constructor: modelと学習に必要なパラメーターを受け取る。 DataProcess

こんにちは、エンジニアの建三です。僕は大学時代に人工知能に興味を持ち、卒業後も機械学習を勉強していました。ただイタンジに入って業務で機械学習を使ってみて思うのは、勉強でやる機械学習と実務でやる機械学習にギャップがあるなということです。 機械学習を普通どうやって勉強するかというと、まず機械学習の基礎を学び、その後色んなアルゴリズムを勉強します。その際、どのデータを使って何がゴールかというのは与えれていて、アルゴリズムの仕組みを勉強することに大半の時間を費やします。 しかし俗に言われるデータサイエンスの業務をやるとなると、他に必要なことがあります。僕の中でデータサイエンスの業務はざっくりと４ステップに分かれます。 問題定義 データの選択、収集 モデルの構築、学習 結果のアウトプット 機械学習を勉強する時は、大抵３と４だけをやることになります。しかし１と２が結構重要なので、それぞれについて触れた

アライアンス事業開発部の大曽根(@dr_paradi)です。 ニュースパスというアプリの分析と開発を行っております。 今回は機械学習の評価関数のお話をします。 内容は、【FiNC×プレイド】Machine Learning Meetup #1 - connpassで発表したものになります。 発表資料 いまさら聞けない機械学習の評価指標 from 圭輔 大曽根 www.slideshare.net 機械学習における評価 現在は機械学習ライブラリが充実しており、また、Webサービスの普及により学習に必要なデータの獲得も以前と比較して容易になっています。 そのため、機械学習のビジネス利用への敷居が下がっています。 予測や分類といった問題を解く際には、設定した課題に対してどのモデルが最も適しているかを評価するための指標(評価関数)が必要になります。 Kaggle*1などのコンペティションではあらか