みなさんこんにちは。アナリストの荒木です。近い将来さまざまな仕事がロボットに置き換わっていくと多くの人が予想しており、そのコアテクノロジーの一つが機械学習です。GoogleがDeepMindを買収したことで機械学習という言葉も身近になりつつありますが、すでにamazonレコメンドや画像認識などで活躍しています。 そこで今回は、ウェブ担当者が「機械学習ってどんなことをやっているのだろう？」という場合に勉強できるスライドをまとめました。 ↓【無料DL】「SEO内部対策チェックシート」を無料ダウンロードする 機械学習によるデータ分析まわりのお話機械学習でどんなことをしているのかをまとめたスライドです。データのこと・機械学習のこと・評価のこと・分析のことの4部構成で、データマイニングの一連の流れを学ぶことができます。 Deep LearningGoogleの猫認識例で有名になった手法を紹介したスラ

はじめに 近年Deep Learningへの注目が高まっていますが、多くの場合膨大なデータを必要とすること、学習にはGPU計算環境が必要であったりなど、独特の敷居の高さがあります。この記事では、この敷居を大きく下げるであろうCaffeについて紹介します。ただ、Caffeを紹介する記事はすでに良いものがたくさんあり、そもそも公式documentがかなり充実しているので、今回は躓きやすい部分や他の記事があまり触れていない部分を中心に紹介していきます。 Caffeって何？ CaffeはDeep Learningのフレームワークの一つです。Deep Learningは一般に実装が難しいとされていますが、フレームワークを使えばかなり手軽に扱うことができます。 代表的なフレームワークには、 Caffe theano/Pylearn2 Cuda-convnet2 Torch7 などがあります。この中でも

※オライリー・ジャパンの「実践 機械学習 〜レコメンデーションにおけるイノベーション〜」が無料でダウンロードいただけます。 “Practical Machine Learning”の日本語版が登場 機械学習とレコメンデーションにおける、もっとも洗練され、効率的なアプローチの1 つに至る鍵は、「仔馬が欲しい」という状況の観察の中にあります。実際のところ、シンプルながら強力なレコメンデーションシステムを構築することは、多くの人々が考えるよりはるかに容易であり、「仔馬が欲しい」ということは、その鍵の一部なのです。 機械学習は、特に巨大なデータセットを扱う場合、うんざりするような作業になることがあります。どれを選べばいいのかめまいがするほどの数多くのアルゴリズムがあり、それらの中から選択をするためだけでも、選択肢を理解し、合理的な判断を行うのに必要な、高度な数学の背景知識を十分に持っていることが前

最近，深層学習にはまっていて，論文 Li et al., Building Program Vector Representations for Deep Learning, CoRR abs/1409.3358, 2014 を読んだので，内容を忘れないようにメモしておく． この論文では，プログラムの構文木を表現するためのベクトルの構築の仕方を提案している． ニューラルネットワークなどの多くの機械学習のアルゴリズムは， 何でもかんでもベクトルで表現されていることを前提にしているので， 構文木もベクトルに変換しないと，話にならない． 自然言語処理では，この手の研究は多いけど，プログラミング言語用の方法が無いので， 新しく作りましょう，というのがこの論文のモチベーション． 実際に，提案手法でプログラムのベクトル表現を構築した上で， online Open Judge から適当にダウンロードして

ここ数年、私はデータサイエンスについて学んでいます。おすすめの学習資料を紹介したいと思います。 教師用の教科書と初心者用の教科書 私自身、データサイエンスを学ぼうとして色々なソースを試してみました。残念なことに、日本語の良い学習資料は見つけられませんでした。どこかのブログで読んだことがありますが、教科書は教師用と学生用の二週類があるそうです。一つめは内容が既に分かっている教師の為の教科書で、日本はこのタイプです。もう一つのタイプの教科書は自学自習を目的に作られているので、教師なしで学ぶできる教科書になっているということで、アメリカはこのタイプの教科書が多いです。私自身、他の文系・理系の教科書を探した時もアメリカの教科書の方が分かりやすく、その本だけを読めば分かるようになっていると同じ印象を持ちました。 オンライン教育（MOOC） アメリカは科学教育に熱心であり、最近はやりのMOOCでも豊富

概要 私が機械学習の勉強を始めた頃、何から手を付ければ良いのかよく分からず、とても悩んだ覚えがあります。同じような悩みを抱えている方の参考になればと思い、自分が勉強していった方法を記事にしたいと思います。 目標としては、機械学習全般について、コンパクトなイメージを持てるようになることです。 そのためにも、簡単な本から始めて、少しずつ難しい本に挑戦して行きましょう。 入門書 何はともあれ、まずは機械学習のイメージを掴むことが大切です。 最初の一冊には、フリーソフトでつくる音声認識システムがおすすめします。 フリーソフトでつくる音声認識システム - パターン認識・機械学習の初歩から対話システムまで 作者: 荒木雅弘出版社/メーカー: 森北出版発売日: 2007/10/17メディア: 単行本（ソフトカバー）購入: 45人 クリック: 519回この商品を含むブログ (38件) を見るレビュー :

「自ら学習するマシンを生み出すことには、マイクロソフト10社分の価値がある」。 米マイクロソフトの創業者ビル・ゲイツ氏は今から10年前の2004年2月にこう語った。 その時は来た。 米グーグルや米アップル、米フェイスブックといった先進IT企業は今、コンピュータがデータの中から知識やルールを自動的に獲得する「機械学習」の技術を駆使し、様々なイノベーションを生み出し始めている。 これらは来たる機械学習革命の、ほんの序章に過ぎない。 機械学習の本質は、知性を実現する「アルゴリズム」を人間の行動パターンから自動生成することにある。 この事実が持つ意味は、果てしなく大きい。 今後、実社会における様々な領域で「人間の頭脳を持つプログラム」が登場する一方、データの中から知識やルールを見つけ出したり、プログラムを開発したりするデータサイエンティストやプログラマーの仕事が、機械に置き換えられてしまうからだ。

ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog レコメンデーション技術の村尾です。 先日（6月6日）、クックパッドで開催された Machine Learning Casual Talks（#MLCT） において、Yahoo! JAPANの提供しているパーソナライズ・ニュース（あなたにおすすめの記事）での、機械学習（Machine Learning）の活用事例について講演を行いました。 MLCTという機械学習についてのかなりニッチなイベントであったにも関わらず、聴講者募集から枠が埋まるまでに30分程度しかかからなかったと聞き、この分野で普段業務を行われている、または関心のあるエンジニアの多さと、熱量の大きさに驚かされました。 ちなみに"Casual"について事前の認識合わせを全く

サービス終了のお知らせ NAVERまとめは2020年9月30日をもちましてサービス終了いたしました。 約11年間、NAVERまとめをご利用・ご愛顧いただき誠にありがとうございました。

（※はてなフォトライフの不具合で正しくない順番で画像が表示されている可能性があります） PythonでSMO-SVM書き下すという宿題がまだ終わってないくせにこれ書いていいのか物凄く迷うんですが（笑）、R Advent Calendar 2013の12月6日分第6回の担当に当たっているのでついでに書いちゃいます。 なのですが。実はその12月6日は米ネバダ州・タホ湖畔で開催中のNIPS 2013に参加中*1でupできるかどうか分からない*2ので、タイムスタンプ変えて予めupさせてもらいました。ルール破っちゃってごめんなさい。。。 ということで、今回の参考文献はこちら。未だに評は分かれるみたいですが、僕が推すのはいわゆるSVM赤本こと『サポートベクターマシン入門』です。 サポートベクターマシン入門 作者: ネロクリスティアニーニ,ジョンショー‐テイラー,Nello Cristianini,Jo

Courseraの機械学習ネタの続き。今回はロジスティック回帰をやってみます。回帰と付くのになぜか分類のアルゴリズム。以前、PRMLの数式をベースにロジスティック回帰（2010/4/30）を書いたけど今回はもっとシンプル。以下の3つの順にやってみたいと思います。 勾配降下法によるパラメータ最適化 共役勾配法（2014/4/14）によるパラメータ最適化（学習率いらない！速い！） 正則化項の導入と非線形分離 ロジスティック回帰は線形分離だけだと思ってたのだけど、データの高次の項を追加することで非線形分離もできるのか・・・ 使用したデータファイルなどはGithubにあります。 https://github.com/sylvan5/PRML/tree/master/ch4 勾配降下法によるパラメータ最適化 2クラスのロジスティック回帰は、y=0（負例）またはy=1（正例）を分類するタスク。ロジステ

Quoraに投稿された質問 "What has happened in theoretical machine learning in the last 5 years (2009-2014)?" 「2009年から2014年の機械学習の理論的進歩について教えてください」 への、機械学習研究者Yisong Yueの回答を翻訳しました。そのままだと通じない部分は意訳しているので、原文に忠実ではありません。 「2009年から2014年の機械学習の理論的進歩について教えてください」への回答 私の個人的な視点で話します。 潜在変数モデルに対する最適推定について: 理論的な進歩として私が最初に思いつくのは、潜在変数モデルに対する（ほぼ）最適な推定です。この潜在変数モデルの最適推定は一般的に非凸な問題であり、つまり（よく知られている）凸最適化の手法の通用しない難題です。 最も輝かしいアプローチはスペクト

データサイエンティスト協会 木曜勉強会#07『Ruby、R、HTML5を用いたデータ解析・データビジュアライゼーション』

第2回全脳アーキテクチャ勉強会での講演スライドです。Deep Learning の基礎から最近提案されている面白トピックを詰め込んだサーベイになっています。

お正月からいきなり何を言いだすのかという感じですが、ちょっと天才になるためのアドバイス的なものを機械学習の観点から書いてみたいと思ったんですよ。 そもそも天才とは何なのか。人間の脳って生物学的には同じ仕組みで学習しているわけですから、学習アルゴリズムに個体差はないと思うんです。しかし学習の早いとか遅いとかはあるわけです。 これは脳のなかでシナプスが形成される速度に個体差があるからだと思うのですが、なぜそういう差があるのかはいまの脳科学ではたぶん解明されていません。食べ物などの栄養バランスによるものか、心の持ちようによって何かの脳内物質が出て、それがシナプスの形成を促進するのか。 ともかく、同じ学習アルゴリズムで学習しているのが人間であります。 では、学習が早い人(習熟が早い人)ほど能力が高いのでしょうか？学習速度が天才と凡人とを分かつのでしょうか？世間的にはそう思われているかと思うのですが

A Survey of Collaborative Filtering Techniques(Xiaoyuan Su and Taghi M. Khoshgoftaar, 2009,Advances in Artificial Intelligence) 仕事で協調フィルタリングについて調べる必要が出てきたのだが、あまりよい日本語の文献を見つけられなかったため（後にしましま先生の文献を見つけた）やむなく英語の論文を検索したところ、 上記のよいサーベイ論文を見つけた。というわけでこのサーベイ論文に書かれていることに自分なりに調べたことを加えて、自分用にまとめておく。 また、一部の人達の間ではとても有名なしましま先生の論文（ドラフト版）があるので、英語が苦手な人はそちらをご覧になるとよいと思われる。 協調フィルタリングは、一言で言えばユーザとアイテムのマトリックスを用いた顧客への商品のレコメン

教師あり学習の教師データの作成はとても大変。例えば、twitter 言語判定のために、訓練・テストデータあわせて70万件のツイートに言語ラベルを振った人もいたりいなかったり。 Active Learning(能動学習) はそんな教師データ作成のコストを抑えながらモデルの性能向上を測るアプローチの1つ。 具体的には、正解なしデータの中から「こいつの正解がわかれば、モデルが改善する(はず)」というデータを選び、Oracle と呼ばれる「問い合わせれば正解を教えてくれる何か（ヒント：人間）」にそのデータを推薦、得られた正解付きデータを訓練データに追加して、以下繰り返し。 しかし「こいつの正解がわかれば、モデルが改善」を選び出す基準なんて素人考えでも何通りも思いつくわけで、実際 Active Learning のやり口は幾通りもある。 Active Learning Literature Surv