Welcome back to TechCrunch’s Week in Review — TechCrunch’s newsletter recapping the week’s biggest news. Want it in your inbox every Saturday? Sign up here. Over the past eight years,…

Andrew Ngの講義で面白いスライドがあったので紹介．研究ではなく様々なアプリケーションへ機械学習を適用するときに実践すべきTipsが３つのトピックに関して語られています．以下は，スライド内で自分が覚えておくべきと思った部分を抽出し，メモ書きしたもの．実サービスやKDD Cup等のコンテストで機械学習を用いる度に，見返してみるのも良いかもしれません． スライド http://see.stanford.edu/materials/aimlcs229/ML-advice.pdf トピック１．Debugging Learning Algorithms 適当な分類器を学習させ，スパムフィルタリングでエラー率20%を達成したら次に何をすべきか？ 訓練データを増やしたり，より良い分類器を適用したり，色々な改善策が考えられる… 診断法1 : バイアス-バリアンス分析 現在の分類器のボトルネックはバイ

論文紹介のコーナー．*1 今回紹介するのは，KDD'2011のUnbiased Online Active Learning in Data Streams (Wei Chu, Martin Zinkevich, Lihong Li, Achint Thomas, and Belle Tseng)． Yahoo! Labsのグループによる研究です．(その後，第一著者はMicrosoftへ移動しています) 本論文は，ユーザーがコンテンツを生成できるウェブサービスから効率的にスパムやアダルトコンテンツを排除する手法について提案されています． このようなサービス形態はUser-Generated Content(UGC)と呼ばれ，ニュースサイトのコメント欄や掲示板・SNS・ソーシャルゲーム・ユーザー投稿型動画サイトが主な例として挙げられます． 3行概要 ストリームデータ環境下において，学習に有用

ICML2011のMulticlass Classification with Bandit Feedback using Adaptive Regularizationをざっくりと読んだのでメモ． 論文 概要 Bandit Feedbackでの多クラス分類問題における新たなアルゴリズムを提案 アルゴリズムは，Second-order Perceptronとupper-confidence boundを組み合わせたもの exploration時に現在のスコアや不確実性を考慮したものに拡張した点がポイント Regret を達成 (既存手法のベストは，) 但し，データ分布には一定の確率分布に従う，という仮定を置いている 実験結果より，Label Noise環境下での分類精度が向上することを確認 (Bandit Feedbackと似ているため) Bandit Feedback Bandit Fe

jubatus 入れると、大規模なオンライン機械学習ができるらしいです。 だけど、入れるのめんどいですね。依存関係とかだるい。 だから、 yum っときました。 (テスト用VMなどに入れて遊んでください。) RHEL5互換・・・つまり、centos5系とかだと、以下3行をコピれば入ります。 rpm -Uvh http://ftp.iij.ad.jp/pub/linux/fedora/epel/5/x86_64/epel-release-5-4.noarch.rpm rpm -Uvh http://rtilabs.net/files/repos/yum/rh/5/x86_64/rtilabs-release-1-0.noarch.rpm yum install --enablerepo=rtilabs jubatus jubatus-python-client OR RHEL6互換・・・つま

2006年のデータマイニング学会、IEEE ICDMで選ばれた「データマイニングで使われるトップ10アルゴリズム」に沿って機械学習の手法を紹介します（この論文は@doryokujin君のポストで知りました、ありがとうございます！）。 必ずしも論文の内容には沿っておらず個人的な私見も入っていますので、詳細は原論文をご確認下さい。また、データマイニングの全体観をサーベイしたスライド資料がありますので、こちらも併せてご覧下さい。 データマイニングの基礎 View more presentations from Issei Kurahashi 1. C4.5 C4.5はCLSやID3といったアルゴリズムを改良してできたもので、決定木を使って分類器を作ります。決定木といえばCARTが良く使われますが、CARTとの違いは以下のとおりです。 CARTは2分岐しかできないがC4.5は3分岐以上もできる C

コンピュータはオー・ヘンリーとエドガー・アラン・ポーの文章を見分けられるか？(機械学習/パーセプトロン) サイボウズ・ラボの中谷です。 以前は nakatani @ cybozu labs でブログを書いていましたが、この "Cybozu Development Inside Out" で書かせていただくことになりました。 よろしくお願いします。 そして初回の記事は、なんと前回の続きです（ごめんなさい）。 前回記事「Perceptron を手で計算して理解してみる」では、オンライン機械学習の手法の一つ、パーセプトロンを紙と鉛筆で計算してみましたので、今回はそれを実装してみましょうというお話です。 ソースは github においています。 http://github.com/shuyo/iir/tree/master Perceptron 実装は簡単。手で計算した後なら、空で実装できてしまい

内容は線形識別モデルの学習について（Perceptron, PA, CW, AROW, NHELDとNLP2010のtutorial + 最新のアップデート. 更新式が整理されています）、オンライン凸最適化のregret解析、sublinearなSVMの学習の話です。最近公開したjubatusの中の学習アルゴリズムの解説でもあります。 コスト関数が凸である場合のOnline Gradient Descentのregret解析の証明は美しかったので、普通はこういうのはプレゼンではやらないとおもうのですが紹介しました。 Sublinearの学習の話は今後いろいろ発展しそうです。各学習例に動的に重みをつけて優先的に学習する方法は直感的にはできそうだと昔考えてたのですが、こういう形できれいに定式化できるのだと感心しました。 IBISはそこそこ参加していますが、毎年新しい分野の問題が登場してきて面白

はじめに FOBOSという最近のオンライン学習の方法を知ったので試してみた。 FOBOSとは 2009年に提案された微分不可能な目的関数でもうまく正則化をしつつオンライン学習できる手法 http://jmlr.csail.mit.edu/papers/v10/duchi09a.html 劣勾配法という手法では、微分不可能な点を持つ目的関数でも学習可能だった しかし正則化(特にL1正則化)を組み合わせてもうまく機能してくれなかった 「勾配による重みの更新」と「正則化のための重みの更新」を分けることで正則化を機能させることができて、収束の証明もできた 詳しい解説記事 http://d.hatena.ne.jp/kisa12012/20101130/1291112553 http://research.preferred.jp/2010/12/subgradient-optimization-4

大学院の専攻全体で行われた輪講で、「L1正則化を導入したOnline学習手法」というタイトルで論文紹介を行ないました。 解説スライド FOBOS View more presentations from Hidekazu Oiwa このスライドを制作するにあたり、中川研究室の皆様には校正・アドバイス等の多大な協力を頂きましたことを、ここで御礼申し上げます。 原論文 "Efficient Online and Batch Learning using Forward Backward Splitting" [J. Duchi, Y. Singer : 2009] 補足 原論文で提案されているアルゴリズム(FOBOS)は、Online学習を用いるとともに、同時に特徴選択も可能にした手法です。 特に今回の解説スライドでは、L1正則化（つまり特徴選択）に話を絞って説明しています。 今回の解説スライ

SVMという、使い方によってはすごいモノがあります（唐突） 誤解を恐れず、パッと簡単に説明すると ラベル付けをしたデータを教師データとして、学習器に与えると、学習モデルを吐いてくれて、評価器にデータを与えると、学習モデルを使って inputはaなのかbなのか？(二値分類) という回答を返してくれる便利ツールです（SVM自体はアルゴリズムですが、その実装は一杯あるのでそれに頼れば、ということ） ベイズ分類器とか使ったスパムフィルタとかを想像してもらえると、動作結果のイメージは間違ってないと思います。 で、SVMの仕組みを細かく説明するとそれだけで結構ボリューミーで、 マク○ナルドのクダブル○ーズクォーター▼ウンダー並に胃がもたれてしまうので、がっつり割愛させていただくとして… とにかく、SVMの仕組みが仕組みなだけに、2次元上では分類が非常に難しいようなデータの分類にとても向いているモノです