ここ 1ヶ月にわたって 聖書 DeepLearning 0.1 Documentation を読み進め、ようやく 制約付きボルツマンマシン の手前まできた。 制約付きボルツマンマシン (RBM) の解説 には RBM = マルコフ確率場 ( Markov Random Field / MRF ) の一種だよっ、と しれっと書いてあるのだが マルコフ確率場とはいったい何なのかは説明がない。マルコフ確率場 <マルコフ・ランダム・フィールド> は用語もカッコイイし結構おもしろいので、 Python でサンプルを書いてみる。 補足 Python では PyStruct というパッケージがマルコフ確率場 / 条件付き確率場 ( Conditional Random Field ) を実装しているため、実用したい方はこちらを。このパッケージ、ノーマークだったがよさげだなあ。 マルコフ確率場とは グラフ

なので、水色の面積(真陽性：病気の人を「病気」と判断)をなるべく大きくして、緑の面積（偽陽性：健康な人を「病気」と判断してしまう）を小さくすると、識別の性能が高いと言えます。 以上のデータからROC曲線を描くと下記のグラフになります。 これがどういうものかを、次項より説明していきます。 また、今回識別境界をx=27においていますが、これが良い境界であることは最初のグラフの２つの分布を引き算したグラフを描いてみるとわかります。正しい判定（水色面積：病気の人を病気と判断）を増やし、誤った判断（健康な人を病気と判断）を少なくするので、水色の面積は＋、緑色の面積はーとなります。水色から緑を引いた曲線を描き、左から順に識別境界を右にずらして考えると、x=27のところより右はマイナスにしかならないので、面積が最大のところは下記のとおりx=27のところということがわかります。 2. ROC曲線の書き方

前処理にディープラーニングを使う 目的 スクレイパーなどで集めた画像には、ターゲットとする画像以外必要ないケースが度々ある データセットづくりと呼ばれる画像からノイズ画像を取り除くスクリーニングの作業の簡略化の必要性 画像のスクリーニングを機械学習でやってしまおうという試みです 前処理そのものにディープラーニングを投入する 画像処理において、学習したい画像かどうかをスクリーニングすることは膨大なコストがかかるので、この作業自体を自動化したい 今回はスクレイパーでいい加減にあつめたグラビア女優の画像7万枚超えを、手動でスクリーニングするのは極めて困難なので、VGG16を転移学習させてフィルタを作っていきます 一枚10円で500枚のペア（positiveとnegative）のデータセットを知り合いのニートに作ってもらう ニートの作成したデータセットをもとに、転移学習させてフィルタを構築 システ

class MFbpr(Recommender): ''' コンストラクタとか他の処理 ''' def buildModel(self): loss_pre = sys.float_info.max nonzeros = self.trainMatrix.nnz hr_prev = 0.0 sys.stderr.write("Run for BPR. \n") for itr in xrange(self.maxIter): start = time.time() # Each training epoch for s in xrange(nonzeros): # sample a user u = np.random.randint(self.userCount) itemList = self.trainMatrix.getrowview(u).rows[0] if len(itemL

前に決定木の可視化をしようと思ってやってなかったのでやっておきます 決定木のライブラリは例のごとくscikit-learnを使う pythonの機械学習ライブラリscikit-learnの紹介 - 唯物是真 @Scaled_Wurm 決定木とは 決定木は教師あり学習で使われるモデルで、ルールを木として学習します 例えば身長、体重から性別を予測したい場合、身長が170cm以上で体重60kg以上なら男、みたいなルールを学習します 性能はあまりよくないモデルですが、人間にもわかりやすいルールを出力する(他のモデルと比べれば)という特徴があります 簡単に説明すると、ある変数が一定値以上であるかという条件で分けた時に、データのラベル(性別なら男女)ごとの分布がどちらかに偏るような条件で木を作っていきます 予測するときには、データが条件を満たしているノードをたどって木の一番下の葉ノードまでいって、葉ノ

ベイズ推定の基本とPyMCによる簡単な実装例です． 関連資料： https://github.com/scipy-japan/tokyo-scipy/tree/master/006/shima__shimaRead less

タイトルの【ディープラーニング】はちょっと釣りくさいですが; AlchemyVisionという、画像解析やテキスト解析にDeep Learningを利用できるAPIが話題になっています。 機械学習系サービスの簡単な紹介記事を書きました。深い話はおいおい。 AlchemyAPIのAlchemyVisionを使ってみる http://t.co/nxbUY7b7h3 #techsketch — Jun Saeki (@sobeit) June 23, 2014 AlchemyAPIは米国のコロラド州デンバー発の人工知能系の技術を応用した自然言語処理や文書解析のサービスを、主に法人向けに展開している企業です。設立自体は2005年とすでに9年ほど経っていますが、シリーズAのファンドを受けたのは2013年になってからですし、名前を目にするようになったのは最近になってからです。 実際にいろいろな写真をデ