はてなブックマーク

話題の評点分布についての自分用まとめです。 特に統計的な議論においては各々想定している状況が違っているようなので整理してみました。 筆者は統計というよりは確率の人間なので、ベイズだとかには触らずに確率変数の演算ばかり使います。 大数の法則が使えるような状況 店 の真の評点 が宇宙のどこかに存在していて、レビュワー の 店 に対する評点 は平均 を持つ独立同分布な確率変数と考えます。 店 の評点 は 件のレビューが付いていたときに と書けます*1が、これはレビュワーが増えていくと に収束することが知られています。 確率変数である を仮に に置き換えて考えれば、もはや評点分布は何ら確率的な性質を持ちません。 宇宙のどこかに存在している の値は3.6が多いかもしれませんし3.8が多いかもしれませんし、そうでないかもしれません。 レビュワー数は実際には有限なので収束せず幾らかは確率的なところがある

名刺の会社のアドベントカレンダー3日目です。 へい社ではR&Dメンバーが論文読み会を定期的に開催しています。私は直近でバッチサイズに関するものを読みましたので、それに関連する数値実験を報告しようと思います。 論文 On Large-Batch Training for Deep Learning: Generalization Gap and Sharp Minima (ICLR 2017) Train longer, generalize better: closing the generalization gap in large batch training of neural networks (NIPS 2017) 前者の論文では、Deep Learningにおいて、SGDのバッチサイズを小さくした方が汎化性能の高くなる経験則について、バッチサイズとtrain loss func

Ryzen 7 1700とGTX 1080 Tiでマシンを組んだので、動作確認がてらXGBoostのGPU版を使ってみました。 タイムラインでそういう話題があったのでネタをパクったような形になってしまいましたが、私自身前からやってみたいと思っていたテーマであり、H2O.aiが最近担いでいる話でもあるので許して頂きたい。 構成 Ryzen 7 1700 (3.7GHz 8core/16thread) GTX 1080 Ti FOUNDERS EDITION (1582MHz 11GB) 今のところ定格で動かしてます。 記事と前後してしまいますが、Deep Learning以外の機械学習アルゴリズムもGPUで気軽に計算を高速化できるような予感があったのでCPUはケチりました。 将来GPUを追加する際の資金の足しにしたい。 インストール 公式のドキュメント 私はUbuntuの環境でmakeを使っ

はじめに 将棋ソフト不正疑惑に関する事件について新たな記事が出ていたので、また計算機を叩いてみました。 三浦九段不正疑惑について、渡辺明竜王を弁護する 2017/02/27追記 当該記事は削除されてしまっています。一時、ハフィントンポストが全文を掲載してくれていたのですが、そちらも削除されています。ご覧なりたい方は自身で魚拓を漁ってください。 三浦九段については晴れて「シロ」判定がされて、これから名誉回復をどうしていくかという段で、このような記事が出てくるのには違和感があります。 ネット上でもあまり評判良くないようなので、今更内容に噛み付く必要もないのですが、データジャーナリズムの手習いとして公開してみます。 前提 ここでは、記事中にある一致率の推定値を真の値として扱います。 一致率については、将棋ソフトや局面の違いによって値に大きな差異が出る可能性が指摘されています。 そのような数字を基

DMLCひとりアドベントカレンダー0日目の記事です。 強い競合が現れたということで、DMLCとは直接関係ないですがLightGBMについて紹介します。 LightGBMとは 勾配ブースティング木の高速な実装としてXGBoostが有名ですが、Microsoftの開発した更に高速な実装がLightGBMです。 実験によるとXGBoostの数倍高速だということです。 パフォーマンス向上の大きな要因は、決定木の分割をexactに探索するのではなく、ヒストグラムのビン単位にして計算を間引いていることにあるようです。 ビン単位にすると精度が落ちそうな気もしますが、汎化性能を考えたら特徴量が粗いくらいでちょうど良いのだろうと腹落ちしています。 同じアプローチでFastBDTが先に発表されましたが開発が滞ってしまっている一方、LightGBMでは最近Pythonパッケージがベータリリースされました。 今日

周回遅れも甚だしいですが、「乱数のコク」について思う所があったので計算をしてみました。 オリジナル 一様乱数と比べて、5つの一様乱数の平均の方がコクがあるとのことです。 シミュレーションで得たヒストグラムは以下のようになりました。 def rand_koku(n, seed): np.random.seed(seed) u1 = np.random.rand(n) u2 = np.random.rand(n) u3 = np.random.rand(n) u4 = np.random.rand(n) u5 = np.random.rand(n) return (u1, (u1+u2+u3+u4+u5)/5.0) 平均を取った側は正規分布のような釣り鐘型になっています。 果たしてこれをコクと呼べるでしょうか。2次モーメントも異なっていますし、分布の形も別物です。 オーディオで言ったらSONY

皆さんMXNet使っていますか？ 年度初に著名データサイエンティストの記事が相次いで盛り上がった感がありましたが、もうChainerなりTensorFlowなりに移ってしまったのでしょうか… MXNetはDeep Learningフレームワークの比較でドキュメントが弱いことをよく指摘されてるので、1ユーザとして草の根でお役立ち情報を発信していきたいです。 やりたいこと 形式の異なる複数のデータを入力として、複数の値を出力するモデルを学習したい。*1 Keras: Functional APIなるものを使って実現できるそうです。 Functional APIのガイド - Keras Documentation Chainer: サポートされている模様。手続き的なフレームワークだと関数に通すだけなので難しいことは少なそう。 Google グループ TensorFlow: サポートされていない模

背景 オプトDSLで開催された「ユーザー離脱予想」のコンペで入賞しました。 結構丁寧に検収をして頂くのですが、オプトの方とこちらとでどうしても結果が一致せずに困り果てていました。 Twitterでつぶやいた所、有益情報をゲットします。 xgboostは、Windowsはrand、それ以外はrand_r、R版はRのunif_randなどを使っているようで、環境によって同じseedでも乱数の結果が違っているのだと思うけど、マジでそんな実装なんだ...と思った。 https://t.co/uGmpvpHPeK— id:ultraist (@ultraistter) 2015, 8月 30 random.hを調べてみたところ… struct Random{ inline void Seed(unsigned sd) { this->rseed = sd; #if defined(_MSC_VER)