Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? TL;DR 勾配法はほとんどのケースで極小点に収束する（鞍点には収束しない） この事実は力学系や最適化の分野ではよく知られているが，機械学習では新しい？ 数年前にバズった勾配法の比較動画は実際の学習現象を説明できていないかも 鞍点の近傍での振舞いで差がつく？　いや，そもそも鞍点近傍に流れ込まないかも 比較動画に登場した鞍点は，実際にはまず生じないタイプかも 機械学習にも役立つモース理論 ほとんどすべての関数はモース関数 モース関数の臨界点のタイプはわずか $d+1$ 種類（$d$ は定義域次元） 安定/不安定多様体とモース・スメール複体

2018年4月25日をもちまして、 『CodeIQ』のプログラミング腕試しサービス、年収確約スカウトサービスは、 ITエンジニアのための年収確約スカウトサービス『moffers by CodeIQ』https://moffers.jp/ へ一本化いたしました。 これまで多くのITエンジニアの方に『CodeIQ』をご利用いただきまして、 改めて心より深く御礼申し上げます。 また、エンジニアのためのWebマガジン「CodeIQ MAGAZINE」は、 リクナビNEXTジャーナル( https://next.rikunabi.com/journal/ )に一部の記事の移行を予定しております。 今後は『moffers by CodeIQ』にて、 ITエンジニアの皆様のより良い転職をサポートするために、より一層努めてまいりますので、 引き続きご愛顧のほど何卒よろしくお願い申し上げます。 また、Cod

岩波データサイエンス vol.2 の発刊を記念して、刊行トークイベント「統計的自然言語処理 - ことばを扱う機械」が 3月3日 に開催されました。 岩波データサイエンス Vol.2 : 岩波データサイエンス刊行委員会 : 本 : Amazon.co.jp トークイベント「統計的自然言語処理ーことばを扱う機械」（岩波データサイエンス Vol.2 刊行記念） - connpass イベントの様子はニコニコ動画さんで生中継されましたが、その録画は YouTube で公開させてもらっています。 【トークイベント「統計的自然言語処理ーことばを扱う機械」（岩波データサイエンス Vol.2 刊行記念） - YouTube】 1. 挨拶と著者団トーク 2. 招待講演「本当は怖い統計的自然言語処理」(賀沢秀人; グーグル株式会社) 3. 自然言語処理についてのパネルセッション＋クロージング 自然言語処理に詳

【データ分析の必読10冊+差をつける10冊＋100冊超】データサイエンス、データ分析、機械学習関連の本本機械学習数学データ分析データサイエンス Update版2023年版データ分析の100冊を書きましたよ！ 必読10冊を更新。データサイエンス、データ分析、機械学習周りでおすすめ図書10選のような記事は良く見ますが、網羅的な紹介記事はあまり見かけないので自分が欲しいと思い書きました。私よりたくさん読んでいる方は多々いらっしゃると思いますが、記事を書いてくださいな。 別の観点でデータ分析プロジェクトのフェーズ毎の参考書籍紹介という記事を新たに書きました。 データ分析の各フェーズ（データ分析プロジェクト全体-ビジネス状況の理解-データの理解-データの準備-モデルの作成-評価-展開）毎に参考書籍を紹介しています。 本記事の対象と想定 Qiitaはプログラマやコンピューター系技術者のための記事と思っ

(編注：2020/10/01、2016/07/29、いただいたフィードバックをもとに記事を修正いたしました。) 目次： さまざまな勾配降下法 バッチ勾配降下法 確率的勾配降下法 ミニバッチ勾配降下法 課題 勾配降下法を最適化するアルゴリズム Momentum(慣性) Nesterovの加速勾配降下法 Adagrad Adadelta RMSprop Adam アルゴリズムの可視化 どのオプティマイザを選ぶべき？ SGDの並列化と分散化 Hogwild! Downpour SGD SGDのための遅延耐性アルゴリズム TensorFlow Elastic Averaging SGD 最適化されたSGDに対する更なる戦略 シャッフル学習とカリキュラム学習 バッチ正規化 早期終了 勾配ノイズ 結論 参考文献 勾配降下法は、最適化のための最も知られたアルゴリズムの1つです。これまではニューラルネット

3. 機械学習のための行列の微分 x =    x1 ... xk   , f(x) はスカラー, F(x) =    f1(x) ... fm(x)   , a =    a1 ... ak    とする. ∂F (x) ∂x =     ∂f1(x) ∂x1 · · · ∂fm(x) ∂x1 ... ... ... ∂f1(x) ∂xk · · · ∂fm(x) ∂xk    , ∂xT a ∂x = ∂aT x ∂x = a 偏微分演算子でF(x)を作用していると解釈 ∂Tr(AB) ∂aij = bji → ∂Tr(AB) ∂A = BT A,Bを行列とする. 合成関数の微分 も直感通り ∂f(g(x)) ∂x = ∂g(x) ∂x ∂f(g(x)) ∂g(x) 付録１．数学の復習http://www.r.dl.itc.u-tok

こんにちは。 今回は、サイコロを使いながら 隠れマルコフモデル（Hidden Markov Model） をテーマにしたいと思います。 隠れマルコフモデルはＤＮＡ解析や、音声解析で利用されている基礎テクニックです。 画像認識と強化学習(DQN)を中心とした、ディープラーニングの書籍「実装　ディープラーニング」をオーム社から出版しました。詳しくはこちらをご覧下さい。 サイコロゲーム サイコロは、みなさん良くご存じのとおり、1～6 までの目があって、その目の出方（確率）は、どの目をみても「同様に確からしい」というものです。 今回は少し物語風です。 ＡさんとＢさんは、Ｃさんの家で 3 人でサイコロゲームを行いました。 ゲームはいたって簡単で、それぞれが見えないように数字を紙に書いて、 1 個のサイコロを振って、紙の数字とサイコロの目があっていれば勝ちというものです。 サイコロを振るのはＣさんで、

EMNLP2015読み会：Effective Approaches to Attention-based Neural Machine Translation

確率ロボティクス (プレミアムブックス版) 目次 目次 はじめに 『Probabilistic Robotics』(確率ロボティクス) Sebastian Thrun 他 『パターン認識と機械学習』C.M. ビショップ 『Principles of Robot Motion: Theory, Algorithms, and Implementations』Howie Choset 『マンガでわかる統計学シリーズ』高橋 信 『図解・ベイズ統計「超」入門』涌井 貞美 『プログラミングのための確率統計』平岡 和幸,堀 玄 『Introduction to Applied Linear Algebra: Vectors, Matrices, and Least Squares』Stephen Boyd, Lieven Vandenberghe 『Convex Optimization』Stephe

2018年4月25日をもちまして、 『CodeIQ』のプログラミング腕試しサービス、年収確約スカウトサービスは、 ITエンジニアのための年収確約スカウトサービス『moffers by CodeIQ』https://moffers.jp/ へ一本化いたしました。 これまで多くのITエンジニアの方に『CodeIQ』をご利用いただきまして、 改めて心より深く御礼申し上げます。 また、エンジニアのためのWebマガジン「CodeIQ MAGAZINE」は、 リクナビNEXTジャーナル( https://next.rikunabi.com/journal/ )に一部の記事の移行を予定しております。 今後は『moffers by CodeIQ』にて、 ITエンジニアの皆様のより良い転職をサポートするために、より一層努めてまいりますので、 引き続きご愛顧のほど何卒よろしくお願い申し上げます。 また、Cod

$k$は定数で、だいたい0.04~0.06くらいです。Rの値によって以下のように分類できます。 Rが大きい: corner Rが小さい: flat R < 0: edge 図にすると、以下のようになります。 CSE/EE486 Computer Vision I, Lecture 06, Corner Detection, p22 これで手早くcornerを検出できるようになりました。ここで、corner検出についてまとめておきます。 cornerは複数のedgeが集まる箇所と定義できる 変化量をまとめた行列の固有ベクトルからedgeの向き、固有値の大きさから変化量の大きさ(edgeらしさ)がわかる 2つの固有値の値を基に、edge、corner、flatを判定できる 固有値の計算は手間であるため、判定式を利用し計算を簡略化する なお、Harrisはedgeの向きである固有ベクトルを考慮す

%matplotlib inline import matplotlib.pyplot as plt import matplotlib.cm as cm import numpy as np import seaborn as sns import numpy.random as rd m = 10 s = 3 min_x = m-4*s max_x = m+4*s x = np.linspace(min_x, max_x, 201) y = (1/np.sqrt(2*np.pi*s**2))*np.exp(-0.5*(x-m)**2/s**2) plt.figure(figsize=(8,5)) plt.xlim(min_x, max_x) plt.ylim(0,max(y)*1.1) plt.plot(x,y) plt.show() この図は、平均$\mu$、標準偏差$\sigma$

最近、ディープラーニングが流行ってるせいか、機械学習関連の本や学習法をまとめた記事がバズっているのをよく目にします。 みんな興味はあるけど、なかなか手を出しにくい分野だから、学習方法が注目されているのだと思うのですが、それにしても多すぎると思いました。なので、機械学習のまとめをまとめてみました。Navarまとめのまとめみたいな。 人工知能ブームに追従する機械学習ブームの中、今年勉強するものの参考になれば幸いです。 オススメ本のまとめのまとめ breakbee.hatenablog.jp d.hatena.ne.jp d.hatena.ne.jp blog.livedoor.jp d.hatena.ne.jp d.hatena.ne.jp 学習に役立つ情報のまとめのまとめ qiita.com d.hatena.ne.jp qiita.com d.hatena.ne.jp aidiary.ha

SGDの最新の拡張手法を紹介： Importance-aware UpdateやNormalized Online Learningなど．SGD+αはここまで出来る！Read less

#勾配降下法は何に使う？# 勾配降下法は統計学や機械学習で多く使われています。特に機械学習というのは基本的に何かしらの関数を最小化（最大化）する問題を数値解析的に解くことに帰結する場合が多いです。（e.g. 最小二乗法 → 誤差の二乗和を最小化（参考）、ニューラルネットワークのパラメータ決定 etc...） なので、基本的にはひたすら微分して0となるところを探す問題ですね、微分して0。で、その微分して0となる値は何か、をプログラムで解く場合に重要になるのがこの勾配降下法です。幾つか勾配法にも種類がありますがここでは最急降下法、確率的勾配降下法の２つを扱います。まずはイメージをつかむために１次元のグラフで確認していきたいと思います。 ##1次元の場合## 1次元の場合は、確率的という概念はなく、ただの勾配降下法になります。 （どういうことか、はのちほど） 1次元の例は、正規分布をマイナスにし

社内の有志で機械学習や数学の勉強会をいくつかやっています（私以外の方が主催しているものもある）。とくに理系ではない方も参加されていますが、きちんと頑張ればだんだん機械学習ができるようになるということがわかってきたのでメモしておきます。 なお、機械学習をとりあえず実装するだけだったらもっと簡単に学ぶ方法もいろいろあり、今回はあくまで正攻法で機械学習を勉強する、という観点での書籍の選択となっています。急がば回れという言葉もあるように、焦って成果を求めないのであれば地道に頑張るほうが後々応用が効いて良いということもあります。 高専の数学 おそらく数学ができないという方は高校の数学あたりから理解が怪しいことになっていると思います。「高専の数学」は中学数学までの前提知識で読める教科書で、わかりやすい例題や理解の助けになる練習問題が多数用意されているため、きちんと問題を解いていけば無理なく高専の数学(

(2015/11/19、記事を修正いたしました。) 目次 線形変換 主成分分析（PCA） 共分散行列 基底変換 エントロピーと情報の取得 とにかくコードが欲しい方へ その他の参考資料 本稿は固有ベクトルと行列との関係性について、平易な言葉で、数学にあまり詳しくなくても分かるように書いてみました。この発想に基づいて、PCA、共分散、情報エントロピーについても説明します。 固有ベクトルは英語で「eigenvector」ですが、この eigen はドイツ語で、「そのものだけが持つ」という意味です。例えばドイツ語の「mein eigenes Auto」は、「ほかならぬ私が持つ車」というニュアンスです。このようにeinenは、2つのものの間に存在する特別な関係性を意味します。独特、特徴的、その性質を端的に示すものということです。この車、このベクトルは、私だけのもので、他の誰のものでもありません。 線