問題 方針 解答 問題 収束する数列は有界であることを示せ。 方針 数列が収束するということに関しては、しっかりと分かっているということを前提に書いていこうと思います。 さて、数列が有界であるということの定義を確認しましょう。 定義: あるが存在して、任意のに対して となるとき、数列は有界であるという。 つまり、具体的にある実数Rを用意して、それがどんなよりも大きくなっていることを示せばいいわけです。 ここで収束することから、任意のに対して、あるが存在して ならば となっています。 このようなNより大きいnに対しては より、 がわかります。 Nより小さいnに関しては有限個の数列なのでで一番大きいものを取ってこればいいわけです。 解答 収束する数列に対して、 方針で登場したを考える。 としてを用意すると、任意のに対して となっていることから示せた。

プログラマのための圏論(初級編)では、自然変換まで説明した。ここまで理解すると本当の意味で圏論を自由に扱えるようになる。上級編では、これまでの理解を踏まえて、さらに圏論の奥義を学ぶことにしよう。 １．極限 圏論の特徴は抽象階層だと思う。圏は、対象と射によって構成される構造だ。従って適当に、対象と射を選ぶことによって、圏を作ることができる。下図では、圏\(\mathcal{B}\)は、対象\(A,A’\)と射\(f,f’,f’’\)により構成されている(圏を構成するには、このほかに、合成や恒等射などを必要とするがここでは本質的なものだけで記述する)。 さらに、圏を対象にして、圏と圏との関係を射とすることで、抽象的な圏を作成することができる。この操作を繰り返すことで、より抽象的な圏を得ることができる。 下図では、圏\(\mathcal{B}\)を対象\(B\)にして、新たな圏\(\mathca

たまには、数学の「歴史」の話をしようかと思う。 ご存知のように、数学の「基礎」はカントールによって危機に陥れられた。つまり、（素朴）集合論によって。あらゆる集合を含む集合は、自分自身を含むだろうか？　この答えは含むと言っても矛盾だし、含まないと言っても矛盾。正解は「それ」は「集合ではない」というものであった。では、なにが集合なのだろう？　そこから、公理的集合論は始まる。 バートランドラッセルが提案した「プリンキピア・マセマティカ」は、上記のパラドックスに「直接」、パッチを当てる、という意味では、素直な発想だったと言えるであろう。コンピュータの世界では今では一般的になった「型」という考えを使ってこの問題にアプローチする方法であったわけだが、興味深いのは、この頃の「哲学者」はまだ、真面目に「数学」をやっていた、ということであろう。 しかし、この問題はそれ以降はより、エレガントに議論されるように

そこで加法準同型暗号と完全準同型暗号の中間の暗号（somewhat準同型暗号 あるいはleveled準同型暗号）が研究されています。somewhat準同型暗号は暗号文同士の演算回数に制約を設けることで効率のよい処理を目指します。 今回提案した暗号は足し算は任意回、乗算は1回だけ可能なL2準同型暗号と呼ばれるクラスに属します。 乗算が1回しか出来なくても、複数の暗号文の平均値や分散、内積、最小二乗法などができます。うまく使えばなかなか便利な暗号です。 加法準同型暗号を使った例としては加法準同型暗号を用いて暗号化したまま画像のエッジ検出をするも参照ください。 なお、加法性を使うだけでも $Enc(x) + Enc(x) = Enc(2x)$, $Enc(2x) + Enc(x) = Enc(3x)$,... なので適当な整数$n$に対して$nEnc(x) = Enc(nx)$を計算できることに

StanでADVIが使えるようになったので、変分ベイズの基礎は抑えておきたいなぁと思って最近学んでいました。自分向けのメモとして残します。 対数周辺尤度・変分下限・KL情報量 目的は事後分布の最もよい近似となるを求めることです。にはあとで因子分解可能という条件を入れます。 イエンセンの不等式を使って、対数周辺尤度を下から評価すると、 を変分下限と呼びます。任意の関数の関数です。対数周辺尤度はevidenceとも呼ばれるため、変分下限はevidence lower bound、略してELBOとも呼ばれます。対数周辺尤度と変分下限の差は、 となります。これはと事後分布のKL情報量（Kullback-Leiblerdivergence）です。対数周辺尤度がにはよらない、データのみから決まる定数であることを考えると、事後分布の最もよい近似となるを求めることは、変分下限を最大化することに等価になりま

確率分布が正規分布に従うか調べたい、 二つの集団が同じ確率分布から得られたものか調べたい、 といった時に使うのが、コロモゴロフスミルノフ検定(Kolmogorov–Smirnov test) コルモゴロフ–スミルノフ検定（コルモゴロフ–スミルノフけんてい、英: Kolmogorov–Smirnov test）は統計学における仮説検定の一種であり、有限個の標本に基づいて、二つの母集団の確率分布が異なるものであるかどうか、あるいは母集団の確率分布が帰無仮説で提示された分布と異なっているかどうかを調べるために用いられる。しばしばKS検定と略される。 1標本KS検定は、経験分布を帰無仮説において示された累積分布関数と比較する。主な応用は、正規分布および一様分布に関する適合度検定である。正規分布に関する検定については、リリフォースによる若干の改良が知られている（リリフォース検定）。正規分布の場合、一

確率・統計の基礎的な数式・統計量が分かるようになったところで、機械学習に進もうと思ってぶつかるのが多次元の壁です。一次元なら分かるんだけども、多次元になるとサッパリわからないというのは、線形代数の数式がわからないからに他ならないのですが、今回は具体的に計算を追っていくことで多次元への拡張を見たいと思います。 これを見ても全く怖じけなくなるところを目指しましょう。 基本的な確率・統計の知識 平均 分散 共分散 相関係数 独立性 多次元正規分布へ 一次元の正規分布 特別な多次元標準正規分布 ベクトル、行列を用いた平均と分散の表記 一般の多次元正規分布の概観 一般の多次元正規分布の導入 基本的な確率・統計の知識 確率変数などの基本的なことは理解しておいてください。 s0sem0y.hatenablog.com 平均 確率変数の平均とは、の期待値のことです。 確率密度関数をとしての平均は となりま

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

『プログラマのための圏論』はこれまでの分をまとめてPDFファイルにしました。参考にしてください。

昨今の機械学習ブームの中、IT業界を中心とするエンジニアの方々から、「機械学習に必要な数学をもう一度しっかりと勉強したい」、そんな声を耳にすることが増えました。本書は、そのような読者を念頭におき、理工系の大学1、2年生が学ぶレベルの解析学（微積分）を基礎から解説した書籍です。大学生向けの教科書であれば、すでに多数の書籍がありますが、本書の特徴は、「定義と定理をもとに、厳密に展開される議論をとにかく丁寧に説明する」という点にあります。数式の変形についても、途中の計算をできるだけ省略せずに記載して、議論の展開を見失うことがないようにと配慮しました。大学生のころに勉強した、あの「厳密な数学」の世界をもう一度、がっつりと堪能していただけることでしょう。 「機械学習に必要な数学」というと、数学をただの道具と割り切って、公式の使い方、あるいは、数式が表わす意味だけを直感的に理解できれば十分と考える方も

ニューラルネットワークと深層学習 What this book is about On the exercises and problems ニューラルネットワークを用いた手書き文字認識 逆伝播の仕組み ニューラルネットワークの学習の改善 ニューラルネットワークが任意の関数を表現できることの視覚的証明 ニューラルネットワークを訓練するのはなぜ難しいのか 深層学習 Appendix: 知性のある シンプルな アルゴリズムはあるか? Acknowledgements Frequently Asked Questions Sponsors Resources 最初にゴルフを始めようとするとき、まずは基本スイングの練習にほとんどの時間を使うのが普通です。それ以外のスイングの練習をするのは、少しずつしかできません。チップやドローやフェードを身につけるのは、基本スイングの上に、修正しながら組み立てるも

ニューラルネットの分類問題 分類するクラスの数＝出力層のユニットの数 ラベルデータ 現実の出力 ソフトマックス関数 確率を出力している 交差エントロピー 損失関数 交差エントロピーを用いる理由 ニューラルネットの分類問題 分類するクラスの数＝出力層のユニットの数 ニューラルネットワークで分類問題を解く場合は、入力層はデータの次元の数に合わせ、中間層は任意の構造を持たせることができますが、出力層は分類したい種類（クラス）と同じ数のユニットで構成します。 あるデータから、男女を判別したいならば出力層のユニットは2つですし、お馴染みの手書き文字認識のmnistを使う場合は「0〜9」の手書き文字を認識するために10個のユニットを出力層に準備するということです。 ラベルデータ 入力データに対してそのラベル（答え）をとした時に、は分類したいクラスの数（出力層のユニットの数）の次元を持つことになります。

ディリクレ分布についていまいちイメージがつかなかったのでまとめてみました． 後半では正規化項，期待値，分散の算出過程を示しています．物好きな人は御覧ください． どんな分布？ あるn個の事象についてi番目の事象が \(\alpha_i-1\) 回発生した場合に，その事象の生起確率が \(x_i\) である確率の分布です． つまり，i番目の事象が \(\alpha_i-1\) 回発生したということで，各事象について生起確率を \(x_i\) (i=1,2,…,n) と定めると，それがどれだけ正しそうかの確率を返します． ベータ分布について理解している人はベータ分布を多変量に拡張したものと考えるとわかりやすいです． ディリクレ分布は以下の式で表されます． \[p(\bm{x};\bm{\alpha})=\frac{1}{Z}\prod_{i=1}^n x_i^{\alpha_i-1}\hspac