はしくれエンジニアもどきのメモ

情報系技術・哲学・デザインなどの勉強メモ・備忘録です。

トップ > 確率・統計

確率・統計

ディリクレ(Dirichlet)分布を3Dで可視化する

確率・統計 Python

ディリクレ(Dirichlet)分布を3Dで可視化する （3次元の）ディリクレ分布をpythonのmatplotlib.plot_surfaceで可視化するメモ． ディリクレ(Dirichlet)分布を3Dで可視化する 環境 ディリクレ分布 matplotlibで可視化する． 参考リンク MathJax.Hub.Config({ t…

どの党派が小池百合子氏を再選させたかをベイズ推定する

選挙統計 確率・統計 ベイズ統計 雑記

[選挙統計]どの党派が小池百合子氏を再選させたかをベイズ推定する 都知事選が2020年7月5日にありました． 大差で小池百合子氏が再選しました． 今回は小池百合子氏に投票した内どの党派が多いかをベイズ推定で計算します． 結論からいうと無党派層（小池氏…

内分点と重み付け平均の考察

math 確率・統計 ベイズ統計

内分点と重み付け平均の考察 内分点と重み付け平均の考察メモ gist: 内分点と重み付け平均 · GitHub 内分点と重み付け平均の考察 内分点1つの場合 なぜ重みが逆になるのか 内分点が2つある場合 繰り返し内分点を分ける場合 重み付け平均 データが2種類の場合…

ガンマ分布のパラメータ推定

確率・統計

ガンマ分布のパラメータ推定 ガンマ分布のパラメータ推定メモ． 以下の手法のメモ 標本平均，標本分散からの近似値推定 最尤推定 shapeパラメータの近似値推定 それを初期値として数値解析的にニュートン・ラフソン法で求める MathJax.Hub.Config({ tex2jax:…

リッジ回帰(Ridge Regression)の正規方程式を導出

確率・統計 MachineLearning

リッジ回帰(Ridge Regression)の正規方程式を導出 リッジ回帰(Ridge Regression)の正規方程式を導出するメモ． L2ノルムの2乗により微分が容易にできるので解析解として導出できる． MathJax.Hub.Config({ tex2jax: { inlineMath: [['$','$'], ['\\(','\\)']…

カイジのEカードの勝率を計算する

確率・統計

カイジのEカードの勝率を計算する 図書館でNewton別冊”確率に強くなる―「偶然」にひそむ数学法則”（2010年発行なのでちょっと古い）を読んでたら面白いコラムがあった． 選択制じゃんけん．つまりEカードの勝率である． 確率に強くなる―「偶然」にひそむ数学…

2019年度のセパ両リーグのピッチャーの成績データを偏相関係数でみる

確率・統計

2019年度のセパ両リーグのピッチャーの成績データを偏相関係数でみる 2019年度のセパ両リーグのピッチャーの成績データの変数間の偏相関係数がどうなっているか見てみる． 特に勝利数と防御率に着目する． repository: github.com MathJax.Hub.Config({ tex2…

pythonで偏相関係数行列(pcor)を計算

確率・統計 math 数式

pythonで偏相関係数行列(pcor)を計算 以前，3変数(X,Y,Z)の場合の偏相関係数の式を導出した． cartman0.hatenablog.com 今回は３変数以上の多変数の場合の偏相関係数行列を求めてみる． ただscipy.stats, pandas, statsmodels,scikit-learnなどで関数がない…

T種類中のものをx種類引くのに試行回数n回かかる確率

確率・統計 Python math

T種類中のものをx種類引くのに試行回数n回かかる確率 前回は，T種類中のものをn回引いてx種類当てる確率（n：固定値，x：確率変数）を求めたが， cartman0.hatenablog.com これを利用してT種類中のものをx種類引くのに試行回数n回かかる確率$P(n|x)$（つまり…

T種類中のものをn回引いてx種類当てる確率

確率・統計 Python

T種類中のものをn回引いてx種類当てる確率 今回は，T種類中のものを n回引いてx種類当てる確率 を求める． (試行回数nは固定値，x種類が確率変数になる) 例えば，3種類の玩具付きお菓子あったときに， 4回引いて1,2,3種類当てる確率 に該当する． イメージ M…

x回目に初めて当たる確率：幾何(first sucess, geometric)分布メモ

確率・統計 数式

x回目に初めて当たる確率：幾何(first sucess, geometric)分布メモ x回目に初めて当たる確率分布である幾何(first sucess, geometric)分布のメモ MathJax.Hub.Config({ tex2jax: { inlineMath: [['$','$'], ['\\(','\\)']], displayMath: [ ['$$','$$'], ["\…

グラフィカルモデリング・機械学習などでよく使う正規分布の性質

確率・統計 math

グラフィカルモデリング・機械学習などでよく使う正規分布の性質 グラフィカルモデリング・機械学習などでよく使う正規分布の性質のメモ 随時追加予定． 参考： SimonJ.D.Prince,Computer Vision Models, Learning, and Inference MathJax.Hub.Config({ tex2…

EMアルゴリズムで混合正規分布(MoG)のパラメータを導出

MachineLearning 確率・統計

EMアルゴリズムで混合正規分布(MoG)のパラメータを導出 EMアルゴリズムで混合正規分布(MoG)のパラメータを求めるメモ． 参考： Udemyの「ベイズ推定とグラフィカルモデル：コンピュータビジョン基礎1 54. Gaussian Mixture Model 混合正規分布」 テキスト："…

ベクトル・行列の微分メモ

math 確率・統計 数式

ベクトル・行列の微分メモ 確率・統計・グラフィカルモデリング・機械学習あたりに出てきそうなベクトル・行列の微分のメモ 随時追加予定 参考： https://www.ics.uci.edu/~welling/teaching/KernelsICS273B/MatrixCookBook.pdf MathJax.Hub.Config({ tex2ja…

多次元正規分布の周辺分布と条件付分布を計算する

ベイズ統計 確率・統計 math

多次元正規分布の周辺分布と条件付分布を計算する 多次元正規分布の周辺分布と条件付分布もまた正規分布になる． そのときのパラメータ（平均，分散）を導出する． D次元正規分布に従う確率変数ベクトルを$\vec{x}$, 平均ベクトルを$\vec{\mu}$, 共分散行列…

2つの正規分布の密度(pdf)の積から導出できる正規分布

ベイズ統計 確率・統計 math

2つの正規分布の密度(pdf)の積から導出できる正規分布 正規分布の積もまた正規分布になるので，その正規分布のパラメータ（平均，分散）を導出する． （なお，確率変数の積ではない） 参考： Udemyの「ベイズ推定とグラフィカルモデル：コンピュータビジョン…

正規逆ガンマ分布の事後分布のパラメータ更新式と予測分布の導出

ベイズ統計 確率・統計 math

正規逆ガンマ分布の事後分布のパラメータ更新式と予測分布の導出 Udemyの「ベイズ推定とグラフィカルモデル：コンピュータビジョン基礎1」（テキスト："Computer vision: models, learning and inference" by Simon Prince）で， 事後分布のパラメータ式のみ…

正規逆ガンマ分布の確率密度関数の導出・可視化・サンプリング

ベイズ統計 確率・統計 math

正規逆ガンマ分布の確率密度関数の導出・可視化・サンプリング Udemyの「ベイズ推定とグラフィカルモデル：コンピュータビジョン基礎1」の授業で， ベイズ統計で正規分布のパラメータの分布に使われる正規逆ガンマ分布の紹介があったので，導出と可視化のメ…

正規逆ガンマ分布の分散についての積分からt分布を導出

ベイズ統計 確率・統計 math

正規逆ガンマ分布の分散についての積分からt分布を導出 MathJax.Hub.Config({ tex2jax: { inlineMath: [['$','$'], ['\\(','\\)']], displayMath: [ ['$$','$$'], ["\\[","\\]"] ] } }); 補題的な内容，何とか導出できたのでメモ． この補題は，ベイズ統計で…

k-meansクラスタリング実装メモ

確率・統計 MachineLearning clustering Python

k-meansクラスタリング実装メモ k-meansクラスタリングを実装してみたのでメモ． gist: k-means clustering · GitHub k-meansクラスタリング実装メモ k-meansクラスタリングのアルゴリズム 実装・コード test 2次元標準正規分布をクラスタリング 参考文献・…

偏相関係数の導出メモ

確率・統計 math

偏相関係数の導出メモ github: https://github.com/Cartman0/MultivariateAnalysis/blob/master/PartialCorrelationCoefficient_%E5%81%8F%E7%9B%B8%E9%96%A2%E4%BF%82%E6%95%B0%E3%81%AE%E5%B0%8E%E5%87%BA.ipynb 偏相関係数の導出方法のメモ． 参考資料： …

ABO遺伝子型の次世代分布をマルコフ推移でみる

確率・統計 math

ABO遺伝子型の次世代分布をマルコフ推移でみる ABO遺伝子型(AA, AO, BB, BO, AB, OO)の次世代分布をマルコフ推移させて， マルコフ定常するのか発散するのかをシミュレーションしてみる． きっかけとしては，日本だとBB型の人は3%しかいなく，単純に世代を繰…

cos類似度の次元の呪い

確率・統計 math 自然言語処理 画像処理

cos類似度の次元の呪い 元ネタはこちらの記事 コサイン類似度が高いベクトルはどれくらい似ているか(岩波データサイエンス刊行イベントより) - 木曜不足． cos類似度は計算しやすいので，言語処理界隈では単語ベクトルや画像理処理界隈ではヒストグラムをベ…

2つのヒストグラムからKL情報量を計算する

確率・統計 math

2つのヒストグラムからKL情報量を計算する MathJax.Hub.Config({ tex2jax: { inlineMath: [['$','$'], ['\\(','\\)']], displayMath: [ ['$$','$$'], ["\\[","\\]"] ] } }); 2つの確率密度関数からKL情報量を計算できるなら， （経験的）ヒストグラム密度か…

逆誤差伝播法（バックプロパゲーション）で関数の微分値を求める

確率・統計 math

逆誤差伝播法（バックプロパゲーション）で関数の微分値を求める MathJax.Hub.Config({ tex2jax: { inlineMath: [['$','$'], ['\\(','\\)']], displayMath: [ ['$$','$$'], ["\\[","\\]"] ] } }); TheanoやPytorchのforward関数やbackward関数がどういう計算…

正規分布間のKL情報量を計算する

確率・統計 math

正規分布間のKL情報量を計算する MathJax.Hub.Config({ tex2jax: { inlineMath: [['$','$'], ['\\(','\\)']], displayMath: [ ['$$','$$'], ["\\[","\\]"] ] } }); gist: 正規分布間のKL情報量 · GitHub KL情報量が1や2といったときに，どのくらいの大きさか…

ごっちゃになりやすい排反と統計的独立のメモ

確率・統計 math

ごっちゃになりやすい排反と統計的独立のメモ 事象の排反と統計的独立，この2つは確率の教科書の最初の方に登場し， 読み進めていくと（教科書の問題は基本的に整備されている・もしくは暗黙的に仮定されている場合が多く）ここを意識していなくてもトラブル…

ガンマ分布メモ

確率・統計

.gist iframe.render-viewer {min-height: 1250rem} ガンマ分布メモ ベイズ統計において，正規分布の分散パラメータの逆数（精度）が従うガンマ分布についてのメモ． (Jupyter Notebookにまとめた) nbviewer ガンマ分布メモ note 参考文献

Law of total Expectations（全期待値則）メモ

math 確率・統計

Law of total Expectations（全期待値則）メモ 確率に出てくるtotal Expectations則（日本語だと全期待値則？）のメモ． 次のように期待値(expected) operatorが2つ出てくる． \begin{eqnarray} E[X] = E[E[X|Y]] = \sum_{y}{ E[X|Y=y]P(Y=y) } \end{eqnarra…

「5%の確率で性器を露出するドラえもん」は本当に5%だったのか

雑記 確率・統計

// 「5%の確率で性器を露出するドラえもん」は本当に5%だったのか はてブを見ていたところ，面白い記事を見つけました． bok.hatenablog.com どうやら，以下のようなBOTだったようです． 「5%の確率で性器を露出するドラえもん」とは、二時間に一回ランダム…