ディリクレ分布ã¾ã¨ã‚ - ã‚らã³ã日記ã“ã®è¨˜äº‹ã¯ abicky.net 㮠ディリクレ分布ã¾ã¨ã‚ ã«ç§»è¡Œã—ã¾ã—ãŸ
ç¬¬äºŒç« - prml_note @ ウィã‚
*ç¬¬äºŒç« ã€€ç¢ºçŽ‡åˆ†å¸ƒ ***2.1節　ベルヌーイ分布 -コインã®è¡¨ã¨è£ã®ã‚ˆã†ãªãƒã‚¤ãƒŠãƒªãªäº‹è±¡ã®ç¢ºçŽ‡åˆ†å¸ƒ $${\rm Bern}(x|\mu) = \mu^x(1-\mu)^{1-x}$$ å¹³å‡ãƒ»åˆ†æ•£ $${\mathbb E}[x] = \mu$$ $${\rm var}[x] = \mu(1-\mu)$$ i.i.d仮定ã®ä¸‹ã§ã®å°¤åº¦é–¢æ•°ã¯ $$p({\mathcal D}|\mu) = \prod_{n=1}^{N}p(x_n|\mu) = \prod_{n=1}^{N}\mu^{x_n}(1-\mu)^{1-x_n} $$ é »åº¦è«–è€…ã¯å°¤åº¦é–¢æ•°ã®æœ€å¤§åŒ–å•é¡Œã‚’解ãã“ã¨ã«ã‚ˆã£ã¦ãƒ‘ラメータ$$\mu$$を推定ã™ã‚‹ã€‚ $$\ln p({\cal D}|\mu) = \sum_{n=1}^{N}\ln p(x_n|\mu) = \sum_{n=1}^{N}\{x_n\ln \mu + (1-x_n
PRML2.1 2.2
2. ç™ºè¡¨æ¦‚è¦ ï‚¨ 2.1 二値変数  2.2 多値変数  2.3 ガウス分布  2.4 æŒ‡æ•°åž‹åˆ†å¸ƒæ— ï‚¨ 2.5 ノンパラメトリック法 2 3. ã“ã®ç« ã®ç›®çš„  密度推定  観測値ã®æœ‰é™é›†åˆð‘¥1 , … , ð‘¥ ð‘ ãŒä¸Žãˆã‚‰ã‚ŒãŸæ™‚，確率変数𑥠ã®ç¢ºçŽ‡åˆ†å¸ƒð‘(ð‘¥)をモデル化ã™ã‚‹ã“ã¨ ï® ã“ã®ã‚ˆã†ãªç¢ºçŽ‡åˆ†å¸ƒã¯ç„¡é™ã«å˜åœ¨ã—ã†ã‚‹  パラメトリック法 ï® åˆ†å¸ƒã®å½¢ã‚’仮定ã—，観測値ã«åˆã‚ã›ã¦ãƒ‘ラメータを調整ã™ã‚‹ 手法  ノンパラメトリック法 ï® åˆ†å¸ƒã®å½¢ã‚’仮定ã›ãšï¼Œè¦³æ¸¬å€¤ã«ã‚ˆã£ã¦åˆ†å¸ƒã‚’決ã‚る手法 3 5. ベルヌーイ分布 – 記å·ã®å®šç¾©  二値確率変数 x ∈ {0,1}  ex. コインを投ã’ã¦ï¼Œè¡¨ãªã‚‰ ð‘¥ = 1 è£ãªã‚‰ ð‘¥ = 0  パラメータ μ  ð‘¥ = 1ã¨ãªã‚‹ç¢ºçŽ‡ 0≦ 𜇠≦1  ð‘ ð‘¥ = 1 ðœ‡) = ðœ‡, ð‘ ð‘¥ = 0
パターンèªè˜ãƒ»æ©Ÿæ¢°å¦ç¿’勉強会
2014å¹´ パターンèªè˜ãƒ»æ©Ÿæ¢°å¦ç¿’勉強会 資料 第1回:イントãƒãƒ€ã‚¯ã‚·ãƒ§ãƒ³ 第2回:ベイズ確率・ベイズè˜åˆ¥ãƒ»ãƒ¢ãƒ‡ãƒ«ã®æ¤œè¨¼ 第3回:モデルé¸æŠžåŸºæº–・MCMC法 第4回:ギブスサンプリング・線形è˜åˆ¥ãƒ¢ãƒ‡ãƒ« 第5回:ç·šå½¢è˜åˆ¥ãƒ¢ãƒ‡ãƒ«:ãƒã‚¸ã‚¹ãƒ†ã‚£ãƒƒã‚¯å›žå¸° 第6回:ç·šå½¢è˜åˆ¥ãƒ¢ãƒ‡ãƒ«:ベイズãƒã‚¸ã‚¹ãƒ†ã‚£ãƒƒã‚¯å›žå¸°,フィッシャーã®ç·šå½¢åˆ¤åˆ¥ 第7回:ニューラルãƒãƒƒãƒˆãƒ¯ãƒ¼ã‚¯ 第8回:ニューラルãƒãƒƒãƒˆãƒ¯ãƒ¼ã‚¯(続ã) 第9回:ニューラルãƒãƒƒãƒˆãƒ¯ãƒ¼ã‚¯(続ã) 第10回:カーãƒãƒ«æ³•, カーãƒãƒ«å¯†åº¦æŽ¨å®šæ³•,カーãƒãƒ«å›žå¸°åˆ†æž 第11回:カーãƒãƒ«æ³•:ガウスéŽç¨‹ 第12回:サãƒãƒ¼ãƒˆãƒ™ã‚¯ã‚¿ãƒ¼ãƒžã‚·ãƒ³, ソフトマージン 第13回:多クラスSVM, SVM回帰, 関連ベクターマシン 第14回:ベイジアンãƒãƒƒãƒˆãƒ¯ãƒ¼ã‚¯ 第15回:ジョインツリーアルゴリズム第16回:ジョインツリーアルゴリズム(続ã) 第17回:ãƒžãƒ«ã‚³ãƒ•ç¢ºçŽ‡å ´ãƒ»ãƒ•ã‚¡ã‚¯ã‚¿ãƒ¼ã‚°ãƒ©
PRML/course - 機械å¦ç¿’ã®ã€Œæœ±é·ºã®æœWikiã€
å¿…è¦ãªäº‹å‰çŸ¥è˜â€ å¾®ç©åˆ†ï¼šå¤šå¤‰é‡ã®å¾®åˆ†ã‚„ç©åˆ†ã¯å¿…è¦ã§ã™ï¼Žãƒ©ã‚°ãƒ©ãƒ³ã‚¸ãƒ¥ã®æœªå®šä¹—数法や簡å˜ãªå¤‰åˆ†ã‚‚å¿…è¦ã§ã™ãŒã“れらã¯ä»˜éŒ²ã«ç°¡å˜ãªè§£èª¬ãŒã‚ã‚Šã¾ã™ï¼Žè¤‡ç´ æ•°ã®å¾®ç©åˆ†ã«ã¤ã„ã¦ã¯ä¸è¦ã§ã™ï¼Ž 線形代数：3×3以上ã®å›ºæœ‰å€¤ãƒ»é€†è¡Œåˆ—，行列ã«å¯¾ã™ã‚‹å¾®ç©åˆ†ã¯å¿…è¦ã§ã™ãŒï¼Œã“れらã«ã¤ã„ã¦ã¯ä»˜éŒ²ã«ç°¡å˜ã«ã¾ã¨ã‚られã¦ã„ã¾ã™ï¼Ž\(l^2\)ç©ºé–“ã‚„ãƒ’ãƒ«ãƒ™ãƒ«ãƒˆç©ºé–“ï¼Œè¤‡ç´ æ•°ã«ã¤ã„ã¦ã¯ä¸è¦ã§ã™ï¼Ž 確率：基礎ã«ã¤ã„ã¦ã¯1ç« ã§è¿°ã¹ã‚‰ã‚Œã¦ã„ã¾ã™ãŒï¼Œç¢ºçŽ‡ã®æ‰±ã„や考ãˆã«æ…£ã‚Œã¦ã„ã‚‹ã¨ä¾¿åˆ©ã§ã™ï¼Žç¢ºçŽ‡æ¸¬åº¦ãªã©å…¬ç†ã«ã¾ã§è¸ã¿è¾¼ã‚“ã 知è˜ã‚„，統計ã®æ¤œå®šãªã©ã®çŸ¥è˜ã¯ä¸è¦ã§ã™ï¼Ž ↑ 本書ã«é–¢é€£ã™ã‚‹åˆ†é‡Žâ€ 以下ã®åˆ†é‡Žã§ãƒ‡ãƒ¼ã‚¿ã‹ã‚‰ã®äºˆæ¸¬ã‚„分æžãŒå¿…è¦ã¨ã•ã‚Œã‚‹åˆ†é‡Ž 対象分野：本書ã¨ç›´æŽ¥çš„ãªé–¢é€£ãŒã‚る分野ã«ã¯æ¬¡ã®ã‚ˆã†ãªã‚‚ã®ãŒã‚ã‚Šã¾ã™ï¼Ž 機械å¦ç¿’，パターンèªè˜ï¼Œçµ±è¨ˆï¼Œãƒ‡ãƒ¼ã‚¿ãƒžã‚¤ãƒ‹ãƒ³ã‚° 応用分野：機械å¦ç¿’，パターンèªè˜ï¼Œçµ±è¨ˆçš„予測技術ãŒå¿œç”¨ã•ã‚Œã¦ã„る分野ã«ã¯æ¬¡ã®ã‚ˆã†ãªã‚‚
PRML ã®èªã‚€ç« ・飛ã°ã™ç« (ç§å®¶ç‰ˆ) - 木曜ä¸è¶³
機械å¦ç¿’ã®å®šç•ªæ•™ç§‘書ã®1ã¤ã¨è¨€ã‚ã‚Œã€å„地ã§èªæ›¸ä¼šãŒé–‹ã‹ã‚Œã‚‹ã€Œãƒ‘ターンèªè˜ã¨æ©Ÿæ¢°å¦ç¿’ã€(PRML)。èªã¿è§£ãã«ã¯ã‚る程度ã®è§£æžã¨ç·šå½¢ä»£æ•°ã®çŸ¥è˜ãŒå¿…è¦ãªãŸã‚ã€æ•°å¦ãŒè‹¦æ‰‹ãªå¦ç”Ÿã•ã‚“や××年ã¶ã‚Šã«æ•°å¼ã‚’ç›®ã«ã—ãŸã¨ã„ã†ã‚¨ãƒ³ã‚¸ãƒ‹ã‚¢ãŸã¡ã‚’次々ã¨ã€Œå¼å¤‰å½¢ã§ããªã„……ã€ã¨ã„ã†å¥ˆè½ã«å©ã込んã§ã„ã‚‹ã¨ã„ã†ã€‚ サイボウズ・ラボã®ç¤¾å†… PRML èªæ›¸ä¼šã§ã‚‚ãã®ç¾è±¡ãŒç™ºç”Ÿã€‚見ã‹ããŸåŒåƒšã®å…‰æˆã•ã‚“㌠PRML ã§ä½¿ã‚ã‚Œã¦ã„ã‚‹æ•°å¦ã®è§£èª¬ã ã‘ã§ã¯ãªãã€PRML ã®ä¸ã§çœç•¥ã•ã‚Œã¦ã„ã‚‹å¼å¤‰å½¢ã®éŽç¨‹ã‚‚å«ã‚ã¦æ›¸ã下ã—ãŸãƒ¡ãƒ¢ï¼ˆç¤¾å†…通称：アンãƒãƒ§ã‚³ï¼‰ãŒæš—黒通信団ã‹ã‚‰ã€Œæ©Ÿæ¢°å¦ç¿’ã¨ãƒ‘ターンèªè˜ã®å¦ç¿’ã€ã¨ã„ã†åŒäººèªŒã¨ã—ã¦å‡ºç‰ˆã•ã‚Œã€å…¨å›½ã®ã‚¸ãƒ¥ãƒ³ã‚¯å ‚ã§è³¼å…¥å¯èƒ½ã¨ãªã‚‹ã¨ã¡ã‚‡ã£ã¨ã—ãŸãƒ ーブメントãŒãŒãŒã€‚ ç¾åœ¨ã¯ã‚¢ãƒžã‚¾ãƒ³ã§ã‚‚購入å¯èƒ½ã¨ãªã£ã¦ã„ã‚‹ãŒã€ã‚‚ã¨ã‚‚ã¨ã®ã‚¢ãƒ³ãƒãƒ§ã‚³ã‚‚ PDF ã§ç„¡æ–™å…¬é–‹(CC-BY ライセンス)ã•ã‚Œã¦ã„ã‚‹ã®ã§ã€ç´™ã®æœ¬ã§ãªã„ã¨å‹‰å¼·ã™
「機械å¦ç¿’ã¨ãƒ‘ターンèªè˜ã€(PRML)ã®ã‚¢ãƒ³ãƒãƒ§ã‚³ by herumi - 木曜ä¸è¶³
社内ã§ã€Œæ©Ÿæ¢°å¦ç¿’ã¨ãƒ‘ターンèªè˜ã€(PRML) ã®èªæ›¸ä¼šã‚’ã‚„ã£ã¦ã„ã‚‹ã®ã ã‘ã©ã€è¨ˆç®—ãŒã‚„ã£ã±ã‚Šé›£ã—ã„よã†ã§ã¿ã‚“ãªè‹¦æˆ¦ä¸ã€‚ ãã‚“ãªã“ã‚“ãªã§ã€å…‰æˆã•ã‚“(@herumi ã•ã‚“)㌠PRML ã®æ•°å¼ã‚’手抜ãç„¡ã—ã§è§£èª¬ã™ã‚‹ã‚¢ãƒ³ãƒãƒ§ã‚³(虎ã®å·» / PRML教科書ガイド)をマメã«ä½œã£ã¦ãã‚Œã¦ã„る。*1 PRML ã®ãŸã‚ã®æ•°å¦(PDF) 内容㯠PRML ã®2ç« ã‹ã‚‰4ç« ã¨ã€9ç« ã€PRMLã§ã‚‚ã£ã¨ã‚‚計算ãŒé›£ã—ã„ã¨è©•åˆ¤ã®10ç« ã‚’å¯¾è±¡ã¨ã—ã¦ã„る。 ãŸã¨ãˆã°2ç« ã®ã‚¢ãƒ³ãƒãƒ§ã‚³ã§ã¯ã€2ç« ã®ä¸ã§å¿…è¦ã¨ã•ã‚Œã‚‹è§£æžã‚„線形代数ã®é“å…·(ç©åˆ†ã®å¤‰æ•°å¤‰æ›ã€è¡Œåˆ—ã®å„種æ“作)を一通りå–り上ã’ãŸå¾Œã€ã‚¬ã‚¦ã‚¹åˆ†å¸ƒã®æœ€å°¤æŽ¨å®šã«ãŠã‘ã‚‹å¹³å‡ã‚„分散ã«ã‚ˆã‚‹å微分ã¨ã„ã†ã€ãŠãらã多ãã®äººãŒã¤ã¾ã¥ãã®ã ã‚ã†è¨ˆç®—ãŒãã¡ã‚“ã¨èª¬æ˜Žã•ã‚Œã¦ã„る。 ã¾ãŸ3ç« ã®ã‚¢ãƒ³ãƒãƒ§ã‚³ã§ã¯ã€Woodbury ã®å…¬å¼ã‚„ヘッセ行列を解説ã—ã¤ã¤ã€ã‚¨ãƒ“デンス関数ãªã©ã‚’導出ã—ã¦ã„ã‚‹ã—ã€4ç« ã«ãªã‚‹
1
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
http://fishii.github.io/osaka_prml_reading/ex_02_01-10.html
ç·ç ”大 PRML輪èªä¼š 2ç« å‰åŠ — Watallica metallicus
{{#tags}}- {{label}}
{{/tags}}