SVM(Support Vector Machine)
１．SVM(Support Vector Machine) SVM(Support Vector Machine)ã¯ï¼Œ1960年代㫠Vapnik ã«ã‚ˆã£ã¦æ案ã•ã‚ŒãŸäºŒå€¤åˆ†é¡žã®ãŸã‚ã®æ•™å¸«ã‚りアルゴリズムã§ã‚ã‚‹[1]。 1990年代ã«ãªã£ã¦ã‚«ãƒ¼ãƒãƒ«å¦ç¿’法ã¨çµ„ã¿åˆã‚ã›ãŸéžç·šå½¢è˜åˆ¥æ‰‹æ³•ã¨ã—ã¦è„šå…‰ã‚’æµ´ã³ãŸã€‚ ãã†ã„ã†ç‚¹ã§ã€ãƒ‹ãƒ¥ãƒ¼ãƒ©ãƒ«ãƒãƒƒãƒˆãƒ¯ãƒ¼ã‚¯ã‚ˆã‚Šã‚‚誕生ãŒæ–°ã—ã„技法ã¨è¨€ãˆã‚‹ã€‚ 図１ã§ã¯ï¼’次元データを平é¢ä¸Šã«ãƒ—ãƒãƒƒãƒˆã—ãŸã‚‚ã®ã§ã‚る。○ã¨â—ã®ï¼’種類ãŒã‚る。 例ãˆã°ã€ã‚る花ã®ï¼’å“種ã«ã¤ã„ã¦ã€èŠ±ã³ã‚‰ã®é•·ã•ã¨å¹…をプãƒãƒƒãƒˆã—ãŸã‚ˆã†ãªã‚‚ã®ã§ã‚る。 æ–œã‚ã«å¼•ã„ãŸå®Ÿç·šã¯äºŒã¤ã®å“種を分ã‘る境界線ã§ã‚る。 ç¾åœ¨ãƒ—ãƒãƒƒãƒˆã—ã¦ã„るデータãŒå¦ç¿’データã«å½“ãŸã‚‹ã€‚ 観測データã«é–¢ã—ã¦ã¯ã€ã“ã®å¢ƒç•Œç·šã‚ˆã‚Šå·¦ä¸Šå´ã«ä½ç½®ã™ã‚‹ã‚ˆã†ãªã‚‰ã°ã€â—‹ï¼ˆæ£ï¼‰ã«åˆ†é¡žã—〠ãã†ã§ãªã‘ã‚Œã°â—(è² )ã«åˆ†é¡žã™ã‚‹ã‚‚ã®ã§ã‚る。 境界線ã®æ±‚ã‚方を点線ã§ç¤ºã—ã¦ã„る。
サãƒãƒ¼ãƒˆãƒ™ã‚¯ã‚¿ãƒ¼ãƒžã‚·ãƒ³
サãƒãƒ¼ãƒˆãƒ™ã‚¯ã‚¿ãƒ¼ãƒžã‚·ãƒ³ï¼ˆSupport Vector Machine:SVM）ã¯ï¼’クラス分類è˜åˆ¥å™¨ã®ä¸€ç¨®ã‚る。 ãã®å¤§ããªç‰¹å¾´ã¨ã—ã¦æ¬¡ã®ä¸‰ã¤ãŒã‚ã’られる。 マージン最大化ã¨ã„ã†æ–¹é‡ã§è˜åˆ¥å¹³é¢ã‚’決定ã™ã‚‹ã®ã§é«˜ã„汎化能力ãŒæœŸå¾…ã§ãる。 å¦ç¿’ãŒãƒ©ã‚°ãƒ©ãƒ³ã‚¸ãƒ¥æœªå®šä¹—数法ã«ã‚ˆã‚ŠäºŒæ¬¡è¨ˆç”»å•é¡Œã«å¸°ç€ã•ã‚Œã€å±€æ‰€æœ€é©è§£ãŒå¿…ãšåºƒåŸŸæœ€é©è§£ã¨ãªã‚‹ã€‚ è˜åˆ¥å¯¾è±¡ã®ç©ºé–“ã«å¯¾ã™ã‚‹äº‹å‰çŸ¥è˜ã‚’åæ˜ ã—ãŸç‰¹å¾´ç©ºé–“を定義ã™ã‚‹ã“ã¨ã§ã€ãã®ç‰¹å¾´ç©ºé–“上ã§ç·šå½¢è˜åˆ¥ã‚’è¡Œãˆã‚‹ã€‚ ã•ã‚‰ã«ãã®ç‰¹å¾´ç©ºé–“上ã§ã®å†…ç©ã‚’表ã—ãŸã‚«ãƒ¼ãƒãƒ«ã¨å‘¼ã°ã‚Œã‚‹é–¢æ•°ã‚’定義ã™ã‚‹ã“ã¨ã«ã‚ˆã‚Šã€æ˜Žç¤ºçš„ã«ç‰¹å¾´ç©ºé–“ã¸ã® 変æ›ã‚’示ã™å¿…è¦ãŒãªã„。 以下ã«ç°¡å˜ã«èª¬æ˜Žã—ã¦ã„ã。 1.マージン最大ã®è˜åˆ¥å¹³é¢ 図1ã®ã‚ˆã†ã«ï¼’次元ベクトルã§è¡¨ã•ã‚Œã‚‹ç©ºé–“上ã«ã‚るパターンを線形ã«è˜åˆ¥ã™ã‚‹å•é¡Œã‚’考ãˆã¦ã¿ã‚‹ã€‚ ○㨠□ã¯ãã‚Œãžã‚Œåˆ¥ã®ã‚¯ãƒ©ã‚¹ã«å±žã™ã‚‹ã‚‚ã®ã¨ã™ã‚‹ã€‚ 一般ã«ãƒ‘ターンèªè˜ã®å•é¡Œã§ã¯ã€ãƒ‘ターンをã©ã¡ã‚‰ã®
pythonã§SVM実装 - Qiita
ã¯ã˜ã‚ã« pythonã§SVM（サãƒãƒ¼ãƒˆãƒ™ã‚¯ã‚¿ãƒ¼ãƒžã‚·ãƒ³ï¼‰ã‚’実装ã—ã¾ã—ãŸï¼Ž 教科書ã¨ã—ã¦ã€Žã¯ã˜ã‚ã¦ã®ãƒ‘ターンèªè˜ã€ã‚’使ã„ã¾ã—ãŸï¼Ž 本記事ã®æ§‹æˆ ã¯ã˜ã‚ã« SVM マージン最大化 主å•é¡Œ ラグランジュ未定乗数法 KKTæ¡ä»¶ åŒå¯¾å•é¡Œ 解ã®æ±‚ã‚æ–¹ pythonã§ã®å®Ÿè£… çµæžœ ãŠã‚ã‚Šã« è¿½è¨˜æƒ…å ± SVMã¨ã¯ï¼Œæœ€å¤§ãƒžãƒ¼ã‚¸ãƒ³ã‚’実ç¾ã™ã‚‹2クラス線形è˜åˆ¥å¦ç¿’法ã§ã™ï¼Ž 教科書ã«ã‚ˆã‚‹ã¨ï¼Œä»–クラスã®è˜åˆ¥ã¯ $K-1$ 個ã®ä¸€å¯¾å¤šSVMã§å®Ÿç¾ã™ã‚‹ã“ã¨ãŒå¤šã„よã†ã§ã™ï¼Ž マージン最大化 次ã®ã‚ˆã†ãªãƒ‡ãƒ¼ã‚¿é›†åˆã‚’考ãˆã¾ã™ï¼Ž データã®ç·æ•°ã‚’ $N$ ã¨ã™ã‚‹ã¨ï¼Œ$i = 1,...,N$ã¨ãªã‚Šã¾ã™ï¼Ž
サãƒãƒ¼ãƒˆãƒ™ã‚¯ã‚¿ãƒ¼ãƒžã‚·ãƒ³ï¼ˆSVM）
ãƒˆãƒƒãƒ—ãƒšãƒ¼ã‚¸â†’ç ”ç©¶åˆ†é‡Žã¨å‘¨è¾ºâ†’ニューラルãƒãƒƒãƒˆãƒ¯ãƒ¼ã‚¯â†’ サãƒãƒ¼ãƒˆãƒ™ã‚¯ã‚¿ãƒ¼ãƒžã‚·ãƒ³ï¼ˆSVM）ã¯ã€1995å¹´é ƒã«AT&Tã®V.VapnikãŒç™ºè¡¨ã—ãŸãƒ‘ターンè˜åˆ¥ç”¨ã®æ•™å¸«ã‚り機械å¦ç¿’方法ã§ã‚ã‚Šã€å±€æ‰€è§£åŽæŸã®å•é¡ŒãŒç„¡ã„長所ãŒã‚る。 「マージン最大化ã€ã¨ã„ã†ã‚¢ã‚¤ãƒ‡ã‚¢ç‰ã§æ±ŽåŒ–能力も高ã‚ã€ç¾åœ¨çŸ¥ã‚‰ã‚Œã¦ã„る方法ã¨ã—ã¦ã¯ã€æœ€ã‚‚優秀ãªãƒ‘ターンè˜åˆ¥èƒ½åŠ›ã‚’æŒã¤ã¨ã•ã‚Œã¦ã„る。 ã¾ãŸã€ã‚«ãƒ¼ãƒãƒ«ãƒ»ãƒˆãƒªãƒƒã‚¯ã¨ã„ã†é”法ã®ã‚ˆã†ãªå·§å¦™ãªæ–¹æ³•ã§ã€ç·šå½¢åˆ†é›¢ä¸å¯èƒ½ãªå ´åˆã§ã‚‚é©ç”¨å¯èƒ½ã«ãªã£ãŸäº‹ã§å¿œç”¨ç¯„囲ãŒæ ¼æ®µã«åºƒãŒã‚Šã€è¿‘å¹´ç ”ç©¶ãŒç››ã‚“ã«ãªã£ã¦ã„る。 ã—ã‹ã—ã€ãƒ‡ãƒ¼ã‚¿ã‚’2ã¤ã®ã‚°ãƒ«ãƒ¼ãƒ—ã«åˆ†é¡žã™ã‚‹å•é¡Œã«ã¯å„ªã‚Œã¦ã„ã‚‹ãŒã€å¤šã‚¯ãƒ©ã‚¹ã®åˆ†é¡žã«ãã®ã¾ã¾é©ç”¨å‡ºæ¥ãšã€è¨ˆç®—é‡ãŒå¤šã„ã€ã‚«ãƒ¼ãƒãƒ«é–¢æ•°ã®é¸æŠžã®åŸºæº–ã‚‚ç„¡ã„ç‰ã®èª²é¡Œã‚‚指摘ã•ã‚Œã€ä¸€æ¦‚ã«èª¤å·®é€†ä¼æ’法ç‰ã¨æ¯”較ã—ã¦å„ªã‚Œã¦ã„ã‚‹ã¨è¨€ã„切れるもã®ã§ã‚‚ãªã„。 SVMã¯åŽ³å¯†ã«ã¯ãƒ‹ãƒ¥ãƒ¼ãƒ©ãƒ«ãƒãƒƒãƒˆãƒ¯ãƒ¼ã‚¯ã§ã¯ãªã„ãŒã€ä¸é–“層ã‹ã‚‰å‡ºåŠ›
1
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
OpenCV: Introduction to Support Vector Machines
https://scikit-learn.org/stable/modules/kernel_approximation.html
intro.dvi
æ —ç”°å¤šå–œå¤«ã€Œã‚µãƒãƒ¼ãƒˆãƒ™ã‚¯ã‚¿ãƒ¼ãƒžã‚·ãƒ³å…¥é–€ã€ï¼ˆPDF）
線形SVM ～ 詳細説明 ～
Why is it that RVMs are not as popular as SVMs?
{{#tags}}- {{label}}
{{/tags}}