人間ã®æ£‹èœã‚’å‚考ã«ã›ãšã«è©•ä¾¡é–¢æ•°ãƒ‘ラメーターをå¦ç¿’ã•ã›ã‚‹ä»¶
å°‘ã—誤解ã—ã¦ã„る人ãŒã„らã£ã—ゃるよã†ãªã®ã§è£œè¶³ã—ã¾ã™ã€‚
ã¾ãšã€äººé–“ã®æ£‹èœã‚’å‚考ã«ã›ãšã«å¦ç¿’ã•ã›ã‚ˆã†ã¨ã—ãŸå ´åˆã€æŽ¢ç´¢ã§æ£ã—ã„手ãŒæŒ‡ã›ã‚‹ã®ã¯è©°ã¿ã®çµ¡ã‚€å±€é¢(≒終盤)ã ã‘ãªã®ã§ã€çµ‚盤ã®æŒ‡ã—手ã‹ã‚‰(開始ã—ã¦ã€ãれをå‰å€’ã—ã—ã¦ã„ãã€æœ€çµ‚çš„ã«åºç›¤ã®æŒ‡ã—手を)å¦ç¿’ã•ã›ã‚‹ã¨ã„ã†ã®ã¯å½“然ã®ã“ã¨ã§ã™ã€‚ã“ã‚Œã¯ç§ã®ã‚¢ã‚¤ãƒ‡ã‚¢ã§ã¯ãªã„ã§ã™ã€‚オセãƒã®ãƒã‚¸ã‚¹ãƒ†ãƒãªã©å…ˆè¡Œäº‹ä¾‹(10数年以上å‰ã‹ã‚‰ï¼)ã¯å¤šæ•°ã‚ã‚Šã¾ã™ã€‚
ã“ã®éƒ¨åˆ†ã€èª¤è§£ã—ã¦ã„る人ãŒå¤šã„ã®ã§ã€ä»¥ä¸‹ã«ã€Œã²ã¾ã‚ã‚Š(将棋)ã€ã®å±±æœ¬ã•ã‚“ã®ãƒ„イートを紹介ã—ã¦ãŠãã¾ã™ã€‚
https://twitter.com/kyamamoto9120/status/529958077491970049
https://twitter.com/kyamamoto9120/status/529960169023631360
ãã®ä¸Šã§ç§ã®ã‚¢ã‚¤ãƒ‡ã‚¢ã¯ã€äºŒç‚¹ã‚ã‚Šã¾ã™ã€‚
一ã¤ã¯ã€å¦ç¿’ã«å¼·åŒ–å¦ç¿’(TD法ãªã©)を使ã‚ãªã„ã¨ã„ã†ã“ã¨ã§ã™ã€‚普通ã®æ£‹èœã‹ã‚‰ã®å¦ç¿’ã¯ãƒœãƒŠãƒ¡ã‚½ã§æˆåŠŸã™ã‚‹ã“ã¨ãŒä¿è¨¼ã•ã‚Œã¦ã„ã‚‹ã®ã ã‹ã‚‰ã€ã‚ã–ã‚ã–ä»–ã®æ–¹æ³•ã‚’æŒã¡å‡ºã•ãªã„ã¨ã„ã†ã“ã¨ã§ã™ã€‚
ã‚‚ã¡ã‚ã‚“ã€TD(λ) 法やQå¦ç¿’ãªã©ã‚’用ã„ã¦ã‚‚æˆåŠŸã™ã‚‹ã¨ã¯æ€ã„ã¾ã™ã€‚ã—ã‹ã—ã€Bonanzaã®learn.cを見ã¦ã‚‚ã‚ã‹ã‚‹ã‚ˆã†ã«ã€ãƒšãƒŠãƒ«ãƒ†ã‚£ã®ã‹ã‘ã‹ãŸã‚„ã€ã‚·ã‚°ãƒ¢ã‚¤ãƒ‰é–¢æ•°ã®ä½¿ã„æ–¹ã«ç‹¬ç‰¹ã®ãƒ†ã‚¯ãƒ‹ãƒƒã‚¯ã®ã‚ˆã†ãªã‚‚ã®ãŒã‚ã‚Šã€TD(λ) 法やQå¦ç¿’を用ã„ã‚‹å ´åˆã‚‚ã€ãã‚Œã«ç›¸å½“ã™ã‚‹ç‹¬ç‰¹ã®ãƒ†ã‚¯ãƒ‹ãƒƒã‚¯ã‚’開発ã—ãªã„ã¨ã„ã„値ã«åŽæŸã—ãªã„ã®ã§ã¯ãªã„ã‹ã¨æ€ã†ã®ã§ã™ã€‚ç§ã¯å¼·åŒ–å¦ç¿’ã‚’å°‚é–€ã«ã‚„ã£ã¦ã„ã‚‹ã‚ã‘ã§ã¯ãªã„ã®ã§ã€ãã®ã¸ã‚“ã®äº‹æƒ…ã¯çŸ¥ã‚Šã¾ã›ã‚“ãŒã€ãƒœãƒŠãƒ¡ã‚½ã§å‡ºæ¥ã‚‹ã¨ã‚ã‹ã£ã¦ã„ã‚‹ã“ã¨ã‚’ã‚ã–ã‚ã–ä»–ã®æ–¹æ³•ã§ã‚„ã‚‹ã®ã¯é 回り以外ã®ä½•ç‰©ã§ã‚‚ãªã„ã¨æ€ã£ã¦ã„ã¾ã™ã€‚
ボナメソã§ã‚ã‚Œã°ã€ãƒ—ãƒã®æ£‹èœã‹ã‚‰å¦ç¿’ã•ã›ã‚‹å ´åˆã€ã©ã‚Œãらã„ã®æ•°ã®æ£‹èœã§ã©ã‚Œãらã„ã®ã‚¤ãƒ†ãƒ¬ãƒ¼ã‚·ãƒ§ãƒ³ã‚’ã©ã‚Œã ã‘回ã›ã°ãã“ãã“ã®å€¤ã«åŽæŸã™ã‚‹ã®ã‹(ã©ã‚Œãらã„ã®æ£‹åŠ›ã®è©•ä¾¡é–¢æ•°ãƒ‘ラメーターã«ãªã‚‹ã®ã‹)ãŒã‚ã‹ã£ã¦ã„ã¾ã™ã‹ã‚‰ã€ãã‚Œã¨æ¯”較ã—ãªãŒã‚‰å®Ÿé¨“ãŒå‡ºæ¥ã¾ã™ã€‚ã ã‹ã‚‰ã€ã“ã®éƒ¨åˆ†ã‚’ボナメソ以外ã§ã‚„ã‚‹ã¨ã„ã†ãªã‚‰ã€ãã‚‚ãã‚‚ãã®æ‰‹æ³•ã‚’用ã„ã¦ãƒ—ãƒã®æ£‹èœã‹ã‚‰ãƒœãƒŠãƒ¡ã‚½ã‚ˆã‚Šæ—©ãå¦ç¿’ã§ãã€ãƒœãƒŠãƒ¡ã‚½ã§ã‚„ã‚‹ã®ã¨åŒç‰ä»¥ä¸Šã®æ£‹åŠ›ã«ãªã‚‹ã“ã¨ã‚’証明ã—ã¦ã‹ã‚‰ã§ãªã„ã¨ãã®æ‰‹æ³•ã‚’使ã†ä¾¡å€¤ãŒãªã„ã¨æ€ã†ã®ã§ã™ã€‚
ã¾ãŸæŽ¢ç´¢éƒ¨ã«ã¤ã„ã¦ã‚‚åŒæ§˜ã§ã€ãã¡ã‚“ã¨æŽ¢ç´¢éƒ¨ãŒæ›¸ã‘ã¦ã„ã‚‹ã“ã¨(å°‘ãªãã¨ã‚‚ボナ6ã®fv.binを使用ã—ãŸã¨ãã«ãƒœãƒŠ6ã¨åŒç‰ã®æ€§èƒ½ãŒå‡ºã¦ã„ã‚‹ã“ã¨)ãŒå¿…é ˆæ¡ä»¶ã ã¨ç§ã¯è€ƒãˆã¦ã„ã¾ã™ã€‚ã“ã®éƒ¨åˆ†ãŒãã¡ã‚“ã¨æ›¸ã‘ã¦ã„ãªã„å ´åˆã€ã“ã®æ‰‹æ³•ã§å¦ç¿’ã•ã›ãŸè©•ä¾¡é–¢æ•°ãƒ‘ラメーターã¨ã®æ¯”較実験自体ãŒã¾ã£ã¨ã†ã«å‡ºæ¥ãªã„ã‹ã‚‰ã§ã™ã€‚
二ã¤ç›®ã¯ã€å¦ç¿’ã®æ™‚ã®æ¬¡å…ƒä¸‹ã’ã§ã™ã€‚終盤ã«å‡ºã¦ãる特徴ã‹ã‚‰åºç›¤ã«å‡ºã¦ãる特徴をå¦ç¿’ã™ã‚‹ãŸã‚ã«ã¯ã€å¦ç¿’時ã®æ¬¡å…ƒä¸‹ã’ãŒè¡Œã‚ã‚Œã¦ã„ãªã„é™ã‚Šã€åŽ³ã—ã„ã¨ã„ã†ã®ãŒç§ã®è€ƒãˆã§ã™ã€‚
ãã®ãŸã‚ã«ç›¸å¯¾KPPã«ã‚ˆã‚‹æ¬¡å…ƒä¸‹ã’(ã‚„ã€ãã®ä»–ã®æ¬¡å…ƒä¸‹ã’)を用ã„ã¾ã™ã€‚ãã‚Œãªã—ã§ã¯ã†ã¾ã終盤ã‹ã‚‰åºç›¤ã®å½¢ã‚’å¦ç¿’ã•ã›ã‚‰ã‚Œãªã„ã¨ç§ã¯è€ƒãˆã¦ã„ã¾ã™ã€‚例ãˆã°ã€è‡ªå·±å¯¾æˆ¦ã§ç”Ÿæˆã—ãŸæ£‹èœã‹ã‚‰ã®ã¿å¦ç¿’ã•ã›ã‚‹ã“ã¨ã‚’ç¹°ã‚Šè¿”ã™ã¨ã€æ£‹åŠ›ãŒã‚µãƒã‚‰ãš(飽和ã›ãš)ã€ã©ã“ã‹ã‚‰ã‹æ£‹åŠ›ãŒä¸‹ãŒã£ã¦ã„ãã¾ã™ã€‚ãã‚Œã¯åºç›¤ã‚’誤ã£ã¦å¦ç¿’ã—ã¦ã—ã¾ã†ãŸã‚ã§ã™ã€‚ã“ã®ã‚ˆã†ãª(自己対戦棋èœã‹ã‚‰ã®ã¿ã®å¦ç¿’ã¨ã„ã†)フィードãƒãƒƒã‚¯åž‹ã®å¦ç¿’ã«ãŠã„ã¦ã€ã‚µãƒã‚‰ãªã„状æ³(æ¡ä»¶ä¸‹)ã§ã¯ã€çµ‚盤ã‹ã‚‰åºç›¤ã‚’å¦ç¿’ã•ã›ã‚‹ã®ã¯åŽ³ã—ã„ã¨ã„ã†ã®ãŒç§ã®è€ƒãˆã§ã™ã€‚
ã¤ã¾ã‚Šã€ãƒ•ã‚£ãƒ¼ãƒ‰ãƒãƒƒã‚¯åž‹ã®å¦ç¿’ã§æ£‹åŠ›ãŒãã¡ã‚“ã¨ã‚µãƒã‚‹ã‚ˆã†ã«æ¬¡å…ƒä¸‹ã’ã‚’ã—ã¦ã€ã¾ãšã‚µãƒã‚‹ã“ã¨ã‚’確èªã™ã‚‹ã€‚サãƒã‚‰ãªã„ãªã‚‰æ¬¡å…ƒä¸‹ã’ã®æ–¹æ³•ã‚’工夫ã—ã¦ã‚„る。ã“ã‚ŒãŒã¾ãšæœ€åˆã«ã‚„ã‚‹ã¹ãã“ã¨ã§ã‚ã‚Šã€ã“れをやらãšã«ã€çµ‚盤ã‹ã‚‰åºç›¤ã‚’å¦ç¿’ã•ã›ã‚ˆã†ã¨åŠªåŠ›ã™ã‚‹ã®ã¯ã€åŠªåŠ›ã®æ–¹å‘性ãŒçœŸé€†ã§ã‚ã‚‹ã¨ã„ã†ã®ãŒç§ã®è€ƒãˆã§ã™ã€‚ã ã‹ã‚‰ã€ç§ã¯ã€ã“ã®éƒ¨åˆ†ã§ã€Œã‚µãƒã‚‹ã€ã®ã‚’確èªã§ããŸã‚‰ã€ã“ã®æ‰‹æ³•ã«å–り組むã¤ã‚‚ã‚Šã§ã™ã€‚
オセãƒã§æˆåŠŸã—ã¦å°†æ£‹ã§æˆåŠŸã—ãªã„ã®ã¯ã€ä»¥ä¸Šã®2点ã«èµ·å› ã™ã‚‹å•é¡Œã ã¨ç§ã¯è€ƒãˆã¦ã„ã¾ã™ã€‚
ã¤ã¾ã‚Šå…¸åž‹çš„ãªé§„ç›®ãªç ”究ã®é€²ã‚ã‹ãŸã¨ã—ã¦ã¯ã€æŽ¢ç´¢éƒ¨ï¼ç‹¬è‡ªã«æ›¸ãèµ·ã“ã—ã¦ãƒã‚°æœ‰ã‚Šã‹ã‚‚ã€è©•ä¾¡é–¢æ•°ã®å½¢ï¼ç‹¬è‡ªã€è©•ä¾¡é–¢æ•°ã®å¦ç¿’メソッドï¼å¼·åŒ–å¦ç¿’ã€æ¬¡å…ƒä¸‹ã’ï¼ã‚„ã£ã¦ãªã„ã€ã¨ã„ã†ã‚„ã‚Šæ–¹ã§ã™ã€‚ã“ã®ã‚ˆã†ã«æœªçŸ¥ã®è¦ç´ ãŒå¤šã„状æ³ã§ã¯æ¯”較実験自体ãŒæˆç«‹ã—ãªã„ã®ã§ã€æˆæžœã‚’出ã™ã®ã«ç›¸å½“ãªè…•åŠ›ãŒå¿…è¦ã«ãªã‚Šã¾ã™ã€‚ãã®ã‚ˆã†ãªçŠ¶æ³ä¸‹ã§ã¯ç§ã§ã™ã‚‰å…¨ãæˆæžœã¯å‡ºã›ãªã„ã§ã—ょã†ã€‚(※ ã²ã¾ã‚り将棋ãŒã©ã†ã‚„ã£ã¦ã„ã‚‹ã®ã‹ã¯ç§ã¯çŸ¥ã‚‰ãªã„ã®ã§ã€ã“ã®è©±ã¯ã²ã¾ã‚り将棋や特定ã®å°†æ£‹ã‚½ãƒ•ãƒˆã®ã“ã¨ã§ã¯ã‚ã‚Šã¾ã›ã‚“。)
人間ã®æ£‹èœã‚’用ã„ãšã«è©•ä¾¡é–¢æ•°ãƒ‘ラメーターå¦ç¿’ã™ã‚‹ä»¶ã«ã¤ã„ã¦ã€ç§ã®è€ƒãˆãŠã‚ˆã³ã€ç§ã®æ案ã™ã‚‹æ‰‹æ³•ã¯ä»¥ä¸Šã§ã™ã€‚