【将棋AI】N駒関係をMulti-Head Self-Attentionで学習する 続き2 - TadaoYamaokaの開発日記

【将棋AI】N駒関係をMulti-Head Self-Attentionで学習する 続き2 - TadaoYamaokaの開発日記

前回に引き続き、将棋AIへのMulti-Head Self-Attentionの適用を試してみた。 前回は、dlshogiと同じ入力...概要を表示 前回に引き続き、将棋AIへのMulti-Head Self-Attentionの適用を試してみた。 前回は、dlshogiと同じ入力特徴量を使用したが、Multi-Head Self-Attentionに合わせて以下の変更を行った。 各位置の特徴ベクトルに位置の情報を入力する 持ち駒の枚数の特徴ベクトルをすべて1ではなく、持ち駒の枚数に対応するワンホットベクトルとする 各位置の特徴ベクトルに位置の情報を入力する 段と筋をそれぞれ、9次元のワンホットベクトルとして、各位置の特徴ベクトルに連結する。 これは、自然言語処理のTransformerで、単語の位置をPositional Encodingに相当する。 Transformerの論文では、sin関数とcos関数を使用して埋め込みベクトルと同じ次元にエンコードしたベクトルを加算している。 将棋の場合は、2次元座標であることと、加算よりも連結