論文解説 Depthwise Separable Convolution for Neural Machine Translation (SliceNet) - ディープラーニングブログ

論文解説 Depthwise Separable Convolution for Neural Machine Translation (SliceNet) - ディープラーニングブログ

こんにちは Ryobot (りょぼっと) です． テンソル分解は 2017 年の密かなブームだったかもしれない． 論...概要を表示 こんにちは Ryobot (りょぼっと) です． テンソル分解は 2017 年の密かなブームだったかもしれない． 論文数は多くないが，テンソル分解を用いた手法が中規模言語モデル [1]，大規模言語モデル [2]，機械翻訳 (本紙) [3]，動作認識 [4] で軒並み SOTA を達成している． Breaking the Softmax Bottleneck: A High-Rank RNN Language Model [1] Factorization tricks for LSTM networks [2] Depthwise Separable Convolutions for Neural Machine Translation [3] Learning Compact Recurrent Neural Networks with Block-Term Tensor Decompo