Keras Loss Behavior with Language Model - 終末 A.I.

Keras Loss Behavior with Language Model - 終末 A.I.

KerasのModelクラスを使用した際のロスの計算は、Paddingで追加した余計な値を勾配の計算から除外する処...概要を表示 KerasのModelクラスを使用した際のロスの計算は、Paddingで追加した余計な値を勾配の計算から除外する処理は自動でやってくれるのですが、 historyに記録されるlossの平均値を求める際に、maskを部分的にしか考慮しておらず、padding数が多くなればなるほど、実際のロスより小さくなってしまうという現象が発生します。 この記事は、KerasのModelクラスでLossを利用する、 特にEmbedding層で、mask_zeroをTrueにした場合に、Paddingで追加した余計な値を、勾配の計算に使用しない、ロスの計算から完全に除外する方法についてのメモです。 検証用のコードはこちらです。 マスクを使用したロスの計算は、TensorFlowのチュートリアルを参考にしています。 目次 KerasのLossの種類と種類毎の処理の違い tf.keras.losses.Lossの

• 機械学習