Sinkhorn iterationの勾配と輸送行列の関係 - やったことの説明

Sinkhorn iterationの勾配と輸送行列の関係 - やったことの説明

はじめに 最近，最適輸送を覚えてちょいちょい使っています． 特にSinkhorn iterationを用いることで，...概要を表示 はじめに 最近，最適輸送を覚えてちょいちょい使っています． 特にSinkhorn iterationを用いることで，行列計算だけで最適輸送距離をだいたい計算でき，さらに自動微分で勾配が求まるため，色々な問題のロス関数として最適輸送を使うことができます． ところで，最適輸送の式はもともと線形計画問題なので，輸送計画の行列がコストに依存しないとすると，簡単に勾配(らしきもの)を求めることができます． 以下では，自動微分を用いたときと，この方法で求めた勾配を用いたときで，実際にどの程度の差がでるものなのか気になったので，適当なデータに対して両方の手法を適用してみて結果を比較します． 結果，どちらもそんなに変わらないように思えるので，MLのような雑な最適化で済むようなタスクでは自動微分じゃないほうがいいのではないかと思っています． このあたりのことについて，何か知見があれば教えていただけると嬉しい