DeepPose論文メモ

• DeepPose: Human Pose Estimation via Deep Neural Networks
• http://www.cv-foundation.org/openaccess/content_cvpr_2014/papers/Toshev_DeepPose_Human_Pose_2014_CVPR_paper.pdf

関連研究

• 人体をlocalなパーツが連結したものと見る手法
  • Figure Drawing
  • Pictorial Structures
  • Mixtures of Parts

• 人体をパーツに分けずholisticに推定する手法
  • DeepPoseはこちら

手法

• モデルの構造はAlexNetを流用
  • 入力：画像(220x220)
  • 出力：各関節ごとの位置（2次元）

• loss
  • 関節ごとの予測位置と真の位置のL2距離の和

• 上記ネットワークを直列につなぎ多段stage化する。後ろのstageになるほど精密に関節位置を推定していく。(異なるstageのネットワークは異なるパラメータを持つ)
  • 一番目のstageでは、入力画像のうちで全関節の位置を特定する
  • 中間のstageでは各関節ごとに処理が分かれる
    • 各関節ごとに画像cropし高精細化する
    • 一つ前のstageで推定した関節位置と真の関節位置の差分を予測する。

• 制限
  • stageの最初の方で真の位置との乖離が大きいと、予測がうまく行かなそう
  • 1つの画像に対して、関節位置候補が1つのみ

参考

以下の資料は素晴らしいです．
これを読めば論文読む必要はないです．
DeepPose: Human Pose Estimation via Deep Neural Networks