1枚の2次元画像から3次元形状を再構成


Compute 3D shape and scene from a single image
Feng Han, and Song-Chun Zhu


入力(2次元画像)
http://www.cs.ucla.edu/~hanf/Figures/tree-image.jpg
↓
3次元再構成
http://www.cs.ucla.edu/~hanf/Figures/TreeMovie.gif


入力(2次元画像)
http://www.cs.ucla.edu/~hanf/Figures/grassColor-image.jpg
↓
3次元再構成
http://www.cs.ucla.edu/~hanf/Figures/ColorGrassMovieNew.gif


 これはすごい。
 ベイズ推定の枠組みで、prior knowledge として物の smoothness とか空間内での stability *1を置いてやって解空間を探索したらそれらしい3次元再構成が出来ましたと。


 この論文では prior knowledge は人が与えているようだけど、基本的に自然界で経験しうる感覚入力のデータをがんがん投入して prior knowledge を(データドリブンで)形成できるようにすれば、日常に出てくるような不良設定問題はだいたい解けるようになるのではないか。というか脳がやっていることというのは結局そういうことかな? もしそうなら、あとはどういう性質のパターンなら prior knowledge として溜め込めるのかとか、その神経基盤はどうなっているのかとか、そういう問題設定になってくるような気がする。

 

*1:物が空中に浮いてたりすることはあまりなく、どこか安定した面(地面等)に接している。そう見えないときは隠蔽が起きている。