生成モデルは過剰なのか？

生成モデル: サンプル分布全体を学習

生成モデルはかなり高等なモデル.
ごく稀なサンプルのバラエティを含め、全てをモデリングしようとする.

生成モデルの実用時には分布の細部を無視したほうが結果が良いことが多々ある.
=> 生成モデルと"温度"パラメータ: レアなサンプルはぽいっ - たれぱんのびぼーろく

サンプル分布全体が必要なのかは議論がわかれそう.
モデルの能力を低確率部分に吸われてるという見方.
conditioning系の場合、綺麗に単峰（というかone-hot）になるんじゃないかという見方もある.

利点

「ノンパラかつ高い表現力」

分布を直接モデリングする系だとノンパラメトリックにできてそれ用のバイアスが少ないlossが使える.
多峰性だろうがなんだろうがまるっとモデリング可能.