ObamaNet: Photo-realistic lip-sync from text

テクノロジーカテゴリーの変更を依頼記事元:

3 usersがブックマークコメント

ObamaNet: Photo-realistic lip-sync from text

ObamaNet: Photo-realistic lip-sync from text Rithesh Kumar, Jose Sotelo, Kundan Kumar, Alexandre ... ObamaNet: Photo-realistic lip-sync from text Rithesh Kumar, Jose Sotelo, Kundan Kumar, Alexandre de Brebisson, Yoshua Bengio Paper Abstract We present ObamaNet, the first architecture that generates both audio and synchronized photo-realistic lip-sync videos from any new text. Contrary to other published lip-sync approaches, ours is only composed of fully trainable neural modules and does not rely

knok なんでObamaNetという名前なんだと思ったらデータセットがオバマ演説だからか。テキストからchar2wavで音声化してキーポイント抽出、口部分だけカットした画像に対応するキーポイントだけ描画してpix2pix的に訓練

2017/12/12 リンク

braitom すごい。“a text-to-speech network based on Char2Wav, a time-delayed LSTM to generate mouth-keypoints synced to the audio, and a network based on Pix2Pix to generate the video frames conditioned on the keypoints.”