rigayaの日記兼メモ帳

---

Aviutlで二重音声

---

そもそもAviutlの音声は基本的に1系統なので、2系統以上の音声を扱おうとすると、わりと困ってしまう。

まあ、やり方がないわけではなくて、エンコ前に副音声のほうはあらかじめ出力しておき、x264guiEx.iniを改造してmux時に組み込むとか、エンコ後バッチ処理で組み込むとか、そういう方法を使うことになる。

ただ、この「エンコ前に副音声のほうはあらかじめ出力しておく」というのもそれなりに大変。というのも分離した音声を用意すればいいというだけの話ではなく、Aviutl上で行ったカット編集をどう反映させるかとかいう問題。

具体的には、一回aup保存して、音声ファイル名をスイッチして音声のみ出力とか。

ほかには、Trim ExportしたtxtからTrim情報をaaceditでAACに反映させ、そのAACをさらにmuxするとか。しかし、この方法をエンコ前後バッチ処理で書こうとしたら、ファイル名どうしようとか考えてるうちに、だんだん頭が痛くなってきてやめてしまった。(おい
※わたしはバッチファイルを書くのは嫌いです。

で、これなんか違う方法でもう少し簡単にできないか、少し考えてみた&試してみた。

---

とにかく一度でやってしまいたいんです

---

分離した主音声と副音声のAACがあるとして、そこから主音声、副音声のFAW half size(8bit wav)をまず作る。

このままだと、どちらか片方しか読みこむことができない。これが問題なので、なんとか両方読み込み、一度にカット編集、出力するようにしたい。

そこで、2つのFAW half size(8bit wav)を交互に混ぜあわせて、16bit wav化してしまう。この16bit wavをAviutlに読み込ませ、カット編集を行い、出力時に分離してやれば、二重音声も同時にカット編集できるはず、というのが基本的な考え。

---

混ぜ合わせるってどういうことか

---

FAWのhalf sizeは8bitのwav形式なため、Aviutlに読み込まれるときには16bit wavに変換される。この変換は、

wav16bit_上位8bit = wav8bit - 128;
wav16bit_下位8bit = 0;

のように計算されるので、実は下位8bitは空いている、といっていい。そこで、この空いている下位8bitを利用することにして、

wav16bit_上位8bit = wav8bit(主音声) - 128;
wav16bit_下位8bit = wav8bit(副音声) - 128;

のように混ぜあわせていく。これは見た目は16bit wavファイルに偽装できているので、普通にAviutlに読み込ませたり、カット編集できたりする。

あとは、出力段階でこれを分離して、もとのhalf sizeっぽくしてやれば、普通のhalf size FAWと変わりなくfawclが解除してくれる。

---

手順 ～ faw_mixer と x264guiEx 1.71

---

1. 主音声、副音声のFAW half size(8bit wav)をまず作る。delayはここで修正される。

fawcl.exe -s2 <主音声aac> <主音声half size FAW>
fawcl.exe -s2 <副音声aac> <副音声half size FAW>

2. で、今回新しく作ったfaw_mixerを使って、2つのhalf size FAWを混ぜ合わせる。

faw_mixer.exe -i <主音声half size FAW> -i <副音声half size FAW> -o <FAW half size mix>

3. 出力した<FAW half size mix>をAviutlに映像データとともに読み込ませ、カット編集等を行う。

4. x264guiEx 1.71の音声エンコーダで、FAWのhalf size mixモードを指定するか、FAW Checkにチェックを入れる。（FAW Checkが自動的にモードを切り替える。)




5. このhalf size mixモードが動くと、自動的に主音声・副音声に分離、その後自動的に両音声をmuxする。

---

x264guiEx ダウンロード>>
※今回の拡張を使うにはx264guiEx.iniの更新が必要

faw mixer ダウンロード>>

x264guiExの導入>

---

---

結局どうなのよ

---

メリット
・faw mixという手順を踏んでおけば、あとは簡単に二重音声を扱うことができる。(x264guiEx 1.71以降が自動でmuxする)
・つまり、めんどくさいバッチ処理を書いたり、エンコ後に色々作業したりしなくていい。

デメリット
・FAW half size限定。
・前処理段階で一工程増える。
・aacfaw.aui, chapter.auf, fawpreviewなどのFAW関連ツールが対応していないため、この辺りは正常に使用できない。

実用的かといわれると、どうだろう…。自信ない。特にchapter.aufの無音検索が使えないのが痛い。

chapter.auf, fawpreviewあたりでも正常に扱えたらよかったのだけど、やはり無理だった。どうもhalf sizeの検出そのものに失敗しているのかな?

面白そうだなと思ったら使ってみてくれればと。

---

まあでも、やはり二重音声はいろいろ大変。なんかほかにいい方法ないものか…。全自動でできるいい方法ありましたら教えてください。

---

さて、あとは座談会を見て…。
http://live.nicovideo.jp/watch/lv126897261

---

---

ここでそのうち書くよ、と言っていた内容。

まず、x264でBluray出力するために必要な設定はこんな感じ。

--colormatrix bt709 --colorprim bt709 --transfer bt709 --aud --nal-hrd vbr --bluray-compat --weightp 1以下 --b-pyramid strict --keyint 24(プログレッシブ) or 30(インターレース) --ref 4以下 --level 4.1 --slices 4 --vbv-bufsize 30000以下 --vbv-maxrate 25000以下

これをベースにいろいろ他の設定をする。

最大ビットレート・VBVバッファサイズについては、いろいろあるみたいだけど、とりあえずこんなもんでいいと思う。

---

TMSR4でBDMV/BDAV作成

---

今回試したのは、上の条件を満たした設定で、

1440x1080i 29.97fps SAR=4:3
音声 AC3

で出力。

ほかにも、
・1440x1080p 23.976fps SAR=4:3
・1920x1080i 29.970fps SAR=1:1
・1920x1080p 23.976fps SAR=1:1
なども試したが、いずれも問題なかった。

TMSR4のBDAV/BDMV出力ではAAC音声はAC3に再エンコードされるようなので、最初からAC3にエンコードしておいた。BDMVはAAC非対応だけど、BDAVはAACに対応していた気がするが…?

AC3エンコーダはffmpegのものを使用。ffmpegはあべちん様がビルドしてくださっている。

エンコード例

クリックで拡大

TMSR4を使用する場合、普通にmp4で出力し、エンコード後のファイルをTMSR4に読ませると、さっきの条件を満たせていれば、BDMV / BDAV / AVCHDいずれでも出力可能となる。



出力設定で今回はBDAVを選択。



出力完了後BDに書き込んでくれる。ちなみにBDAVに追記していくことも当然可能。



作成したBDは無事DIGAで再生できた。

---

tsMuxeR + ImgBurnでBDMV作成

---

全部フリーでやろうとする場合はこちらの方法を使う。tsMuxeR GUIにさっき出力したファイルをドラッグ&ドロップし、Bluray出力を選択、出力先フォルダを指定するだけ。


クリックで拡大

あとは、Start Muxingをクリックし、出来上がったフォルダをImgBurnでBDに書き込む。



このとき、ファイルシステムをUDF、UDFリビジョンを2.50に設定する。書き込めれば完了。

---

x264guiEx 1.70v2

---

Bluray出力用プリセットの追加。auo > x264guiEx_stgフォルダのBlurayに入れといた。インタレ保持用と、プログレッシブ用の2種。

---

ダウンロード>>

x264guiExの導入>

---

それから、tsMuxeRを使った流れは、x264guiExのエンコ後バッチ処理(muxタブ)を使って、tsMuxeR → ImgBurnで書き込みまで自動化できる。

その参考バッチファイルをこちらに。

パスの設定とか、fpsとかは自分で調整する必要があると思うけども、参考になればと。

---

その他x264guiExに関する記事のまとめとか。
x264guiExの導入>

---

---

前回検証したのは、自動フィールドシフト(afs)で24fps化にチェックを入れ、x264guiExでL-SMASH系でmuxしたもの。以下のように、23.976fpsのCFR(固定フレームレート)となっていることが確認できる。

---

今回は、afsの24fps化オプションにチェックを入れずにエンコードしたもの。以下のようにVFR(可変フレームレート)になる。




これをTMSR4に読み込ませると、普通に再生できるけれど、情報表示では29.97fps扱い(下の図)。




普通にCMカットとかもできるのだけど、再エンコード部解析をすると…



真っ赤。
※スマートレンダリング可能なら、音声のほうのように赤い色がつかない。

つまり再エンコードしまくるということで、事実上スマートレンダリングはできませんorz

ま…まあ、フレーム単位の編集とvfrは相性悪いのは当然といえば当然か…。

---

まずエンコード環境・設定から。

Win7 x64
Xeon W3680 6C/12T @ 3875MHz
DDR3-1333 Tripple-Channel 18GB

Aviutl 0.99m
x264 r2245 x64 8bit
x264guiEx 1.70
faw2aac.auo
afs高速化版 24fps化

MPEG2 1440x1080i 29.97fps
30分20秒 2.26GB (映像 9980kbps)
↓
H.264/AVC 1440x1080p 23.976fps
30分20秒 528MB (映像 2241kbps)

x264のオプションはデフォルトのまま。
音声はaacfaw→faw2aacで無劣化コピー。
特にエンコードする理由もないので。

このmp4を読みこませた情報表示は、



という感じで、mp4 / mkv / m2ts にスマートレンダリングできるらしい。BDAV/BDMVについては今回はそのために必要な設定をしていないので、当然出力できない。x264でBluray用出力をする方法については、そのうち書くと思う。



mp4でも当然CMカット候補検索は可能。まあ音声でやってるはずなので当然ではある。ちなみに今回も誤爆ありで、エンドカード(「～の提供」でのところ)は残そうとしていたが、次回予告をCMとして切ろうとしていた。やはりこのへんは完璧ではないので、きちんとチェックする必要がある。



再エンコード対象範囲。最後の方の赤いところ。

CMカットして約24分だが、出力設定を「映像品質:90」「パフォーマンス:画質設定+3」にしても47秒で出力が完了した。再エンコードの範囲にさしかかるとCPU使用率が跳ね上がって、100%近くに達した。

H.264/AVC 1440x1080p 23.976fps
23分55秒 344MB (映像 1821kbps)

再エンコードされたところも、きちんと再生できた。結構実装は大変だと思うのだけど、スマートレンダリング、やはり素晴らしい。

---

というわけで、まだほんのすこししか試してないけど、mp4(H.264/AVC)のスマートレンダリングも普通に使える、と。まあH.264のカット編集を実際するかというと現状では微妙だけど。

CMカット機能については、次回予告のような短いところあたりはやはり注意かも。要確認。

---

相当優秀なCM検出機能

---

さて、まず起動すると、



これにファイルを読み込ませて、カット編集モードに。
右下にある、「編集メニュー」をクリックすると、




CM候補検出、が出てくる。

---

検出を開始する。30分の動画を検索するのに30秒～40秒ほどかかった。まあ、tsファイルをまるごとスキャンするので、ディスクアクセスがバカにならないのだと思う。

---

CM候補抽出完了。信頼度も表示される。この例では、
・青いところが本編
・緑はCMとしての信頼度が高い
・赤はCMとしての信頼度が低い
という感じで推定されている。
色は緑→黄→橙→赤の順に信頼度が低くなっていく感じ。直感的にわかりやすい。

この例では信頼度赤のところはCMではなかった(OP)。このように、CMの範囲については、完璧ではないため、一応確認する必要がある。

このあと、クリップ分割点を出力し、CM検出を反映する。

---

フレーム単位の精度は非常にいい。1フレームズレがあるかないかだろう。欲を言うなら、あらかじめ1～2フレーム少し内側に寄せてくれれば、もう何もしなくていい感じだ。

---

あとは、出力するだけ。基本的にはスマートレンダリングで、必要なければ再エンコードをかけないため、画質・音質の劣化なく、かつ高速にカット編集が完了する。

---

AviutlのCM検出・CMカット

---

皆さんご存知だろうけど、これと同様のことはAviutlでもできる。
使うプラグインは、
チャプター編集プラグイン＋無音＆シーンチェンジ検索(chapter.auf)
cutedit for Aviutl
時間ジャンププラグイン
移動ツール

KENくん様と、これらのプラグインの作者様に感謝しつつ、どんな感じかを書いていく。

---

rutice様による、チャプター編集プラグイン＋無音＆シーンチェンジ検索(chapter.auf)を使うことで、無音探索が可能なので、これがCMの目印になる。アニメであれば、CMのパターンなど当然みなさんは記憶されているでしょうから、こんなのみたら、すぐわかりますよね?



ちなみに、この無音探索にも時間がかかる場合があるが、これは音声読み込みの方法によって異なる。音声を別ファイルで抽出しておけば、音声へのアクセスが非常に高速になるので、無音探索は一瞬で終わる。なので、個人的にはaacfaw.auiでAACを読み込んでおくと無音探索が一番高速でいいかと。

まあchapter_exeで事前にやっておく方法もあるけど…。lsmashinput.auiを使用している場合は、無音探索にも微妙に時間がかかるので、必要かもしれない。

---

ほかにも、CMカット時に便利なものとしては、cutedit for Aviutlがあって、下のようなかんじで範囲指定していくことができる。切り落とす範囲をわかりやすく表示してくれる。

---

時間ジャンププラグイン。chapeter.aufでCMの先頭を探したあと、CMの時間がわかっていれば、1分とか1分30秒とか飛ばしたほうが速い時も多い。そういう時に便利。

---

あとは、移動ツール。こちらも選択範囲の先頭などに飛べて便利になる。

---

さらにAviutlのショートカットキーを調整すればいろいろやりやすくなると思う。ショートカットキーの指定画面も相当使いやすくなっている。

あとは、ジャンプウィンドウとかもあるかな?

---

TMSR4のCMカットの使いどころ

---

TMSR4のCM検出には時間がかかるので、CM構造がだいたいわかっているような30分のアニメでは、圧倒的にAviutl + aacfaw + chapter.aufのほうが速く、かつ便利。どうせx264guiExでエンコードするし。TMSR4では当然細かい設定をしてエンコードはできない。

ただ、CM構造がいまいちよくわからない場合には、chapeter.aufのほうだとCM領域の特定に時間がかかるし、それなりに面倒。その点、長い映画番組など、CM構造が不定の場合には、TMSR4は非常に強力。もう、カット編集だけして、エンコードしなくてもいいかもしれない。

あと、TMSR4の読み込みはさすがに強力で、わかさだろうがdropだろうがきちんと読みこんでくれるし、多重音声にも対応している。こういった場合には、本当に役立つと思う。

---

CMカット以外の話
～TMSR4でQSVEncのBluray出力を確認～

---

ここからCMとはぜんぜん違う話。

QSVEncのBluray互換出力を読み込ませて、きちんとBluray互換になっているか確認した。

設定は0.18付属のBluray互換用プリセットに、以下の変更を加えたもの。
・音声はfaw2aacでaacをそのまま。
・外部muxer使用にチェックを入れ、mp4出力。



BDMV / BDAV / AVCHD / TS 全対応となっており、いい感じ。QSVEncで適切に設定できていることが確認できた。mp4を直接読めるのもいい。TMSR4はAAC音声もしっかりサポートしているので、tsMuxer用にわざわざAC3変換とかも不要になる。