NEUTRINO Diffusion - Muon

指定した楽曲を、AI に歌わせることができるニューラルネットワークベースの歌声合成ソフト。
音符（歌メロ）と歌詞を渡すだけで、AI シンガーが自分の個性を活かしつつ人間のように歌ってくれます。
標準で、女性（「東北きりたん」「東北イタコ」「東北ずん子」「ずんだもん」「めろう」「No.7」「四国めたん」）と男性（「ナクモ」）の歌声ライブラリを使用することができ、必要に応じて各ライブラリのピッチや声質を調整することもできたりします。

NEUTRINOは、ニューラルネットワークを利用した音声合成ソフトです。
指定した楽曲を、AI（2023/04/29 時点では「東北きりたん」「東北イタコ」「東北ずん子」「ナクモ」「No.7」「ずんだもん」「四国めたん」のいずれか）に歌わせることができる NN ベースの歌声合成ツールで、基本的に曲データを渡すだけで表現豊かな歌唱を行ってくれるところが最大の特徴。

インプットされた曲データをただ単に発音させるのではなく、AI に「この歌を、どのように歌うのが正しいのか？」ということを推定させつつ歌声合成を行うので、あたかも人間が歌っているかのように歌わせることが可能となっています※1。
（歌声データは、WAVE ファイルとして出力される）
1 「人間のように」歌うため、難解な曲は無理した感じになる。
（物凄く早口であるとか、極端な音程差があるとか、休符なしでメロディが続くとか...）
また、歌メロ（MIDI データや MusicXML データ）自体は普段使い慣れたソフトで作成することができるため、新たに作曲ソフトの使い方を覚える必要がなかったりします※2。
（ただし、歌詞は「MuseScore」などの MusicXML 対応ソフトで付けることになる）
2 基本的には、上記「MuseScore」を含む何らかのソフトで歌メロ（MIDI ファイル等）を作成 → データを「MuseScore」などに読み込ませて音符に歌詞を付ける → 出来上がったデータを、MusicXML 形式のファイルとしてエクスポートする → MusicXML ファイルを「NEUTRINO」に読み込ませる... という手順を取ることになる。
“ 自分の作った歌を歌ってもらいたい ” という時にはもちろん、文章を読ませる用途等でも使えるかもしれません。
その他、使用する歌声ライブラリのピッチや声質を調整する機能も付いています。

• 公式のチュートリアル
• NEUTRINO ã‚’ GUI で操作できるソフト「ずー声← for NEUTRINO」
• NEUTRINO 調声支援ツール
• MuseScore ハンドブック

使い方は以下のとおり。

• 歌声ライブラリを入手する
• 歌のメロディを作成する
• 歌詞を入力する
• 歌声合成を行う

1. バージョンによっては、歌声ライブラリを別途入手する必要があります。
   たとえば、バージョン 2.0.0 では「めろう」のみが同梱されています。
   「東北きりたん」「東北イタコ」「東北ずん子」「四国めたん」「ずんだもん」「No.7」「ナクモ」の歌声ライブラリも使いたい場合は、歌声ライブラリの配布ページ にアクセスし、
   • 歌声ライブラリ - 東北きりたん
   • 歌声ライブラリ - 東北イタコ
   • 歌声ライブラリ - ナクモ
   • 歌声ライブラリ - 東北ずん子
   • 歌声ライブラリ - No.7
   • 歌声ライブラリ - ずんだもん
   • 歌声ライブラリ - 四国めたん
   をダウンロードします。
   （必要なもののみダウンロードすればよい）
   
   琴葉茜 / 琴葉葵 は、「A.I.VOICE 琴葉 茜・葵」購入者限定で使用できるライブラリのようです。
2. ダウンロードしたファイルを 解凍 し、中から出てきた
   • 「KIRITAN」フォルダ
     東北きりたん（NEUTRINO-Library）\KIRITAN
   • 「ITAKO」フォルダ
     東北イタコ（NEUTRINO-Library）\ITAKO
   • 「NAKUMO」フォルダ
     ナクモ（NEUTRINO-Library）\NAKUMO
   • 「ZUNKO」フォルダ
     東北ずん子（NEUTRINO-Library）\ZUNKO
   • 「SEVEN」フォルダ
     No.7（NEUTRINO-Library）\SEVEN
   • 「ZUNDAMON」フォルダ
     ずんだもん（NEUTRINO-Library）\ZUNDAMON
   • 「METAN」フォルダ
     四国めたん（NEUTRINO-Library）\METAN
   を、「NEUTRINO」のインストールフォルダ内にある「model」フォルダ内にコピーします。
   

目次へ戻る

1. 最初に、何らかのソフトで歌メロを作成します。
   このページでは、
   1. 「Domino」で歌メロを作成し、MIDI ファイルとして出力する
   2. 作成した MIDI ファイルを「MuseScore」にインポートし、音符に歌詞を乗せる
   3. 出来上がったデータを MusicXML 形式のファイルとしてエクスポートする
   4. 「NEUTRINO」に MusicXML ファイルを読み込ませて歌声合成を行う
   ... といった手順を取りたいと思います。
2. まず、歌のメロディを作成します。
   
   音色は何でも OK ですが、音の伸びが人間の声に近い楽器の方がイメージしやすい？ような気がします。
   （この音符でどこまで息が続くのか？ということをイメージしやすいというか...）
   テンポも重要な要素となるので、テンポもしっかりと設定しておきます。
   
   歌メロ以外の演奏データを作成しても OK ですが、「NEUTRINO」で音声合成の際に出力されるのは “ 歌 ” のみになります。
   （楽器の演奏も入れたい場合は、歌と別に作って「Audacity」などでミックスするとよい）
3. 歌メロが出来上がったら、データを MIDI ファイルとして出力します。
   
   

目次へ戻る

---

1. 「MuseScore」を起動し、作成した MIDI ファイルを読み込みます。
   
   
   MIDI ファイルが読み込まれた
   
   まず、歌詞を乗せたい音符をクリックし、Ctrl ＋ L キーを押します。
   　MuseScore ハンドブック（歌詞）
2. 選択していた音符の下に、歌詞入力欄が表示されます。
   
   ここに、選択中の音符に乗せたい歌詞を入力します。
   
   この時、書き言葉ではなく話し言葉で入力するように注意します。
   たとえば、「あの時は」という歌詞があったとすると、「あのときは」ではなく「あのときわ」と入力します。
   　その他注意（公式チュートリアル）
3. 続いて、方向キーの → キーを押すなどし、別の音符を選択 → 歌詞を入力していきます。
   
   
4. 歌詞の入力が終わったら、メニューバー上の「ファイル」から「エクスポート」を選択します。
   
5. 「エクスポート」という画面が表示されるので、右上にある「フォーマット」欄で「MusicXML」を選択します。
   
   
続いて、その下にある「ファイルの種類」欄で「非圧縮 (*.musicxml)」を選択 → 右下の「エクスポート」ボタンをクリックしてファイルの保存を行います。

目次へ戻る

---

1. 作成された MusicXML ファイルを、「NEUTRINO」のインストールフォルダ内にある「score\musicxml」フォルダ内にコピーします。
   
2. 続いて、「NEUTRINO」のインストールフォルダ内にある「Run.bat」を、メモ帳などの テキストエディタ で開きます。
3. 6 行目にある
   set BASENAME=sample1
   の「sample1」の部分を、「MuseScore」で作成した MusicXML ファイルの名前に書き換えます。
   （拡張子は除く）
   
   たとえば、作成したファイルが「test.musicxml」という名前であったとすると、
   set BASENAME=test
   のように記述します。
   
4. 次に、14 行目にある
   set ModelDir=MERROW
   の部分で、使用する歌声ライブラリを指定します。
   
   • 「東北きりたん」を使う場合は　KIRITAN
   • 「東北イタコ」を使う場合は　ITAKO
   • 「東北ずん子」を使う場合は　ZUNKO
   • 「ずんだもん」を使う場合は　ZUNDAMON
   • 「めろう」を使う場合は　MERROW
   • 「No.7」を使う場合は　SEVEN
   • 「ナクモ」を使う場合は　NAKUMO
   • 「謡子」を使う場合は　YOKO
   • 「JSUT」を使う場合は　JSUT
   と記述します。
   たとえば、「東北きりたん」を使用する場合は、
   set ModelDir=KIRITAN
   のように記述します。
   
5. NEUTRINO では、使用している PC のスペックに応じて処理速度を三段階で調整できるようになっています。
   処理速度は、8 行目にある
   set InferenceMode=3
   の部分で調整できるようになっています。
   
   デフォルトでは CPU 向けの「3」となっていますが、GPU 向けにする場合は「4」、ローエンドな CPU 向けにする場合は「2」にしておきます。
   たとえば、4 にする場合は下記のように記述します。
   set InferenceMode=4
   
6. その他、18 / 21 行目や 22 行目でピッチや声質を調整することもできますが、この辺についてはとりあえず音声合成を行ってから調整してもよいと思います。
7. 「Run.bat」の編集が終わったら、Ctrl ＋ S キーを押すなどとしてファイルを上書き保存します。
   （テキストエディタは閉じてしまって OK です）
8. 最後に、「Run.bat」をダブルクリックして実行します。
   
9. コマンドプロンプトが立ち上がり、音声合成処理が行われます。
   
   これにはそこそこ時間がかかる場合があるので、余裕をもって待ちます。
10. しばらく待ち、コマンドプロンプトが消えたら処理完了です。
    「NEUTRINO」のインストールフォルダ内にある「output」フォルダ内に、WAVE ファイルが作成されています※3。
    
    3 NEUTRINOでは、「NSF」「WORLD」という 2 種類のボコーダーを使用して音声合成が行われる。
    ファイル名に「_world」と付いてるものが「WORLD」を使用して作られた WAVE ファイルで、「_world」と付いていないものが「NSF」を使用して作成された WAVE ファイル。
    この WAVE ファイルの内容を確認し、おかしいところがあれば（音符の長さとか配置、休符の有無等）、作曲ソフトで微調整を行う → 再度 MusicXML ファイルを書き出して歌声合成を行う... という手順を取っていきます。
    ちなみに、先述の通り「Run.bat」の 18 行目にある
    set PitchShiftNsf=0
    と
    set PitchShiftWorld=0
    の部分でピッチを、22 行目にある
    set FormantShift=1.0
    の部分で声質を調整できるようになっています。
    
    ピッチに関しては、「1.0」にすると 1 つ上のキーに、「-1.0」にすると一つ下のキーに設定することができます。
    声質については、大きくすれば子供のような幼い声になり、小さくすれば大人のような声になるようです。