KARASINGER: SCORE-FREE SINGING VOICE SYNTHESIS WITH VQ-VAE USING MEL-SPECTROGRAMS
Skip to the content. This is the demo page for the paper “KARASINGER: SCORE-FREE SINGING VOICE SYNTHESIS WITH VQ-VAE USING MEL-SPECTROGRAMS†Abstract In this paper, we propose a novel neural network model called KaraSinger for a less-studied singing voice synthesis (SVS) task named score-free SVS, in which the prosody and melody are spontaneously decided by machine. KaraSinger comprises a vector-q
Dwango Media Village(ドワンゴメディアヴィレッジ,dmv)
著者（20代男性）ã«ã‚ˆã‚‹èªã¿ä¸Šã’音声データã§ã™ã€‚自由ã«ä½¿ãˆã‚‹ãƒ‡ãƒ¼ã‚¿ã‚»ãƒƒãƒˆãŒå°‘ãªãã€ç§è‡ªèº«å›°ã£ãŸãŸã‚ã€è‡ªåˆ†ã®éŸ³å£°ã‚’åŽéŒ²ã—ã¦è‡ªç”±ã«ä½¿ãˆã‚‹ã‚ˆã†ã«ã—ã¾ã—ãŸã€‚èªã¿ä¸Šã’文㯠声優統計コーパス ã¨åŒä¸€ã§ã™ã€‚åˆ©ç”¨å ´æ‰€ã¯ç‰¹ã«åˆ¶é™ã‚’è¨ã‘ã¦ãŠã‚Šã¾ã›ã‚“ã®ã§ã€ãœã²ã”活用ãã ã•ã„。 概è¦Dwango Media Villageã®å»£èŠã§ã™ã€‚DeepLearningを用ã„ãŸå£°è³ªå¤‰æ›ã®ç ”究を行ã„ã€ã‚る程度ã®æˆæžœ ãŒå‡ºãŸãŸã‚ã€éŸ³æ¥½ã‚·ãƒ³ãƒã‚¸ã‚¦ãƒ 2018ã«ã¦ãƒã‚¹ã‚¿ãƒ¼ç™ºè¡¨ ã—ã¾ã—ãŸã€‚ã›ã£ã‹ããªã®ã§ã€ã“ã‚Œã¾ã§ã«å¾—ãŸå£°è³ªå¤‰æ›ã«é–¢ã™ã‚‹çŸ¥è˜ã‚’æ•´ç†ã—ã¦è¨˜äº‹ã‚’書ã„ã¦ã¿ã¾ã—ãŸã€‚ 最åˆã«éŸ³å£°ã®ä»•çµ„ã¿ã¨ã€å£°è³ªå¤‰æ›ã§ç”¨ã„る音響特徴é‡ã«ã¤ã„ã¦è§£èª¬ã—ã¾ã™ã€‚続ã„ã¦ä¸€èˆ¬çš„ãªçµ±è¨ˆçš„声質変æ›ã®æ‰‹æ³•ã«è§¦ã‚ŒãŸã‚ã¨ã€ã“ã®æ‰‹æ³•ã¨ã®å·®åˆ†ã«ç€ç›®ã—ã¦æœ€è¿‘ã®å£°è³ªå¤‰æ›æ‰‹æ³•ã‚’解説ã—ã¾ã™ã€‚ 声質変æ›ã®ã‚¢ãƒ—ãƒãƒ¼ãƒ 音声ã«ã¯ã€éŸ³ã®é«˜ã•ã‚„音色ã¨ã„ã£ãŸéŸ³éŸ¿çš„ãªç‰¹å¾´ã¨ã€éŸ³ç´ 列やå˜èªžã¨ã„ã£ãŸè¨€èªž
Chrome ã®éŸ³å£°èªè˜ã‚’ Unity ã§åˆ©ç”¨ã—ã¦ã¿ãŸ - 凹ã¿Tips
ã¯ã˜ã‚ã« å‰å›žã®ã‚¨ãƒ³ãƒˆãƒªï¼ˆhttp://d.hatena.ne.jp/hecomi/20131201/1385907047）ã«ã¦ã€Chrome ã«å®Ÿè£…ã•ã‚Œã¦ã„ã‚‹ Web Speech API を利用ã—ãŸéŸ³å£°èªè˜ã‚’ Unity 上ã§åˆ©ç”¨ã™ã‚‹ã“ã¨ã«ã¤ã„ã¦è§¦ã‚Œã¾ã—ãŸã€‚本エントリã§ã¯ãã®å†…容を紹介ã—ã¾ã™ã€‚ æ¦‚è¦ Chrome 㧠Web Speech API を動作ã•ã›ã€ãã®çµæžœã‚’ WebSocket ã§è²°ã£ã¦ãã‚‹ã¨ã„ã†å½¢ã«ãªã‚Šã¾ã™*1。Google ã•ã‚“ã«å¯¾ã—ã¦ã€ãŠè¡Œå„€ã®è‰¯ã„使ã„æ–¹ã¨ã¯è¨€ãˆãªã„æ°—ã‚‚ã™ã‚‹ã®ã§ã€å®Ÿé¨“用ã«ç•™ã‚ã¦ãŠãã‹ã€å¿…è¦ãªã¨ãã ã‘トリガを掛ã‘㦠ON ã«ã™ã‚‹å½¢ã«ã—ãŸæ–¹ãŒè‰¯ã„ã¨æ€ã„ã¾ã™ã€‚å…¬å¼ã«ã¯ Chromium-dev 登録ã—ã¦ã„れ㰠Web Speech API をパーソナルユースé™å®šã§åˆ©ç”¨ã§ãるよã†ã§ã™ï¼ˆæœªå®Ÿé¨“）。 API Keys - The Chromium Projects
1
♪ 200 400 600 800 1000 -0.01 0.01 0.02 50 100 150 200 0.002 0.004 0.006 0.008 0.010 0.012 5000 10000 15000 -0.01 0.01 0.02 1000 2000 3000 4000 -0.01 0.01 0.02 1000 2000 3000 4000 0.2 0.4 0.6 0.8 1.0 1000 2000 3000 4000 -0.01 0.01 0.02 5000 10000 15000 -10 -5 5 10 1000 2000 3000 4000 -4.5 -3.5 -3.0 -2.5 1000 2000 3000 4000 -4.5 -3.5 -3.0 -2.5 5000 10000 15000 -5 -4 -3 -2 5000 10000 15000 0.005 0.01
Python(NumPy, SciPy)ã§ãƒ•ã‚©ãƒ«ãƒžãƒ³ãƒˆåˆ†æžã‚’è¡Œã†
RubyMotionブームãŒä¿ºã®ä¸ã§å·»ãèµ·ã“ã‚Šã€ç¤¾å†…ã§å¸ƒæ•™æ´»å‹•ã‚’ã—ã¦ã„ã¾ã—ãŸã€‚「やã£ã±ã‚Šè‡ªåˆ†ã§ã‚¢ãƒ—リを作ã£ã¦ãƒªãƒªãƒ¼ã‚¹ã¾ã§æŒã£ã¦ã„ã‹ãªã„ã¨ã€ãã¡ã‚“ã¨è©•ä¾¡ã§ããªã„よãã€ã¨ã„ã†ã“ã¨ã§ã€å‰ã‹ã‚‰ä½œã‚ŠãŸã‹ã£ãŸéŸ³å£°è§£æžã‚¢ãƒ—リを作り始ã‚ã¾ã—ãŸã€‚ ãã®ãŸã‚ã«ä¿¡å·å‡¦ç†ã®ã‚¢ãƒ«ã‚´ãƒªã‚ºãƒ を勉強ã—ã¾ã—ãŸãŒã€ã‚€ã€é›£ã—ã„。 ã•ã¦ã€RubyMotionã¯vendorディレクトリã«é©å½“ã«.mã¨.hã‚’çªã£è¾¼ã‚“ã§ãŠã„ã¦ã€Rakefileã§æŒ‡å®šã—ã¦ãŠã‘ã°Objective-Cã®ã‚³ãƒ¼ãƒ‰ã‚’コンパイルã—ã¦ãã‚Œã¾ã™ã€‚ ä¿¡å·å‡¦ç†ã¯ãªã‚‹ã¹ã高速化ã—ãŸã„ã®ã§ã€Objective-C(ã¨ã„ã†ã‹ã€C言語)ã§æ›¸ããŸã„ã§ã™ã€‚RubyMotionã§ã¯ã€ãã†ã„ã£ãŸç”¨é€”ã«ã‚‚比較的楽ã«å¯¾å¿œã§ãã‚‹æ„Ÿã˜ã«ãªã£ã¦ã„ã‚‹ã‚ã‘ã§ã™ã€‚ ä¿¡å·å‡¦ç†ã‚¢ãƒ«ã‚´ãƒªã‚ºãƒ を俺ãŒC言語ã§å®Ÿè£…ã™ã‚‹å¿…è¦æ€§ C言語ã§è¤‡é›‘ãªä¿¡å·å‡¦ç†ã®ã‚¢ãƒ«ã‚´ãƒªã‚ºãƒ ã®å®Ÿè£…ã¯é›£ã—ã„ã§ã™ã€‚ インターãƒãƒƒãƒˆã«è½ã¡ã¦ã„る実装s
1
ランã‚ング
ランã‚ング
ランã‚ング
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
https://sunpro.io/c89/pub/hiromu/ch03
{{#tags}}- {{label}}
{{/tags}}