本项目是一个拥有 GUI 悬浮窗界面的 GPT-SoVITS 推理程序,可以通过模拟操作系统的文件拖拽信号,将合成的语音直接拖拽至视频剪辑软件(如 Adobe Premiere)的时间轴,更加方便地实现视频的配音。
推理核心源码基于 RVC-Boss/GPT-SoVITS 修改,GUI 界面基于 PySide6 实现,exe可执行文件由 PyStand 编译。
可以直接下载带有 exe 可执行文件的整合包,也可以自行部署依赖环境并从命令行运行。
整合包自带全部依赖和预训练模型,以及一个 Python 3.9.13 的嵌入式版本,可通过 exe 可执行文件独立运行。
PyTorch版本 | 大小 | 下载地址 | |
---|---|---|---|
CPU推理版本 | 2.2.1 | 989 MB | OneDrive | 百度网盘 |
GPU推理版本 | 2.2.1+cu118 | 2.18 GB | OneDrive | 百度网盘 |
git clone https://github.com/2DIPW/dub_genius.git
cd dub_genius
如果有现成的为 RVC-Boss/GPT-SoVITS 配置的环境,为了节省空间,可以在其基础上安装 PySide6。
pip install pyside6
否则,请安装全部依赖
pip install -r requirements.txt
安装 CUDA 版本的 PyTorch
pip install torch --index-url https://download.pytorch.org/whl/cu118
本项目需要 RVC-Boss/GPT-SoVITS 中的GPT_SoVITS/pretrained_models
目录下的 chinese-hubert-base
和chinese-roberta-wwm-ext-large
两个预训练模型,置于pretrained
目录下。
python dub_genius.py
-
添加模型组: 首次使用自动进入模型组管理对话框,单击
添加
,进入编辑模型组对话框- 填写模型组名,并选择 GPT 和 SoVITS 模型文件。
- 单击
添加
以添加参考音频,别名
和参考文本
默认值取自文件名,可以通过双击进入编辑状态来修改。单击文件路径
可以重新指定该项的文件路径。语言
默认为中文,如需批量修改语言,选中它们所在的行,并通过批量修改语言为
来修改。
-
指定保存路径: 单击保存路径文本框旁的
...
,设置满意的合成结果将会保存到何处,通常设置为视频剪辑项目所在的位置。 -
输入文本并合成语音: 单击
合成
,合成完毕后会自动播放试听,若满意该条合成结果,单击保存
即可将其保存至设置的路径,同时会将该条目添加至合成结果列表。 -
拖拽至时间轴: 从合成结果列表中将所需的语音拖拽至视频剪辑软件时间轴,即可完成配音的添加。如还需添加字幕,双击合成结果列表的条目即可将该项所对应的文本复制到剪贴板中。
本项目基于 RVC-Boss/GPT-SoVITS 修改,并以 GNU General Public License v3.0 开源
本项目的诞生离不开这些优秀的开源项目:
- GPT-SoVITS:LGPL
- PySide 6:LGPL
- PyStand:MIT License
- FFmpeg:LGPL
本项目整合包基于 LGPL 2.1 协议包含一份 FFmpeg 的可执行文件
本项目使用了由 Rafiico Creative Studio Co., Ltd. 基于 CC BY 3.0 DEED 协议共享的图像素材
世界因开源更精彩