尧图网站建设 
RVC语音转换指南如何用10分钟语音训练出高保真AI变声模型【免费下载链接】Retrieval-based-Voice-Conversion-WebUIEasily train a good VC model with voice data 10 mins!项目地址: https://gitcode.com/GitHub_Trending/re/Retrieval-based-Voice-Conversion-WebUIRetrieval-based-Voice-Conversion-WebUI简称 RVC是一个基于 VITS 的开源变声框架核心亮点只有一条用不到 10 分钟的干净语音就能在普通显卡上训练出一个能唱歌、能对话的音色模型。它的底模由接近 50 小时的开源 VCTK 语音集预训练而成因此你不需要从零教模型人声长什么样只需要教它某个人的声音长什么样。配合 top1 检索机制、实时变声界面端到端延迟 170msASIO 环境下可达 90ms和内置的人声分离工具它把克隆一个声音的门槛从录音棚级拉到了卧室级。痛点先行传统语音转换的三道坎数据量、音质、速度传统方案怎么算都亏传统音色克隆路线大致是录几小时数据 → 从零训练一个 VITS → 祈祷不出电音。这条路有三道坎数据门槛高通常需要数小时纯净录音对素人来说几乎不可完成效果容易翻车训练不足的模型常带金属音机器人感歌声场景尤其明显实时性难兼顾能离线出好音质的方案往往慢能实时的方案音质打折。RVC 的应对思路检索替代硬记RVC 的破题方式不是逼模型背下你的声音而是边推理边查表推理时把输入音频的音色特征换成训练集中最相似的特征片段top1 检索再交给声码器合成。这样模型只负责像那个人一样发声具体音色细节由检索库兜底——项目方正是用这套机制杜绝音色泄漏。数据量方面官方推荐至少 10 分钟低底噪语音常见问题文档给出的实用区间是 10 至 50 分钟。一张表看懂 RVC 的核心组件术语通俗解释HuBERT 特征提取器声音的指纹仪把每一帧音频压成 256 维特征向量top1 检索索引faiss音色的卡片目录用 IVF512 结构预组织训练集特征推理时毫秒级查到最接近的音色VITS 声码器声音的3D 打印机把特征数据逐帧打印成可听波形RMVPE 音高提取旋律的节拍器逐帧读出音高 f0专治歌声转换里的哑音问题UVR5 人声分离音频的手术刀从整首歌里精准切出人声与伴奏ckpt-merge 模型融合音色的调色盘把两个权重文件按比例混出第三种声音它凭什么四个设计决定成败10 分钟数据 预训练底模小数据也能出片训练不是从随机权重开始而是加载assets/pretrained/下的f0G40k.pth/f0D40k.pth继续训练等于站在 50 小时底模的肩膀上微调音色。数据预处理也很省事指定一个音频文件夹RVC 自动完成静音切分按 4 秒一段、0.3 秒重叠切块、降噪、归一化再统一转成 16k 的 wav 送进特征提取。检索机制从根上堵住音色泄漏没有检索的变声模型往往把输入者自己的音色漏进输出里——你唱的是 A 的旋律出来的却是 A 和 B 的杂交体。RVC 用检索索引把输入特征整体替换为训练集特征推理端还有一个检索特征占比滑杆在线 demo 默认 0.88拉满则完全用训练集音色调低则保留更多原声特征给你留了手动权衡的余地。老显卡友好fp16 自动降级 4GB 显存保底configs/config.py里有一套很实在的降级逻辑检测到 P40、GTX 1060–1080、1650 等老卡时自动切到 fp32 并调整批处理参数显存 ≤4GB 时自动收缩分段长度x_pad/x_query/x_center/x_max。官方 FAQ 的说法是4G 以下显存可以直接放弃4G 显存显卡还有救。全显卡覆盖 多语言界面N 卡走 CUDAA 卡/I 卡可走 DirectMLrequirements-dml.txtLinux 下 A 卡有 ROCmrequirements-amd.txt、I 卡有 IPEXrequirements-ipex.txt两条路。界面通过 i18n/locale/ 支持中、英、日、韩、法、俄、葡、土耳其等 13 种语言官方文档同步覆盖 docs/ 下的 cn、en、jp、kr、fr、tr、pt 等目录。手把手上手从装环境到第一次变声准备三条命令装好依赖环境要求 Python 大于 3.8。# 获取代码 git clone https://gitcode.com/GitHub_Trending/re/Retrieval-based-Voice-Conversion-WebUI # N 卡 pip install -r requirements.txt # A 卡 / I 卡DirectML pip install -r requirements-dml.txt # MacOS 可用 run.sh 一键装依赖 sh ./run.sh另需准备两样东西ffmpegUbuntu 用sudo apt install ffmpegWindows 把 ffmpeg.exe 放根目录即可以及assets/下的预训练模型hubert_base.pt、pretrained、uvr5_weightsv2 用户还需 pretrained_v2仓库 tools/ 里附有下载脚本dlmodels.sh/dlmodels.bat。执行启动 WebUI 并跑通一次训练# 启动训练/推理网页界面默认端口 7865 python infer-web.pyWindows 整合包用户双击 go-web.bat 即可整合包占用端口 7897实时变声界面则是 go-realtime-gui.bat。训练路径按三步走① 起个实验名并选择是否考虑音高唱歌场景必须开不开则模型更轻但不适合歌唱② 指定音频文件夹点一键提取——自动完成切分、降噪、f0 音高提取可选 harvest / crepe / rmvpe与 HuBERT 256 维特征提取中间产物全部落在logs/实验名/下③ 点一键训练——训练 VITS 权重后自动用 faiss 构建 IVF512 检索索引。详细的分步说明见 docs/en/training_tips_en.md中文社区教程见 docs/cn/。验证用这些参数做第一次转换推理页面上真正影响听感的参数其实就几个变调 f0up_key半音数男转女推荐 12女转男推荐 -12音高提取算法歌声可选 rmvpe效果最好且比 crepe 快、更省资源harvest 低音好但极慢pm 适合说话输入提速检索特征占比默认 0.88拉高更像训练对象调低保留更多原声保护清辅音 protect默认 0.33防止电音和撕裂感调低保护更强但可能削弱检索效果中值滤波半径 filter_radius默认 3配合 harvest 可削弱哑音。命令行党可以直接用 tools/infer_cli.py 做单条转换例如指定模型、索引、f0 算法后输出 wav批量处理用 tools/infer_batch_rvc.py。上传音频控制在 90 秒以内。能用在哪儿四类典型场景音乐与 AI 歌手这是 RVC 的主场。先用内置 UVR5权重在assets/uvr5_weights/把人声从伴奏中分离出来训练音色模型再把替换后的人声与原伴奏合回——社区里5 毛钱在 AutoDL 上训练 AI 歌手的玩法正是这条路。不想从零训练时还可以用 ckpt 选项卡的 ckpt-merge 把两个模型按比例融合快速调出介于两人之间的新音色。实时变声直播、游戏与通话实时变声界面实现端到端 170ms 延迟配合 ASIO 声卡输入输出可压到 90ms。对延迟敏感的直播推流、游戏内变声、语音通话场景这组数字意味着几乎感觉不到经过了一台机器。有声内容与多角色配音10 分钟数据训一个角色的特性让一部小说五个角色各一个音色的批量生产成本极低每角色准备一小段参考语音各训一个模型再用批量推理脚本串行出片。开发者API 与二次开发仓库提供了两套可直接调用的推理接口 api_231006.py 和 api_240604.py底层就是 infer/modules/vc/ 里的VC类vc_single方法即推理入口需要轻量化部署时可用 tools/export_onnx.py 导出 ONNXtools/onnx_inference_demo.py 给出对应推理示例。模型相似度对比可以用 tools/calc_rvc_model_similarity.py 量化两个权重文件的接近程度。继续深挖调参建议与常见报错关键参数怎么设参数建议依据训练轮数 total_epoch底噪大的数据集 20~30 轮即可高音质长数据集可上到 200docs/cn/faq.md Q9学习率初始 1e-4衰减系数 0.999875configs/v1/40k.jsonbatch_size默认 4显存富裕时调大更稳同上采样率版本v1 支持 32k/40k/48kv2 支持 32k/48kconfigs/检索索引一键训练后自动生成.index文件位于logs/实验名/训练指南问题↔优化方案速查表常见问题处理方案训练时 ffmpeg error / utf8 error多半是路径带空格、括号或中文把数据集挪到纯英文无空格路径FAQ Q1一键训练结束没有.index索引数据集过大卡在添加索引步骤重新点一次训练索引按钮FAQ Q2推理页看不到刚训的音色先点刷新音色仍没有则检查logs/实验名/下的报错日志FAQ Q3CUDA out of memory训练缩小 batch_size推理缩小config.py末尾的 x_pad / x_query 等参数4GB 显存可继续跑FAQ Q8分享模型给别人分享assets/weights/下 60MB 的推理用 pth可与.index打包成 zip不要分享logs/下的训练态大文件FAQ Q4男转女/女转男音色怪变调设 12 / -12音域失真时再手动微调半音数训练数据怎么准备官方口径是 10~50 分钟、低底噪。实操上优先保证干净而不是堆时长底噪大的数据训再多轮也带不高。音频格式交给 ffmpeg 兼容即可切分、降噪都由流水线自动完成若源文件是人声伴奏混音先走一遍 UVR5 分离再进训练。延伸资料仓库内快速索引中文文档与 FAQdocs/cn/faq.md、docs/cn/Changelog_CN.md多语言文档docs/en/训练技巧、FAQ、faiss 技巧、docs/jp/、docs/kr/、docs/fr/、docs/pt/、docs/tr/命令行工具集tools/单条推理、批量推理、ONNX 导出、模型下载、相似度计算预训练模型目录assets/pretrained/、assets/pretrained_v2/训练配置configs/v1/v2 各采样率参数训练时自动复制到configs/inuse/推理核心源码infer/modules/vc/VC 主类、infer/lib/infer_pack/modules/F0Predictor/四种音高提取器rmvpe / harvest / crepe / pm启动入口infer-web.pyWebUI、go-realtime-gui.bat实时变声、run.shMacOS 依赖安装【免费下载链接】Retrieval-based-Voice-Conversion-WebUIEasily train a good VC model with voice data 10 mins!项目地址: https://gitcode.com/GitHub_Trending/re/Retrieval-based-Voice-Conversion-WebUI创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 RVC语音转换指南：如何用10分钟语音训练出高保真AI变声模型
RVC语音转换指南如何用10分钟语音训练出高保真AI变声模型【免费下载链接】Retrieval-based-Voice-Conversion-WebUIEasily train a good VC model with voice data 10 mins!项目地址: https://gitcode.com/GitHub_Trending/re/Retrieval-based-Voice-Conversion-WebUIRetrieval-based-Voice-Conversion-WebUI简称 RVC是一个基于 VITS 的开源变声框架核心亮点只有一条用不到 10 分钟的干净语音就能在普通显卡上训练出一个能唱歌、能对话的音色模型。它的底模由接近 50 小时的开源 VCTK 语音集预训练而成因此你不需要从零教模型人声长什么样只需要教它某个人的声音长什么样。配合 top1 检索机制、实时变声界面端到端延迟 170msASIO 环境下可达 90ms和内置的人声分离工具它把克隆一个声音的门槛从录音棚级拉到了卧室级。痛点先行传统语音转换的三道坎数据量、音质、速度传统方案怎么算都亏传统音色克隆路线大致是录几小时数据 → 从零训练一个 VITS → 祈祷不出电音。这条路有三道坎数据门槛高通常需要数小时纯净录音对素人来说几乎不可完成效果容易翻车训练不足的模型常带金属音机器人感歌声场景尤其明显实时性难兼顾能离线出好音质的方案往往慢能实时的方案音质打折。RVC 的应对思路检索替代硬记RVC 的破题方式不是逼模型背下你的声音而是边推理边查表推理时把输入音频的音色特征换成训练集中最相似的特征片段top1 检索再交给声码器合成。这样模型只负责像那个人一样发声具体音色细节由检索库兜底——项目方正是用这套机制杜绝音色泄漏。数据量方面官方推荐至少 10 分钟低底噪语音常见问题文档给出的实用区间是 10 至 50 分钟。一张表看懂 RVC 的核心组件术语通俗解释HuBERT 特征提取器声音的指纹仪把每一帧音频压成 256 维特征向量top1 检索索引faiss音色的卡片目录用 IVF512 结构预组织训练集特征推理时毫秒级查到最接近的音色VITS 声码器声音的3D 打印机把特征数据逐帧打印成可听波形RMVPE 音高提取旋律的节拍器逐帧读出音高 f0专治歌声转换里的哑音问题UVR5 人声分离音频的手术刀从整首歌里精准切出人声与伴奏ckpt-merge 模型融合音色的调色盘把两个权重文件按比例混出第三种声音它凭什么四个设计决定成败10 分钟数据 预训练底模小数据也能出片训练不是从随机权重开始而是加载assets/pretrained/下的f0G40k.pth/f0D40k.pth继续训练等于站在 50 小时底模的肩膀上微调音色。数据预处理也很省事指定一个音频文件夹RVC 自动完成静音切分按 4 秒一段、0.3 秒重叠切块、降噪、归一化再统一转成 16k 的 wav 送进特征提取。检索机制从根上堵住音色泄漏没有检索的变声模型往往把输入者自己的音色漏进输出里——你唱的是 A 的旋律出来的却是 A 和 B 的杂交体。RVC 用检索索引把输入特征整体替换为训练集特征推理端还有一个检索特征占比滑杆在线 demo 默认 0.88拉满则完全用训练集音色调低则保留更多原声特征给你留了手动权衡的余地。老显卡友好fp16 自动降级 4GB 显存保底configs/config.py里有一套很实在的降级逻辑检测到 P40、GTX 1060–1080、1650 等老卡时自动切到 fp32 并调整批处理参数显存 ≤4GB 时自动收缩分段长度x_pad/x_query/x_center/x_max。官方 FAQ 的说法是4G 以下显存可以直接放弃4G 显存显卡还有救。全显卡覆盖 多语言界面N 卡走 CUDAA 卡/I 卡可走 DirectMLrequirements-dml.txtLinux 下 A 卡有 ROCmrequirements-amd.txt、I 卡有 IPEXrequirements-ipex.txt两条路。界面通过 i18n/locale/ 支持中、英、日、韩、法、俄、葡、土耳其等 13 种语言官方文档同步覆盖 docs/ 下的 cn、en、jp、kr、fr、tr、pt 等目录。手把手上手从装环境到第一次变声准备三条命令装好依赖环境要求 Python 大于 3.8。# 获取代码 git clone https://gitcode.com/GitHub_Trending/re/Retrieval-based-Voice-Conversion-WebUI # N 卡 pip install -r requirements.txt # A 卡 / I 卡DirectML pip install -r requirements-dml.txt # MacOS 可用 run.sh 一键装依赖 sh ./run.sh另需准备两样东西ffmpegUbuntu 用sudo apt install ffmpegWindows 把 ffmpeg.exe 放根目录即可以及assets/下的预训练模型hubert_base.pt、pretrained、uvr5_weightsv2 用户还需 pretrained_v2仓库 tools/ 里附有下载脚本dlmodels.sh/dlmodels.bat。执行启动 WebUI 并跑通一次训练# 启动训练/推理网页界面默认端口 7865 python infer-web.pyWindows 整合包用户双击 go-web.bat 即可整合包占用端口 7897实时变声界面则是 go-realtime-gui.bat。训练路径按三步走① 起个实验名并选择是否考虑音高唱歌场景必须开不开则模型更轻但不适合歌唱② 指定音频文件夹点一键提取——自动完成切分、降噪、f0 音高提取可选 harvest / crepe / rmvpe与 HuBERT 256 维特征提取中间产物全部落在logs/实验名/下③ 点一键训练——训练 VITS 权重后自动用 faiss 构建 IVF512 检索索引。详细的分步说明见 docs/en/training_tips_en.md中文社区教程见 docs/cn/。验证用这些参数做第一次转换推理页面上真正影响听感的参数其实就几个变调 f0up_key半音数男转女推荐 12女转男推荐 -12音高提取算法歌声可选 rmvpe效果最好且比 crepe 快、更省资源harvest 低音好但极慢pm 适合说话输入提速检索特征占比默认 0.88拉高更像训练对象调低保留更多原声保护清辅音 protect默认 0.33防止电音和撕裂感调低保护更强但可能削弱检索效果中值滤波半径 filter_radius默认 3配合 harvest 可削弱哑音。命令行党可以直接用 tools/infer_cli.py 做单条转换例如指定模型、索引、f0 算法后输出 wav批量处理用 tools/infer_batch_rvc.py。上传音频控制在 90 秒以内。能用在哪儿四类典型场景音乐与 AI 歌手这是 RVC 的主场。先用内置 UVR5权重在assets/uvr5_weights/把人声从伴奏中分离出来训练音色模型再把替换后的人声与原伴奏合回——社区里5 毛钱在 AutoDL 上训练 AI 歌手的玩法正是这条路。不想从零训练时还可以用 ckpt 选项卡的 ckpt-merge 把两个模型按比例融合快速调出介于两人之间的新音色。实时变声直播、游戏与通话实时变声界面实现端到端 170ms 延迟配合 ASIO 声卡输入输出可压到 90ms。对延迟敏感的直播推流、游戏内变声、语音通话场景这组数字意味着几乎感觉不到经过了一台机器。有声内容与多角色配音10 分钟数据训一个角色的特性让一部小说五个角色各一个音色的批量生产成本极低每角色准备一小段参考语音各训一个模型再用批量推理脚本串行出片。开发者API 与二次开发仓库提供了两套可直接调用的推理接口 api_231006.py 和 api_240604.py底层就是 infer/modules/vc/ 里的VC类vc_single方法即推理入口需要轻量化部署时可用 tools/export_onnx.py 导出 ONNXtools/onnx_inference_demo.py 给出对应推理示例。模型相似度对比可以用 tools/calc_rvc_model_similarity.py 量化两个权重文件的接近程度。继续深挖调参建议与常见报错关键参数怎么设参数建议依据训练轮数 total_epoch底噪大的数据集 20~30 轮即可高音质长数据集可上到 200docs/cn/faq.md Q9学习率初始 1e-4衰减系数 0.999875configs/v1/40k.jsonbatch_size默认 4显存富裕时调大更稳同上采样率版本v1 支持 32k/40k/48kv2 支持 32k/48kconfigs/检索索引一键训练后自动生成.index文件位于logs/实验名/训练指南问题↔优化方案速查表常见问题处理方案训练时 ffmpeg error / utf8 error多半是路径带空格、括号或中文把数据集挪到纯英文无空格路径FAQ Q1一键训练结束没有.index索引数据集过大卡在添加索引步骤重新点一次训练索引按钮FAQ Q2推理页看不到刚训的音色先点刷新音色仍没有则检查logs/实验名/下的报错日志FAQ Q3CUDA out of memory训练缩小 batch_size推理缩小config.py末尾的 x_pad / x_query 等参数4GB 显存可继续跑FAQ Q8分享模型给别人分享assets/weights/下 60MB 的推理用 pth可与.index打包成 zip不要分享logs/下的训练态大文件FAQ Q4男转女/女转男音色怪变调设 12 / -12音域失真时再手动微调半音数训练数据怎么准备官方口径是 10~50 分钟、低底噪。实操上优先保证干净而不是堆时长底噪大的数据训再多轮也带不高。音频格式交给 ffmpeg 兼容即可切分、降噪都由流水线自动完成若源文件是人声伴奏混音先走一遍 UVR5 分离再进训练。延伸资料仓库内快速索引中文文档与 FAQdocs/cn/faq.md、docs/cn/Changelog_CN.md多语言文档docs/en/训练技巧、FAQ、faiss 技巧、docs/jp/、docs/kr/、docs/fr/、docs/pt/、docs/tr/命令行工具集tools/单条推理、批量推理、ONNX 导出、模型下载、相似度计算预训练模型目录assets/pretrained/、assets/pretrained_v2/训练配置configs/v1/v2 各采样率参数训练时自动复制到configs/inuse/推理核心源码infer/modules/vc/VC 主类、infer/lib/infer_pack/modules/F0Predictor/四种音高提取器rmvpe / harvest / crepe / pm启动入口infer-web.pyWebUI、go-realtime-gui.bat实时变声、run.shMacOS 依赖安装【免费下载链接】Retrieval-based-Voice-Conversion-WebUIEasily train a good VC model with voice data 10 mins!项目地址: https://gitcode.com/GitHub_Trending/re/Retrieval-based-Voice-Conversion-WebUI创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考