ARTICLE DETAIL

资讯详情

深耕郑州网站建设与运营推广的一线实战洞察。

开源AI数字人Duix.Avatar:本地克隆与离线视频生成完整指南

开源AI数字人Duix.Avatar:本地克隆与离线视频生成完整指南 开源AI数字人Duix.Avatar本地克隆与离线视频生成完整指南【免费下载链接】Duix-Avatar Truly open-source AI avatar(digital human) toolkit for offline video generation and digital human cloning.项目地址: https://gitcode.com/GitHub_Trending/he/Duix-AvatarDuix.Avatar是Duix.com出品的免费开源AI数字人工具包装在自己的电脑上就能离线跑通全套流程上传约10秒的出镜视频克隆出接近你本人外貌与声音的形象再把文案或录音转成一条口播成片全程不碰网络。它解决的是创作者和中小团队做3D数字人太贵、上传素材有泄露风险这两个老问题。先说清楚它替你省了什么传统3D数字人制作动辄数十万美元Duix.Avatar用AI生成路线把成本压到了1000美元量级而且算力全部跑在本机显卡上。对你来说直接相关的有三点隐私全程无需联网素材视频、声音样本、成片都留在自己机器里没有数据传输环节也就没有泄露风险。门槛装完客户端界面上只有创建数字人和创建视频两个入口不需要懂深度学习点几下就能出活。语言与模型管理口播脚本支持8种语言日语、西班牙语、中文、英语、韩语、法语、德语、阿拉伯语还能导入多个数字人模型一键切换管理按场景挑人设。部署前先对照这张硬件表两个系统吃的是同一套硬件底线英伟达显卡加驱动是硬性条件——没有它后面的服务根本起不来。项目Windows 10Ubuntu 22.04系统版本19042.1526 及以上桌面版6.8.0-52-generic 内核已验证CPU13代酷睿 i5-13400F 同级同左内存32G 起必备32G 起必备显卡NVIDIA 显卡 驱动装好NVIDIA 显卡 驱动装好磁盘D 盘 30G 以上空闲存数字人和作品C 盘 100G 以上空闲放 Docker 镜像100G 以上空闲Windows 用户注意机器上必须有一块 D 盘数字人模型和作品数据默认都落在这里。部署实操Windows 与 Ubuntu 两条路线Windows从 WSL 到三个服务先看 WSL 在不在wsl --list --verbose。没有就先跑wsl --install过程要设用户名和密码网络不稳就多试几次装好后执行wsl --update更新。安装 Windows 版 Docker Desktop按 CPU 架构选安装包首次启动接受协议、跳过登录即可。C 盘空闲不足 100G 时进 Docker 的 Settings → Resources → Advanced把 Disk image location 挪到空间更大的盘。启动服务端compose 文件在仓库的deploy/目录进入/deploy执行docker-compose up -d显存吃紧的机器换 lite 版docker-compose -f docker-compose-lite.yml up -d。首次拉镜像约 70G耗时半小时上下建议挂 Wi-Fi拉取卡住或超时的处理见下文高频坑。客户端下载官方构建的安装包双击Duix.Avatar-x.x.x-setup.exe装好。验证Docker 里出现 3 个服务即成功lite 版只有 1 个Duix.Avatar-gen-video。NVIDIA 50 系列显卡经 5090 实测通过30/40 系列、cuda 12.8 环境也可用此方案基于 torch 官方预览版cd /deploy docker-compose -f docker-compose-5090.yml up -dUbuntu 22.04先装齐三样东西检查 Dockerdocker --version没有就装sudo apt update sudo apt install docker.io sudo apt install docker-compose安装英伟达显卡驱动装完跑nvidia-smi能打印显卡信息就算通过。装 NVIDIA Container ToolkitDocker 调用 GPU 的必备组件distribution$(. /etc/os-release;echo $ID$VERSION_ID) \ curl -s -L https://nvidia.github.io/libnvidia-container/gpgkey | sudo apt-key add - \ curl -s -L https://nvidia.github.io/libnvidia-container/$distribution/libnvidia-container.list | sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list sudo apt-get update sudo apt-get install -y nvidia-container-toolkit sudo nvidia-ctk runtime configure --runtimedocker sudo systemctl restart docker启动服务端cd /deploy docker-compose -f docker-compose-linux.yml up -d镜像下载慢的话在/etc/docker/daemon.json里加registry-mirrors配置国内源示例见下节。客户端下载 Linux 版官方安装包双击Duix.Avatar-x.x.x.AppImage直接运行无需安装root 用户进桌面时若打不开在终端里追加--no-sandbox参数执行。验证与 Windows 相同三个服务全部 Running。核心能力三个使用场景场景一一句话文案变成成片把口播稿填进输入框程序先用克隆好的声音把文字读出来再让数字人跟着语音节奏动嘴。从文字到成片一次完成不用另配录音和剪辑。场景二10秒视频克隆你自己上传一段你在说话的短视频五官形状、面部轮廓和声音的音色、语调、语速会被一并捕捉。克隆完这个形象就能反复使用声音参数还可以单独调让克隆音色更接近原声。场景三已有录音只要对口型手头已经有配音时直接传音频即可数字人按语音的节奏和语调做相应的动作与表情。画面与声音做同步对齐成片里口型跟着语音走不对不上。开放接口与二次开发Docker 服务跑起来后会在本地暴露几个端口用http://127.0.0.1就能调用完整的参数示例就在仓库的src/main/service/目录model.js、voice.js、video.js三个文件对应三条链路接入分三步第一步模特训练把视频拆成静音视频 音频音频放进D:\duix_avatar_data\voice\data该路径是与guiji2025/fish-speech-ziming服务的约定可在 docker-compose 里改然后请求http://127.0.0.1:18180/v1/preprocess_and_tran参数传format、reference_audio、lang。返回里的asr_format_audio_url和reference_audio_text两个字段务必记下来下一步要用。第二步音频合成请求http://127.0.0.1:18180/v1/invokespeaker给一个唯一 UUIDtext填要合成的文案reference_audio/reference_text填上一步的返回值其余为固定参数{ speaker: 唯一uuid, text: 待合成文本, format: wav, topP: 0.7, max_new_tokens: 1024, chunk_length: 100, repetition_penalty: 1.2, temperature: 0.7, need_asr: false, streaming: false, is_fixed_seed: 0, is_norm: 0, reference_audio: 上一步 asr_format_audio_url, reference_text: 上一步 reference_audio_text }第三步视频合成提交合成http://127.0.0.1:8383/easy/submit传audio_url、video_url、code唯一 key以及固定值chaofen: 0、watermark_switch: 0、pn: 1轮询进度http://127.0.0.1:8383/easy/query?code${taskCode}GETtaskCode即提交时的code本地部署还是API服务怎么选项目开源本地部署数字人/克隆语音 API 服务推荐人群技术型开发者有深度学习框架经验、想深度定制、愿意参与社区共建业务型用户快速集成、专注上层应用开发硬件需要自购 GPU 服务器不用买 GPU 服务器定制空间代码可随意修改扩展功能行为完全自己掌控源码动不了只能通过 API 接口扩展一句话想改代码、想让数据完全留在自己手里走本地部署想尽快把数字人能力接进产品走 API。提问之前自查清单与高频坑提问前三项自查Docker 里三个服务lite 版一个是否都显示 Running。机器是否有英伟达显卡、驱动是否装对——所有算力都在本地缺了这一条服务起不来。服务端、客户端是否都升到最新版。项目刚开源不久更新很频繁你的问题很可能已经被修掉了。服务端到/deploy重新docker-compose up -d客户端拉代码后重新 build。更多已知报错和解法见仓库doc/常见问题.md。报错日志去哪拿客户端从右上角设置菜单打开日志服务端进入对应 Docker 服务的日志页定位关键行后复制片段贴出来。两个高频坑拉镜像超时docker-compose up -d报连接官方 registry 失败要么开全局网络要么在 Docker Engine 的registry-mirrors里加国内镜像源。新增模特报错用于克隆的视频必须带人声、且是人在说话——程序要用这段声音做声音克隆静音视频直接失败。另外克隆时若出现Connection refused通常是 ASR 服务还没起完等服务端启动几分钟后重试内存只有 16G 的机器可能直接起不动。动手做你的第一个数字人部署验证通过后先录一段约10秒、你在正常说话的清晰视频在客户端完成形象克隆随后输出一段文案生成第一条成片。中途卡住按上面三项自查走一遍再翻doc/常见问题.md对号入座。【免费下载链接】Duix-Avatar Truly open-source AI avatar(digital human) toolkit for offline video generation and digital human cloning.项目地址: https://gitcode.com/GitHub_Trending/he/Duix-Avatar创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
返回列表