ARTICLE DETAIL

资讯详情

深耕郑州网站建设与运营推广的一线实战洞察。

OpenMontage 如何在 NVIDIA GPU 上启用本地视频生成并选择匹配的 Wan、Hunyuan 模型

OpenMontage 如何在 NVIDIA GPU 上启用本地视频生成并选择匹配的 Wan、Hunyuan 模型 OpenMontage 如何在 NVIDIA GPU 上启用本地视频生成并选择匹配的 Wan、Hunyuan 模型【免费下载链接】OpenMontageWorlds first open-source, agentic video production system. 12 production pipelines, 100 tools, 700 agent skill and production-knowledge files. Turn your AI coding assistant into a full video production studio.项目地址: https://gitcode.com/GitHub_Trending/op/OpenMontage如果你有一块 NVIDIA 显卡想让 OpenMontage 不调用任何云端 API 就能自己生成视频需要完成三件事装好 GPU 依赖栈、在.env里开启本地生成开关、按显存大小选一个能跑起来的 Wan 或 Hunyuan 模型。做完后wan_video、hunyuan_video等本地工具会被注册进工具菜单整个流程免费且离线。本文基于 docs/PROVIDERS.md 的 Local Video Generation (GPU Required) 一节、Makefile 和 README.md 整理。前提条件一块显存足够的 NVIDIA GPU本地视频生成要求 CUDA 运行时即 NVIDIA 卡具体显存门槛见下面的选型表。Python 3.10。Makefile 的ensure-venv会检查解释器版本缺失时提示安装uv或更高版本 Python 后重试。项目已 clone 到本地并可以运行make。第一步安装 GPU 依赖栈在项目根目录执行make install-gpu这个目标由 Makefile 定义实际做两件事pip install -r requirements-gpu.txt—— 安装 requirements-gpu.txt 中列出的torch2.0、torchaudio2.0、torchvision0.15pip install diffusers transformers accelerate—— 本地视频生成依赖的推理库。如果没有make也可以按 docs/PROVIDERS.md 给出的手动方式安装pip install diffusers transformers accelerate torch pillow requests注意requirements-gpu.txt文件头注明这些依赖是在requirements.txt基础之外追加安装的。如果还没跑过make setup项目核心依赖PyYAML、pydantic、fastapi 等尚未安装先执行make setup。第二步在 .env 中启用本地生成make setup会从.env.example生成.env。在.env中加入两行# 1. 打开本地视频生成开关 VIDEO_GEN_LOCAL_ENABLEDtrue # 2. 按你的 GPU 显存选一个模型 VIDEO_GEN_LOCAL_MODELwan2.2-ti2v-5bVIDEO_GEN_LOCAL_ENABLED接受true、1、yes见 tools/video/_shared.py 中的判断逻辑。VIDEO_GEN_LOCAL_MODEL决定加载哪个本地检查点可选值及其显存要求来自 docs/PROVIDERS.md模型值名称显存质量速度文档给出的定位wan2.2-ti2v-5bWAN 2.2 TI2V (5B)12GBExcellentMedium默认值。720p 24fps一个检查点覆盖 T2V/I2V/V2Vwan2.1-1.3bWAN 2.1 (1.3B)6GBGoodFast入门级显卡快速迭代仅文生视频wan2.1-14bWAN 2.1 (14B)24GBExcellentSlowWan 2.1 系中质量最高hunyuan-1.5Hunyuan 1.512GBVery goodMedium面向中端显卡ltx2-localLTX-28GBGoodFastest快速草稿、最低延迟cogvideo-5bCogVideo (5B)10GBGoodMedium平衡选项cogvideo-2bCogVideo (2B)6GBFairFast低显存实验如何为 Wan 和 Hunyuan 做选型按显存分档Wan 与 Hunyuan 的选择逻辑是12GB 显存如 3060 12G/4070 级别Wan 2.2 TI2V 5B 与 Hunyuan 1.5 都要求 12GB。Wan 2.2 TI2V 5B 是文档标注的默认模型一个检查点同时支持 text-to-video、image-to-video、video-to-videoHunyuan 1.5 在 tools/video/_shared.py 的HUNYUAN_VARIANTS中标记t2v与i2v均为支持默认输出 848x480。两者都能跑文档没有在这两个之间做质量排序可按自己偏好的模型系列选。6GB 显存只能选wan2.1-1.3b或 CogVideo 2B。注意 Wan 2.1 1.3B 官方没有 I2V 权重docs/PROVIDERS.md明确 Wan 2.1 never shipped 1.3B I2V weights它只适合文生视频。24GB 显存wan2.1-14b提供 Wan 2.1 系最高质量支持 T2V/I2V/V2V/首尾帧插值等全部 Wan 操作但速度标记为 Slow。8–10GB 显存标题场景之外的替代选项是ltx2-local8GB最快和cogvideo-5b10GB但 CogVideo 只有文生视频不支持图生视频。一个容易混淆的点本地 Hunyuanhunyuan_video模型值hunyuan-1.5需要 GPU 且免费与腾讯云 Hunyuanhunyuan_cloud_video需要TENCENT_TOKENHUB_API_KEY按次付费是两条互不相干的路径环境变量也不同。本文只覆盖前者。验证本地工具已生效运行项目自带的 preflight 检查它会调用工具注册表并打印当前环境可用/不可用的 provider 菜单make preflight该命令在 Makefile 中定义为执行registry.discover()后输出registry.provider_menu()的 JSON。本地视频生成正确启用后菜单中应出现wan_video、hunyuan_video、cogvideo_video、ltx_video_local这几个由VIDEO_GEN_LOCAL_ENABLED解锁的工具见 docs/PROVIDERS.md 的 Provider-to-Tool Mapping 表中Local GPU一行。之后通过 AI 编码助手调用wan_video或hunyuan_video时工具会按所选检查点的operations能力表拒绝它做不了的操作例如用wan2.1-1.3b请求图生视频会被直接拒绝而不是悄悄加载错误的 14B 检查点。NVIDIA 驱动版本不一致的处理docs/PROVIDERS.md专门记录了一个 NVIDIA 特有的坑如果已加载的 kernel 模块与用户态驱动库版本不一致nvmlInit会失败表现为CUDA 计算本身仍然能跑但 PyTorch 在组装 OOM 报告时会调用 NVML导致真实的显存不足OOM以 internal assert 的形式爆出int8/int4精度的 bitsandbytes 无法加载。排查方法是对比两条命令的输出cat /proc/driver/nvidia/version nvidia-smi如果两者显示的驱动版本不一致文档给出的解决办法是重启机器。wan_video工具会检测这种状态并在结果中说明。12GB 显卡的显存适配参数如果你按文档实测遇到 12GB 卡上显存吃紧wan_video提供两个都默认auto的参数precisionauto/bf16/int8/int4offload_modeauto/model/sequential。文档给出的 12GB 实测数据来源docs/PROVIDERS.md属文档示例/实测值不是固定预期bf16 的 5B transformer 常驻约 10GB用offload_modemodel时峰值达 10.85GB仅 512x320换成offload_modesequential逐个子模块流式加载后同一张卡峰值降到 1.97GB可以舒服地渲染 704x480代价是每个去噪步约 4s 的 PCIe 传输。在 12GB GPU 上auto会自动选择sequential。已知限制图生视频不是所有模型都支持Wan 2.1 1.3B 没有 I2V 权重CogVideo 仅文生视频。每个变体的真实能力列表在 tools/video/_shared.py 的operations字段wan_video对不支持的操作会直接拒绝。TI2V 线的 720p 是 1280x704 而不是 1280x720Wan 2.2 TI2V 的 VAE 空间压缩 16 倍、transformer 再 2 倍 patching宽高必须是 32 的倍数而 720 不是其他线是 16 的倍数。帧数落在4k 1。长片段的漂移Wan 大约按 5 秒一段训练请求更长片段duration_seconds时工具会串联多段每段以上一段末帧作为新帧 0。文档指出串联会漂移对比度和色彩渐变correct_drift默认开启用于校正如需逐镜头控制可用segment_prompts。完成以上步骤后你的验证落点就是make preflight菜单中出现本地视频工具且wan_video/hunyuan_video能按所选检查点的operations正常执行请求。若某操作被拒回查所选模型在operations列表里的能力而不是怀疑开关没生效。【免费下载链接】OpenMontageWorlds first open-source, agentic video production system. 12 production pipelines, 100 tools, 700 agent skill and production-knowledge files. Turn your AI coding assistant into a full video production studio.项目地址: https://gitcode.com/GitHub_Trending/op/OpenMontage创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
返回列表