AI视频生成现在已经是内容生产的一个重要分支。这次我们来看一套完整的 AI 视频制作全流程核心覆盖剧本、分镜、配音、剪辑、人物一致性。很多人卡在的不是某一个单点工具而是怎么把“文字描述”稳定变成“可发布的视频成品”。这篇文章会帮你把整条链路拆开重点讲清楚模型选择、本地部署门槛、人物一致性方案、配音剪辑流程、批量任务和接口调用最后给出一套可直接照做的验证步骤和排查清单。先给结论如果你关注的是 AI 生成视频无限制的玩法、本地部署 AI 生成视频的可行路径、以及免费 AI 视频生成网站的选型那么这套流程基本能把主流方案串起来。关键不是某一个模型多强而是“剧本→分镜→生成素材→配音→剪辑”之间如何衔接。人物一致性是目前最影响成片质量的一环后面会单独展开。整篇文章会围绕一条可执行的制作链路展开先做环境准备再选生成模型再写剧本、拆镜头、配音、剪辑最后落到接口 API 和批量任务。读者可以把它当成一份可直接参照的 AI 视频生成全流程教学笔记。1. 核心能力速览能力项说明核心链路剧本编写、分镜生成、文生视频、图生视频、人物一致性、配音、剪辑成片关键难点人物一致性、镜头连续性、批量生产效率、生成质量稳定性本地部署可尝试需按实际模型版本确认环境要求在线方案免费 AI 视频生成网站、AI 生成视频免费额度、商用付费平台硬件门槛本地跑视频模型建议优先使用 NVIDIA 显卡显存需按模型版本评估启动方式WebUI 界面、命令行启动、API 服务启动接口能力多数开源模型支持 HTTP API 或 WebUI 后端接口适合批量任务批量任务支持建议通过脚本按目录批量处理输入素材适合读者做短视频、影视解说、知识科普、商业内容生产的个人和工作室需要强调一点目前没有任何一个免费工具能做到“全自动高质量”生成完整商业视频。真实工作流仍然是“AI 生成素材 人工编导剪辑”。谁能把人物一致性处理好谁就能显著降低返工成本。2. 适用场景与使用边界2.1 适合谁用这套流程比较适合以下几类人短视频创作者需要快速产出分镜素材、B 站/抖音/小红书风格的视频片段。影视解说和知识类博主文字脚本量大AI 生成可以降低配图、配视频素材的时间成本。电商和广告素材生产产品演示、场景展示、人物口播类视频。技术开发者和自动化团队通过 API 接口把视频生成接入自有内容流水线。对个人创作者来说最大的价值是省掉一部分素材拍摄和重复剪辑工作对工作室来说最大的价值是批量生产能力。2.2 不适合什么场景AI 视频生成还不适合以下场景要求完全物理正确的专业影视镜头例如复杂动作连续、多人交互、精细手部动作。需要真实人物授权和商业代言的口播视频除非你有明确的肖像授权。对时长要求很高的长片内容生成时长越长一致性越难保证。2.3 合规与安全边界使用 AI 生成视频必须注意几条边界人物肖像授权生成真实人物形象或克隆真实声音必须获得本人明确授权。版权素材授权不能用未经授权的影视剧片段、音乐、图片作为生成素材。内容发布规范生成结果如果用于商用或公开发布需要复核内容是否存在误导、侵权或违规风险。技术使用边界不建议将生成技术用于伪造、欺骗、恶意营销或破坏他人权益的用途。本地部署时建议在一个隔离的测试目录里做实验不要直接在公网暴露 WebUI 和 API 服务。3. AI视频生成全流程拆解要打通全流程先理解整条链路包含哪些环节环节输入输出常用工具类型剧本创意、主题、目标观众结构化脚本ChatGPT、DeepSeek、各类大模型对话工具分镜剧本段落分镜表镜头号、画面描述、景别、时长、台词大模型 表格整理素材生成分镜表图片、视频片段文生图、图生图、文生视频、图生视频模型人物一致性参考人脸、角色设定同一角色不同镜头参考图、IPAdapter、角色 LoRA、首尾帧配音台词文本语音音频开源 TTS、在线配音平台剪辑视频片段、音频、字幕成片剪映、Pr、自动化脚本很多人的问题是卡在“素材生成”和“人物一致性”之间。剧本写得再好如果画面里的人物每次长得都不一样观众一眼就能看出来。所以整个流程里最值得优先投入的是人物一致性测试。另外要注意AI视频生成不能只靠一个模型完成所有环节。更务实的做法是每个环节选择一个趁手工具然后用统一的编号规范管理素材方便后续批量处理和剪辑。4. 本地部署 AI 生成视频的环境准备如果你想在本地跑 AI 视频生成模型环境准备决定了后面是否顺畅。4.1 本地部署通用前置条件以下是一套通用检查清单具体版本要求需要按你选择的模型确认检查项建议操作系统Windows 10/11、Ubuntu 20.04/22.04显卡NVIDIA 独立显卡显存 8GB 以上更稳妥CUDA建议安装 CUDA 11.8 或 12.x需与 PyTorch 版本匹配Python建议 Python 3.10 或 3.11依赖管理conda 或 venv 创建独立环境磁盘空间预留 20GB 以上模型文件通常较大内存16GB 以上处理长视频或批量任务建议 32GB注意显存需求不能一概而论。同样的模型分辨率、帧数、batch size 不同显存占用差距可能非常大。稳妥的做法是先跑低分辨率短片段观察显存占用后再逐步加大参数。4.2 环境安装通用流程即使还没有确定具体模型也可以先准备好基础环境# 创建独立 Python 环境 conda create -n video_ai python3.10 conda activate video_ai # 安装 PyTorch具体命令需要根据 CUDA 版本从官方网站复制 pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118这里要特别提醒不要一次性安装太多未知依赖。最容易出的问题是 PyTorch 和 CUDA 版本不匹配导致模型在 CPU 上跑或直接报显存错误。建议按照模型仓库给出的安装命令逐条执行。4.3 端口检查和 WebUI 启动大多数开源视频生成项目会提供一个 WebUI 或 Gradio 界面启动后会占用某个本地端口。常见端口有 7860、7861、8080 等。启动前可以先检查端口占用情况。# 查看端口占用 netstat -ano | findstr 7860如果端口被占用启动命令里一般可以加--port参数更换端口。推荐本地访问时使用127.0.0.1地址不要直接绑定0.0.0.0避免局域网内其他人访问到你的服务。# 启动服务示例实际命令需按项目目录和启动脚本调整 python webui.py --host 127.0.0.1 --port 7860启动后打开http://127.0.0.1:7860如果能正常看到界面说明环境基本没问题。5. 模型选择与人物一致性方案这是整套课程里面最核心的技术点。人物一致性做不好视频就会显得廉价。5.1 文生视频与图生视频从生成方式来看模型可以分成两类文生视频直接输入描述词生成视频片段。优点是自由度高缺点是画面可控性弱。图生视频输入一张参考图让画面动起来。优点是构图和角色更可控缺点是动作幅度有限。实际做内容时更推荐“先文生图再图生视频”的路径。先通过图像生成工具确定构图、角色长相、场景氛围再把图片导入视频模型生成动态片段。这个流程比直接文生视频稳定很多。5.2 人物一致性的几个主流思路方案思路适用场景固定参考图每段视频都使用同一张角色参考图图生视频、口播类镜头角色 LoRA训练同一个角色的 LoRA 模型让文生图/文生视频都生成相似人物需要大量不同构图的画面IPAdapter在生成时注入参考图特征快速参考风格和角色首尾帧提供第一帧和最后一帧让模型自动补间转场、动作过渡从工程化角度看固定参考图方案最简单适合新手但当镜头角度变化大时容易出现“越往后越不像”。角色 LoRA 效果更稳但需要准备 15-30 张同一角色不同角度的图片做训练门槛更高。5.3 人物一致性最低成本验证流程无论用哪个方案都建议按下面这套流程做一次验证准备 3 张同一角色的参考图要求脸部清晰、光线接近。分别生成 3 个不同景别的视频脚本近景说话、中景走路、远景环境。每段生成 3 秒左右的测试片段。把三个片段里的人脸截图放到一起对比观察五官一致性。如果差异太大优先检查参考图是否清晰、提示词里是否描述了统一的人物特征。不要一上来就生成 10 秒长视频。先做短片段一致性测试确认效果后再进入正式生产。6. 剧本与分镜提示词结构化剧本和分镜往往被当成“文案工作”但在 AI 视频流程里它们其实是控制生成质量的关键。6.1 剧本结构模板写剧本时建议按“场景段落 视觉描述 台词 情绪”四个维度来组织镜头号画面描述景别时长台词情绪01女主角走进旧书店光线从窗户斜射进来中景4s“这家店我已经十年没来了。”怀念02女主角手指扫过书架上的旧书特写3s无温柔03窗外街景车辆快速驶过远景2s旁白时间过得真快。感慨这种结构化分镜表可以直接复制给生成模型也可以作为批量任务的输入文件。6.2 提示词的转写技巧把分镜表转成提示词时要遵循一个公式主体 动作 环境 光线 镜头语言 画质关键词示例一位 30 岁的女性走进旧书店穿着米色风衣 室内暖黄色灯光窗户斜射阳光灰尘在光线中漂浮 中景镜头缓慢推进电影级画面高细节写实风格提示词不需要写太长关键是让每一段都有明确的“主体”。人物一致性差的一个重要原因就是提示词里没有写清楚人物特征模型每次都在重新想象主角长相。6.3 批量分镜文件设计如果要批量生成建议把分镜表导出成 JSON 或 CSV 文件方便后续脚本读取。{ project: old_bookstore, shots: [ { id: 001, prompt: mid shot of a woman entering old bookstore, warm light, cinematic, duration_seconds: 4, character_ref: assets/characters/hero.png }, { id: 002, prompt: close-up of hand scanning books on shelf, soft light, detailed texture, duration_seconds: 3, character_ref: assets/characters/hero.png } ] }这样设计的好处是分镜表既是给模型看的提示词清单又是给剪辑工具的素材清单一条数据贯穿全程节省大量整理时间。7. 配音、剪辑与成片画面素材生成后下一步是配音和剪辑。这里有两个思路手动剪辑和脚本化自动拼接。7.1 配音方案配音方面开源 TTS 工具已经比较成熟。具体流程一般是准备参考音频用于克隆音色。输入台词文本。调整语速、停顿、情绪。导出音频文件。如果没有专业麦克风录参考音频也可以直接使用在线配音平台的现成音色但要关注商用授权条款。涉及真实人物声音克隆时必须获得本人授权。7.2 剪辑成片的两种路径手工剪辑适合“单条精品内容”。把 AI 生成的视频片段导入剪映或 Pr按分镜表顺序排列再对齐配音、字幕和背景音乐。另一种是脚本化剪辑。如果生成的片段命名有规律可以通过 FFmpeg 或影视自动化工具批量拼接。下面是一个 FFmpeg 拼接示例# 先将需要拼接的片段整理到一个文本文件一行一个文件 # concat.txt 内容示例 # file outputs/shot_001.mp4 # file outputs/shot_002.mp4 # file outputs/shot_003.mp4 ffmpeg -f concat -safe 0 -i concat.txt -c copy merged.mp4这种方案适合知识口播类、固定模板类的批量内容生产。需要注意不同分辨率和帧率的片段直接拼接可能出错建议先统一转码。8. 接口 API 与批量任务如果只做单条视频WebUI 就够了。但要做到 AI 视频生成无限制的批量生产必须使用 API 或者任务队列。8.1 API 服务启动很多开源视频生成项目启动后会附带 API 接口或者可以通过 Gradio 的 API 模式访问。启动方式通常是python app.py --api --port 8000具体参数以项目文档为准。如果项目没有提供原生 API也可以考虑用 WebUI 自动化方式提交任务但稳定性不如原生 API。8.2 Python 调用示例以下是一个通用 API 调用示例路径和参数需要按实际项目调整import requests import base64 import time api_url http://127.0.0.1:8000/api/generate_video with open(assets/characters/hero.png, rb) as f: image_base64 base64.b64encode(f.read()).decode(utf-8) payload { prompt: mid shot of a woman entering old bookstore, warm light, cinematic, duration_seconds: 4, image: image_base64, seed: 42 } response requests.post(api_url, jsonpayload, timeout300) if response.status_code 200: result response.json() print(task_id:, result.get(task_id)) else: print(error:, response.status_code, response.text)建议把生成任务设计成异步方式。视频生成通常需要几十秒到几分钟同步等待容易导致接口超时。更稳妥的做法是提交任务后返回 task_id再轮询查询状态。task_id result.get(task_id) for _ in range(60): status_resp requests.get( fhttp://127.0.0.1:8000/api/task/{task_id}, timeout10 ) status status_resp.json() if status.get(state) succeeded: video_url status.get(video_url) print(download video from:, video_url) break elif status.get(state) failed: print(task failed:, status.get(error)) break time.sleep(5)8.3 批量任务设计批量处理时建议按下面结构组织目录project/ ├── scripts/ │ └── batch_generate.py ├── assets/ │ └── characters/ │ └── hero.png ├── prompts/ │ ├── shot_001.txt │ └── shot_002.txt ├── outputs/ │ └── videos/ └── logs/批量脚本的逻辑很简单循环读取分镜表逐个提交生成任务结果写入日志失败自动重试。下面是一个半成品伪代码示例import json import time import requests API_URL http://127.0.0.1:8000/api/generate_video with open(prompts/shots.json, r, encodingutf-8) as f: shots json.load(f)[shots] for shot in shots: shot_id shot[id] print(fsubmitting shot {shot_id}) try: resp requests.post(API_URL, jsonshot, timeout30) print(fshot {shot_id} submitted, status{resp.status_code}) except Exception as e: print(fshot {shot_id} failed: {e}) # 写入重试队列稍后重新提交 time.sleep(2)批量任务的关键就是加日志和重试机制。视频生成是耗时操作网络抖动或显存不足都可能导致任务失败没有日志的话很难定位是哪一条提示词出了问题。9. 资源占用与性能观察如果你打算本地部署 AI 生成视频资源占用是必须关注的点。9.1 显存占用如何观察Windows 下可以用任务管理器查看 GPU 显存占用Linux 下可以用nvidia-smi命令nvidia-smi -l 2建议在生成过程中开一个单独的终端窗口持续监控重点观察显存占用峰值。如果生成中途报错CUDA out of memory说明显存不够需要降低分辨率或缩短视频长度。9.2 影响性能的关键参数参数影响调优建议分辨率越高越占显存生成越慢先 512 验证效果再升级帧数/时长越长越吃显存和内存分段生成再拼接采样步数步数越多质量越高但越慢默认值附近先测batch size批量数越大显存占用越高生产环境从 1 开始参考图大小过大的参考图会增加开销统一缩放到模型建议尺寸9.3 如何降低显存占用如果显存不够可以按以下顺序尝试降低生成分辨率例如从 1080P 降到 576P。减少视频帧数拆成短片段生成。开启模型提供的显存优化选项例如--lowvram或--medvram。使用 CPU 推理但速度会明显下降只适合极低分辨率测试。清理 GPU 上其他进程避免显存碎片。从实际经验看6GB 显存跑低分辨率短视频片段比较稳妥但具体要看模型版本。最稳的判断方式就是在你本机用小参数跑一次观察峰值占用后决定是否升级配置。10. AI视频生成常见问题与排查方法问题现象可能原因排查方式解决方案启动后页面打不开端口被占用或服务未启动查看启动日志和端口监听更换端口或重启服务报 CUDA out of memory显存不足使用 nvidia-smi 查看显存占用降低分辨率、减少帧数、开启低显存优化人物每帧长相不一样参考图不清晰或提示词缺少人物特征核对参考图和提示词使用固定参考图、训练角色 LoRA生成任务一直卡住显存溢出线程死锁或队列阻塞查看日志是否有异常堆栈重启服务、清理临时任务视频画面模糊分辨率低或采样步骤少对比不同参数输出提高分辨率、增加采样步数API 调用超时视频生成耗时过长检查任务是否在排队改为异步任务使用 task_id 轮询批量任务部分失败网络错误、素材格式不对、显存峰值超限检查日志和失败素材加失败重试机制先对素材做统一预处理配音和画面不同步音频长度与视频片段时长不匹配检查分镜时长标注按音频时长裁剪视频或按视频时长调整台词如果出现以上问题建议养成一个习惯每次运行都在日志里记录参数、显存占用、生成耗时和结果文件路径。批量任务一旦失败有日志才能快速定位。11. 最佳实践与使用建议11.1 生产环境建议把这套流程用于实际内容生产时建议遵循以下原则先在低分辨率、短时长参数下跑通全流程再逐步升级生成尺寸。建立统一的目录结构和命名规范方便脚本批量处理。保留一份“最小可运行配置”方便环境坏了快速恢复。批量任务必须加日志、重试和输出校验避免生成一堆空文件。接口服务只监听127.0.0.1不要暴露到公网。11.2 素材与版权管理AI 视频生成内容发布前建议检查以下几点使用的角色形象是否有肖像授权。训练的 LoRA 数据来源是否合规。背景音乐、音效是否满足商用授权。生成的视频是否含有误导性信息。发布平台对 AI 生成内容是否有标注要求。合规这条线非常重要。技术能力越强越要控制使用边界。11.3 效率提升建议如果你做的是日更类账号建议把流程固化成“标准作业程序”每周批量写 5 到 10 条分镜脚本。用脚本批量生成素材。统一配音和字幕。用预设模板快速剪辑。人工复核后批量发布。这样可以最大程度发挥 AI 视频生成的价值而不是每一条视频都从零开始摸索。12. 总结与下一步这套 AI 视频制作全流程最值得先验证的是人物一致性。建议找一个明确的角色参考图先用低分辨率短片段跑通“图生视频 配音 剪辑”的最小链路确认效果后再扩展到大项目。最容易踩的坑集中在显存不足、参考图不规范、批量任务缺少日志这三个点上提前做好规划会省很多时间。下一步可以做三件事第一整理一份你自己常用的分镜模板第二同一角色跑 5 个不同景别的测试片段做一次彻底的一致性检验第三把 API 异步任务脚本写好为批量生产做准备。建议收藏备用。实际动手时第一轮测试永远用最小参数跑通后再升级。