作为一个在数字内容行业做了十来年的人我这两年最大的感受就是虚拟人已经从“展会上的概念片”变成了普通人能上手做的内容产品。这次想和你认真聊聊我手里一直在跑的“LunaTV”——一个完全从零搭起来的虚拟主播/数字人内容企划。LunaTV不是某个大厂的项目是我自己用个人工作室的资源做的独立企划。核心目标很简单让一个叫Luna的3D虚拟角色每周稳定产出直播、短视频和互动内容像真人主播一样有性格、有节奏、有积累。这篇文章会把整个搭建过程拆开讲从形象建模、骨骼绑定、表情捕捉、实时渲染到直播串流、AIGC辅助内容生产、冷启动运营每一步我都尽量写清楚“为什么这么做”和“我踩过什么坑”。不管你是想做虚拟主播、数字人员工还是单纯对这套技术链路好奇应该都能从这里拿走一些能直接用的东西。1. 项目定位与整体设计思路1.1 LunaTV到底要做成什么先花点时间把企划的定位说清楚因为这一层想不明白后面技术选型全是糊涂账。LunaTV参照的是“虚拟主播个人IP”的混合模式。虚拟主播大家都不陌生但很多人把它理解成“套个皮直播”这就窄了。我设计LunaTV时把它拆成了三层能力实时互动层直播时Luna能跟着我的表情、动作实时动起来观众在弹幕里发什么她能给出回应。内容沉淀层每场直播的精彩片段、Luna的日常短剧、互动问答会被剪成短视频发到B站、抖音和视频号形成持续的内容池。资产复用层Luna的形象、声音、性格设定是标准化的数字资产可以复用到海报、插画、PV甚至是未来的商业合作里而不是“播完就没了”。这三点对应的是三个关键词实时性、持续性与资产化。很多个人企划失败不是技术不行而是只做了第一层播完就断没有把内容沉淀下来也没有把角色当资产运营最后越做越累。1.2 技术方案选型为什么不做Live2D而是直接上3D这里我做过非常纠结的取舍。最稳妥的方案其实是Live2D也就是用2D立绘拆分图层做的虚拟形象。Live2D上手快、成本低、表情细腻程度高很多头部虚拟主播都还在用。但我最后选了全3D路线核心原因是LunaTV的长期目标里有一条Luna必须能自由移动、换装、进入三维场景。Live2D在正面或半侧面视角下表现很好但一到身体转动、特殊机位、跳舞这类需求就会露馅。而3D角色建好之后它可以坐在直播间里聊天也可以站到舞台场景里唱歌甚至以后能进Unity做小游戏互动。简单说Live2D是“一张会动的画”3D是“一个能放进任何场景里的人”。代价也很明显3D制作周期长、绑定复杂、实时渲染吃性能。但从资产复用角度这是一次投入长期受益。我的建议是如果你只是想快速验证内容方向先用Live2D没问题如果你确定要做成IP早点切3D越晚切换成本越高。1.3 内容形态与频道调性LunaTV的内容形态我规划成三块周播直播、日常短视频、月度企划。周播直播是主阵地偏向闲聊互动轻度表演频率不高但固定时间让观众形成习惯。日常短视频负责拉新素材来源就是直播里的亮点和碎片时间单独录的短内容。月度企划则是稍微重一点的活比如Luna生日会、换装发布、主题小剧场用来制造峰值热度。调性上我给Luna设定的是“懂技术的温柔学姐”人设。这个设定有讲究太萌容易窄众太高冷没人聊天“懂技术”能让内容天然带有信息量适合知识类观众“温柔学姐”又能拉近心理距离。这个人设也决定了她的音色选择、说话习惯和造型风格是一个牵一发动全身的决定。2. 角色资产制作从零捏一个Luna2.1 建模环节的关键思路Luna的形象是在Blender里从基础模型一步步改出来的。这里我不推荐从零开始做整个人体模型除非你已经是个熟练的建模师。我建议是拿一个干净的基础人体模型作为底子然后重点雕刻面部和发型——因为观众看虚拟主播盯着最多的就是脸。建模时几个比较重要的点头部比例真实比例虽然耐看但上镜后细节容易糊。Luna用的头部比例接近1比6.5到1比7比真人稍微夸张一点既有动漫感又不会彻底卡通化。头发分块头发不是一块贴片而是分了刘海、两侧、后发、发梢几大块每块单独做物理模拟体的基础。这样动画时头发有自然的摆动而不是整块移动。材质分层皮肤用了一层SSS次表面散射材质这样灯光打在脸上边缘会有透光感显得真实。头发用渐变材质发根深发梢浅避免塑料感。建模阶段最容易犯的错是直接在低模上死磕细节。道理很简单模型面数越高越吃性能直播时要实时渲染不可能用影视级别的百万面模型。我的方案是细节用法线贴图和粗糙度贴图去“骗”而不是真把面数堆上去。最后Luna的实时模型控制在6到8万个三角面表现力不差性能压力也可控。2.2 骨骼绑定与表情系统模型建好只是开始让它动起来才是难点。绑定用的标准骨骼结构外加一套专门给面部用的骨骼。身体绑定上要特别注意三个关节肩膀、胯部和手指。肩膀不做链式骨骼的话抬手时锁骨区域会出现奇怪的凹陷胯部不做扭转修正走路动画会像“僵尸平移”手指是观众经常盯着看的细节一手至少要做15根骨节每根手指3节不然比手势时会穿模。表情系统我用的是Blender的形态键方案。为什么不用骨骼做表情因为骨骼驱动的表情在眼角、嘴角这类细微区域很容易僵硬形态键直接把网格顶点从“放松状态”变形到“大笑状态”效果要自然得多。我给Luna做了15组基础形态键眉毛左右各3组抬、皱、悲眼睛眨眼、闭眼、眯眼、瞪眼嘴巴微笑、张嘴、嘟嘴、歪嘴、抿嘴脸颊鼓腮、收颊每组形态键还会做中间的过渡值方便动捕时根据系数平滑混合。到这一步Luna才算真正“活了”。2.3 服装、头发物理与整体优化服装和头发的物理结算是实时渲染里最吃性能的部分之一。Luna的默认服装是一件连衣裙加外套布料的物理逻辑我直接用的Blender自带的布料模拟刷了一遍初始状态导出后作为绑定骨骼的一部分用骨骼辅助驱动裙摆的摆动。有人会问为什么不全部实时布料解算答案是个人电脑的实时算力根本扛不住。头发物理也是同一个思路。我现在用的是三根IK链条加两级动力学模拟的组合头发的每一束都有一个虚拟的“跟随骨骼”头部转动时跟随骨骼会延迟到位模拟出惯性摆动的效果。这样做的好处是性能开销小坏处是需要反复调参数不然头发会甩得像螺旋桨。最后还有一个优化细节LOD分级。直播时镜头离角色远模型就自动切换成低面数版本镜头拉近再切回高模。这个机制一定要做否则直播场景里一旦加背景、加特效帧率会直接崩掉。3. 动捕与实时驱动链路3.1 表情捕捉手机ARKit是性价比最高的入口Luna的脸部动画我现在用iPhone的Face ID做实时捕捉。原理不复杂iPhone原深感摄像头能输出52个面部动作系数这套数据通过特定协议发给渲染引擎驱动我之前做好的形态键。这里有一个重点不是所有手机都能做ARKit表情捕捉必须是带Face ID的机型。如果预算有限退而求其次可以用普通摄像头加单目人脸关键点估计方案但精度会明显下降尤其是嘴型和眼部的细微变化会显得“对不上嘴”。捕捉链路我用的是iFacialMocap配合VMC协议转发到Unity端。VMC也就是VirtualMotionCapture协议相当于一个“动作数据广播站”它定义了一套标准的动作数据格式让捕捉设备、渲染软件、虚拟摄像头之间能互相通信。整个链路顺序是iPhone的Face ID采集表情系数 → iFacialMocap打包成VMC协议 → 局域网传输到电脑 → Unity自研的接收器解包 → 映射到Luna的形态键 → 虚拟摄像头输出画面。延迟实测稳定在80到120毫秒之间。对直播来说150毫秒以内的延迟观众基本感知不到所以这个方案完全够用。3.2 身体动捕从摄像头方案到惯性动捕身体动作是另一个坑。一开始我图省事用普通摄像头加RGB骨骼估计方案比如OpenPose或者MediaPipe网上也有不少现成插件。真实体验是稍微侧身就丢骨骼手部交叉就飘跳一下直接飞起来。做短视频素材勉强能用做直播就是大型翻车现场。后来换了惯性动捕方案。简单说就是在身上绑一套传感器每个传感器里有陀螺仪和加速度计通过算法融合算出肢体姿态。市面上入门级国产设备价格还行一套带手套的系统大概能满足我的需求。如果你预算有限可以先只买上半身加双手下半身用预设的站姿动画垫底也能凑合。这里我要强调一点动捕不是戴上设备就能动的。设备买回来后第一步是校准也就是让系统记住你当前站姿的“零位”然后还要做骨骼重定向把动捕设备的骨骼映射到Luna的骨骼上。这两步做不好动作捕捉数据就会“错位”——你抬手Luna抬的是半只手或者手肘是扭的。3.3 实时渲染与直播串流配置渲染我用的是Unity的Universal Render Pipeline。URP的好处是渲染效果与性能平衡得好。Luna的后期效果只开了Bloom泛光、色调映射和环境光遮蔽抗锯齿用的TAA。这套组合实测在普通配置电脑上能稳定跑50到60帧。输出链路分两条虚拟摄像头Unity端加一个虚拟摄像头输出插件画面直接推给OBS作为视频源。音频链路麦克风输入后经过音频宿主软件处理成Luna设定的声线和效果再进OBS。直播串流参数我给一个参考值输出分辨率1080p帧率30fps不要追求60fps虚拟主播的画面动态幅度不大30帧足够省码率视频码率B站直播开6000Kbps抖音可以稍低一些关键帧间隔2秒一个关键帧直播推流卡顿恢复会快很多这里再给一个小提示直播一定要用有线网络连接WiFi环境下哪怕信号满格一旦路由器出现干扰推流就会断续掉帧观众端体验非常差。4. 内容生产与AIGC工作流4.1 直播脚本没有脚本的自由发挥都是灾难可能有人觉得虚拟主播聊天的灵魂是即兴发挥但我的经验是“即兴”的前提是手里有足够多的“钩子”。我做周播前都会写一份“直播串词大纲”结构一般是开场15分钟用最近一周的热点或者Luna身边的小事破冰顺便展示一下这周新换的衣服或者场景。中场40分钟围绕一个主题展开比如“聊聊AI画画到底会不会替代画师”这个环节会开放弹幕互动Luna会点名读弹幕。后场15分钟进行一个轻互动游戏要么是观众抽签让Luna做动作要么是问答小挑战。收尾10分钟预告下周内容感谢榜单放一段Luna的小剧场片段吊胃口。大纲不需要细致到每句话但关键互动的“钩子”必须提前想好。比如开场讲热点时要提前准备好3到5个可能的观众反应以及对应的回应方向这样你直播时就不慌也有更多精力放在表演状态上。4.2 短视频素材的批量产出直播是存量经营短视频才是增量来源。我的做法是“一场直播至少剪出3条短视频”素材来源是直播的全程录像。这里有个技巧直播时在文件里做“场记标记”也就是在情绪高点、意外瞬间、高能互动发生的时刻随手按一下标记快捷键。事后剪辑时直接跳到标记位置找素材效率能提升非常多不会为了找一个爆点把2小时的录像从头翻到尾。剪辑模板也要提前做。Luna的短视频用的是固定模板前3秒切片展示“高能片段”中间10秒Luna的访谈或反应最后2秒引导关注。这样固定结构有几个好处观众对你视频的节奏会产生预期完播率会稳定二是你自己出片效率高不用每次都纠结剪法。我用剪映的草稿模板配合批处理一天可以出近10条素材。4.3 语音处理与AI辅助音频Luna的声音我用了自研方案平时直播用的是真人实时变声不加任何预录语音目的就是保留互动的即时感。变声处理链是麦克风 → 降噪插件 → EQ调整 → 轻度压缩 → 变声器 → 输出。变声这点一定要提醒大家变声前先把底噪控制好。很多新手直接把麦克风怼脸结果环境底噪也一起被变声出来的声音又闷又嗡。正确做法是先做好房间吸音麦克风保持一个拳距再用降噪插件把安静时的本底噪声压到-60dB以下。短视频方面我试过用AI语音合成给Luna做日常配音比如那种“Luna的深夜电台”系列就是纯AI语音配的。选型标准有一点很重要合成语音要有稳定的情绪参数控制可以用调整特定标记来变兴奋或低沉。如果选对了声音效果能达到自然度的八成但遇到长句子的停顿断句还是需要人工标注否则听起来像在念稿。5. 上线运营后的踩坑记录5.1 动捕数据漂移问题运行中最常遇到的就是动捕数据漂移。表现是明明你站直了Luna却慢慢歪向一边或者手越抬越高。原因是惯性传感器的陀螺仪存在积分误差时间越长累加误差越大。解决办法是定期“复位”校准。我在直播用的控制面板里加了一个快捷键每隔20到30分钟按一下系统会重新记录当前姿态为零位。用这个办法之后漂移问题基本消失。如果你想从根本上缓解漂移一是减少剧烈动作二是确保传感器绑带穿戴位置没有滑动。有一次我图省事直接套在T恤上演到一半设备滑到肘部Luna的胳膊直接开始螺旋运动那个片段被观众做成了鬼畜视频。5.2 常见故障排查速查表整理一个我实际遇到的故障对照表按照出现频率排序故障现象可能原因快速处理办法面部表情无反应iFacialMocap和Unity断连检查iPhone和电脑是否在同一局域网重启协议服务表情对不上嘴形态键映射比例不对重新校准52个系数的映射范围到0到1头发疯狂抖动物理参数过大帧率低降低物理模拟频率或临时关闭头发自碰撞推流掉帧网络不稳定或码率过高切有线网络码率降到4000Kbps试帧服装穿模骨骼运动超出约束范围调大碰撞体半径或限制关节旋转角度延迟超过200毫秒渲染端或推流端CPU占用过高关掉多余后台降低URP的阴影质量这六个问题里五和六是最难调的。服装碰撞体调小了穿模调大了又会把裙摆“顶”起来需要反复试。我最后给Luna的默认裙摆做了三种不同碰撞半径的预设根据当天的动作复杂度现场切换。5.3 冷启动期内容运营的几点体会技术链路全通之后内容能不能起来就是另一回事了。LunaTV冷启动阶段最直观的一个数据是真正带来第一批粉丝的不是精心做的周播反而是某条只有50秒的“Luna被AI绘画逼疯”的切片。这条视频里Luna看着AI画的图表情包式地吐槽了几句结果在平台上的完播率很高。这说明一个很朴素的道理新人期做内容先别想着宏大的世界观和高深的企划先让观众看到一个“有趣的、真实的人”。虚拟主播的优势不在于画面多酷而在于它提供了一个有稳定人格的载体观众愿意为这个载体投入感情。运营节奏上我对自己的要求是“三周定调三个月见效”。前三周摸索出哪种内容方向的数据反馈最好三个月内保持固定更新频率积累粉丝基础半年后再考虑上大的企划。不要因为一两个视频爆了就急着转型那多半是运气而非能力。5.4 设备与预算参考最后给一套可执行的预算阶梯方便你在不同阶段控制投入。档次设备组合预算区间推荐场景入门体验普通摄像头MediaPipe/手机面捕Live2D0到1000元先验证内容方向进阶标准iPhone面捕惯性动捕上半身Unity/Blender本地渲染3000到10000元周播直播稳定产出专业配置完整惯性动捕套装高性能电脑独立音频链路20000元以上高频率直播商业企划对于第一档我的建议是先把Live2D模型做好用手机App就能开始播。很多人会卡在“等设备到位再开始”这个环节其实内容行业最重要的设备不是相机也不是动捕是执行力。先开播边播边升级设备才是可持续的路径。说实话做到现在这个阶段我最深的感受是LunaTV真正的门槛不在技术而在坚持。技术方案只要肯花时间查教程问人总能跑通但每周雷打不动地出内容、维护角色人设、和观众互动这才是耗心力的大头。我的建议是如果你也打算做类似的企划前期花60%的精力在内容定位上30%在技术实现上10%留给设备升级就够了。角色可以慢慢改漂亮但观众留下来一定是因为你的内容在某一个瞬间戳中了他。