1. 为什么眼镜试戴图这么难做1.1 电商眼镜类目的真实痛点做眼镜电商的朋友应该都有同感每上新一款镜架最费钱、最费时的不是产品本身而是试戴图。以前我们团队的做法是两种要么找真人模特到摄影棚实拍按半天场地费和模特费算一组镜架拍下来成本轻松破千要么买一个头模拍照后再用PS换眼镜但头模的光影、肤色和真人有差距买家看着总觉得假转化率上不去。后来大家开始用VTON虚拟试穿工具但市面在线的VTON平台对衣服处理得还行一碰到眼镜就露馅。眼镜这个品类跟衣服有个本质区别它是半透明、带反光、又有精密五金结构的物体。镜片有折射、镜腿有夹角、鼻托要贴合鼻梁logo还往往印在镜腿或镜片边缘这种极细的位置。在线工具跑出来的图经常是眼镜形状对了但logo糊成一团镜腿跟头发融为一体镜片反光直接把眼睛盖住。这就是我这次想解决的问题用ComfyUI搭一套本地工作流把眼镜试戴图的精度做到logo还能看清的程度单张成本控制在1元以内。这套方案我从模型选型到节点排布踩了不少坑今天把能直接复用的部分整理出来。1.2 拿AI方案硬上的三个坎先说结论用AI做眼镜试戴图最大的难点不是让眼镜出现而是让眼镜以正确的方式出现。我拆成三个坎后面所有的节点设计都是围绕这三个坎展开的。第一个坎是结构保真。镜架是有明确几何结构的镜框的椭圆比例、镜腿的长度、鼻梁的高低差一点都不像同一副眼镜。AI生成时如果只靠自然语言描述很容易把圆框变方框、把细腿变粗腿。所以必须用参考图条件控制而不是纯文生图。第二个坎是细节精度。品牌眼镜的logo通常是镭射雕刻或金属贴片在图上只占几十个像素。常规的局部重绘模型Inpainting在重绘小面积区域时很容易直接把logo当成噪点抹掉。要保住logo就得在重绘时把logo区域单独切割出来放大处理做完再贴回去。第三个坎是光影融合。眼镜在脸上不是简简单单P上去的它跟皮肤之间有接触阴影镜片上有环境反光额头和脸颊还会有一些透射光。如果只做贴图式合成出来的图总有一层明显的塑料感。这个没有捷径只能靠多层节点叠加把反射高光、接触阴影、色温匹配一层层补进去。这三点叠在一起就决定了这套工作流不能只依赖单一个大模型而是要像流水线一样分工一个节点负责结构定位一个节点负责细节精修一个节点负责光影融合。ComfyUI的最大优势恰好就在这——它能把不同模型和节点串起来协同工作。1.3 这次方案的整体思路先给大家一个整体视角。基于上面三个坎我把整套流程分成了四个阶段素材准备 → 首次试戴生成 → logo与细节精修 → 光影融合输出。素材准备阶段需要一张干净的模特正脸照和一张眼镜白底产品图。首次试戴生成阶段使用类似CatVTON这样的虚拟试穿模型完成第一轮的眼镜上身这一步的目标不是完美而是结构准确。logo精修阶段我会用分段切割的方式单独处理品牌标识区域再用放大模型补细节。最后光影融合阶段用ControlNet和图像编辑节点把所有元素合成到一张自然的人像上。整体跑完一张图从输入到输出在本地4090上大约40秒到1分钟云端API成本折算下来一张不到1元直接对标外包修图师几十元一张的报价。下面我按阶段展开讲。2. 技术选型ComfyUI 分层修复的底气2.1 为什么不用在线VTON平台我一开始其实先试了市面上的在线VTON工具毕竟是拿来就能用。测试了大概七八个平台问题集中在三个方面。第一眼镜数据在训练集里的占比太少了。大部分VTON模型的训练数据以衣物为主眼镜相关的样本可能只有个位数百分比导致模型一碰到镜架就自由发挥要么把镜片画成实心的要么给镜框加上不存在的花纹。第二在线平台出于效率考虑输出分辨率普遍不高通常是512或768级别放大之后logo区域完全没法看。第三多数平台不支持局部重绘生成结果不满意只能整张重新跑没法针对镜腿、logo这些小区域单独修。相比之下ComfyUI的灵活性是降维打击。它本身是节点式工作流我可以自由组合多个模型用一个模型做结构粗生成用另一个模型做局部精修再叠加ControlNet保证姿态和位置不跑偏。更重要的是所有处理都在本地完成单张成本就是一点电费和显卡折旧算下来远低于在线平台按次收费的价格。当然ComfyUI的门槛也确实比在线平台高需要自己装环境、找模型、连节点。但如果你有批量出图的需求前期花半天时间把工作流搭好后面就是持续的低成本产出这个投入很划算。2.2 核心模型与节点的组合思路具体到这套工作流我用的模型和节点组合可以分为三组。第一组是结构定位组负责把眼镜准确戴到脸上。核心是CatVTON模型和ControlNet。CatVTON是学术界开源的一个虚拟试穿模型虽然在成片质量上不如商业平台精修后的效果但它对服饰类物体的结构保持很好用在眼镜这种几何特征明显的物体上正合适。ControlNet在这里的作用是锁定脸部的姿态和位置防止多步生成过程中人脸发生形变。这里多说一句CatVTON输出的结果通常是一个初步合成图它的价值在于结构对了而不是画面精美。所以不要把这一步当成最终结果它更像是给后面的精修打了底稿。我一开始犯的错就是期望一次生成直接出成品结果花了很多时间调参效果还不如后来分层处理来得快。第二组是细节精修组负责logo和五金件的还原。用到的是Inpainting局部重绘节点和Upscale放大模型。局部重绘的关键是遮罩的精度遮罩画大了模型会把镜腿旁边的人脸头发一起改掉遮罩画小了重绘区域外又有锯齿感。我的经验是logo区域单独切出来做一次超分辨率放大然后在放大后的图上做重绘重绘完成后再缩回原尺寸这样处理过的logo边缘要锐利很多。第三组是融合输出组负责光影、色彩和整体质感。这里用到的是一些像素级的图像处理节点比如色彩匹配、亮度调整、模糊遮罩边缘等。很多教程会跳过这一步直接拿重绘结果输出但实际效果差别很大。没有融合处理的图镜片和皮肤之间会有一条清晰的剪切线一看就是P的。2.3 方案成本核算关于成本我详细算一笔账。本地部署的情况下以RTX 4090为例显存24G跑完这套工作流一次大约需要40到60秒。按显卡功耗350W、一度电0.6元算单张电费约0.01元。显卡折旧按3年使用周期平摊每天跑200张图单张折旧成本约0.05元。模型和节点都是开源免费的加起来一张图成本不到1毛钱。如果你没有本地显卡也可以用云GPU服务。以常见的主流云GPU按小时计费来算一小时大约2到4元跑一张图按1分钟算一小时能出60张折算下来单张成本约0.05元。再加上网络传输和平台调度损耗总成本依然不到1元。对比外包修图师一张精修30到80元的报价这个成本优势非常明显。而且AI出图的速度是按分钟算的不像人工修图需要排队等档期上新速度能快好几倍。3. 搭建眼镜试戴工作流的完整过程3.1 环境准备与模型下载如果你用的是秋叶的ComfyUI整合包环境这步会省很多事。整合包已经预装了Python环境、PyTorch和大部分常用节点下载解压就能用。如果你是手动安装的需要确保Python版本在3.10以上并且安装了最新版的PyTorch。CUDA版本建议用11.8或12.x实测影响不大但显存占用会有一些差异。模型方面需要准备以下几类文件文件/模型用途存放路径CatVTON模型权重首次试戴生成ComfyUI/models/diffusersControlNet姿态/深度人脸姿态锁定ComfyUI/models/controlnetInpainting模型如SD 1.5 Inpainting局部重绘ComfyUI/models/checkpoints超分辨率放大模型logo区域放大ComfyUI/models/upscale_models常用的LoRA风格微调可选ComfyUI/models/loras模型下好后建议先在ComfyUI里跑一次最简单的文生图流程确认环境没问题再接工作流。我见过不少朋友一次性把所有节点都连好再运行报错了都不知道是环境问题还是节点问题排查起来很费劲。3.2 输入素材的处理要求这一步极为关键我把它放在模型前面说因为素材质量直接决定出图上限。很多人在这一步偷懒拿一张随手拍的产品照就开始跑结果出图效果差又回头调模型折腾半天没用。模特正脸照的要求光线均匀脸部无明显阴影五官清晰头发不要大面积遮挡耳朵和脸颊。背景最好单一或者干净方便后续遮罩处理。建议先用修图软件把脸部调正嘴巴闭合状态为宜。眼镜产品图的要求必须是白底或透明底的正面角度图保证镜架是完整可见的不能被遮挡。镜片如果贴有防伪标签建议先撕掉或者后期再处理否则会被AI当成镜片花纹一起画进结果里。还有一个很多人忽略的点模特照和产品照的色温要尽量接近。如果模特照是暖黄光产品照是冷白光AI在融合色彩时需要做更多补偿出图容易偏色。我通常会在进入工作流之前先用图像处理软件把两张图的色温统一到同一水平。3.3 工作流核心节点连接顺序下面是我实际使用的工作流节点顺序以ComfyUI节点名称表述方便你已经熟悉节点系统的朋友直接对照。第一步加载模型。使用Load Checkpoint加载Inpainting模型用Load Diffusers Model加载CatVTON模型。两个模型在显存占用上会有一定压力我的经验是24G显存可以同时加载16G显存建议分开加载等CatVTON输出结果后再切换模型做重绘。第二步图像预处理。使用Load Image分别加载模特图和产品图接Image Preprocessor做尺寸统一。这里我建议把模特图裁剪为1:1的1024x1024尺寸产品图用RemBG扣掉背景后放到一个虚拟的白色背景上位置居中。第三步首次试戴生成。把处理好的模特图和产品图输入CatVTON节点设置生成参数。这个节点的关键参数是output_height和output_width建议设置到768以上否则细节空间不够。生成结果出来后先肉眼检查眼镜位置对不对镜架比例对不对有没有明显畸变这一步合格了才往下走。第四步细节区域切割。用MaskEditor在生成的图像上框选出需要精修的区域。logo单独框一处镜腿铰链处单独框一处镜片反光区域单独框一处。我建议不要图省事框一个大的小区域的重绘效果比大区域稳定得多。第五步局部重绘。把切割出来的小区域送入Inpainting节点配合相应的提示词做重绘。这里有个技巧重绘的提示词不要写logo、文字这种抽象词而是写具体的品牌风格描述比如金属质感的浮雕字母清晰锐利。第六步超分辨率放大。对重绘后的logo小图做一次4倍放大用Ultimate SD Upscale节点或ESRGAN类模型。放大后再放回原图位置这一步能极大提升logo细节。第七步融合输出。把所有处理好的图层合在一起用Image Blend或Image Composite节点做合成最后用色彩调整节点统一整体色调。3.4 关键参数设置对照表为了方便大家复现我把关键参数整理成了一张对照表。这些参数是我在多次测试中调出来的相对稳定值你可以根据自己的模型版本微调。参数项首次生成CatVTON局部重绘Inpainting备注分辨率1024x1024512x512重绘区域首次生成不能低于768采样步数3020步数过高反而容易过拟合CFG3.57.0CatVTON用低CFG更自然Denoise强度1.00.6~0.7重绘强度太大会丢失结构ControlNet权重0.8无用来锁脸部姿态Upscale倍数无4xlogo小图单独放大放大后需用Lanczos缩回关于Denoise强度我需要多说两句。重绘时Denoise设置到0.6到0.7的意思是保留原图60%到70%的信息剩下的让模型重新想象。眼镜产品图上的logo区域如果用太高强度模型容易把logo画成乱码用太低强度又没法真正替换掉原图的模糊噪点。0.65这个值是我测试后效果比较均衡的。4. logo与细节还原的实操攻略4.1 logo变形的常见原因与修复这是眼镜试戴图里最让人头疼的部分。品牌眼镜的logo通常在镜腿内侧或镜片左下角面积小、笔画细AI经常处理不好。先说变形原因。第一是分辨率不够logo区域在原图里可能只有40x20像素信息量严重不足模型只能猜着画猜出来的自然容易变形。第二是重绘时的CFG设置过高模型在细节上过度自信凭空添加一些不存在的笔划装饰。第三是视角扭曲如果产品图的角度跟模特图的面部朝向不完全一致logo在透视上就会出现歪斜。修复方法我总结了四步实测有效。第一步用Ultimate SD Upscale对logo区域单独做4倍超分放大放大后再看轮廓就清楚多了。第二步用Mask Editor精细抠出logo区域的外轮廓尽量贴合logo本身的形状。第三步把抠图放大后的logo图送入局部重绘模型在低Denoise0.5左右下重绘提示词写明金属质感的精美LOGO清晰可辨无多余装饰。第四步把处理好的logo小图用Image Composite贴回原图位置用羽化功能让边缘过渡自然。如果你的眼镜产品图本身有清晰的logo纹理其实还有一种更稳妥的思路不依赖重绘直接从产品图上把logo抠下来做透视变换后贴到人脸对应位置再用Inpainting做边缘融合。这个方案在logo还原度上是最高的但需要一点点PS功底适合对logo还原有严格要求的场景用。4.2 镜腿、鼻托、铰链等五金件的处理眼镜的质感很大程度上来自金属件的反光。镜腿的弧度、鼻托的对称性、铰链的咬合处这些细节一旦处理不好整副眼镜就会看起来很廉价。我的经验是五金件区域的遮罩要避开高光点。镜腿上的高光恰恰是体现金属质感的关键如果遮罩把高光区域也盖住重绘了模型会把它当成噪点抹掉处理完的镜腿就变成一块平板。正确的做法是先用色彩范围工具选中高光区域保存选区在遮罩制作时把高光选区排除在外。这样重绘只处理金属件的主体结构高光保留原样出来的效果会自然很多。鼻托的处理更要注意对称性。AI在重绘鼻托时经常出现一边高一边低的情况这是因为人脸侧面的鼻托透视关系比较复杂模型无法准确判断空间位置。我的办法是先出一张测试图然后把左鼻托区域翻转复制到右侧保证左右一致再用Inpainting做融合。这个方法在处理对称物体时很通用可以用在镜框、耳饰等任何需要对称的地方。4.3 镜片反光与光影融合镜片反光是最能区分AI生成和真实拍摄的细节之一。真实的镜片会反射环境光有时还带轻微的渐变效果而AI生成时经常把镜片画成一块均匀的深色玻璃看起来非常死板。处理思路是这样的。首先在首次生成阶段提示词里加入镜片带轻微透明反光的描述。其次在局部重绘阶段单独选中镜片区域用低Denoise加模糊强度做一层渐变透明处理让镜片中心区域略亮、边缘略暗模拟光线的透过效果。最后用高光画笔在镜片上点几个小光斑但要控制光斑的位置——不要遮住眼睛瞳孔。另外接触阴影值得专门说一下。真实佩戴时镜框压在鼻梁上会在皮肤上形成一圈淡淡的阴影。AI合成图通常没有这层阴影导致眼镜看起来像悬浮在脸上。我的做法是用一个圆弧形的黑色半透明蒙版放在鼻托和镜框接触皮肤的位置羽化后降低透明度到10%到15%左右模拟真实的接触阴影。这一步做完眼镜的佩戴感立刻上了一个档次。4.4 批量出图与风格一致性控制如果你有几十款眼镜要出图批量处理就涉及风格一致性的问题。这里我建议用两种可控的方式。第一种是固定种子加人物LoRA。把模特的人脸特征训练成一个小型的LoRA模型之后所有款式的眼镜都在这同一个LoRA基础上生成就能保证不同款式试戴图中是同一张脸。第二种是参考图叠加用IPAdapter节点把第一批满意的出图结果作为风格参考后续生成时引导模型保持相同的色调和光影风格。批量跑的时候还有一个技巧建议不要全部自动跑完再检查而是先跑3张样图确认无问题后再拆分成小批次跑。因为中间一旦出问题比如某张产品图的背景没抠干净整批图全都白跑了。先质检再批量效率反而更高。5. 常见报错排查与效果翻车指南5.1 节点报错速查表用ComfyUI跑这套工作流有几个报错非常典型。我按出现频率整理成表方便你遇到了直接翻。报错信息常见原因解决办法CUDA out of memory显存不够降低分辨率分开加载模型启用--lowvram模式RuntimeError: expected scalar type Float but found Half精度不匹配在启动参数中加入--no-half-vaeValueError: No such file or directory模型路径不对检查模型是否放到正确目录文件名是否含中文ComfyUI-Openpose 节点无法执行缺少依赖在ComfyUI/custom_nodes下手动安装该节点的requirements.txt中文提示词乱码编码问题不建议提示词用中文统一用英文或检查系统UTF-8编码有一个很多人第一次都会遇到的坑ComfyUI整合包默认加载方式会占满显存如果你显卡不是特别顶配跑大模型叠加时很容易报显存不够。建议启动时用--lowvram或者--medvram参数性能损失一点但稳定很多。5.2 效果不理想的调整思路如果你的出图效果不理想先别急着改模型按照从输入到输出的顺序逐项排查。第一步检查素材。模特图脸部是否清晰产品图是否抠干净光线是否统一我遇到过一个案例怎么调参数出图都有色偏最后发现是模特图在白炽灯下拍的产品图在自然光下拍的两张图的色温差异太大模型强行融合就翻车了。第二步检查遮罩。遮罩是局部重绘的边界如果遮罩边缘太硬重绘区域跟原图之间会有很明显的不自然过渡。建议所有遮罩边缘都加2到4个像素的羽化让模型有一个渐变过渡区。第三步检查Denoise强度。如果效果太假可能是Denoise过高导致原图信息丢失太多如果效果太糊可能是Denoise过低重绘没有真正生效。建议以0.1为步长上下微调找到你素材的最佳值。第四步检查CFG。CFG过高会让画面变脏出现不必要的纹理CFG过低会让画面偏灰对比度不足。CatVTON阶段建议CFG在2到4之间重绘阶段建议在6到8之间这个区间效果最稳。5.3 我踩过的最贵的坑最后分享一个我认为最值得警惕的教训不要对AI生成的直接结果抱有太高期待。第一次搭这套工作流的时候我花了两天时间调CatVTON的参数总想让它一次生成出完美的最终图。结果无论如何调logo都是糊的镜腿在耳朵后面的过渡也总是差一点意思。后来我才想明白CatVTON这个模型的设计目标就不是完美出图而是结构大致正确它的输出本来是给我这种精修流程当底稿用的。我把期望放错了位置自然怎么调都达不到要求。所以我的建议是把整套工作流看作一个半自动流水线每个模型只负责自己最擅长的一步最终效果靠多步骤协同完成而不是靠单次生成的奇迹。这样想之后出图的稳定性和效率都提升了一个量级。另外批量出图之前一定要备份原始素材包括未处理的模特图、产品图和已经抠好的透明底图。我有一回在本地测试ControlNet权重时不小心把原素材覆盖了结果那批产品的图全部要重新整理多花了一下午。素材管理看着是小事真到了翻车的时候才知道后悔。6. 这套方案的后续扩展方向眼镜试戴只是VTON的一个细分场景这套分层处理的思路完全可以迁移到其他品类上。比如太阳镜试戴原理相同但需要额外处理镜片深度变色的效果——可以在局部重绘阶段给镜片单独加一层渐变蒙版实现室内浅色、室外深色的效果模拟。再比如耳饰试戴难点在耳垂的透视和耳饰的垂坠感可以用同样的结构生成 局部精修 光影融合三段式思路来跑。实际上我测试过耳饰和发饰的效果比眼镜还好做一些因为不涉及镜片的透明透射问题。配饰类目的电商运营如果看好这个方向我建议先从自己店铺销量最高的几个款开始测试积累一批效果好的工作流参数模板。我对这套流程的体会是真正的难点不在技术而在于理解这个模型擅长什么、不擅长什么然后把每个环节安排给最擅长它的模型。想通这一点不只是眼镜很多AI试穿场景都能逐步跑通。