在实际的 AI 绘画或图像生成项目中我们经常会遇到需要根据特定、详细的文本描述来生成图像的需求。这类需求可能来自产品设计、游戏角色设定、概念艺术创作或是像输入材料中提到的为一个虚构角色生成肖像。用户提供的描述虽然口语化且零散但其中包含了非常具体的关键视觉元素一位女性角色、眼下有泪痣、一边眼睛被刘海遮住。这恰恰是测试和展示文本到图像Text-to-Image模型理解与生成能力的绝佳案例。本文的目标读者是希望将 AI 绘画技术应用于实际项目中的开发者、设计师或技术爱好者。我们将不局限于简单地使用一个在线工具而是深入技术栈从零开始构建一个能够稳定、可控地根据复杂文本描述生成图像的工作流。你将学习到如何搭建环境、选择模型、编写精准的提示词Prompt、调整生成参数并最终获得符合描述的图像。更重要的是我们会探讨当生成结果不理想时如何进行系统性的排查和优化确保技术方案的可复现性和工程实用性。1. 理解文本到图像生成的核心工作流在开始写代码之前必须先理清从一段文字描述到一张图片的完整技术链路。这不仅仅是调用一个 API 那么简单它涉及模型选择、提示词工程、参数调优和后期处理等多个环节。1.1 文本到图像模型的基本原理当前主流的文本到图像生成模型如 Stable Diffusion、DALL-E 3、Midjourney 等大多基于扩散模型Diffusion Model。其核心思想是一个“去噪”过程编码首先一个文本编码器如 CLIP将你的文字描述例如“a portrait of a woman with a tear mole under her eye, bangs covering one eye”转换成一个高维的数值向量这个向量被称为“文本嵌入”Text Embedding。它捕捉了描述的语义信息。扩散模型从一个完全随机的噪声图开始。去噪在每一步中模型根据“文本嵌入”的指导预测当前噪声图中应该去除哪些部分以逐渐形成与描述相关的图像。这个过程会重复很多步例如20-50步。解码最后一个解码器将去噪后的潜空间表示转换回我们能看到的高清像素图像。理解这个过程很重要因为它解释了为什么以下因素至关重要提示词质量文本嵌入的质量直接决定了去噪的方向。迭代步数步数太少去噪不充分图像模糊或不符合描述步数太多可能过度拟合或引入不必要的细节且耗时增长。随机种子初始噪声的随机性决定了生成的多样性固定种子可以复现相同的结果。1.2 从需求描述到可执行提示词用户原始描述“有人给此女画无偿吗。。后面例图替孩子谢谢你们了眼下有颗泪痣一边眼睛刘海遮住谢谢” 这是一个典型的口语化、带有情感色彩的需求。我们需要将其“翻译”成模型能更好理解的、结构化的提示词。这个过程称为“提示词工程”Prompt Engineering。一个有效的提示词通常包含主体明确要生成的对象。a portrait of a young woman细节描述具体的外观特征。with a beauty mole under her eye, long black hair with bangs covering her left eye风格与质量设定艺术风格和画面质量。digital art, character design, highly detailed, sharp focus, studio lighting负面提示词明确不希望出现的内容。blurry, bad anatomy, extra fingers, mutated hands, poorly drawn face根据输入材料我们可以构建如下提示词正向提示词masterpiece, best quality, 1girl, solo, portrait, looking at viewer, beautiful detailed eyes, tear mole under eye, long black hair, bangs covering left eye, dark academy style, intricate details, sharp focus 负面提示词worst quality, low quality, normal quality, blurry, text, watermark, signature, username, bad anatomy, extra limbs, missing limbs, disfigured, malformed hands, mutation, mutated, ugly, disgusting, amputation关键解释1girl, solo强调画面中只有一位女性这是很多模型训练时使用的标签能稳定主体。tear mole under eye直接对应“泪痣”。使用“mole”比“spot”更准确。bangs covering left eye明确是“刘海遮住左眼”。方向性越明确生成越可控。dark academy style添加一种风格导向使画面更具统一感和艺术性而非纯粹的写实照片。负面提示词列表用于排除常见低质量生成结果如畸形的手、模糊、水印等。2. 环境准备与工具选型我们将以开源的 Stable Diffusion WebUIAUTOMATIC1111 版作为本地实践环境。它集成了模型管理、图形界面和丰富的插件非常适合学习和原型开发。2.1 基础环境要求组件要求说明操作系统Windows 10/11, Linux, macOS推荐 Windows 或 Linux。macOS 可能性能受限。Python3.10.6 - 3.10.11必须严格使用此范围版本其他版本可能导致依赖冲突。Git最新版用于克隆项目仓库。CUDA11.8 (NVIDIA GPU)如果你有 NVIDIA 显卡并希望使用 GPU 加速。VRAM至少 4GB用于运行基础模型。生成高分辨率图像需要更多显存。磁盘空间至少 20GB用于安装程序、模型和生成图片。注意如果你的电脑没有 NVIDIA GPU 或显存不足可以使用 CPU 模式运行但生成速度会非常慢。另一种方案是使用 Google Colab 等在线平台它们提供免费的 GPU 资源。2.2 安装 Stable Diffusion WebUI我们将通过命令行完成安装。打开终端Windows 用 PowerShell 或 CMDLinux/macOS 用 Terminal。克隆仓库git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git cd stable-diffusion-webui运行安装脚本Windows双击运行webui-user.bat。脚本会自动创建 Python 虚拟环境并安装所有依赖。首次运行会下载数个 GB 的依赖包请保持网络通畅。Linux/macOS在终端中执行./webui.sh。等待启动安装完成后脚本会自动启动 WebUI 服务。在终端中看到类似Running on local URL: http://127.0.0.1:7860的输出时表示启动成功。访问界面打开浏览器访问http://127.0.0.1:7860你将看到 Stable Diffusion WebUI 的界面。2.3 下载基础模型WebUI 安装后不包含任何生成模型需要手动下载。我们将使用一个流行且效果较好的基础模型chilloutmix。访问模型下载网站如 Civitai 或 Hugging Face。搜索chilloutmix下载其.safetensors格式的文件。将下载的模型文件例如chilloutmix_NiPrunedFp32Fix.safetensors放入stable-diffusion-webui/models/Stable-diffusion/目录下。回到 WebUI 界面点击左上角模型选择下拉框旁边的刷新按钮然后选择chilloutmix模型。3. 构建并执行生成任务环境就绪后我们开始在 WebUI 中实现针对“泪痣遮眼女性”描述的生成任务。3.1 界面核心参数配置在 WebUI 的txt2img标签页下配置以下关键参数Prompt正向提示词输入我们在 1.2 节构建的详细提示词。Negative prompt负面提示词输入对应的负面提示词列表。Sampling method采样方法选择Euler a或DPM 2M Karras。前者速度快后者质量通常更高。我们先选Euler a。Sampling steps采样步数设置为20。这是一个平衡速度和质量的起点。Width Height宽高设置为512x768或768x512。肖像更适合竖版。注意宽高必须是 64 的倍数这是模型结构决定的。Batch count批次数量设置为4。这意味着一次生成 4 张图便于我们从中挑选最佳结果。CFG Scale分类器自由引导尺度设置为7。这个值控制模型遵循提示词的程度。太低则偏离描述太高则图像可能饱和失真。7-9 是常用范围。Seed种子设置为-1表示随机。如果某次生成结果不错可以将其种子值固定下来以便微调。配置完成后界面大致如下示意图展示了提示词、负面提示词、采样方法、步数、尺寸等参数的填写位置3.2 生成与初步结果分析点击“Generate”按钮等待生成完成。你会得到4张基于同一组参数但不同随机种子的图像。第一次生成结果可能遇到的问题泪痣位置不准可能出现在脸颊、眼角而不是正下方。刘海遮眼效果不理想可能只遮住一部分或者头发结构奇怪。画风不一致可能偏向动漫或过于写实与“dark academy”风格不符。面部畸形虽然用了负面提示词但仍可能出现轻微的眼睛或嘴巴不对称。这是正常现象说明我们的初次提示词和参数还不够精确。接下来进入迭代优化阶段。4. 提示词与参数精细化调优AI 绘画是一个迭代过程。我们需要根据初次结果有针对性地调整提示词和参数。4.1 针对性的提示词强化如果泪痣位置不准可以强化描述原描述tear mole under eye强化描述small black beauty mole directly under right eye, on cheek在右眼正下方、脸颊上的小黑痣组合使用可以将强化描述放在提示词靠前的位置因为模型对提示词前部的权重可能更高。如果刘海遮眼效果不好原描述bangs covering left eye强化描述asymmetrical hairstyle, long straight bangs completely covering left eye, right eye visible不对称发型长直刘海完全遮住左眼右眼可见为了稳定画风可以添加更具体的风格艺术家或术语by artgerm, by wlop, concept art添加知名数字艺术家的风格倾向elegant, mysterious atmosphere添加氛围词4.2 使用 LoRA 模型进行特征控制对于非常特定、难以用文字精确描述的特征如某种特定的泪痣形状、发型可以使用 LoRALow-Rank Adaptation模型。LoRA 是一个小型网络附加层可以在不改变基础大模型的情况下微调其生成特定概念或风格的能力。寻找合适 LoRA在模型社区搜索moletear molespecific hairstyle等关键词可能会找到专门训练“泪痣”或“遮眼发型”的 LoRA。下载与放置下载.safetensors格式的 LoRA 文件放入stable-diffusion-webui/models/Lora/目录。在 WebUI 中激活点击生成按钮下方的“Show extra networks”图标通常是一个立方体。切换到Lora标签页。找到你下载的 LoRA点击它。这会在提示词框中自动添加一个触发词如lora:eyemole_v1:0.8。0.8是权重表示 LoRA 的影响强度。通常从 0.5-0.8 开始尝试。4.3 关键生成参数深度解析参数作用调优建议与本文案例的关联Sampling Steps去噪迭代次数。肖像生成 20-30 步通常足够。增加步数可能提升细节但收益递减且更耗时。如果面部细节模糊可尝试增加到 30。确保泪痣、发丝等细节清晰。CFG Scale提示词相关性强度。默认 7。如果图像过于平淡或不符合描述可提高到 9-10。如果图像色彩失真、线条生硬可降低到 5-6。控制模型对“泪痣”、“遮眼刘海”等描述的服从程度。Seed生成随机性的源头。-1为随机。遇到一张构图好但细节差的图固定其 Seed然后微调其他参数或提示词可以在保持构图的基础上优化细节。固定一张“刘海遮眼”构图好的图的种子然后专门优化“泪痣”的表现。Hires. fix高分辨率修复。在基础生成如512x768后启用此功能用另一套算法放大并补充细节。对于肖像画提升明显。使泪痣、眼睛、头发等局部特写更精细。Denoising strengthHires. fix 中重绘幅度。建议 0.3-0.5。太低则放大后细节模糊太高则可能改变原图构图。在放大时保持泪痣和发型特征不变。4.4 利用图生图进行微调如果文本生成始终无法达到理想效果可以结合“图生图”img2img功能。从 txt2img 的结果中选一张构图和大致特征最接近的图例如刘海遮眼的感觉对了但泪痣不对。切换到img2img标签页上传这张图。保持或微调提示词例如更强调泪痣。关键参数Denoising strength设置为一个较低的值如 0.2-0.4。这表示在原有图像的基础上只进行小幅度的修改以匹配新提示词。点击生成。这样可以在保留原有良好构图的基础上修正特定的细节。5. 结果评估与常见问题排查生成出图像后需要系统性地评估其是否符合要求并对出现的问题进行归因和解决。5.1 生成结果检查清单对照原始需求逐一检查[ ]主体正确生成的是女性肖像而非风景、物体或多人物。[ ]泪痣存在眼睛下方有明显的痣状特征。[ ]泪痣位置痣位于下眼睑下方附近的脸颊上而非眼角、鼻翼等其他位置。[ ]刘海遮眼有明显的头发遮挡住一只眼睛根据提示词是左眼。[ ]画面质量无明显的面部畸形、多余肢体、模糊、水印或扭曲。[ ]风格符合整体画风与“dark academy”、“digital art”等描述有契合度。5.2 问题现象、原因与解决方案问题现象可能原因排查与解决步骤完全无法生成人脸或人形1. 基础模型损坏或未正确加载。2. 提示词冲突或包含强烈负面元素。1. 检查 WebUI 顶部确认已选择chilloutmix模型。2. 简化提示词仅保留1girl, portrait看是否能生成人像。泪痣完全没出现1. 提示词权重太低或描述不清。2. CFG Scale 值太低。3. 模型对该概念理解弱。1. 将tear mole提到提示词前部或使用(tear mole:1.3)增加权重。2. 将 CFG Scale 从 7 提高到 9-10。3. 尝试使用 LoRA 模型强化该特征。泪痣位置随机、大小不一模型对“under eye”的空间关系理解不稳定。1. 使用更精确的描述beauty mole on upper cheek, directly below the center of the eye。2. 结合图生图先生成一张无痣的好图再用低 Denoising strength 添加泪痣。刘海未能完全遮住眼睛“covering”一词可能被理解为“掠过”或“部分遮挡”。1. 使用更强动词bangs obscuring left eye,hair veil over left eye。2. 添加发型细节straight across bangs,heavy fringe。3. 在负面提示词中加入both eyes visible。生成图像模糊、细节不足1. 采样步数不足。2. 生成分辨率太低。3. 模型本身能力限制。1. 将 Sampling steps 增加到 30。2. 启用 Hires. fix使用 2x 放大Denoising strength 约 0.3。3. 尝试其他更擅长细节的模型如Realistic Vision。面部畸形多手指、歪嘴等1. 模型在复杂姿态下易出错。2. 负面提示词未生效。1. 在负面提示词中强化bad anatomy, extra fingers, fewer fingers, mutated hands, poorly drawn face。2. 尝试不同的采样方法如DPM 2M Karras可能更稳定。3. 使用 ADetailer 等面部修复插件进行后处理。5.3 高级排查使用 XYZ 脚本对比测试当不确定哪个参数最优时可以使用 WebUI 内置的X/Y/Z plot脚本进行网格化对比测试。在txt2img页面底部找到Script下拉框选择X/Y/Z plot。X 轴可以比较不同Sampling method。Y 轴可以比较不同CFG Scale如 5, 7, 9, 11。点击生成你会得到一张网格图直观展示不同参数组合下的生成效果从而科学地选择最佳参数。6. 工程化实践与扩展方向当单次生成满足要求后我们需要考虑如何将这个过程工程化以便在真实项目中稳定、批量地处理类似需求。6.1 构建可复用的生成配置在 WebUI 中可以将一套成功的参数保存为“预设”Preset。调整好所有参数提示词、负面提示词、步数、CFG、尺寸、Hires. fix 参数等。点击界面上的Save按钮在Settings标签页或快速设置区为配置命名例如portrait_tear_mole。下次需要生成类似风格的肖像时直接加载此预设然后只需微调角色描述即可。对于开发者可以通过 WebUI 的 API 接口进行调用实现自动化。# 示例使用 curl 调用 WebUI API 进行生成 curl -X POST http://127.0.0.1:7860/sdapi/v1/txt2img \ -H Content-Type: application/json \ -d { prompt: masterpiece, portrait of a woman, tear mole under eye, bangs covering left eye..., negative_prompt: worst quality, low quality..., steps: 20, width: 512, height: 768, cfg_scale: 7, seed: -1, sampler_name: Euler a }API 返回的是包含生成图片 base64 编码的 JSON可以方便地集成到其他应用中。6.2 生产环境考量在个人学习或原型阶段上述流程足够。但对于生产环境如需要服务多用户、高并发生成则需要更多考虑性能与资源GPU 内存高分辨率或批量生成需要大显存。考虑使用--medvram或--lowvram启动参数优化显存使用或升级硬件。推理速度使用更快的采样器如UniPC或考虑模型量化、使用 TensorRT 等加速库。稳定性与可复现性模型版本锁定确保生产环境使用的模型文件版本与测试时一致。依赖隔离使用 Docker 容器化部署避免因系统环境变化导致的问题。内容安全内容过滤集成 NSFW不适宜内容检测模型在输出前对生成图像进行过滤避免产生违规内容。提示词审核对用户输入的提示词进行审核防止滥用。工作流扩展ControlNet用于精确控制姿态、构图、线稿上色等。例如可以先画一个简单的草图指定人物姿势和刘海位置再用 ControlNet 引导生成实现极高精度的控制。Inpainting用于局部修改。生成图若只有泪痣颜色不对可以用蒙版单独重绘泪痣区域。6.3 从生成到后期AI 生成的图像通常是起点。可以导入到 Photoshop、GIMP 或 Krita 等软件中进行后期颜色校正调整色调、饱和度、对比度使其更符合“dark academy”的暗调风格。细节强化手动绘制让泪痣更精致发丝更有质感。背景处理如果生成时背景杂乱可以抠图后更换背景。通过本文的流程你不仅能够完成“为有泪痣、遮眼刘海的女性生成肖像”这一具体任务更重要的是掌握了一套应对复杂文本到图像生成需求的方法论从需求分析、提示词工程、环境搭建、参数调优到问题排查和工程化扩展。核心在于理解模型的工作原理并学会与之进行有效的“对话”通过提示词和参数。下次面对“生成一个穿着机甲的古风侠客”或“设计一个赛博朋克风格的宠物店”这类需求时你便可以沿用同样的思路拆解特征、构建提示词、迭代优化最终得到满意的可视化了。