尧图网站建设 
如何玩转 paint-with-words-sd Textual Inversion区域控制与概念嵌入结合的AI绘图高阶玩法【免费下载链接】paint-with-words-sdImplementation of Paint-with-words with Stable Diffusion : method from eDiff-I that let you generate image from text-labeled segmentation map.项目地址: https://gitcode.com/gh_mirrors/pa/paint-with-words-sdpaint-with-words-sd是一个基于 Stable Diffusion 实现的「Paint with Words以词作画」AI绘图开源项目你只需要一张文字标签分割图用纯色块标注画面区域就能精确控制每个区域生成什么内容。再结合Textual Inversion 概念嵌入自定义风格/角色令牌就能玩出「区域控制 风格注入」的高阶组合拳让 AI 绘图从抽卡碰运气变成想画哪画哪。区域控制原理用文字标签分割图指挥AI绘图传统 AI 绘图只能靠提示词求模型把物体画在想要的位置而 paint-with-words-sd 来自 NVIDIA 的 eDiff-I 论文思路把提示词和画面区域一一绑定通过调节 Cross-Attention 分数让指定文字只生效在指定区域。核心逻辑在 paint_with_words/paint_with_words.py 中inj_forward函数会逐区域给注意力分数加权。用法非常直观准备一张用纯色填充的分割图比如黑猫、白狗、绿树再写一份「颜色 → 文字标签」的映射{ (0, 0, 0): cat,1.0, # 黑色区域 → 生成猫权重1.0 (255, 255, 255): dog,1.0, # 白色区域 → 生成狗 (13, 255, 0): tree,1.5, # 绿色区域 → 生成树权重1.5 }权重如1.5表示该区域对该词的注意力增强程度数值越大模型越听话。项目根目录的 runner.py 提供了完整的可运行示例EXAMPLE_SETTING_1到EXAMPLE_SETTING_4_seed跑一下就能看到效果同一个提示词只把猫和狗的颜色对调生成结果里猫狗位置也随之对调——区域控制就是这么直接。Textual Inversion 概念嵌入给Stable Diffusion注入自定义风格Textual Inversion文本反转/概念嵌入是 Stable Diffusion 的轻量微调技术用几张图片训练一个单个令牌token把某个风格/角色/概念压缩进模型之后只需在提示词里输入这个令牌模型就会认识它。本项目自带一份上手教程 Notebookcontents/notebooks/paint_with_words_textual_inversion.ipynb流程分三步下载概念嵌入文件如sd-concepts-library/midjourney-style提供的learned_embeds.bintoken_identifier.txt加载令牌调用load_learned_embed_in_clip()把嵌入向量注入 CLIP 文本编码器并向 tokenizer 注册新令牌正常生成提示词直接写midjourney-style就能获得 Midjourney 风格的效果。关键点项目先通过pww_load_tools()加载 VAE、UNet、文本编码器等工具链定义在 paint_with_words/paint_with_words.py再用preloaded_utils参数复用同一套模型避免重复加载——这意味着概念嵌入加载一次即可反复用于区域控制生成。高阶玩法区域控制 概念嵌入的组合拳 单独使用两者各有威力但组合起来才是进阶玩法整图定风格input_prompt中使用 Textual Inversion 令牌如midjourney-style为全图注入统一风格分区域定内容color_context把不同物体词绑定到分割图的不同颜色区域精确布局分区域定种子color_context支持第三个参数为区域专属随机种子例如boat,2.0,2077表示船的区域用种子 2077而-1表示跟随全局种子。这样只重roll不满意的区域其他区域保持不动上图同一提示词 同一全局种子仅移动分割图中月亮的位置整幅极光湖景的构图几乎不变——区域控制的锚定能力一目了然。上图整图种子固定为 0仅给 boat、moon、mountain 各设不同种子即可独立迭代单一区域。快速上手3步启动 paint-with-words-sd第 1 步获取项目并安装依赖git clone https://gitcode.com/gh_mirrors/pa/paint-with-words-sd cd paint-with-words-sd pip install -r requirements.txt pip install -e .第 2 步配置 HuggingFace 令牌复制项目根目录的 .env.example改名为.env填入你的HF_TOKEN代码中用load_dotenv()读取模型默认从 HuggingFace 拉取 Stable Diffusion v1.4。第 3 步运行示例python runner.py # 文生图 区域控制 python runner_inpaint.py # 局部重绘Inpainting想不想写代码也可以直接启动官方 Gradio 界面上传分割图、一键提取颜色、在线调参启动脚本gradio_pww.py文生图与 gradio_pww_inpaint.py局部重绘Gradio 里展开「Color content option」点击Extract color content可自动提取分割图中的唯一颜色帮你快速拼好color_context新手强烈推荐用这个功能能省掉大量手工取色的麻烦。调参技巧权重函数怎么选区域控制的效果高度依赖权重缩放函数weight_function参数。作者在实验中对比了三种公式结果见项目内contents/compare_std.jpg、contents/compare_max.jpg等对比图公式特点w·log(1σ)·max(QᵀK)论文原版早期测试偏强w·log(1σ)·std(QᵀK)社区实测更均衡推荐起步w·log(1σ²)·std(QᵀK)衰减更平缓适合背景弱化场景新手建议背景类区域天空、地面权重给低一点0.2~0.5主体区域给高一点1.0~2.0函数从0.4 * w * math.log(1sigma) * qk.max()起步微调即可。进阶生态Inpainting 与 ControlNet 扩展局部重绘runner_inpaint.py 支持在已有图上擦掉重画同时仍可用文字标签分割图约束内容例如把月亮区域放大重绘见 paint_with_words/paint_with_words_inpaint.pyControlNet 扩展项目内置pww_controlnet/目录AUTOMATIC1111 webui 扩展把 PwW 区域控制叠加到 ControlNet 之上——用线稿定结构、用颜色区域定材质例如给乌龟外壳区域指定龟甲材质效果远超单独使用 ControlNet换模型change_model_path.py 可把 A1111 社区的.ckpt模型转换为 diffusers 格式之后用local_model_path参数加载即可在你喜欢的底模上玩区域控制。常见问题 FAQQ1分割图必须画得很精确吗不需要。纯色填充即可边缘模糊也没关系——系统会按颜色像素做注意力加权画得像色块草图就够了这也是它比 ControlNet 更容易上手的原因。Q2Textual Inversion 令牌和普通提示词能混用吗可以。令牌只是一个特殊单词可以放在input_prompt里与任意提示词组合也可以与color_context的区域词共存。Q3区域里的文字找不到会怎样程序会打印Warning: tokens ... not found in text——请确保color_context里的标签词确实出现在提示词中否则该区域不生效。Q4支持哪些显卡默认针对 CUDA 环境devicecuda:0代码中也有mpsApple 芯片分支无显卡可用官方 Colab Notebook 体验。总结能力实现方式适合场景区域控制文字标签分割图 权重精确布局、构图锁定概念嵌入Textual Inversion 令牌自定义风格/角色注入区域种子color_context第三参数局部重roll、迭代单区域局部重绘paint_with_words_inpaint修改局部不破坏整体paint-with-words-sd 把「eDiff-I 区域控制」和「Textual Inversion 概念嵌入」两条路线合二为一分割图管画在哪嵌入令牌管什么风格。无论是想锁死构图反复调试还是给整幅作品注入专属风格这套组合都能让你对 AI 绘图拥有前所未有的掌控力。建议从 runner.py 跑通基础流程再打开 Textual Inversion Notebook 进阶一步步解锁完整玩法✨【免费下载链接】paint-with-words-sdImplementation of Paint-with-words with Stable Diffusion : method from eDiff-I that let you generate image from text-labeled segmentation map.项目地址: https://gitcode.com/gh_mirrors/pa/paint-with-words-sd创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 如何玩转 paint-with-words-sd + Textual Inversion：区域控制与概念嵌入结合的AI绘图高阶玩法
如何玩转 paint-with-words-sd Textual Inversion区域控制与概念嵌入结合的AI绘图高阶玩法【免费下载链接】paint-with-words-sdImplementation of Paint-with-words with Stable Diffusion : method from eDiff-I that let you generate image from text-labeled segmentation map.项目地址: https://gitcode.com/gh_mirrors/pa/paint-with-words-sdpaint-with-words-sd是一个基于 Stable Diffusion 实现的「Paint with Words以词作画」AI绘图开源项目你只需要一张文字标签分割图用纯色块标注画面区域就能精确控制每个区域生成什么内容。再结合Textual Inversion 概念嵌入自定义风格/角色令牌就能玩出「区域控制 风格注入」的高阶组合拳让 AI 绘图从抽卡碰运气变成想画哪画哪。区域控制原理用文字标签分割图指挥AI绘图传统 AI 绘图只能靠提示词求模型把物体画在想要的位置而 paint-with-words-sd 来自 NVIDIA 的 eDiff-I 论文思路把提示词和画面区域一一绑定通过调节 Cross-Attention 分数让指定文字只生效在指定区域。核心逻辑在 paint_with_words/paint_with_words.py 中inj_forward函数会逐区域给注意力分数加权。用法非常直观准备一张用纯色填充的分割图比如黑猫、白狗、绿树再写一份「颜色 → 文字标签」的映射{ (0, 0, 0): cat,1.0, # 黑色区域 → 生成猫权重1.0 (255, 255, 255): dog,1.0, # 白色区域 → 生成狗 (13, 255, 0): tree,1.5, # 绿色区域 → 生成树权重1.5 }权重如1.5表示该区域对该词的注意力增强程度数值越大模型越听话。项目根目录的 runner.py 提供了完整的可运行示例EXAMPLE_SETTING_1到EXAMPLE_SETTING_4_seed跑一下就能看到效果同一个提示词只把猫和狗的颜色对调生成结果里猫狗位置也随之对调——区域控制就是这么直接。Textual Inversion 概念嵌入给Stable Diffusion注入自定义风格Textual Inversion文本反转/概念嵌入是 Stable Diffusion 的轻量微调技术用几张图片训练一个单个令牌token把某个风格/角色/概念压缩进模型之后只需在提示词里输入这个令牌模型就会认识它。本项目自带一份上手教程 Notebookcontents/notebooks/paint_with_words_textual_inversion.ipynb流程分三步下载概念嵌入文件如sd-concepts-library/midjourney-style提供的learned_embeds.bintoken_identifier.txt加载令牌调用load_learned_embed_in_clip()把嵌入向量注入 CLIP 文本编码器并向 tokenizer 注册新令牌正常生成提示词直接写midjourney-style就能获得 Midjourney 风格的效果。关键点项目先通过pww_load_tools()加载 VAE、UNet、文本编码器等工具链定义在 paint_with_words/paint_with_words.py再用preloaded_utils参数复用同一套模型避免重复加载——这意味着概念嵌入加载一次即可反复用于区域控制生成。高阶玩法区域控制 概念嵌入的组合拳 单独使用两者各有威力但组合起来才是进阶玩法整图定风格input_prompt中使用 Textual Inversion 令牌如midjourney-style为全图注入统一风格分区域定内容color_context把不同物体词绑定到分割图的不同颜色区域精确布局分区域定种子color_context支持第三个参数为区域专属随机种子例如boat,2.0,2077表示船的区域用种子 2077而-1表示跟随全局种子。这样只重roll不满意的区域其他区域保持不动上图同一提示词 同一全局种子仅移动分割图中月亮的位置整幅极光湖景的构图几乎不变——区域控制的锚定能力一目了然。上图整图种子固定为 0仅给 boat、moon、mountain 各设不同种子即可独立迭代单一区域。快速上手3步启动 paint-with-words-sd第 1 步获取项目并安装依赖git clone https://gitcode.com/gh_mirrors/pa/paint-with-words-sd cd paint-with-words-sd pip install -r requirements.txt pip install -e .第 2 步配置 HuggingFace 令牌复制项目根目录的 .env.example改名为.env填入你的HF_TOKEN代码中用load_dotenv()读取模型默认从 HuggingFace 拉取 Stable Diffusion v1.4。第 3 步运行示例python runner.py # 文生图 区域控制 python runner_inpaint.py # 局部重绘Inpainting想不想写代码也可以直接启动官方 Gradio 界面上传分割图、一键提取颜色、在线调参启动脚本gradio_pww.py文生图与 gradio_pww_inpaint.py局部重绘Gradio 里展开「Color content option」点击Extract color content可自动提取分割图中的唯一颜色帮你快速拼好color_context新手强烈推荐用这个功能能省掉大量手工取色的麻烦。调参技巧权重函数怎么选区域控制的效果高度依赖权重缩放函数weight_function参数。作者在实验中对比了三种公式结果见项目内contents/compare_std.jpg、contents/compare_max.jpg等对比图公式特点w·log(1σ)·max(QᵀK)论文原版早期测试偏强w·log(1σ)·std(QᵀK)社区实测更均衡推荐起步w·log(1σ²)·std(QᵀK)衰减更平缓适合背景弱化场景新手建议背景类区域天空、地面权重给低一点0.2~0.5主体区域给高一点1.0~2.0函数从0.4 * w * math.log(1sigma) * qk.max()起步微调即可。进阶生态Inpainting 与 ControlNet 扩展局部重绘runner_inpaint.py 支持在已有图上擦掉重画同时仍可用文字标签分割图约束内容例如把月亮区域放大重绘见 paint_with_words/paint_with_words_inpaint.pyControlNet 扩展项目内置pww_controlnet/目录AUTOMATIC1111 webui 扩展把 PwW 区域控制叠加到 ControlNet 之上——用线稿定结构、用颜色区域定材质例如给乌龟外壳区域指定龟甲材质效果远超单独使用 ControlNet换模型change_model_path.py 可把 A1111 社区的.ckpt模型转换为 diffusers 格式之后用local_model_path参数加载即可在你喜欢的底模上玩区域控制。常见问题 FAQQ1分割图必须画得很精确吗不需要。纯色填充即可边缘模糊也没关系——系统会按颜色像素做注意力加权画得像色块草图就够了这也是它比 ControlNet 更容易上手的原因。Q2Textual Inversion 令牌和普通提示词能混用吗可以。令牌只是一个特殊单词可以放在input_prompt里与任意提示词组合也可以与color_context的区域词共存。Q3区域里的文字找不到会怎样程序会打印Warning: tokens ... not found in text——请确保color_context里的标签词确实出现在提示词中否则该区域不生效。Q4支持哪些显卡默认针对 CUDA 环境devicecuda:0代码中也有mpsApple 芯片分支无显卡可用官方 Colab Notebook 体验。总结能力实现方式适合场景区域控制文字标签分割图 权重精确布局、构图锁定概念嵌入Textual Inversion 令牌自定义风格/角色注入区域种子color_context第三参数局部重roll、迭代单区域局部重绘paint_with_words_inpaint修改局部不破坏整体paint-with-words-sd 把「eDiff-I 区域控制」和「Textual Inversion 概念嵌入」两条路线合二为一分割图管画在哪嵌入令牌管什么风格。无论是想锁死构图反复调试还是给整幅作品注入专属风格这套组合都能让你对 AI 绘图拥有前所未有的掌控力。建议从 runner.py 跑通基础流程再打开 Textual Inversion Notebook 进阶一步步解锁完整玩法✨【免费下载链接】paint-with-words-sdImplementation of Paint-with-words with Stable Diffusion : method from eDiff-I that let you generate image from text-labeled segmentation map.项目地址: https://gitcode.com/gh_mirrors/pa/paint-with-words-sd创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考