SD WebUI

大家好，今天我将向大家介绍如何使用免费的Stable Diffusion实现类似于Photoshop的创成式填充功能。 Photoshop的创成式填充功能非常强大。比如，在一张风景照的左右两侧，利用AI自动填充新的内容。 只需要选中要填充的区域，哪怕不写提示词，Photoshop也能够很好地进行扩图。 然而，这个功能是收费的。 今天，我们将探讨如何使用免费的Stable Diffusion实现类似的效果。 这张16:9的图片是我用Midjourney生成的。 通过WebUI，我们可以分别向上和向下扩展图像内容。扩展的方向和范围完全由我们决定，非常灵活，而且填充的内容和原图非常契合。 依赖大模型的实现 用Stable Diffusion实现这个效果非常依赖Checkpoint。在这部分，我们将通过一个消除画面中人物的例子，来说明Checkpoint在Stable Diffusion中的重要性。 步骤说明 1️⃣ 导入图片：将我们之前的图片导入到WebUI的局部重绘功能中。 2️⃣ 涂抹蒙版：将图片中的女子涂抹成一个蒙版。 3️⃣ 调整蒙版模糊度：为了避免重绘后的边缘产生接缝，将蒙版的模糊度调高一些。 4️⃣ 勾选Soft inpainting：勾选“Soft inpainting”选项，以进一步降低接缝的概率。 5️⃣ 保持尺寸一致：确保重绘后的图像尺寸与原图一致。 6️⃣ 调整降噪强度：将降噪强度拉到最大。 7️⃣ 选择模型：选择一个SDXL的模型，这里我们选择的是“juggernautXL”。等待模型加载完成。 8️⃣ 添加提示词：写一些提示词，以更精准地控制重绘区域的内容。 9️⃣ 生成图片：运行生成操作。 模型效果对比 初次生成的图片效果可能不理想，我们可以尝试更换Checkpoint。 1️⃣更换Checkpoint：选择另一个Checkpoint，比如“juggerxl Inpaint”。这是一个专门用于局部重绘的模型。下载地址是：https://pan.baidu.com/s/1Vtb8uuuWDqyDkgR7ToGcRA?pwd=e7hh 。 2️⃣保持其他参数不变：为了对比不同模型的效果，保持其他参数不变，再次生成一张图片。 观察效果 第二次生成的图片效果明显比第一次好很多。通过这个对比，我们可以看到选择适合的Checkpoint对于获得理想的重绘效果是多么重要。有了适合的Checkpoint后，我们可以正式开始用它进行扩图。 简单创成式填充案例 我们将换一张新图，内容是一位美女坐在汽车引擎盖上，并将其扩展成正方形的图像。 设置初始参数 1️⃣ 选择缩放模式：在WebUI中选择”缩放和填充”模式。 2️⃣ 调整高度：将高度设置为1456，以生成正方形的图像。当然，你也可以选择其他尺寸。 3️⃣ 修改提示词：由于我们换了一张新图，提示词也需要修改为：“年轻女子，休闲装，坐在老爷车的车盖上，秋天湖边的树木”。 4️⃣ 生成图片：运行生成操作，查看效果。 初次生成的图片可能只是简单的拉伸，并没有填充实质性的内容。我们需要进一步操作。 再次进行局部重绘…

大家好！今天，我们将探讨在WebUI中给人物换发型的两种有效方法。这个过程利用了Stable Diffusion的文生图和局部重绘。接下来，我将一步步带你了解每种方法的操作流程和关键细节。 如果你喜欢看视频教程，那么我非常欢迎你观看本文所对应的视频(B站同名帐号)： 方法一：使用文生图和ControlNet 首先，让我们从文生图开始。假设我们已经有了一张图片（这里使用的是Stable Diffusion生成的）。这使得我们可以轻松地发送提示词进行图像生成或局部重绘。 步骤概览 1️⃣ 模型和尺寸设置： 2️⃣ 使用ControlNet进行局部重绘： 3️⃣ 调整和生成： 总结： 方法二：使用图生图和专门模型 第二种方法是使用专门为局部重绘训练的juggerxlinpaint模型，操作起来相对简单而且效果出众。 步骤概览 1️⃣ 准备和设置： 2️⃣ 涂抹和输入提示词： 3️⃣ 调整和生成： 总结： 以上就是在WebUI中给人物换发型的两种方法。希望这些信息对你有帮助！如果觉得有用，欢迎点赞支持。

在上一篇文章中，我们探讨了如何使用LoRA模型和Adetailer插件来实现换脸效果，达到了与斯嘉丽本人极高的相似度。如果您对训练真人LoRA模型感兴趣，欢迎回顾我之前的文章。 尽管LoRA模型的效果卓越，但其训练过程较为复杂。因此，本篇文章将向您介绍一种无需LoRA即可实现高相似度换脸的方法。我使用这种方法得到的换脸效果虽然相较于LoRA有微小的下降，但整体表现依然出色。 众所周知，ControlNet中的IP-Adapter和Instant-ID可以用于换脸，但有时它们的相似度不够高。我将介绍的方法结合了这两者的优势，比单独使用它们能够获得更高的人脸相似度。 如果你喜欢看视频教程，那么我非常欢迎你观看本文所对应的视频(B站同名帐号)： 另外，我在这个云平台上运行SD，推荐一下： WebUI Forge的介绍 本篇文章将使用WebUI的进阶版本——WebUI Forge。相比于旧版WebUI，WebUI Forge在性能上有显著提升，甚至超过了ComfyUI，并增加了许多实用的新功能。例如，ControlNet引入了新版的IP-Adapter，预处理器也有所不同。 Instant-ID的预处理器也跟老版本的WebUI里的不一样。 这些变化是我们选择WebUI Forge的原因之一。我发现，在老版本的WebUI中同时使用IP-Adapter和Instant-ID的效果非常差。 要安装WebUI Forge的话，可以访问其GitHub主页(https://github.com/lllyasviel/stable-diffusion-webui-forge)。上面有详细的安装步骤。 我为大家下载了一键安装包。下载地址是https://pan.baidu.com/s/1HGp5eYb-a0OsRrNOOO5sTg?pwd=j425。 解压之后，使用run.bat这个文件来运行，使用update.bat这个文件来更新。保持更新很重要，可以避免老版本的Bug。 换脸基础设置 1️⃣选择SDXL底模 首先，打开WebUI Forge的界面，我们需要选定一个SDXL的底模作为我们的起点。选择SDXL模型是因为Instant-ID当前仅对此模型提供支持，确保了我们能够利用最新技术实现换脸。 2️⃣局部绘制和上传照片 接着，进入到图生图的界面，并选择“局部绘制”选项。这一步骤是准备将我们想要进行换脸的照片上传至平台。上传照片后，涂抹脸部区域以指定将要更换的部分。记得，涂抹的区域应略大于实际的脸部区域，以便我们有足够的空间调整人物的脸型，这是一个关键步骤，确保最终效果的自然和谐。 3️⃣调整蒙版模糊度和使用Soft Inpainting 完成脸部区域的标记后，滚动到页面下方进行进一步的设置： 4️⃣填写提示词和选择采样器 5️⃣调整宽高和重绘强度 最后，点击“三角尺”图标自动将宽高设置为原图尺寸，以保持图像比例的一致性。同时，适当调低“重绘强度”以确保换脸后的脸部与原图能够自然衔接。重绘强度设置过高可能导致不自然的效果，因此，根据生成的图像再做微调是非常必要的。 在成功安装并进入WebUI Forge界面后，接下来的步骤是配置ControlNet以实现精确的换脸效果。ControlNet的设置是核心过程之一，涉及到IP-Adapter和Instant-ID的应用。这部分指南将详细介绍如何正确配置ControlNet以及相关组件。 设置第一个ControlNet（使用IP-Adapter） 1️⃣启用ControlNet：首先，展开“ControlNet Integrated”选项，并启用第一个ControlNet。 2️⃣选择IP-Adapter：在ControlNet配置中，选择IP-Adapter作为工具。预处理器和模型应已预设选择，无需进一步配置。如果你没有这个模型的话，可以看看我之前介绍IP-Adapter的文章。 3️⃣上传控制图像：勾选“Upload independent control image”并上传一张斯嘉丽的大头照作为参考。选择适当的头像至关重要，因为不同的头像可能会直接影响换脸效果的质量和准确性。 4️⃣调整权重：向下滚动并适当调整权重。需要注意的是，没有固定的权重设置标准，需要根据具体情况和效果进行调整。 5️⃣添加LoRA提示词：在提示词区域添加LoRA，以配合IP-Adapter使用。虽然这对最终效果的影响不大，但适当的调整可以微调细节。 设置第二和第三个ControlNet（使用Instant-ID） 继续设置第二个和第三个ControlNet，这些步骤是为了使用Instant-ID技术优化换脸效果。这部分配置关键在于下载和安装正确的模型，以及精确地调整设置以适应特定的换脸需求。 下载和安装Instant-ID模型 1️⃣访问GitHub页面：所有必要的模型下载链接和安装指南都可以在指定的GitHub页面(https://github.com/Mikubill/sd-webui-controlnet/discussions/2589)上找到。这些信息提供了详细步骤，确保用户能够顺利进行配置。 2️⃣下载模型：根据链接直接下载所需的Instant-ID模型。或者，访问我提供的度盘链接：https://pan.baidu.com/s/1dfX4v9O1uGZALsHpnDolHA?pwd=hjk2。 3️⃣模型重命名与放置： 设置第二个ControlNet 1️⃣启用ControlNet：在WebUI Forge界面中，展开第二个ControlNet的设置，并勾选启用。 2️⃣配置选项： 设置第三个ControlNet 1️⃣预处理器选择：选择InsightFace (Instant-ID)，这是另一种用于识别脸部特征的预处理器。 2️⃣模型选择：此处选择ip-adapter_instant_id_sdxl模型，确保与第二个ControlNet的配置相互补充。…

在上一篇文章中(https://myaiforce.com.cn/real-life-lora-training/)，我分享了如何为好莱坞女明星斯嘉丽训练一个高度相似的LoRA模型。 我专门选用了斯嘉丽的大头照进行训练，以便AI能够集中精力学习她的脸部特征，从而生成的图片与本人高度相似。 然而，当尝试生成半身或全身照时，我们会遇到一些挑战。比如我用这个提示词，并且把LoRA添加进去，生成的图片和斯嘉丽本人并不像。 而且，因为我训练LoRA使用的是SD1.5的底模，所以我只能用基于SD1.5的模型来生图。 本篇文章旨在介绍如何利用ADetailer插件克服这些挑战，让你训练的LoRA模型可以自由使用任何底模，生成不同风格的照片。它实际上就是单独把人脸从图像中分离出来，然后用LoRA生成的大头照进行换脸。 看，这是我用来换脸的3张原始图片。 这是我用斯嘉丽的LoRA换脸之后的图片。 效果还不错吧。接下来让我来演示如何操作。 如果你喜欢看视频教程，那么我非常欢迎你观看本文所对应的视频(B站同名帐号)： LoRA+ADetailer换脸步骤 让我们详细了解如何通过几个简单的步骤使用ADetailer进行换脸操作： 一、准备阶段 首先，确保你已安装ADetailer插件。如果你不熟悉如何操作，我之前的文章中有详细的安装和使用指南(https://myaiforce.com.cn/stable-diffusion-adetailer/)。 二、上传图片并选择配置： 访问WebUI的图生图界面，这是开始我们换脸操作的地方。 三、设置采样器与采样步数 四、调整图像尺寸与其他参数 五、配置ADetailer插件 六、精细调整与生成 七、使用不同的底模进行换脸 八、生成与调整换脸图片 一旦你完成了ADetailer插件的所有配置，点击“生成”后，换脸过程便正式开始。以下步骤将帮助你理解生成后的预览，以及如何根据预览结果对换脸区域进行微调，确保最终效果达到满意标准。 查看与调整换脸区域 1️⃣ 生成预览： 在点击“生成”按钮后，系统会根据你之前的设置开始处理图片。处理完成后，在预览窗口中，你将看到原图的人脸周围出现了一个方框，这个方框标识了换脸的具体区域。 2️⃣ 调整换脸区域大小： 如果你觉得自动生成的换脸区域大小不够精确或需要调整，可以轻松修改。只需展开“蒙版预处理选项”，然后调整滑块来增大或缩小换脸区域。这一步骤允许你细致地控制换脸的范围，确保换脸效果的自然和谐。 优化换脸效果 在查看生成的换脸图片后，如果你发现效果未达到预期，可以通过调整ADetailer的降噪强度来进行优化。适当调整降噪强度可以帮助平滑脸部区域与原图的融合。 使用ADetailer插件进行文生图换脸 值得一提的是，ADetailer插件不仅可以在图生图中使用，也同样适用于文生图。这意味着你可以直接在文生图环境下生成一张图片，然后使用ADetailer进行直接换脸。操作方法与在图生图中大致相同，提供了一个灵活而强大的工具，让你的创作不受限于特定的环境或模式。 结论 通过本篇文章，你应该已经掌握了如何利用ADetailer插件和LoRA模型进行高质量的换脸操作。这不仅可以让你的LoRA模型跨越原有的限制，还能创造出各种惊人的效果。希望这篇教程对你有所帮助，感谢阅读！最后，给大家推荐我正在跑SD的云平台：https://myaiforce.com.cn/lanrui/。

在本篇文章中，我们将探索如何训练一个能够将喜爱的人物置入任何场景中并实现高度一致性的LoRA模型。借助LoRA，我们能够创造出极为逼真的人物图像，就如同我为斯嘉丽训练的LoRA模型所展示的那样。 那么，让我们一起深入了解如何训练LoRA。 如果你喜欢看视频教程，那么我非常欢迎你观看本文所对应的视频(B站同名帐号)： Kohya训练器 在多种工具中，Kohya训练器因其全面的功能——不仅限于训练LoRA，也包括DreamBooth和Text Inversion——而广受欢迎。 国内也有一些开发者制作出了一些好用的训练器，比如赛博丹炉和秋叶丹炉。它们的原理和Kohya一样，设置好参数以后，最终都会转化为脚本进行训练。所以说，掌握了Kohya训练器以后，其他的训练器也不在话下。 安装Kohya相对简单，其详细的安装指南可在项目的Github主页(https://github.com/bmaltais/kohya_ss)找到。 此外，B站的知名UP主Nenly也提供了一份详细的安装攻略(https://gf66fxi6ji.feishu.cn/wiki/Q4EYwQl2riWw25kdN3hc5xuEnIe)，非常值得参考。 LoRA训练流程 训练LoRA的流程包括以下几个关键步骤： 1️⃣ 准备数据集：选取适合训练的图片。 2️⃣ 图片预处理：进行裁剪和打标，为图片添加合适的标注或提示词。 3️⃣ 设置训练参数：在Kohya训练器中进行参数设置。 4️⃣ 开启训练：通过命令行查看训练进度。 5️⃣ 测试训练结果：挑选出效果最佳的LoRA文件进行测试。 LoRA训练的底层逻辑 为了解决可能出现的疑惑，本段落将深入解释LoRA训练的底层逻辑。通过深入了解这一过程，您将能更清晰地把握如何训练出一个高质量的LoRA模型。 LoRA训练概述 LoRA模型的训练目标是生成的图片与原训练图像高度相似。这是通过在Diffusion模型上添加额外权重来实现的，这些权重被保存在一个称作LoRA文件的单独文件中。可以将LoRA文件视为Diffusion模型的一种插件，这种插件会根据训练过程不断调整权重，以达到与原始训练图相似的效果。 训练过程详解 通过上述步骤，LoRA模型的训练涉及到精细的权重调整和优化，确保了生成图像与原始训练图之间的高度相似性。希望这一解析能帮助您更好地理解LoRA模型的训练机制。 正式开始LoRA训练：以斯嘉丽为例 在理解了LoRA训练的底层逻辑后，我们现在可以开始实际的训练过程了。本次我们将以众所周知的好莱坞明星斯嘉丽·约翰逊为例，展开训练。下面是详细的步骤和一些建议，希望能帮助你顺利完成LoRA模型的训练。 第一步：准备训练集 成功的LoRA训练起始于高质量的数据集。以下是一些建议，帮助你准备一个合格的训练集： 选择合适的图片作为训练集是至关重要的第一步。优质的数据集直接影响训练结果的质量。 第二步：图片预处理 裁剪 为了让AI更好地学习人物的脸部特征，建议以1比1的宽高比进行裁剪，主要聚焦于头部区域。稍微包含一些肩膀部分也是可以的。这样的裁剪策略有助于生成更加逼真的LoRA图像。这样可以让AI充分学习人物的脸部特征，生成的LoRA也更像。如果到时候我们训练出的LoRA生成的图片只有大头照也没关系，因为我们可以先生成其他人物的全身照，然后用LoRA生成的大头照进行换脸。 这几张斯嘉丽的图片我就是这样生成的。灵活度很高，想要什么风格就什么风格。 放大 鉴于许多在线图片的分辨率较低，裁剪后的图片分辨率可能进一步降低。因此，我们推荐将图片放大至至少512×512的分辨率。如果条件允许，可以考虑放大到768×768。图片放大不仅可以提升图片细节，还能丰富训练过程中的学习材料。 放大完以后，我们就可以进行最终裁剪啦。上篇文章(https://myaiforce.com.cn/text-inversion/)中，我给大家推荐了一个非常好用的在线裁剪工具，感兴趣的话可以回顾一下。 第三步：打标 通过遵循上述步骤，你将能够为LoRA训练准备好高质量的数据集，并进行有效的预处理。这样的准备工作是成功训练LoRA模型的关键。希望这些指导能帮助你顺利进行训练，并创造出令人印象深刻的人物图像。 LoRA训练核心参数详解 在图片处理完成之后，我们将进入Kohya训练器的设置阶段，这一阶段是LoRA训练过程中至关重要的一步。接下来的指南将帮助您熟悉Kohya训练器的界面和必要的设置选项，确保您的训练顺利进行。 选择预训练模型 设置训练项目文件夹 1️⃣训练模型输出名称：为训练好的LoRA文件命名。这一步骤对于后续的测试和使用非常重要，确保您能够轻松识别和调用不同的训练结果。 2️⃣图片文件夹路径：需要指定一个包含训练图片的文件夹。这里存放的是您预处理后用于训练的图片，确保路径设置正确。 3️⃣LoRA文件输出路径：指定LoRA训练结果存放的位置。这个文件夹将用于保存训练过程中生成的LoRA文件，方便后续测试和使用。 4️⃣训练日志文件夹路径：设置一个文件夹用于存放训练过程中生成的日志文件。这对于监控训练进度和调试可能出现的问题非常有帮助。 其他设置 新建训练项目文件夹 填这些路径之前，首先得新建一个训练项目的文件夹。 1️⃣新建项目文件夹：首先，创建一个新的训练项目文件夹，例如命名为scarlett_johansson。重要提示：为了避免潜在的问题，请确保文件名不包含中文字符或空格。 2️⃣创建必要的子文件夹：在项目文件夹内部，需要创建三个子文件夹，分别命名为image、models、和log。这些文件夹分别用于存放训练数据集、输出的LoRA模型文件以及训练日志。 3️⃣添加数据集和打标文件：在image文件夹下，进一步创建一个用于存放具体数据集和打标文件的子文件夹，如25_ScarlettJohansson。这里的25代表对每张图片进行的重复训练次数（Repeats），建议设置在10到30之间。文件夹名称的其余部分应反映训练的概念或主题，例如人物的姓名。…

Stable Diffusion的最大魅力体现在其DIY的能力上。它不是什么图都能画出来，但是我们可以根据自己的需求，训练它成为我们想要的样子。 其中，Text Inversion 就是一种最简单有效的训练方式。它比 Lora 训练更简单，对数据集的要求比较低，适合入门。 它的训练过程和 Lora 有很多共通的地方，熟练掌握的话对于后期 Lora 训练也是很有帮助的。 和 Lora 一样，它也可以用来训练任何人脸，生成任何人的照片。 其实，早在一年以前，就有很多关于它的教程。然而，那时的 WebUI 跟现在的有所不同，可能会让你感到困惑。而且，之后还出现了一些新的处理数据集的方法。 所以，我觉得有必要写一篇新的文章，让大家从原理层面深入了解 Text Inversion。 在这篇教程中，我会用著名好莱坞女明星 Angelina Jolie 的照片进行训练。有人可能会问，Angelina 是个名人，Stable Diffusion 训练过她的照片。那么我再为她训练 Embedding 有什么意义呢？ 如果你喜欢看视频教程，那么我非常欢迎你观看本文所对应的视频(B站同名帐号)： 让我来解释一下。 我们都知道，Stable Diffusion 是用网络上公开的6亿张包含描述的图片训练而成的。 这些图片的质量都不太高，而且未必符合我们心目中的 Angelina 的形象。如果我们要生成自己心目中 Angelina 的样子，就可以筛选出我们喜欢的照片，然后用它们来进行训练。这才是训练的真正意义。 看，下面是训练前后的对比图片。左边这列是原版的Angelina。右边是我训练的Angelina。它们的区别还是挺大的吧。 接下来，我将一步步引导大家通过实例学习Text Inversion的训练过程，包括数据集的准备、图片的预处理、训练过程以及测试训练结果。 数据集的准备 训练开始前，数据集的准备是至关重要的一步，它直接影响到最终生成图像的质量。遵循以下两个原则以确保数据集的质量： 推荐至少准备10张以上的面部图像，并可以包含一些上半身或全身照片，以学习人物的体型和姿态。注意，图片中不应包含水印，以避免影响最终结果。 看，这是我用不同质量的数据集生成的效果。左边这列的是用质量比较差的数据集，跟右边的效果还是有差距的吧？ 图片预处理 图片准备工作完成后，接下来的重要步骤是进行图片的预处理，包括裁剪和打标，以确保所有图片都有统一的分辨率，推荐尺寸为512×512。这一步骤对于提高训练效果和最终图像的质量至关重要。以下是详细的预处理步骤： 1️⃣ 选择合适的工具：由于新版本的WebUI已经移除了“图片预处理”功能，因此需要借助外部工具进行预处理。我在这里推荐一个在线批量处理图片的网站，使用起来非常方便。网址是： 2️⃣ 上传图片： 3️⃣ 自动裁剪和焦点检测：…

继我们上一篇文章介绍了IP-Adapter的新模型Face ID Plus V2之后，今天我们将深入探讨如何将这一强大工具用于生成具有高度个性化特征的人物肖像，保持脸部一致性的同时，创造出各种不同风格的形象。 这个模型也可以在 Stable Diffusion 的云平台上使用。 👉 玩 Stable Diffusion 没有好显卡？试试秋叶大佬推荐的云平台 如果你喜欢看视频教程，那么我非常欢迎你观看本文所对应的视频(B站同名帐号)： IP-Adapter应用广泛 在上一篇文章中，我们使用了 WebUI 图生图中的局部重绘功能，通过这个功能，我们成功地将好莱坞女神Angelina Jolie的脸融合到了Midjourney生成的图片上。 其实，这个新模型也可以在 WebUI 文生图中发挥作用。 我们可以用它来生成各种风格不同的人物肖像，并且保持脸部的一致性。 比如说，我用同一张 Angelina 的头像作为参考图给到 IP Adapter。通过修改不同的提示词，就能生成 Angelina 的各种风格的照片。 我试了另一个换脸插件 Reactor。它的效果和 Roop 差不多，我感觉都比不上 IP Adapter 的这个模型。 这是用 Reactor 生成的几张 Angelina 的照片。我感觉和 Angelina 本人并不像。 我还试了近期比较热门的另一个用来换脸的 ControlNet。就是小红书开发的 InstantID。这是用 InstantID 生成的照片。 虽然和 Angelina 本人比较像，但图像质量比较差，脸部缺乏细节，而且高光和阴影都太强烈。 通过对比这几个工具的效果，我还是更偏爱 IP-Adapter的这个新模型。 本文将介绍它配合…

ControlNet 是 Stable Diffusion Web UI 中功能最强大的插件。基于 ControlNet 的各种控制类型让 Stable Diffusion 成为 AI 绘图工具中最可控的一种。 IP Adapter 就是其中的一种非常有用的控制类型。它不仅能够实现像 Midjourney 一样的“垫图”功能，还能用来给肖像人物换脸。 IP Adapter 的很多老的模型都可以用来换脸，如 Plus Face。然而，IP Adapter 不断推出了更新的模型，持续为我们带来惊喜。通过我的亲身测试，我发现新的 Face ID Plus V2 模型在换脸效果上远胜以往。 我尝试将好莱坞女星 Angelina Jolie 的脸部特征融合到了由 Midjourney 生成的多个图片中，包括一名中世纪女战士、一幅文艺复兴时期的美女肖像，以及一位女王的形象，效果都非常令人满意。 怎么样？效果还不错吧？接下来我来介绍如何在 Web UI 中安装并使用这个模型。 如果你喜欢看视频教程，那么我非常欢迎你观看本文所对应的视频(B站同名帐号)： 准备工作 我们主要利用 Control Net 中的 IP Adapter 来进行换脸，同时使用 OpenPose 保持原图人物的头部姿势。 相对于 Control Net…

在上一篇文章中，我为大家详细介绍了Stable Diffusion中一个非常有用的插件，名为ADetailer。 👉 Stable Diffusion 必装插件之 ADetailer 这个插件主要用于修复面部问题并为面部和手增加细节。目前，ADetailer包含了14个不同的模型，每个模型都有其独特的用途。我已经对其中大部分模型进行了对比分析。但有一个特殊的模型——DeepFashion，我之前并未介绍，因为它与其他模型有所不同。在这篇文章中，我将详细介绍DeepFashion。 如果你喜欢看视频教程，那么我非常欢迎你观看本文所对应的视频(B站同名帐号)： DeepFashion的核心功能 DeepFashion模型的核心功能是处理服装。这个模型的数据集包括来自13个流行服装类别的80多万件服装。使用DeepFashion模型，ADetailer能够检测图像中的服装，并进行分割，以便进行单独处理。 我们都知道，Stable Diffusion的自然语言理解能力较弱，无法与DALL-E和Midjourney相提并论。例如，使用SDXL模型生成的这张图片，其提示词是“1位女孩，面带微笑，晨光打在脸上，黑色丝质吊带衫，领口处有精致的蕾丝边，酒红色格子高腰半身裙，全身拍摄，凉鞋，古色古香的鹅卵石街道，景深，虚化”。但是，女孩裙子上的格子图案并没有被体现出来。提示词越长，遗漏的细节就越多。 而使用DeepFashion后，可以看到明显的改进，如裙子上的格子图案就被准确体现出来了。 再比如，解决提示词污染的问题。例如，一张图片的背景是柠檬黄色，但Stable Diffusion可能会错误地将柠檬图案应用到女孩的裙子上，如下图所示： 这时，使用DeepFashion可以有效解决这一问题。它会将裙子单独分离出来，并使用专门的提示词进行描述。这样，如果提示词中不包含“柠檬”，裙子上就不会出现柠檬图案。 安装DeepFashion模型 以下是DeepFashion模型的详细安装过程： 1️⃣Adetailer插件安装 首先，确保已经安装了Adetailer插件。如果尚未安装，可以参考上一篇文章中的步骤进行安装。安装Adetailer是使用DeepFashion的前提条件。 2️⃣下载DeepFashion模型 安装Adetailer插件后，DeepFashion模型不会自动出现在模型列表中。要使用DeepFashion，您需要手动下载它。模型的下载链接是： https://huggingface.co/Bingsu/adetailer/tree/main 3️⃣进入下载页面 在浏览器中输入下载地址后，你将被引导至HuggingFace下载页面。在这里，所有可用的模型都会被列出，你可以找到位于列表首位的DeepFashion模型。旁边有一个下载按钮，点击该按钮开始下载。 4️⃣移动模型文件 下载完成后，将下载的模型文件移动到Stable Diffusion的 “webui/models/adetailer” 文件夹内。这一步骤是必要的，以确保WebUI能够正确识别并加载模型。 5️⃣重启WebUI 将DeepFashion模型文件放置在正确的文件夹后，需要重启WebUI。重启后，DeepFashion模型应该出现在Adetailer的模型列表中，这意味着它已经准备好使用了。 安装完成以后，让我们通过两个案例，身临其境，体验DeepFashion的用法。 案例一：使用DeepFashion解决衣物图案问题 1️⃣ 生成初始图片： 为了更好地说明问题，我生成了几张不同的图片。从中选取了三张展示出来。可以看到，衣服上的亮片或金色部分错误地出现在了背景中。 2️⃣ 使用DeepFashion解决问题： 3️⃣ 添加亮片效果： 4️⃣ 调整去噪强度以改善效果： 案例总结 DeepFashion能够有效地将服装从图片中分离出来进行单独处理，解决了提示词污染问题。这种技术特别适用于那些Stable Diffusion可能无法准确理解和渲染的复杂场景。 例如，使用albedobaseXL模型生成的图片中，绿色的裙子和柠檬黄的背景被准确分离，没有出现混淆。 而使用dreamshaperXL-Turbo模型生成的图片就出现了问题，背景中的柠檬黄色错误地出现在了裙子上。 在这种情况下，DeepFashion就显现出了其优越性，能够准确地处理和优化图片中的服装元素。 通过这个案例，我们可以看到，DeepFashion不仅提高了Stable Diffusion生成图像的质量，也为我们在图像生成过程中提供了更多的控制和创造力。 案例二：优化SDXL模型中的颜色处理 在Stable Diffusion的应用中，尤其是使用SDXL模型时，我们经常遇到提示词污染问题，特别是在处理颜色时。让我们通过一个实际案例，探索如何使用DeepFashion来解决这一挑战。…

如果你经常用 Stable Diffusion 画人物，相信你一定画出过脸崩的图片。这也是目前文生图 AI 工具普遍存在的问题。连 Midjourney V6 也不例外！当它画一个人的时候表现还好，当画面里的人一多，局面就难以控制了。 看，这就是 Midjourney V6 生成的图片。各种扭曲变形，是不是令人大跌眼镜？ 单人肖像在 Stable Diffusion 中可以局部重绘一下，要是人数多呢？值得我们为修复一张图片花费几个小时的时间吗？幸运的是，我将为你介绍一个非常强大的插件。它就是为一次性快速修复这样的问题准备的。绝对是 Stable Diffusion 必装的一款插件。 很多人没有用过 Stable Diffusion 的原因是显卡不给力。其实可以租用云平台来跑 SD，按小时收费也很划算。感兴趣的话，可以看看我的这篇文章： 👉 玩 Stable Diffusion 没有好显卡？试试秋叶大佬推荐的云平台 ADetailer 值得我花很多时间，与你们分享。本文包含的内容非常丰富，从插件的安装，到各种参数的详细介绍。耐心看完的话，一定能成为高级玩家。OK，让我们开始吧。 安装 首先我们来看如何安装这个插件。 安装 ADetailer 的方法和安装其他插件一样。首先来到插件的标签页，然后点击“可用”标签页。接着在 “Search” 文本框内输入 “adetailer”。通常情况下，它会出现在下方的列表里，然后点击安装即可。 如果没有出现的话，还有第二种方法，那就是利用“可用”标签页右边的标签页“从网址安装”。这个网址可以从这个项目的 Github 网页获得。我们可以在搜索引擎上输入关键词 “adetailer stable diffusion”，通常这个网页在搜索结果中排名第一。或者直接在浏览器地址栏输入网址。 到了 Github 网页(https://github.com/Bing-su/adetailer)以后，点击 “Code” 按钮，在弹出的窗口中点击 “复制url到剪贴板”按钮。这时候网址就被复制到了剪贴板上。 ADetailer 的 GitHub…