用SD模仿Midjourney的艺术效果
今天,我们将探索如何使用几种不同的LoRA,让Stable Diffusion生成的图像更接近Midjourney的艺术效果。这些LoRA可以组合使用,从而形成不同的效果组合。我们会在ComfyUI里搭建工作流来组合使用这些LoRA。当然,你也可以在WebUI或者Fooocus里使用这些LoRA。
我将会展示工作流生成的图片。通过这些图片,你可以很直观地了解不同的LoRA和它们的组合带来的不同效果。
如果你喜欢看视频教程,那么我非常欢迎你观看本文所对应的视频(B站同名帐号):
要用到的LoRA介绍
这些LoRA都可以在C站上下载。
- Midjourney V6 Style:模仿Midjourney V6版本的效果。
- Midjourney mimic:模仿Midjourney V5.2版本的效果,增添细节,增强颜色和背景的深度。
- xl_more_art:提升画面的艺术性并增强细节,但不模仿Midjourney的效果。
- Detail Tweaker:增强或减少画面细节,可与其他LoRA搭配使用。
使用的Checkpoint
在本教程中,我使用的Checkpoint是Albedobase XL。相比于其他模型,它的艺术效果更好,也更接近Midjourney。当然,你也可以用其他Checkpoint。如何知道哪些Checkpoint和LoRA搭配效果好呢?你可以在C站的LoRA页面查看其他用户生成的效果图。
点击你喜欢的图,查看生成这张图片用到的Checkpoint,例如RealVisXL。
在ComfyUI中搭建工作流
最简单的工作流
1️⃣ 下载并安装效率节点。
2️⃣ 最简单的工作流只需要4个节点。
3️⃣ 设置同时使用的LoRA数量。
复杂一点的工作流
在某些情况下,效率节点并不好用,可以使用更复杂的工作流:
1️⃣ 在ComfyUI默认工作流的基础上,添加两个节点。
2️⃣ 如果找不到这些节点,可以在ComfyUI管理器里安装“Comfyroll Studio”这个节点。
3️⃣ 这个节点最多允许同时使用3个LoRA。如果需要更多,可以再连接一个相同的节点。
LoRA的对比与组合
对比提升艺术效果的LoRA
我们将对比”Midjourney mimic”、”xl_more_art”和”Midjourney V6 Style”生成的效果。我这里用的LoRA权重都设为了1。
💠人像对比:
- “Midjourney mimic”生成的图像饱和度非常高,可以通过降低LoRA权重使效果更自然。
- “Midjourney V6 Style”和”Midjourney mimic”生成的图像有些复古风格。
- “xl_more_art”更接近Stable Diffusion的风格。
- 不使用LoRA生成的人像看上去更“素”。
💠 动植物和风景对比:
- “Midjourney mimic”对图像风格改造最大,但细节度不足或颜色失真,需要降低权重。
不同权重组合的效果
通过不同权重组合使用LoRA,可以得到不同的效果。这里面的组合方案有很多。我倾向于把”xl_more_art”的权重设置得最高,把”Midjourney mimic”的权重设置得最低。因为”xl_more_art”对风格的影响最小一些,但它最稳定,所以要设置高权重。”Midjourney mimic”对风格的影响最大,但很容易出现一些细节性的错误,所以要设置低权重。
💠我的推荐组合:
- “xl_more_art”权重:0.8
- “Midjourney V6 Style”权重:0.5
- “Midjourney mimic”权重:0.1
💠效果对比:
- 单独使用”xl_more_art”生成的图片。
- “xl_more_art”组合”Midjourney V6 Style”生成的图片,背景元素更多。
- 组合3个LoRA生成的图片,整体艺术感和细节更丰富。
💠再来看一张图片:
引入”Detail Tweaker XL”
💠组合方案:
- “Midjourney V6 Style”权重:0.8
- “Midjourney mimic”权重:0.2
- “Detail Tweaker”权重:3
💠效果对比:
- 最左边:仅使用”Midjourney V6 Style”生成的图像。
- 中间:加了0.2的”Midjourney mimic”后,画面色彩更丰富。
- 最右边:再加了”Detail Tweaker”后,细节更加丰富,人物服装和背景增加了更多元素。
💠再来看一张图片:
- 从左到右,画面的动感不断增强
总结
通过本文的对比和组合,相信你已经对不同LoRA的效果有了更深入的了解。你还可以尝试其他组合和不同的权重,以及其他Checkpoint。生成的效果未必比Midjourney差。希望你能在创作过程中发现更多可能性!