跳转至

概述

SD WebUI Forge 内置了一些扩展可供使用,下面就简单介绍内置扩展的使用。

Spaces

这是 SD WebUI Forge 其中一个扩展系统,功能类似 HuggingFace Spaces,提供了少量比较有用的扩展。

sd_webui_forge_spaces_interface

如果需要其中的某个扩展,点击该扩展右边的安装按钮即可进行安装,在控制台可以看到安装过程,安装完成后 Launch 按钮将可用。

点击 Launch 启动扩展,启动完成后将自动调用浏览器打开扩展的页面,在控制台也能看到扩展对应的页面地址。

如果需要关闭该扩展,点击 Terminate 将关闭该扩展的进程。

如果不再需要该扩展,可以点击 Uninstall 卸载该扩展。

Note

SD WebUI Forge 的 Spaces 功能中的扩展因为需要手动安装,不完全算 SD WebUI Forge 的内置扩展,所以不多介绍 Spaces 扩展的功能。

ControlNet Integrated

使用图片作为控制图片生成的条件,在前面的章节中讲过如何使用,所以本章将不再进行介绍。

controlnet_integrated_interface

具体介绍请阅读:ControlNet 应用 - SD Note

FreeU Integrated

该扩展可以调节出图的效果,提高图片的对比度,改善出图的细节。

freeu_interface

启用后,B1,B2,S1,S2 可以调节 FreeU 的作用效果,Start step 和 End step 分别条件 FreeU 起作用的起始时机和结束时机。

在左下角的 (presets) 中可以选择一些参数预设,根据自己使用的模型进行选择。

使用 FreeU 后,可以看到图片的对比度有了提高,在某些细节上效果更好。

使用 FreeU 前 使用 FreeU 后(使用 SDXL 预设)
generate_image_before_use_freeu generate_image_with_free

DynamicThresholding (CFG-Fix) Integrated

该扩展用于设置动态提示词引导系数,可使在较高的提示词引导系数下颜色能够保持正常。

下面提供一个预设值可供参考。

选项
Mimic Scale 5
Threshold Percentile 0.95
Mimic Mode Half Cosine Up
Mimic Scale Min 4
Cfg Mode Half Cosine Up
Cfg Scale Min 4
Sched Val 4
Separate Feature Channels enable
Scaling Startpoint MEAN
Variability Measure AD
Interpolate Phi 1

启用后,可以避免高提示词引导系数下颜色异常。

提示词引导系数 5 30(启用 DynamicThresholding) 30
效果图 use_cfg5_to_generate_image use_cfg30_with_dynamic_thresholding_to_generate_image use_cfg30_to_generate_image

Note

DynamicThresholding 相关的说明:mcmonkeyprojects/sd-dynamic-thresholding Wiki

SelfAttentionGuidance Integrated (SD 1.x, SD 2.x, SDXL)

该扩展用于提升生成图片的细节,改善出图效果。

_self_attention_guidance_interface

启用后使用默认值可得到比较好的效果,也可以自己调整这些值,测试哪些参数更好。

启用前 启用后
generate_image_without_self_attention_guidance generate_image_with_self_attention_guidance

PerturbedAttentionGuidance Integrated

该扩展用于优化图片细节,增加图片对比度,提高图片质量。

perturbed_attention_guidance_interface

通常使用默认值就有比较好的效果,当然可以尝试调整参数测试哪个参数效果较好。

PerturbedAttentionGuidance 3 5
效果图 generate_image_without_perturbed_attention_guidance generate_image_with_perturbed_attention_guidance_3 generate_image_with_perturbed_attention_guidance_5

Kohya HRFix Integrated

当想要直出 1920x1080 这样的高分辨率,但是所使用的 SDXL 模型是在 1024x1024 分辨率下进行训练的,这可能会出现画面崩坏,此时可以通过该扩展修复该问题。

kohya_hrfix_interface

使用默认值就可以得到比较好的效果,也可以尝试自己调整参数,有些参数组合可以提高画面的细节。

禁用 Kohya HRFix 启用 Kohya HRFix
generate_image_without_kohya_hrfix generate_image_with_kohya_hrfix

LatentModifier Integrated

该扩展可将滤镜应用于潜空间图像中,调整出图效果,可调节的效果有锐化等。

latent_modifier_interface

使用时根据自己需求调整参数即可。

StyleAlign Integrated

该扩展用于同时生成多张图片中,即单批数量大于 1 时能够起作用。

style_align_interface

启用该扩展后,如果设置单批数量同时生成多张图片,则该扩展将会在批次中分享注意力,使批次中每张图片的风格相似。

禁用 StyleAlign 启用 StyleAlign
generate_image_without_style_align generate_image_with_style_align

MultiDiffusion Integrated

该插件将潜空间图像进行分块,进行采样后再合并成一张完成的潜空间图像,可用于文生图生成超高分辨率图像或者在图生图中对图片进行放大。

multidiffusion_interface

下面给出一些 MultiDiffusion 的参数配置。

参数 1
方案 MultiDiffusion
Tile Width 1024
Tile Height 1024
Tile Overlap 256
Tile Batch Size 8
参数 2
方案 Mixture of Diffusers
Tile Width 1024
Tile Height 1024
Tile Overlap 96
Tile Batch Size 8

Tile Width 和 Tile Height 为分割图像的分辨率,Tile Overlap 为每个分块图像之间重叠的分辨率,较高的值可以减少接缝的产生,但是会增加图片生成的时长。

如果出现显存不足的情况,需要将 Tile Batch Size 的值调低。

文生图

在文生图可以用来生成超大分辨率图像,但单纯使用 MultiDiffusion 生成超大图像不适合生成单人物图像,因为分块会导致出现多人的情况,需要通过 ControlNet Canny / Lineart 进行控制。

如果单纯使用 MultiDiffusion 生成超大分辨率图像。比较适合生成风景图,不过画面的连贯性可能不是很好。

图生图

MultiDiffusion 用在图生图中放大图片比较好。

导入图片后并写上提示词,在重绘尺寸倍数设置好倍数,重绘幅度设置为 0.35,启用 MultiDiffusion Integrated 并设置好参数就可以进行图片放大了。

如果放大后的图片出现了鬼影,可以尝试将提示词中具体描述画面元素的提示词删去,或者加上 ControlNet Tile,重绘幅度修改为 0.6。如果 MuitlDiffusion Integrated 的方案选择 MultiDiffusion,则 Tile Overlap 调成 64,如果选择的是 Mixture of Diffusers,则 Tile Overlap 调成 32。这样就可以进行图片放大了。

对图片进行放大时,建议把 Never OOM Integrated 的 Enabled for VAE (always tiled) 勾选上,防止 VAE 阶段出现显存不足。

模型融合

该扩展可用于将两个融合在一起,或者将模型中的 VAE 进行替换。

在 SD WebUI Forge 中,模型融合扩展支持将 FLUX 模型进行量化并保存。模型选择 flux-1-dev.safetensors,VAE / Text Encoder 选择 t5xxl_fp16.safetensors、clip_l.safetensors、ae.safetensors,Diffusion in Low Bits 选择 bnb-nf4 后,在模型融合的 Save Current Checkpoint (including all quantization) 选项点击 Save Checkpoint 将选中的模型量化成 nf4 精度并保存成一个模型文件。

mode_merge_interface

Note

该扩展的相关说明:(Save Flux BitsandBytes UNet/Checkpoint)