简介
ControlNet 是 Stable Diffusion 系统中的一个关键神经网络组件，它专门设计用于精细调控图像生成过程。
ControlNet 1.1 是该系列的最新正式版本，它与之前的 ControlNet 1.0 保持了相同的基础架构。需要强调的是，ControlNet 1.1 是基础模型，并非扩展版本。此外，每个 ControlNet 1.1 模型都配有相应的 .yaml 配置文件，这些文件应与模型文件放在同一目录下，并确保文件名与模型文件相匹配。
ControlNet 采用了条件生成对抗网络（CGANs）的技术，其工作原理如下：
- 它将主扩散模型的权重复制到两个副本中：一个“可训练副本”和一个“锁定副本”。
- 锁定副本保持了从大量图像数据中学习到的网络能力，确保了生成图像的质量和一致性。
- 可训练副本则在特定任务的数据集上进行训练，以学习如何根据特定条件控制图像生成过程。
- ControlNet 使用一种称为“零卷积”的特殊卷积层来连接可训练和锁定的神经网络部分，这种设计确保了模型在不同规模的数据集上都能表现出色。
模型列表（持续更新，建议收藏）
SDXL-controlnet OpenPose (v2)
controlnet-openpose-sdxl-1.0_diffusion_pytorch_model.bin
control-lora-openposeXL2-rank256.safetensors
OpenPoseXL2.safetensors
ControlNet-v1.1
control_v11e_sd15_ip2p.pth
control_v11e_sd15_ip2p.yaml
control_v11e_sd15_shuffle.pth
control_v11e_sd15_shuffle.yaml
control_v11f1e_sd15_tile.pth
control_v11f1e_sd15_tile.yaml
control_v11f1e_sd15_tile_fp16.safetensors
control_v11f1p_sd15_depth.pth
control_v11f1p_sd15_depth.yaml
control_v11f1p_sd15_depth_fp16.safetensors
control_v11p_sd15_canny.pth
control_v11p_sd15_canny.yaml
control_v11p_sd15_inpaint.pth
control_v11p_sd15_inpaint.yaml
control_v11p_sd15_inpaint_fp16.safetensors
control_v11p_sd15_lineart.pth
control_v11p_sd15_lineart.yaml
control_v11p_sd15_lineart_fp16.safetensors
control_v11p_sd15_mlsd.pth
control_v11p_sd15_mlsd.yaml
control_v11p_sd15_normalbae.pth
control_v11p_sd15_normalbae.yaml
control_v11p_sd15_openpose.pth
control_v11p_sd15_openpose.yaml
control_v11p_sd15_scribble.pth
control_v11p_sd15_scribble.yaml
control_v11p_sd15_scribble_fp16.safetensors
control_v11p_sd15_seg.pth
control_v11p_sd15_seg.yaml
control_v11p_sd15_softedge.pth
control_v11p_sd15_softedge.yaml
control_v11p_sd15_softedge_fp16.safetensors
control_v11p_sd15s2_lineart_anime.pth
control_v11p_sd15s2_lineart_anime.yaml
ControlNet-v1.0
controlnet_checkpoint.ckpt
control_sd15_canny.pth
control_sd15_depth.pth
control_sd15_hed.pth
control_sd15_mlsd.pth
control_sd15_normal.pth
control_sd15_openpose.pth
control_sd15_scribble.pth
control_sd15_seg.pth
其他衍生模型
Outfit To Outfit
outfitToOutfit_v20.safetensors
outfitToOutfit_v20.yaml
效果预览
AI软件库了解到ControlNet 的功能十分丰富，包括但不限于深度图生成、openpose 姿态估计、边缘检测、区域分割以及线条绘制等，这些功能为图像生成提供了高度的灵活性和控制力。
下载地址
评论0