ControlNet的创始人张吕敏是一位令人瞩目的年轻科研人员,于2021年本科毕业后,目前在斯坦福大学攻读博士学位。ControlNet是他提出的一项创新神经网络概念,旨在通过额外的输入来精确控制预训练的大型模型,例如稳定扩散(Stable Diffusion 的WebUI和ComfyUI)。
14个插件模型包括:
- Canny硬边缘
- Depth深度图
- MLSD建筑直线
- Normal法线贴图提取
- OpenPose开放姿势
- Scribble涂鸦
- SoftEdge软描边检测
- Seg语义分割
- 。。。。
这本质上是一种端到端的训练方法,类似的AI模型早在2017年就出现过,但本次的创新之处在于将优质的大型模型(如Stable Diffusion)融入其中,为端到端训练提供更广泛的应用领域。ControlNet成功解决了文生图大型模型面临的重要问题:传统的基于关键词的控制方式无法满足对细节的精确控制需求。张吕敏的工作为深度学习领域带来了新的思路,为更高级别的模型控制和细致的生成过程提供了有力支持。
评论0