如何将ControlNet与SDXL模型配合使用
众所周知SD1.5的模型ControlNet模型在SDXL上是不可以使用的,那我们使用SDXL时需要用到ControlNet怎么办呢,配合别担心这个教程以canny为例教你怎么将ControlNet和SDXL配合使用
更新我们的使用ControlNet
首先就是更新我们的ControlNet,在秋叶整合包中点击版本管理——扩展—— 一键更新就可以啦
也可以在WebUI中——扩展——已安装——检查更新——点击应用——重启WebUI
下载SDXL控制模型
您可以通过以下链接下载适用于 SDXL 的模型 ControlNet 模型。
lllyasviel/sd_control_collection at main (huggingface.co)
您可以将模型放入
stable-diffusion-webui\extensions\sd-webui-controlnet\models
或
stable-diffusion-webui\models\ControlNet
不过在下载的配合时候有这么多模型我们怎么选择呢
Canny模型
这边以Canny模型为例,我们不用全部下载,使用我这边已经测试了这些模型的模型生成效果和速度
速度测试
模型大小
虽然diffusers_xl_canny_full效果很好,但不幸的配合是,它是使用最大的。(2.5 千兆字节)而且生成的模型时间也比较久,如果你只在乎质量不在意时间并且电脑配置很好可以考虑这个
kohya_controllllite控制模型非常小。配合鉴于它们的使用体积小,它们的模型表现非常好。
对 Canny SDXL 的配合建议
如果您对它的大尺寸和较低的速度感到满意,请使用diffusers_xl_canny_full。使用
如果您需要更小、更快的模型并且可以接受风格的轻微变化,请使用kohya_controllllite_xl_canny。
使用sai_xl_canny_128lora以获得合理的文件大小,同时减少样式的更改。
控制权重参数对于生成良好的图像至关重要。大多数型号需要它低于 1。
-------------------------------------------------------------------------------------------
想要深入学习更多AI教程,请访问我们的教程网站:
AI教程_深度学习入门指南 - 站长素材 (cssjc.com)
(责任编辑:电商)
- ·有人冒充“抖音客服”诈骗!抖音提醒:官方不会以任何理由要求用户转账
- ·港大开源图基础大模型OpenGraph 增强图学习泛化能力
- ·谷歌DeepMind发布AlphaFold 3 有望加速药研发
- ·小米宣布澎湃OS版本调整:Beta版替换开发版 升级无需清除数据
- ·00后小伙炫耀年会抽到iPhone 15 还没捂热被骗走 后续来了
- ·谷歌DeepMind发布AlphaFold 3 有望加速药研发
- ·老外被中国人的约饭节奏震惊了:每天都能感受到变化
- ·Neuralink首例人类脑机接口手术后出问题:电极线脱落 数据捕获量减少
- ·网友吐槽服务区充电桩比加油贵 2.98元/度电:官方回应了
- ·降800元!拼多多百亿补贴上线苹果全新iPad Air 6:4199元起
- ·开源AI拯救Meta一夜飙升1960亿刀,39岁小扎爬出元宇宙深坑!年分红7个亿,靠Llama赢麻了
- ·2024年中国品牌价值500强发布:抖音首登榜首
- ·OpenAI公布Model Spec框架初稿,引领AI工具行为规范
- ·为了你好且环保!苹果也对iPad下手 新款开始不附赠充电器
- ·12306回应遛娃车厢:暂未接到通知 上车后可跟乘务员询问相关事宜
- ·马云20年前淘宝论坛旧贴谈用户:用户应该是电商受益者
- ·一部短剧带火一座城,是真风口还是伪概念?
- ·时隔四年半 范闲霸气回归!《庆余年2》首播4集不断更:彩蛋预告片抢先看
- ·突然!雷军暂别小米手机 聚焦汽车业务:卢伟冰兼任 首讲小米14 Ultra
- ·李斌谈华为小米入局造车:称华为小米入局造车对行业是好事