首页 » AIGC专栏 » 正文

stable diffusion精确替换指定元素

这应该是我在学习stable diffusion在实践中的首次运用了

快到端午节了,想设计一个端午节为主题的海报,我首先构思的是这样的一副画面:一个女孩,手上端着一个盘子,盘子里面装着几个粽子,实在风和日丽的天气,远处还有池塘,池塘里面有荷叶、荷花,岸上还有树。

风格我使用了一个水彩画,有点中国风的意思,人物我用了汉服的模型,接下来就是生成

经过几轮的生成,“粽子”始终无法出现在画面中,这个很正常,如果我们想要把我们的产品体现在一张ai生成的画面中,必然需要自己训练,咋办呢?

以往,我们肯定会用ps来完成这个工作,如今我想尝试下在sd中完成。

首先我找来一个粽子的素材,经过适当处理后如下:

就是把找来的素材摆放到图片中对应的位置,我这里把“粽子”用ps放到了原来的盘子上,没有任何处理,只是粗暴的放在那里,画风颜色什么的,可谓“PS痕迹相当明显”,接下来我需要用局部重绘功能来完成真正的替换,需要注意两点:1、保持整体画风;2、看上去真的是里面的人物端着粽子。

在ps中得到一个蒙板

两处设置就可以了:

一、上传图片到局部重绘(上传蒙版)

如图:

二、设置controlNet

需要两个模型,reference_adain+attn 和 canny,预处理器和模型设置如下图:

reference是为了保持整体风格(画风、色调、颜色等),canny是把需要重绘的部分转换成线稿,然后在蒙板区域内重新绘制,以此来固定产品。

保持大模型不变,适当调整重绘幅度即可得到如下图片:

这就是我想要的小姐姐端着粽子走来的图片,最后ps中加入相关文字和logo即可完成端午节海报

发表评论