大家好,我是小梁子。
在模型篇中,上一节和大家介绍了LORA模型【Stable Diffusion【模型篇】:LORA模型】,今天我们重点介绍一下VAE模型,大家和我一起来看看吧。
不同于LORA模型,VAE模型数量就少很多了,在C站搜索出来的VAE模型就只有11种。
这11种VAE模型:
Nenhance
因为VAE需要完成的功能主要是颜色滤镜,11种模型在实现上区别并不太大。最常用的VAE模型是"vae-ft-mse-840000-ema-pruned"。一般大家在使用的时候选择这种模型即可。
点击图片,进入详细页。
点击【Download】按钮,将VAE模型下载到本地即可。
VAE模型的安装
以autoDL算力云为例,直接将下载的文件放到下面的目录即可。
/stable-diffusion-webui/models/Stable-diffusion/models/vae/
完成安装后,在SD Web UI界面就可以看到对应的VAE模型了。一般VAE模型都是在大模型的右边。
很多时候,我们绘图时有没有选择VAE模型对我们最终生成的图片效果并没有太大的影响。因为这个模型并没有像LORA模型一样,在我们绘图中起到的作用和效果那么明显。我尝试了几个常用的大模型,发现使用和没使用VAE模型的区别并没有那么大。
下面我们以一个例子来看一下在使用和没使用VAE模型最终生成图片的区别。
大模型:anything-v4.5-pruned-fp16.ckpt
正向提示词:
Front-facing portrait of a 20-year-old girl with long, flowing blonde hair, piercing blue eyes, porcelain skin, delicate features, and a subtle smile. She is wearing a white summer dress, standing in a sunlit field of wildflowers, with a gentle breeze rustling her hair. The photo has a soft, dreamy quality, capturing the girl's natural beauty and innocence. Best quality, masterpiece, 8K resolution, DSLR, natural lighting, film-like grain,best quality, ultra-detailed, masterpiece, finely detail, highres, 8k wallpaper
反向提示词:
(worst quality:2), (low quality:2), (normal quality:2), lowres, ((monochrome)), ((grayscale)), bad anatomy,DeepNegative, skin spots, acnes, skin blemishes,(fat:1.2),facing away, looking away,tilted head, lowres,bad anatomy,bad hands, missing fingers,extra digit, fewer digits,bad feet,poorly drawn hands,poorly drawn face,mutation,deformed,extra fingers,extra limbs,extra arms,extra legs,malformed limbs,fused fingers,too many fingers,long neck,cross-eyed,mutated hands,polar lowres,bad body,bad proportions,gross proportions,missing arms,missing legs,extra digit, extra arms, extra leg, extra foot,teethcroppe,signature, watermark, username,blurry,cropped,jpeg artifacts,text,error
由于脚本中使用VAE模型选项时,必须要选择VAE模型,没有none(无)选项,不方便比较。所以这里我们采用固定生成种子的方式,保证生成的图片是一致的。我们看一下最终的效果。
没有使用VAE模型的效果:
使用VAE模型anything-v4.0.vae.pt的效果
使用VAE模型vae-ft-mse-840000-ema-pruned的效果
END