AI그림/Draw things

[Draw Things] Civitai 모델 및 VAE 적용하기

퀴킷 2023. 4. 13. 20:47

Draw things 정보가 많이 없어서
공부할 겸 정리해둠


1. VAE (Variational AutoEncoder) : 색감조절



모델만 사용하면 물감이 빠진듯한 색감으로 나오거나
안개가 낀 듯 뿌옇게 나온다.
그렇기에 모델에 vae를 먹여주는 것이다.



우선 아래 링크로 다운받아두자
범용으로 많이 사용하는 vae이다.
압축은 해제할 필요 없다.


1) 애니메이션/일러스트 보정 :  kl-f8-anime2

https://huggingface.co/hakurei/waifu-diffusion-v1-4/blob/main/vae/kl-f8-anime2.ckpt

vae/kl-f8-anime2.ckpt · hakurei/waifu-diffusion-v1-4 at main

Git LFS Details SHA256: df3c506e51b7ee1d7b5a6a2bb7142d47d488743c96aa778afb0f53a2cdc2d38d Pointer size: 134 Bytes Size of remote file: 405 MB Git Large File Storage (LFS) replaces large files with text pointers inside Git, while storing the file contents on

huggingface.co


2) 실사 보정 :  840000

https://huggingface.co/stabilityai/sd-vae-ft-mse-original/blob/main/vae-ft-mse-840000-ema-pruned.ckpt

vae-ft-mse-840000-ema-pruned.ckpt · stabilityai/sd-vae-ft-mse-original at main

Detected Pickle imports (4) "torch._utils._rebuild_tensor_v2", "torch.IntStorage", "torch.FloatStorage", "collections.OrderedDict" What is a pickle import?

huggingface.co









2. 모델
그림체라고 생각하면 된다.
같은 시드와 프롬을 입력하더라도
어떤 모델을 쓰느냐에 따라 작업물의 그림체가 달라진다.

여기서 다운받을 수 있다.
https://civitai.com/

Civitai | Stable Diffusion models, embeddings, hypernetworks and more

Civitai is a platform for Stable Diffusion AI Art models. We have a collection of over 1,700 models from 250+ creators. We also have a collection of 1200 reviews from the community along with 12,000+ images with prompts to get you started.

civitai.com



일러스트 계열은
Abyss Orange Mix 2(AOM2)
Abyss Orange Mix 3(AOM3)
Anything v5


반실사는 Henmix 2.5D

실사는 Henmix real이 가장 나은 듯하다.

(23.04.17 기준)


모델은 하나만 쓰는 게 아니라
이것저것 써보면서 고쳐나가는 것이니
검색해서 마음에 드는 모델들을 받으면 된다.

단, 추천 vae는 모델마다 다르니 설명을 잘 읽어봐야한다.






나는 aom3 선택
다운로드 버튼이 아니라 삼각형을 누른다.





Draw Things 영역의 파란색 화살표를 누르면
자동으로  앱으로 넘어가며 다운로드된다.




  • Model Name : 알아보기 쉽게 모델명+(vae명)으로 설정해 주자)
  • Trigger word : 설정해 두면 프롬프트가 자동으로 입력된다. 아래의 기본 국밥 프롬프트를 입력해 주자. 마지막 쉼표는 지우지 않아야 편하다.

masterpiece, best quality, ultra-detailed, illustration, 1girl, solo,

  • Custom Variational Autoencoder (VAE) : 아까 다운 받은 vae 알집파일 선택





저장공간 확보를 위해 다운받았던 모델 파일을 지울지 물어본다.
지워도 무방한데 그냥 둬도 나중에 다른 모델이나 vae를 섞을 때 유용하다.





완료.


네거티브 프롬프트는 최대한 간단할수록 좋다고 한다.
(worst quality, low quality:1.4),

아래는 오렌지믹스3 기준
제작자가 추천하는
애니캐릭터 느낌을 살리고 싶을 때 쓰는 네거티브이다.

  • Negative Prompt :

nsfw, (worst quality, low quality:1.4), (realistic, lip, nose, tooth, rouge, lipstick, eyeshadow:1.0), (dusty sunbeams:1.0), (abs, muscular, rib:1.0), (depth of field, bokeh, blurry:1.4), (motion lines, motion blur:1.4), (greyscale, monochrome:1.0), text, title, logo, signature,




아래는 추천 세팅이다.

  • Steps:

DPM++ SDE Karras: Test: 12~ , illustration: 20~
DPM++ 2M Karras: Test: 20~ , illustration: 28~

  • Clipskip: 1 or 2
  • Upscaler :

Simple upscale:  ESRGAN, Remacri 등
Denoise strength: 가능한 낮게 (0.35~0.6)








추천 세팅 결과물