기타/AI 활용하기 - 스테이블디퓨전

스테이블 디퓨전을 활용하기 위한 세팅 1

codehunter 2024. 5. 15. 20:36

이 글은 개인적으로 학습한 내용을 기록하기 위한 글이다. 

 

2024.5월 현재 굳이 따로 스테이블 디퓨젼을 설치하는게 아니라 Stability Matrix라는 아주 편리한 설치 패키지가 있어 이걸로 진행하면 된다. 이 패키지는 여러 장점이 있는데 우리가 파이썬이나 깃등의 부가적으로 설치할 프로그램의 버전등을 신경쓸 필요 없이 독립된 공간안에서 인스톨만 진행하면 알아서 처리된다는 점이고 여러 다른 최신 툴들도 같이 설치할수 있어서 좋고, 특히나 한번 설치한 모델들을 여러 툴들이 공용해서 사용한다는 점이 아주 매력적인 점이다.

 

좀 더 편한 스테이블 디퓨전 설치

https://www.youtube.com/watch?v=dcppHNeJArM

 

영상에서 보면 https://lykos.ai/ 사이트에서 다음받아 진행한다. 영상하고 좀 다르긴 한데 다운로드 버튼을 눌러 진행한다.

 

 

 

 

 

Stable 버전을 다운받는다.

 

이 툴이 좋은게 그동안 다운받은 체크포인트 모델들을 AI툴끼리 서로 공유가 가능하고 관리도 쉽다는 점이다. 또한 포터블 옵션을 체크한다면 파이썬이라든지 주변 개발환경을 맞출필요가 없이 한 폴더안에 다 들어가있다는 것이다.

 

 

설치를 진행하다 보면 어떤 프로그램을 설치할건지 물어보는데 많이 보던 Stable Diffusion Web UI도 보인다.

 

 

 

 

Stable Diffusion Web UI를 선택하면 추천 모델을 같이 다운받을수 있다. 

 

 

추천이 가장 많은 DreamShaper를 선택하고 진행해보자.

 

설치가 끝나고 나면 다음과 같이 보이는데 난 추가로 ComfyUI까지 설치해서 2개가 보인다. 해당 패키지에 있는 Launch 버튼을 누르면 웹화면이 실행된다.

 

 

 

설치는 끝났지만 설치만 한다고 되는게 아니라 여러가지 모델이나 세팅등을 해줘야 원할하게 사용할수 있다.

 

참고영상

https://www.youtube.com/watch?v=LC1cu9BEvxA

 

- 한글세팅

StableDiffusion > Extensions > Available > 검색창에 ko > ko_KR Localiztion 설치 (한글화)

인스톨을 끝내고 

Extensions > Installed > Check for updates > Apply and quit 눌러서 UI 갱신 이때 매트릭스가 꺼지므로 Launch 눌러서 다시 실행후 웹화면으로 돌아온다.

StableDiffusion > Settings > User interface > Localiztion > ko_KR > 상단의 Apply settings 클릭> Reload UI 클릭

하지만 이미 영어가 더 편해서져서 걍 한번 해보고 다시 영어로 ...

 

- 이미지 저장 형식지정

StableDiffusion > Settings > Saving images/grids > 제일 상단의 Always save all generated imges 체크, File format for images 는 png로

 

- 이미지 저장 파일명 패턴 지정 (이걸 해놔야 관리할때 편함)

StableDiffusion > Settings > Saving images/grids > images filename pattern에 아래와 같이 입력

[datetime<%y%m%d-%H%M%S>]-[model_name]-[sampler]-[steps]-[cfg]-[seed]

 

- 업스케일링 기본 모델 지정

StableDiffusion > Settings > Upscaling > Select which Real-ESRGAN models to show in the web UI. 항목에서

취향에 맞는 모델 선택 

StableDiffusion > Settings > Upscaling > Upscaler for img2img 항목도 마찬가지

실사 : R-ESRGAN 4x+

애니 : R-ESRGAN 4x+ Anime6B

 

- img2img에서 색상 결과 일치 세팅

StableDiffusion > Settings > img2img > Apply color correction to img2img results to match original colors. 체크

 

- 메뉴 추가 (필수)

StableDiffusion > Settings > User Interface > Quicksettings list 항목에서 sd_vae, CLIP_stop_at_last_layers 선택

 

- 숨길 샘플러들 지정 (자주 사용하는것만 보이기)

StableDiffusion > Settings > Sampler parameres 에서 맨 위에 Hide samplers in user interface 항목에서 자주 사용하는 샘플러만 선택하기

 

- 기본 VAE 설치 (필수)

https://huggingface.co/stabilityai/sd-vae-ft-mse-original/blob/main/vae-ft-mse-840000-ema-pruned.ckpt

 

- 프롬프트 자동 완성

https://github.com/DominikDoom/a1111-sd-webui-tagcomplete 주소를

StableDiffusion > Extensions > Install from URL > URL for extensions git repository 안에 붙여넣고 인스톨

 

- 사람 얼굴 선명하게 

StableDiffusion > Extensions > Available > Load from 으로 기본 URL에서 목록 로드, 검색창에서 detailer  

ADetailer 선택후 인스톨

그후 사용시 ADetailer 사용을 체크하고 전신의 사람을 생성했을때 얼굴이 뭉개지면 자동으로 보정됨

 

 

- Dynamic Thresholding (CFG Scale Fix) CFG가 과도하게 높아도 어느정도 보정을 해줌

https://github.com/mcmonkeyprojects/sd-dynamic-thresholding

 

- 생성된 결과물들 확인툴

StableDiffusion > Extensions > Available > Load from 으로 기본 URL에서 목록 로드, 검색창에서 Browser

Image Browser 설치, Aspect Ratio selector plus UI related 도 검색해서 같이 설치(이건 화면 비율을 좀 더 편리하게 입력하게 해줌)

 

- 로라 학습툴 설치 (이건 옵션, 해도 되고 나중에 학습을 따로 시킬거면 설치)

https://github.com/kohya-ss/sd-webui-additional-networks