스테이블 디퓨젼 사용기 5 (각 메뉴 심화2)

챕터 2가 내용이 많아 둘로 나눈 2번째 파트이다.

 

스테이블 디퓨젼(이하 스디)의 확장 기능에 대해 알아보자.

 

짜잘한 UI 세팅은 건너뛰고 제일 중요한 ControlNet에 관해 살펴보자.

 

설치 관련해서는 책 앞에서도 언급되어 있어 건너뛰고 사용법위주로 보자.

 

컨트롤넷은 기존 이미지를 깊이맵, 포즈데이터, 외각선 맵등으로 변형할수 있는 기능이다.

 

컨트롤넷은 이미지 분석을 위한 Preprocessor 알고리즘과 컨트롤넷 확장 모델 선택 항목이 주요 구성 요소이다.

 

 

일반적으로 Preprocessor와 Model의 항목을 비슷한 이름으로 세팅한다. 

 

Preprocessor를 사용하지 않고 컨트롤넷을 사용할수도 있는데 사전에 라인만 그려진 일러스트라면 Preprocessor 이미지 분석이 필요없고, Canvas에 이미지를 세팅하고 Preprocessor 항목을 None으로 하고 알맞은 Model만 세팅하면 된다.

 

Canvas 이미지가 OpenPose 인식이 잘 되지 않을때 OpenPose Editor 확장 기능을 통해 포즈 데이터를 직접 만들어서 활용할수도 있다.

 

컨트롤넷 데이터가 결과물에 영향주는 가중치를 세팅한다. 값이 높을수록 컨트롤넷 형태를 따라간다.

 

 

Preprocessor : lineart_anime, Model : ..._lineart_anime

컨트롤넷 weight 0.25,  <lora:urbansamuraiv3testing:1>

 

Preprocessor : lineart_anime, Model : ..._lineart_anime

컨트롤넷 weight 0.1,  <lora:urbansamuraiv3testing:1>

weightg값이 작아지니 AI 자율성이 높아졌다.

 

Starting & Ending Control Step

샘플링 스텝에서 컨트롤넷이 영향주는 스텝 구간을 세팅하는거 일단 Starting 0, Ending 0.75로 세팅하면 샘플링 스텝 마지막 25구간은 컨트롤넷 영향을 받지 않게 된다.

 

이후 책은 스카이 박스 환경맵으로 넘어가게 되는데 관심없어서 패스. 나중에 배경작업하게 되면 찾을지도