기타/AI 활용하기 - 스테이블디퓨전 7

스테이블 디퓨전을 활용하기 위한 세팅8 (ComfyUI, ControlNet사용법)

이 글은 개인적으로 학습한 내용을 정리하기 위한 글이다. https://www.youtube.com/watch?v=MvAnxje_XFQ&t=2s  영상 초반에 앞으로는 Forge가 연구용으로만 제공된다고 하고 기존 WebUI 방식으로 다시 사용하는게 좋다고 하는 내용이 나와 깜짝 놀랐다. 아무튼 ComfyUI (이하 콤피) 에서 콘트롤넷을 사용하기 위해서는 기존 WebUI에서 작업하던 방식을 알면 좋은데 여기를 참조해서 기본 방식으로 살펴보면 이전에 ControlNet을 사용할때 참고용 이미지 한장이 주어지고사전 처리기를 선택하고 관련 모델을 선택하면 사전 처리 이미지가 보였다. 그리고 사전 처리가 필요없을때(이미 추출한 뼈대 그림이나 뎁스 그림을 바로 쓸때),  none으로 함 이렇게 이미지를 이용해서..

스테이블 디퓨전을 활용하기 위한 세팅 7 (Comfy UI 세팅하기)

이 글은 개인적으로 학습한 내용을 정리하기 위한 글이다.2024.6.21 작성한 글이다. https://www.youtube.com/watch?v=By7aAos-sV8&list=UULFBNpDgpRv0nRJvpmxcbk4mQ&index=12 AUTOMATIC1111 WebUI -> Forge 을 거쳐 어느정도 익숙해지면 다음 스텝으로 넘어가야 하는것이 Comfy UI이다. 스테빌리티 매트릭스를 실행해서 설치를 하자. 설치 자체는 아주 쉽기 때문에 영상 초입부에 나오는데로 진행하면 된다.혹시 설치도 처음이라면 여기를 참조해서 순서대로 보면 된다. Comfy UI에 대해 문서적으로 자세히 알고 싶으면 여기를 참조하자. 블로그에 아주 잘 정리되어 있다. 스테빌리티 매트릭스를 사용하면 WebUI, WebUI F..

스테이블 디퓨전을 활용하기 위한 세팅 5 (멀티 ControlNet)

이 글은 개인적은 학습한 내용을 정리하기 위한 글이다. https://www.youtube.com/watch?v=Yq0xJaZs7t8&list=UULFBNpDgpRv0nRJvpmxcbk4mQ&index=13 멀티 컨트롤넷 사용법이다혜님의 제로투 포즈인데 영상에 쓰인 정확한 이미지가 없어 동영상 캡처했다. 일단 여자 모델을 하나 생성하자.  저 이미지를 위의 이다혜님의 제로투 포즈로 바꿔보자.이다혜 이미지 좌측하단의 남성도 포즈 계산이 되면서 생성된 이미지에 영향을 미쳤다. 편집에 들어가서 왼쪽 하단에 보면 포즈 생성에 사용된 사람들 리스트가 있는데 불필요한 포즈가 나온 포즈를 선택해서 삭제해준다. 다시 생성해보면 좌측 하단의 사람은 사라졌는데 포즈가 영 어색하다. 이다혜의 포즈에서는 치마에 가려진 모습때..

스테이블 디퓨전을 활용하기 위한 세팅 4 (Forge 에 ControlNet 모델 설치)

이 글은 개인적으로 학습한 내용을 기록하기 위한 글이다. 참고 동영상https://www.youtube.com/watch?v=_T3zvBva8uE  https://www.youtube.com/watch?v=4NS8bSwtud4   전 글에서 스테이블 디퓨전 포지의 기본 세팅에 대해 작업했었는데 이번 영상에서는 기본 세팅 이후에 추가 작업에 대해 언급하고 있다. 정리해 보도록 하자. 포지 메뉴에 보면 ControlNet Integrated 이라는 메뉴가 있는데 확장해서 보면  중간쯤에 사전 처리기, 모델 이라는 항목이 있는데 모델을 클릭해서 보면 아무것도 없는 상태이다. 이 모델은 수동으로 다운받아서 설치해야 한다. 깃주소 (https://github.com/lllyasviel/ControlNet-v1-1..

스테이블 디퓨전을 활용하기 위한 세팅 3 (Stable diffusion Forge)

이 글은 개인적으로 학습한 내용을 기록하기 위한 글이다. 참고 동영상https://www.youtube.com/watch?v=xgoTQP9Sm7M&list=UULPBNpDgpRv0nRJvpmxcbk4mQ&index=3 스테이블 디퓨젼으로 어느정도 학습하고 나니 스테이블 디퓨젼 Forge 라는게 나왔다. 스테이블 디퓨젼의 업그레이 버전 같은 것인데 대체로 기본 사용법은 동일한데 아래와 같은 내용들이 바뀌었다고 한다. - 생성속도가 빨라졌고- VRAM 사용 리소스도 적게 사용하면서- 결과 퀄리티도 올라간다고 하니 또한 포지는 콘트롤넷과 VAE, Clip Skip(Clip Skip에 관한건 여기 참조)도 기본적으로 설치되어 있다. 사용안할 이유가 없다. 그래서 스테이블 디퓨젼으로 어느정도 연습을 했다면 다음 ..

스테이블 디퓨전을 활용하기 위한 세팅 1

이 글은 개인적으로 학습한 내용을 기록하기 위한 글이다.  2024.5월 현재 굳이 따로 스테이블 디퓨젼을 설치하는게 아니라 Stability Matrix라는 아주 편리한 설치 패키지가 있어 이걸로 진행하면 된다. 이 패키지는 여러 장점이 있는데 우리가 파이썬이나 깃등의 부가적으로 설치할 프로그램의 버전등을 신경쓸 필요 없이 독립된 공간안에서 인스톨만 진행하면 알아서 처리된다는 점이고 여러 다른 최신 툴들도 같이 설치할수 있어서 좋고, 특히나 한번 설치한 모델들을 여러 툴들이 공용해서 사용한다는 점이 아주 매력적인 점이다. 좀 더 편한 스테이블 디퓨전 설치https://www.youtube.com/watch?v=dcppHNeJArM 영상에서 보면 https://lykos.ai/ 사이트에서 다음받아 진행한..

스테이블 디퓨전을 활용하기 위한 세팅 2

이 글은 개인적으로 학습한 내용을 기록하기 위한 글이다. 참고 동영상https://www.youtube.com/watch?v=W3N7JpjqLuU 프롬프트 작성법과 관리 팁을 정리해보고자 한다. 스테이블 디퓨전을 활용하기 위한 세팅 1와 이어지는 영상이고 거기서 세팅이 어느정도 되어 있어야 이후 작업을 좀 편하게 할수 있다. 대한항공 스타일의 여성 스튜어디스를 만드는 과정을 쭉 정리해보자.   여기서 체크포인트라는 용어가 나오는데 쉽게 말하면 어떤 이미지를 만들기 위한 베이스 모델이라는 의미이다. 영상에서는 저자가 Chilloutmix, Dreamshaper, Henmixreal이라는 것들을 가지고 있다고 나오는데 이 모델들은 civitai에서 쉽게 다운받을수 있다. 영상에서는 홈피에서는 검색만 한다. ..