기타 18

스테이블 디퓨전을 활용하기 위한 세팅8 (ComfyUI, ControlNet사용법)

이 글은 개인적으로 학습한 내용을 정리하기 위한 글이다. https://www.youtube.com/watch?v=MvAnxje_XFQ&t=2s  영상 초반에 앞으로는 Forge가 연구용으로만 제공된다고 하고 기존 WebUI 방식으로 다시 사용하는게 좋다고 하는 내용이 나와 깜짝 놀랐다. 아무튼 ComfyUI (이하 콤피) 에서 콘트롤넷을 사용하기 위해서는 기존 WebUI에서 작업하던 방식을 알면 좋은데 여기를 참조해서 기본 방식으로 살펴보면 이전에 ControlNet을 사용할때 참고용 이미지 한장이 주어지고사전 처리기를 선택하고 관련 모델을 선택하면 사전 처리 이미지가 보였다. 그리고 사전 처리가 필요없을때(이미 추출한 뼈대 그림이나 뎁스 그림을 바로 쓸때),  none으로 함 이렇게 이미지를 이용해서..

일상 생활속 미드저니 프롬프트 얻기 (여름, 구름 많음, 약간의 먹구름)

일상 풍경들을 막상 미드저니로 표현하려면 어려울때가 많다. 그래서 틈날때 마다. 일반 사진을 /describe로 프롬프트를 얻어서 정리해볼까 한다. 아래는 원본사진구름은 어떻게 표현할 방법이 마땅치 않아 난감해서 어떻게 미드저니가 해석하나 살펴봤다.프롬프트들은 다음과 같다.1. Photograph of the sky with clouds, taken from an iPhone camera in low quality with no focus on the cloud in the center of the picture, grey and blue color palette, some clouds in the shape of a heart, clear sky without any bokeh or lens disto..

스테이블 디퓨전을 활용하기 위한 세팅 7 (Comfy UI 세팅하기)

이 글은 개인적으로 학습한 내용을 정리하기 위한 글이다.2024.6.21 작성한 글이다. https://www.youtube.com/watch?v=By7aAos-sV8&list=UULFBNpDgpRv0nRJvpmxcbk4mQ&index=12 AUTOMATIC1111 WebUI -> Forge 을 거쳐 어느정도 익숙해지면 다음 스텝으로 넘어가야 하는것이 Comfy UI이다. 스테빌리티 매트릭스를 실행해서 설치를 하자. 설치 자체는 아주 쉽기 때문에 영상 초입부에 나오는데로 진행하면 된다.혹시 설치도 처음이라면 여기를 참조해서 순서대로 보면 된다. Comfy UI에 대해 문서적으로 자세히 알고 싶으면 여기를 참조하자. 블로그에 아주 잘 정리되어 있다. 스테빌리티 매트릭스를 사용하면 WebUI, WebUI F..

미드저니를 활용하기 위한 세팅4 (오브젝트 만들기)

광고, 제품 시안을 위한 오브젝트 만들기 이번엔 오브젝트가 주가 되는 프롬프트들을 살펴보자. 아래 3가지가 중요한 키워드라고 한다. 테마세부명칭전시된 장소 미드저니로 오브젝트를 만들때는 다음 순서로 진행해보라고 한다.1. 오브젝트의 전체 콘셉트와 스토리 상상하기2. 오브젝트가 위치한 공간 설정하기3. 2에서 설정한 '공간'까지 가는 길 상상하기4. 오브젝트 재료 파악하기5. 상상한 내용을 프롬프트로 옮기기6. 상상한 결과물에 부합하는지 검토하기 테마오브젝트를 떠올렸을때 색상과 형태 재료등으로 형성되는 느낌을 테마라고 함 특정스타일의 용기푸른 색상의 유리 재질로 만들어진 그리스 스타일의 화장품 용기를 생성해보자. one type of blue glass cosmetic packaging on greek s..

스테이블 디퓨전을 활용하기 위한 세팅 5 (멀티 ControlNet)

이 글은 개인적은 학습한 내용을 정리하기 위한 글이다. https://www.youtube.com/watch?v=Yq0xJaZs7t8&list=UULFBNpDgpRv0nRJvpmxcbk4mQ&index=13 멀티 컨트롤넷 사용법이다혜님의 제로투 포즈인데 영상에 쓰인 정확한 이미지가 없어 동영상 캡처했다. 일단 여자 모델을 하나 생성하자.  저 이미지를 위의 이다혜님의 제로투 포즈로 바꿔보자.이다혜 이미지 좌측하단의 남성도 포즈 계산이 되면서 생성된 이미지에 영향을 미쳤다. 편집에 들어가서 왼쪽 하단에 보면 포즈 생성에 사용된 사람들 리스트가 있는데 불필요한 포즈가 나온 포즈를 선택해서 삭제해준다. 다시 생성해보면 좌측 하단의 사람은 사라졌는데 포즈가 영 어색하다. 이다혜의 포즈에서는 치마에 가려진 모습때..

미드저니를 활용하기 위한 세팅3 (배경)

책의 챕터4는 배경에 관한 내용이다. 배경을 표현할 때 고려할 4가지 키워드스토리 설정그래픽 표현 기법구성 요소해상도  전반적인 스토리 설정스토리 설정에 있어 장르와 세계관, 시간대, 장소의 분위기, 의외의 상황, 시대에 따른 환경등을 설명하는 키워드가 필요하다. 장르와 세계관책에서는 액션 RPG의 콘셉트 아트임을 선언하고 진행 Stunning concept art, Action RPG Game concept artwork, The capital of a large, dynamic drone cam view of medieval-style destroyed Castles and towns in ruined kingdom capitals, stunning visualization, game illustra..

미드저니를 활용하기 위한 세팅 2-2 (카테고리별 프롬프트)

책에 있는 캐릭터의 외형요소까지는 2-1에서 살펴봤고 계속해서 색으로 연출하는 분위기부터 알아보자. - 캐릭터가 바라보는 방향- 디테일을 살리는 그래픽 표현 기법- 캐릭터의 외형 요소- 색으로 연출하는 분위기- 캐릭터가 등장하는 배경- 나만의 캐릭터 만들기  - 색으로 연출하는 분위기- 은밀한 분위기의 흑백 톤흑백톤을 만들려면 black and white colors grading 키워드 추가 fantasy animation, Cel shading, bold strokes, A female elven archer hiding in a deep forest, her face covered by the hood of cloak, emotional reflector, soft shading, black and..

미드저니를 활용하기 위한 세팅 2-1 (카테고리별 프롬프트)

1편에 이어 계속 책 내용을 정리해보자. 챕터 2에서는 아래와 같은 내용으로 진행이 되는데- 인물, 동물, 상상 속 캐릭터 만들기- 영화, 게임, 애니메이션 배경 만들기- 광고, 제품 시안을 위한 오브젝트 만들기- 건축, 인테리어 공간 디자인하기- 실제로 찍은 듯 생생한 사진 만들기- 뇌를 자극하는 창의적 작품 만들기- 미드저니 실전에 활용하기 각 항목을 디테일하게 접근해보자. - 인물, 동물, 상상 속 캐릭터 만들기- 캐릭터가 바라보는 방향 정면 : front facing picture of [캐릭터의 외형/복장], front view옆면(캐릭터가 바라보는 방향) : right side view picture of [캐릭터의 외형/복장]후면 : back view picture of [캐릭터의 외형/복장..

미드저니를 활용하기 위한 세팅1

이 글은 개인적으로 학습한 것을 정리하기 위한 글이다. 참고가 되는 책은이지스 퍼블리싱에서 나온 된다! 미드저니 책이다. 저자는 킵콴(윤석관)이다. 여러가지 이미지 생성 AI가 있지만 현재로써는 그중에서 성능좋은 컴퓨터에 여러가지 옵션과 서브프로그램들을 설정해서 원하는 이미지를 얻는 스테이블 디퓨젼 계열과 언제 어디서든 메신저를 통해 원하는 이미지를 얻는 미드저니 계열이 각각 양 극단에 서있는 정상급 프로그램이라 생각된다. 각 프로그램들은 장단점이 확실한데스테이블 디퓨전은 수많은 옵션과 서브프로그램들을 통해 이미지의 일관성을 유지하면서 원하는 이미지들을 얻을수  있는게 장점인 반면성능좋은 컴퓨터가 필요하고 여러가지 옵션값에 대한 이해와 학습이 필요한 부분은 단점이라고 할 수 있겠다. 미드저니는 스테이블 ..

ChatGPT-4o 로 영상편집하기

개인적으로 공부한 걸 정리하는 글이다. 참고 영상https://www.youtube.com/watch?v=y1Xqjb2DA7U 간단한 영상은 이제 챗GPT로 처리하면 될듯 편집용 프롬프트해상도 비율 변경, 구간 삭제, 배속변경, 파일포맷변경, 다운로드 링크처리등을 진행할수 있다.공통적으로는 비트레이트 유지라는 명령어가 들어가야 화질을 유지할수 있다고 한다. 프롬프트1비디오를 다음과 같이 편집해줘- 해상도 너비를 1280 픽셀로 변경(종횡률 유지)- 비트레이트 유지- 5초~15초만 남기고 나머지 삭제- FPS를 30으로 변경- 다운로드 링크 제공 프롬프트2다음과 같이 편집해줘- 1~11초만 남기고 나머지 삭제- 비디오 속도를 0.5x로 변경- 흑백 영상으로 변경- AVI 형식으로 변경- 비트레이트 유지- ..

스테이블 디퓨전을 활용하기 위한 세팅 4 (Forge 에 ControlNet 모델 설치)

이 글은 개인적으로 학습한 내용을 기록하기 위한 글이다. 참고 동영상https://www.youtube.com/watch?v=_T3zvBva8uE  https://www.youtube.com/watch?v=4NS8bSwtud4   전 글에서 스테이블 디퓨전 포지의 기본 세팅에 대해 작업했었는데 이번 영상에서는 기본 세팅 이후에 추가 작업에 대해 언급하고 있다. 정리해 보도록 하자. 포지 메뉴에 보면 ControlNet Integrated 이라는 메뉴가 있는데 확장해서 보면  중간쯤에 사전 처리기, 모델 이라는 항목이 있는데 모델을 클릭해서 보면 아무것도 없는 상태이다. 이 모델은 수동으로 다운받아서 설치해야 한다. 깃주소 (https://github.com/lllyasviel/ControlNet-v1-1..

스테이블 디퓨전을 활용하기 위한 세팅 3 (Stable diffusion Forge)

이 글은 개인적으로 학습한 내용을 기록하기 위한 글이다. 참고 동영상https://www.youtube.com/watch?v=xgoTQP9Sm7M&list=UULPBNpDgpRv0nRJvpmxcbk4mQ&index=3 스테이블 디퓨젼으로 어느정도 학습하고 나니 스테이블 디퓨젼 Forge 라는게 나왔다. 스테이블 디퓨젼의 업그레이 버전 같은 것인데 대체로 기본 사용법은 동일한데 아래와 같은 내용들이 바뀌었다고 한다. - 생성속도가 빨라졌고- VRAM 사용 리소스도 적게 사용하면서- 결과 퀄리티도 올라간다고 하니 또한 포지는 콘트롤넷과 VAE, Clip Skip(Clip Skip에 관한건 여기 참조)도 기본적으로 설치되어 있다. 사용안할 이유가 없다. 그래서 스테이블 디퓨젼으로 어느정도 연습을 했다면 다음 ..

스테이블 디퓨전을 활용하기 위한 세팅 1

이 글은 개인적으로 학습한 내용을 기록하기 위한 글이다.  2024.5월 현재 굳이 따로 스테이블 디퓨젼을 설치하는게 아니라 Stability Matrix라는 아주 편리한 설치 패키지가 있어 이걸로 진행하면 된다. 이 패키지는 여러 장점이 있는데 우리가 파이썬이나 깃등의 부가적으로 설치할 프로그램의 버전등을 신경쓸 필요 없이 독립된 공간안에서 인스톨만 진행하면 알아서 처리된다는 점이고 여러 다른 최신 툴들도 같이 설치할수 있어서 좋고, 특히나 한번 설치한 모델들을 여러 툴들이 공용해서 사용한다는 점이 아주 매력적인 점이다. 좀 더 편한 스테이블 디퓨전 설치https://www.youtube.com/watch?v=dcppHNeJArM 영상에서 보면 https://lykos.ai/ 사이트에서 다음받아 진행한..

스테이블 디퓨전을 활용하기 위한 세팅 2

이 글은 개인적으로 학습한 내용을 기록하기 위한 글이다. 참고 동영상https://www.youtube.com/watch?v=W3N7JpjqLuU 프롬프트 작성법과 관리 팁을 정리해보고자 한다. 스테이블 디퓨전을 활용하기 위한 세팅 1와 이어지는 영상이고 거기서 세팅이 어느정도 되어 있어야 이후 작업을 좀 편하게 할수 있다. 대한항공 스타일의 여성 스튜어디스를 만드는 과정을 쭉 정리해보자.   여기서 체크포인트라는 용어가 나오는데 쉽게 말하면 어떤 이미지를 만들기 위한 베이스 모델이라는 의미이다. 영상에서는 저자가 Chilloutmix, Dreamshaper, Henmixreal이라는 것들을 가지고 있다고 나오는데 이 모델들은 civitai에서 쉽게 다운받을수 있다. 영상에서는 홈피에서는 검색만 한다. ..

스테이블 디퓨젼 사용기 5 (각 메뉴 심화2)

챕터 2가 내용이 많아 둘로 나눈 2번째 파트이다. 스테이블 디퓨젼(이하 스디)의 확장 기능에 대해 알아보자. 짜잘한 UI 세팅은 건너뛰고 제일 중요한 ControlNet에 관해 살펴보자. 설치 관련해서는 책 앞에서도 언급되어 있어 건너뛰고 사용법위주로 보자. 컨트롤넷은 기존 이미지를 깊이맵, 포즈데이터, 외각선 맵등으로 변형할수 있는 기능이다. 컨트롤넷은 이미지 분석을 위한 Preprocessor 알고리즘과 컨트롤넷 확장 모델 선택 항목이 주요 구성 요소이다. 일반적으로 Preprocessor와 Model의 항목을 비슷한 이름으로 세팅한다. Preprocessor를 사용하지 않고 컨트롤넷을 사용할수도 있는데 사전에 라인만 그려진 일러스트라면 Preprocessor 이미지 분석이 필요없고, Canvas에..