스테이블 디퓨전 실사 뽑기를 위한 필수 세팅

AI 그림 그리기 툴 중에서도 무료이면서 압도적인 자유도로 인해 많이 사용하는 툴이 스테이블 디퓨전입니다. 

스테이블 디퓨전은 '화가들'이라 할 수 있는 모델(체크포인트)과 로라(Lora), 그리고 임베딩(embedding)을 적용해 줘야 원하는 톤의 이미지를 뽑을 수 있습니다. 모델과 로라, 그리고 임베딩의 개념은 무엇인지 그리고 어떻게 적용하면 되는지 쉽게 설명드릴게요.

 

 

* 스테이블 디퓨전 메인 화면 기능들을 아직 다 모르고 있다면? 

스테이블디퓨전 메인화면 주요기능 정리

 

스테이블 디퓨전 체크포인트 모델 로라 

1) 체크포인트(Checkpoint, 모델)

체크포인트는 보통 모델이라고 많이 부릅니다. 쉬운 말로 “메인 화가”입니다.

그림이나 사진의 스타일과 톤을 결정하는 가장 중요한 것이 바로 모델입니다.

모델 1개 당 최소 1GB ~ 최대 7GB대에 이르기까지 매우 다양합니다. 메인 화가이기 때문에, 하나의 이미지 당 1개의 모델만 사용 가능합니다.

 

 

2) 로라(Lora)

로라(Low Rank Adaption)는 기존에 있는 모델로부터 피사체를 새롭게 학습시킨 것으로, 메인으로 체크포인트를 선택 후 서브로 적용해서 사용합니다.

전체적인 스타일이나 톤은 모델로, 피사체의 디테일이나 shape, 표정 등은 로라를 추가해서 이미지를 생성합니다. 모델과 다르게 1개의 로라는 보통 50MB ~ 200MB 선으로 용량이 큰 편은 아닙니다.

모델과 다르게 1개 이상의 로라를 적절 비율로 섞어 쓰는 경우도 많이 있습니다. 다만, 일부 로라는 서로 충돌하면서 예상치 못한 결과물이 나올 수 있기 때문에 적당하게 사용하시는 것이 좋습니다. 

 

3) 임베딩(embedding)

Textual inversion이라고 칭해지기도 하는 Embedding(임베딩)은, 메인 모델에는 영향을 주지 않는 하위 개념입니다.

내가 적은 프롬프트에 양념을 뿌려 부정확성이나 부가적인 디테일을 살려서 완성도를 높이는 개념으로 사용합니다. 용량은 1MB 미만이 대부분으로 아주 적습니다. 임베딩 역시 로라와 마찬가지로 1가지 이상을 사용하는 경우가 있습니다.

 

이렇게 모델과 로라, 그리고 임베딩이 무엇인지 간단하게 알아보았는데, 중요한 것은 설치와 사용 방법이죠.

이 방법을 잘 익혀두셔야 앞으로 스테이블 디퓨전으로 다양한 응용을 할 수 있습니다.

 

 

 

모델 로라 임베딩 추천 및 설치

먼저 모델부터 추천드리겠습니다.

리얼한 실제 사진 같은 실사 이미지를 뽑기 위한 모델로는 Chilloutmix와 henmix를 많이 사용합니다.

그리고 반실사 느낌은 DreamShaper나 Deliberate라는 모델을 써 보실 것을 추천드리며, 파스텔 톤의 애니 느낌으로 뽑길 원하신다면 orangemix와 pastelmix라는 모델을 사용하시면 좋습니다.

 

물론 많은 모델을 다운로드하면 좋지만, 구글 드라이브 용량의 한계와 로컬 설치 역시 SSD 용량 문제도 있기 때문에 대표적인 모델들이자 활용도가 매우 높은 Chilloutmix, Deliberate, Dreamshaper, Orangemix 이 4가지 모델을 다운로드해서 설치하는 법을 알려드리겠습니다.

 

모델 다운로드

- Chilloutmix : https://civitai.com/models/6424/chilloutmix

- Deliberate : https://civitai.com/models/4823/deliberate 

- Dreamshaper : https://civitai.com/models/4384/dreamshaper

- AOM3 Orangemix : https://huggingface.co/WarriorMama777/OrangeMixs/tree/main/Models/AbyssOrangeMix3

 

참고로 위에 언급된 사이트 2곳은 스테이블 디퓨전을 사용하게 되면 굉장히 많이 접속하게 될 사이트이기 때문에 로그인을 해 두시는 것이 좋습니다. 무료 사이트입니다. 

 

다음은 로라입니다. 로라 역시 모델과 마찬가지로 Civitai.com 이곳에 가장 많이 있습니다.

사이트에 들어가셔서 우측 상단에 있는 필터 모양을 눌러보시면, 원하는 종류와 나에게 맞는 스테이블 디퓨전에 해당하는 것들만 보여주기 때문에 훨씬 더 빠르게 원하는 유형의 파일들을 샘플사진과 함께 둘러보실 수 있습니다.

로라 다운로드

- Korean-doll-likeness : https://huggingface.co/AnonPerson/ChilloutMix/blob/main/Korean-doll-likeness.safetensors

 실사 이미지 얼굴을 위한 로라

- Muse_fullbody : https://civitai.com/models/13594/musefullbodyv1 전신이 나오는 이미지를 뽑기 위한 로라

- Western ink : https://civitai.com/models/28712/western-ink-lora 흑백만화 같은 이미지를 뽑는 데 유용한 로라

- Cheese Daddy’s landscape mix : https://civitai.com/models/7479/cheese-daddys-landscapes-mix-35-lora-extract 풍경, 배경 이미지 생성에 좋은 로라

- XSarchitectural-21 Futuretechnologycity https://civitai.com/models/27530/xsarchitectural-21futuretechnologycity 미래지향적, 공상과학 같은 도시 이미지를 뽑는 데 유용한 로라

 

마지막으로, 임베딩입니다. 

임베딩 다운로드

- Ulzzang6500 : https://civitai.com/models/8109/ulzzang-6500-korean-doll-aesthetic 실사 이미지 중에서 얼굴을 예쁘게 만드는 데 유용한 로라

- Deepnegative : https://civitai.com/models/4629/deep-negative-v1x 실사 느낌의 이미지를 생성할 때 필수적인 임베딩으로, 인물사진을 뽑을 때 이상하게 나올 만한 요소들을 담은 임베딩입니다. Negative Prompt에 적용하는 임베딩입니다.

- badhandV4 : https://civitai.com/models/16993/badhandv4-animeillustdiffusion AI가 가장 약한 영역인 손 그리기를 꽤나 보완해 주는 임베딩입니다. Negative prompt에 적용하는 임베딩입니다.

 

모델 로라 임베딩 설치 방법

위에서 다운로드하신 모델과 로라, 임베딩을 스테이블 디퓨전에 적용시키는 방법입니다. 

다운로드하신 파일을 아래 내용을 참고하셔서 파일을 이동시키시면 됩니다. 거의 유사하나 스테이블 디퓨전 설치 형태에 따라 아주 약간 차이가 있습니다.

 

 

구글 코랩 사용자

1) 모델 저장위치 - 내 드라이브/sd/Stable-diffusion-webui/models/Stble-diffusion

2) 로라 저장위치 - 내 드라이브/sd/Stable-diffusion-webui/models/Lora

3) 임베딩 저장위치 - 내 드라이브/sd/Stable-diffusion-webui/embedding

이 위치에 각각 파일을 업로드하시면 됩니다.

 

로컬 PC 설치 버전 사용자

1) 모델 저장위치 - C:\설치폴더명\stable-diffusion-webui\models\Stable-diffusion 

2) 로라 저장위치 - C:\설치폴더명\stable-diffusion-webui\models\Lora

3) 임베딩 저장위치 - C:\설치폴더명\stable-diffusion-webui\embedding

 

 

** 하시다 모르시는 게 있거나 궁금한 사항이 있으시면 댓글로 주세요!

 

 

< 함께 읽어보시면 좋은 글 > 

스테이블 디퓨전 프롬프트 활용과 용응 방법

스테이블 디퓨전 실사 뽑기 초간단 방법