Stable Diffusion ControlNet & LoRA 고급 이미지 제어
ControlNet으로 포즈·구도를 정확하게 제어하고, LoRA로 특정 스타일·캐릭터를 일관성 있게 생성할 수 있어요. 단순 프롬프트를 넘어 전문가 수준의 이미지 제작이 가능합니다.
따라 하기
1단계
ComfyUI 설치 환경 준비 및 모델 다운로드
- ComfyUI를 사용하려면 Python 3.10+ 환경과 GPU(VRAM 6GB 이상 권장)가 필요합니다.
- 1github.com/comfyanonymous/ComfyUI에 접속해 설치 가이드를 확인합니다.
- 2모델은 civitai.com 또는 huggingface.co에서 다운로드합니다.
- 3HuggingFace 모델 다운로드를 위해 huggingface.co/join에서 무료 계정을 만듭니다.
civitai.com
실제 화면
팁 GPU가 없는 경우 Google Colab에서 ComfyUI를 무료로 실행할 수 있습니다. Colab에서 ComfyUI Colab 검색 후 기존 노트북을 복사해서 사용하세요.
막히면 볼 것
자주 하는 실수 3가지
- ControlNet Weight를 1.5 이상으로 설정 → 이미지 왜곡·노이즈 — 1.0이 기본값, 최대 1.3 이내로
- 베이스 모델과 맞지 않는 LoRA 사용 → 색깔 왜곡·품질 저하 — SD 1.5용 LoRA는 SD 1.5 체크포인트에서만, SDXL용은 SDXL에서만 사용
- img2img Denoising을 0.9 이상으로 설정 → 원본과 무관한 이미지 생성 — 기존 이미지 활용 시 0.5~0.7 권장
막혔을 때 볼 짧은 글 5개
AI 없이 할 때와 뭐가 다른가요?
랜덤한 프롬프트 결과 → ControlNet + LoRA → 의도한 포즈·스타일로 정확히 생성
원하는 포즈의 캐릭터를 프롬프트로만 생성하려고 해도 매번 다르게 나와서 쓸 수가 없어...
나
프롬프트만으로는 포즈·구도를 정밀하게 제어하기 어렵습니다.