Stable Diffusion ControlNet & LoRA 고급 이미지 제어

High class 약 30분활용 사례

💡 ControlNet으로 포즈·구도를 정확하게 제어하고, LoRA로 특정 스타일·캐릭터를 일관성 있게 생성할 수 있어요. 단순 프롬프트를 넘어 전문가 수준의 이미지 제작이 가능합니다.

🔒 stability.ai

실제 화면

실수 방지 체크리스트

1ControlNet Weight를 1.5 이상으로 설정 → 이미지 왜곡·노이즈 — 1.0이 기본값, 최대 1.3 이내로
2베이스 모델과 맞지 않는 LoRA 사용 → 색깔 왜곡·품질 저하 — SD 1.5용 LoRA는 SD 1.5 체크포인트에서만, SDXL용은 SDXL에서만 사용
3img2img Denoising을 0.9 이상으로 설정 → 원본과 무관한 이미지 생성 — 기존 이미지 활용 시 0.5~0.7 권장

STEP 1 / 4…

STEP 1. ControlNet 설치 및 기본 개념

🔒 civitai.com

실제 화면

AUTOMATIC1111 WebUI에 ControlNet 확장을 설치합니다.

Terminal

# AUTOMATIC1111 WebUI 실행 후
# Extensions → Install from URL
https://github.com/Mikubill/sd-webui-controlnet

# 또는 Extensions → Available에서 'controlnet' 검색 → Install

# ControlNet 모델 다운로드
# Hugging Face에서 다운로드 (lllyasviel/ControlNet-v1-1)
# 저장 위치: models/ControlNet/

# 필수 ControlNet 모델
control_v11p_sd15_openpose.pth   # 사람 포즈
control_v11p_sd15_canny.pth      # 선/윤곽선 추출
control_v11p_sd15_depth.pth      # 깊이감 추출
control_v11p_sd15_lineart.pth    # 선화→채색
control_v11e_sd15_ip2p.pth       # 이미지 편집

# Hugging Face CLI 다운로드
pip install huggingface_hub
huggingface-cli download lllyasviel/ControlNet-v1-1 \
  --include '*.pth' \
  --local-dir models/ControlNet/

💡

ControlNet 모델 파일은 각각 1~2GB입니다. 처음에는 OpenPose와 Canny만 설치해 기본을 익힌 후 필요한 모델을 추가하세요.

이 단계를 완료했나요?