Stable Diffusion 프롬프트 가이드: 모델별 실전 작동법

Valentina Reyes · 2026년 9월 7일 · Prompt Techniques by Model

요약

SD1.5, SDXL, SD3.5는 각자 다른 프롬프트 문법을 쓴다. 이 가이드는 모델 버전별 정확한 문법, 네거티브 프롬프트, 가중치 메커니즘, LoRA 통합, 그리고 바로 복사해서 쓸 수 있는 예시를 다룬다.

아트 디렉터 작업 공간에 무드보드 벽에 AI 생성 프린트가 핀으로 꽂혀 있다

stable diffusion 프롬프트 가이드에서 배워야 할 첫 번째 사실: SD1.5, SDXL, SD3.5는 각자 완전히 다른 프롬프트 문법을 쓴다. 일반 프롬프트를 복붙해서 들쑥날쑥한 결과를 얻고 있다면, 문제는 프롬프트 내용이 아니라 구조에 있다.

SD1.5, SDXL, SD3.5: 각 모델에는 자기만의 언어가 있다

초보자 가이드의 가장 큰 실수는 Stable Diffusion을 하나의 도구로 취급하는 것이다. 실제로는 세 가지 서로 다른 프롬프트 언어다.

SD 1.5는 짧고 밀도 있는 토큰 리스트를 원한다. 모델은 위치에 따라 가중치가 부여된 개념 묶음으로 프롬프트를 읽는다. 앞에 나오는 개념일수록 더 많은 주목을 받는다. 중요한 것을 먼저 써라. portrait of a woman, cinematic lighting, shallow depth of field, film grain, 35mm, kodachrome, highly detailed가 잘 작동하는 이유는 피사체와 조명이 먼저 오기 때문이다. 긴 서술형 문장은 SD 1.5를 혼란스럽게 만든다. 문법을 파싱하도록 만들어진 모델이 아니다.

SDXL은 더 긴 프롬프트를 처리하고 품질 전문어에 잘 반응한다. (masterpiece, best quality:1.2), [subject], [style tags], [lighting], [camera] 구조는 여전히 신뢰할 만하다. SDXL은 SD 1.5보다 토큰 순서에 더 관대하지만, 여전히 문장이 아닌 리스트로 프롬프트를 읽는다. 핵심 차이: SDXL은 네거티브 프롬프트를 더 정밀하게 처리하므로 네거티브의 구체성이 더 큰 효과를 발휘한다.

SD 3.5는 규칙을 완전히 바꿨다. MMDiT-X 아키텍처와 트리플 텍스트 인코더 덕분에 이전 버전에서는 불가능한 수준의 자연어를 이해한다. A woman standing in front of a neon-lit bookshop in rain, photographed with a 50mm lens, warm interior light spilling out, film photography aesthetic를 쓰면 SD 3.5는 문장을 그대로 따른다. 같은 프롬프트를 SD 1.5에서 쓰면 어느 정도 봐줄 만한 결과가 나오지만 구도가 달라진다.

실용 테스트: 가장 좋은 SDXL 프롬프트를 그대로 SD 3.5에서 실행해봐. 괜찮은 결과가 나올 것이다. 이제 두 개의 자연어 문장으로 다시 써봐. 다시 실행해봐. 두 번째 결과가 구도 의도를 눈에 띄게 더 잘 따를 것이다.

SD 3.5는 이전 어떤 Stable Diffusion 버전보다 이미지 내 텍스트를 더 잘 처리한다. 출력에서 읽을 수 있는 텍스트가 필요하다면 SD 3.5가 유일하게 쓸 만한 버전이다.

Stable Diffusion 인터페이스에서 프롬프트를 입력하는 손

모든 버전에서 통하는 5단계 프롬프트 구조

어떤 모델을 실행하든, 이 구조가 신뢰할 수 있는 시작점을 제공한다:

피사체 - 첫 몇 단어에서 누구 또는 무엇인지 명확하게 서술
스타일 레퍼런스 - 시각 언어: cinematic, editorial, vintage photograph, brutalist illustration, analog
조명 - 가장 덜 테스트되는 변수 (soft diffused light, golden hour, hard directional light, neon rim light, overcast flat)
기술 및 카메라 - 초점 거리, 필름 스톡, 매체, 암시된 종횡비
품질 신호 - SD 1.5와 SDXL: best quality, highly detailed, 8k. SD 3.5: 생략해라. 아무 효과 없음

모든 버전에서 피사체를 먼저 써라. 출력이 이상해 보이면 토큰을 추가하기 전에 피사체 라인부터 수정해라.

SD 1.5와 SDXL 베이스, 훔쳐 써:

[subject], [style], [lighting], 35mm photography, film grain, highly detailed, best quality

SD 3.5 베이스, 훔쳐 써:

[Scene described in one or two sentences.] Shot on 35mm film, [lighting condition], [specific aesthetic reference].

둘 다 시작점이다. 모델의 동작을 파악했을 때 무엇을 밀어붙일지 알게 되면 적응시켜라.

네거티브 프롬프트: 일반 리스트는 버려라

90%의 가이드에서 찾을 수 있는 네거티브 프롬프트:

ugly, blurry, bad anatomy, extra limbs, deformed, low quality, worst quality, jpeg artifacts

틀린 건 아니다. 하지만 대부분의 맥락에서 실제 작업을 거의 하지 않는다. 네거티브 프롬프트는 네가 원하지 않는 것을 잠재 공간에 인코딩함으로써 작동한다. 실제 출력에 나타나는 문제에 더 구체적일수록 더 효과적이다.

배경이 지저분하게 나온다면: busy background, cluttered, noisy background, absent depth of field 추가.

인물이 해부학적으로 틀어진다면: asymmetrical eyes, deformed hands, fused fingers, extra fingers, elongated neck 추가.

프롬프트에도 불구하고 결과가 스톡 포토 방향으로 흐른다면: stock photo, overexposed, corporate photography, glossy, overly bright 추가.

훈련 데이터에서 워터마크 번짐이 보인다면: watermark, signature, logo, text overlay 추가.

SDXL 에디토리얼 포트레이트용 프로덕션 네거티브 프롬프트:

blurry, out of focus, bad anatomy, deformed hands, extra limbs, asymmetrical eyes, stock photo, overexposed, watermark, signature, text, low quality, worst quality, jpeg artifacts, plastic skin, airbrushed, over-retouched

피사체에 적용되지 않는 항목은 제거해라. 풍경 생성에 포트레이트 전용 네거티브를 쓰면 계산 낭비가 되고 실제로 원하는 것을 억제할 수 있다.

알아둘 것: SD 3.5는 네거티브 필드에서 자연어에 반응한다. No watermarks. Do not include text. Avoid overexposed highlights.가 토큰 리스트 옆에서도 작동한다. 두 형식을 모두 테스트하고 더 깨끗한 결과를 내는 쪽을 선택해라.

스튜디오 책상 위에 스타일 대비를 보여주는 두 AI 생성 프린트

가중치와 강조: 출력을 망치지 않는 방법

SD 1.5와 SDXL에서 괄호는 가중치를 높이고 대괄호는 낮춘다.

(cinematic lighting:1.3) - 이 개념에 30% 더 많은 가중치
[cluttered background] - 이 요소를 약간 억제
((very important detail)) - 각 괄호 쌍이 대략 1.1을 곱한다

엄격한 규칙: 어떤 단일 요소든 1.4 이하로 유지해라. 그 이상은 모델이 가중치가 부여된 개념을 왜곡하고 원하지 않는 방향으로 구도를 끌어당긴다. 강조를 추가하는 게 아니라 생성을 망치는 것이다.

흔한 실수: 여러 가중치 요소를 쌓는 것. (golden hour:1.3), (film grain:1.3), (shallow depth of field:1.2)를 실행하면 가중치 예산이 세 가지에 분산되어 어느 것도 깔끔하게 나오지 않는다. 가중치를 줄 요소를 하나 또는 두 개만 선택해라. 나머지는 자연 가중치로 유지해라.

SD 3.5에서는 가중치 문법의 효과가 적다. 모델의 자연어 이해는 문장 구조를 통해 강조가 전달된다는 의미다. an imposing Victorian mansion, with a small figure barely visible in the foreground라고 쓰면 괄호 문법 없이도 구도 관계가 전달된다.

SD 3.5에서 해볼 것: 가중치 토큰 없이 프롬프트를 구성해라. 세 번 이상의 생성에서 모델이 중요한 요소를 지속적으로 덜 강조할 때만 추가해라.

LoRA: 프롬프트 작성 방식을 바꾸는 것들

LoRA는 특정 스타일, 캐릭터 또는 피사체를 위해 Stable Diffusion을 튜닝하는 소형 애드온 모델이다. 하나를 로드하면 기본 프롬프트 전략이 바뀐다.

문법: 포지티브 프롬프트에 <lora:model_name:0.8> - 0.8이 가중치다. 0.7과 0.8 사이에서 시작해라. 1.0 이상은 종종 효과를 과포화시키고 포트레이트 피사체에서 해부학을 망가뜨릴 수 있다.

LoRA가 활성화될 때 변하는 것: 트리거 워드가 많은 가중치를 차지하므로 기본 프롬프트가 더 단순해질 수 있다. 트리거 워드 filmgrain35mm인 시네마틱 필름 그레인 LoRA를 로드하면 베이스에 35mm, kodachrome, film grain, analog photography가 필요 없다. filmgrain35mm portrait of [subject], soft window light, editorial라고 쓰고 LoRA가 텍스처 작업을 담당하게 해라.

변하지 않는 것: 피사체 라인, 조명 방향, 네거티브 프롬프트는 LoRA 없을 때만큼 중요하다. LoRA는 스타일과 표면을 처리한다. 잘못 구조화된 피사체 라인이나 출력 의도와 맞지 않는 구도는 고쳐주지 않는다.

신뢰할 수 있는 LoRA를 찾을 곳: Civitai가 주요 저장소다. 프로덕션 사용의 경우, 다운로드 수가 많고 네가 필요한 것과 가까운 예시 출력을 가진 LoRA를 선택해라. 다운로드 수가 적고 예시 이미지가 없는 LoRA는 블랙박스다. 생성보다 디버깅에 더 많은 시간을 쓰게 된다.

Stable Diffusion LoRA 어댑터를 나타내는 라이트 테이블 위의 투명 아세테이트 레이어

복사해서 쓰는 프롬프트: 여기서 시작해라

SDXL 에디토리얼 포트레이트:

Positive:

portrait of a woman in her late 30s, looking past the camera, editorial photography, soft window light from the left, muted warm tones, film grain, medium format, (shallow depth of field:1.2), highly detailed, best quality

Negative:

blurry, bad anatomy, deformed hands, plastic skin, overexposed, stock photo, watermark, text, low quality

SD 1.5 브루탈리스트 건축:

Positive:

brutalist apartment building exterior, raw concrete texture, overcast sky, documentary photography, wide angle, desaturated palette, high contrast shadows, 28mm lens, kodak tri-x grain, highly detailed

Negative:

people, cars, colorful, oversaturated, blurry, digital art, illustration, painting

SD 3.5 자연어 장면:

Positive:

A young woman reading in a small independent bookshop late afternoon, warm light from a window beside her, shot on 35mm film, editorial photography style, slightly underexposed, visible grain, candid feel

Negative:

blurry, deformed hands, asymmetrical eyes, watermark, stock photo, overlit

훔쳐 써. 원하면 리믹스해도 돼. 작동하는 것에서 시작해서 벗어나라.

이 프롬프트들을 실행할 플랫폼

로컬 GPU 설정 없이도 테스트할 수 있다. 여러 플랫폼에서 SD 기반 및 관련 모델을 브라우저에서 또는 API를 통해 실행할 수 있다.

계속 수정하기 전에 알아야 할 한 가지

대부분의 프롬프트 문제는 실제로 프롬프트 문제가 아니다. 시드 문제다.

무언가를 건드리기 전에 견고한 프롬프트를 최소 세 번 실행해라. Stable Diffusion은 확률적이다. 변동성은 생성 과정에 내장되어 있다. 좋은 프롬프트에서 나온 나쁜 출력 하나는 노이즈다. 같은 방식으로 틀린 나쁜 출력이 세 번 연속 나온다면, 그것은 행동할 가치가 있는 신호다.

실제로 작동하는 워크플로우: 프롬프트 구조를 고치고, 강력한 출력을 내는 시드를 찾고, 그 기준선에서 개선해라. 매 생성마다 프롬프트를 수정하면 비교할 기준점 없이 미미한 변경의 끝없는 루프에 갇힌다.

가서 해봐. 위의 프롬프트 중 하나를 선택해. ComfyUI, AUTOMATIC1111 또는 선택한 SD 플랫폼에 드롭해. 단어 하나 바꾸기 전에 열 번 실행해봐. 그 열 번의 실행에서 어떤 프롬프트 가이드보다 모델이 반응하는 것에 대해 더 많이 배울 것이다.

열어서 어떻게 구성됐는지 봐라.

자주 묻는 질문

SD1.5와 SDXL 프롬프트의 차이는 무엇인가?

SD1.5는 단어 순서가 출력에 영향을 미치는 짧고 밀도 있는 토큰 리스트가 가장 잘 작동한다. SDXL은 더 긴 프롬프트를 처리하고 (masterpiece, best quality:1.2) 같은 품질 전문어에 잘 반응한다. 두 버전 모두 자연어 문장이 아닌 토큰 리스트로 프롬프트를 읽는다.

SD3.5는 SDXL과 다른 프롬프트 형식이 필요한가?

그렇다. SD3.5는 자연어를 이해하므로 쉼표로 구분된 토큰 리스트보다 서술적인 문장이 더 잘 작동한다. 'best quality'나 'highly detailed' 같은 품질 신호는 SD3.5에서 측정 가능한 효과가 없으므로 생략해도 된다.

Stable Diffusion에서 효과적인 네거티브 프롬프트를 작성하는 방법은?

해부학 문제, 품질 아티팩트, 스타일 드리프트를 타겟으로 하는 기본 리스트로 시작한 다음, 실제 출력에서 나타나는 문제에 맞는 항목을 추가해라. 지저분한 배경, 스톡 포토 드리프트, 워터마크 번짐 등 실제 문제를 타겟으로 하는 것이 일반적인 긴 리스트보다 더 효과적이다.

SD 프롬프트에서 괄호 가중치는 어떤 값을 써야 하는가?

어떤 단일 요소든 1.4 이하로 유지해라. 1.4 이상의 값은 가중치가 부여된 개념을 왜곡하고 원하지 않는 방향으로 구도를 끌어당기는 경향이 있다. 강조하고 싶은 요소는 1.2에서 시작하고 거기서 조정해라. 같은 프롬프트에서 두 개 이상의 요소에 가중치를 주는 것은 피해라.

LoRA를 사용하면 프롬프트 작성이 어떻게 달라지는가?

LoRA가 활성화되면 트리거 워드가 많은 가중치를 차지하므로 기본 프롬프트가 더 단순해질 수 있다. LoRA가 이미 처리하는 스타일 토큰은 제거해라. 피사체 라인, 조명 방향, 네거티브 프롬프트는 LoRA 없을 때만큼 여전히 중요하다.

Stable Diffusion 프롬프트를 Flux나 Midjourney에서 사용할 수 있는가?

각 모델은 서로 다른 프롬프트 언어를 사용한다. Midjourney는 같은 방식으로 네거티브 프롬프트 필드나 가중치 문법을 사용하지 않는다. Flux 1.1 Pro는 SD3.5와 유사한 자연어에 더 잘 반응한다. 모델 간에 프롬프트를 그대로 복사하지 말고 각 모델에 맞게 조정해라.

왜 Stable Diffusion 출력이 생성할 때마다 많이 달라지는가?

Stable Diffusion은 각 생성에 랜덤 시드를 사용하며 이것이 출력에 크게 영향을 미친다. 이것은 정상적인 동작이다. 프롬프트가 잘못됐다고 결론 내리기 전에 같은 프롬프트를 세 번 이상 실행해라. 여러 출력이 같은 방식으로 잘못된다면 프롬프트 구조를 조정해라.