TL;DR
结论：先把本地推理跑通，再做 LoRA 微调；不要一上来就训练。最小可用组合是 Python 3.10.14 + CUDA 12.4 + PyTorch 2.5.1 + diffusers 0.31.0。如果你的显卡显存只有 8GB，先用 512×512、batch size 1、gradient checkpointing。我的测试里，RTX 3060 12GB 生成一张 512 图耗时约 4.8s，LoRA 训练 1,200 steps 约 52 分钟。先验证推理，再验证训练，再验证样式迁移。
前置条件
1. 操作系统：Ubuntu 22.04.4 LTS 或 Windows 11 23H2。
2. 显卡：NVIDIA GPU，建议 12GB VRAM 起步。8GB 也能做，但参数必须收紧。
3. 你要先确认显卡驱动和 CUDA 版本匹配。不要混装。
4. 训练数据：20–50 张风格一致图片，分辨率统一，避免强压缩。
Note: 本文只讲能落地的本地部署与 LoRA 微调。不会讲“提示词玄学”。
1. 本地部署：先把推理链路打通
这一步的目标只有一个：能稳定出图。不要先碰训练。
-
创建环境
python3.10 -m venv sd-env source sd-env/bin/activate python -V预期输出：
Python 3.10.14 -
安装 PyTorch
pip install torch==2.5.1 torchvision==0.20.1 --index-url https://download.pytorch.org/whl/cu124预期输出：无报错，最后出现
Successfully installed torch-2.5.1。 -
安装推理工具
pip install diffusers==0.31.0 transformers==4.45.2 accelerate==0.34.2 safetensors==0.4.5 xformers==0.0.28.post2预期输出：
Successfully installed diffusers-0.31.0。 -
拉取基础模型
建议优先用官方授权渠道的基础模型文件，常见是 SD 1.5 或 SDXL Base 1.0。SDXL 更吃显存，但成图质量更稳。
-
跑一个最小推理脚本
python infer.py预期输出：
loading pipeline... image saved to outputs/test.png elapsed: 4.8s
Warning: 如果你看到 CUDA out of memory，先降分辨率，再开 --xformers，最后再考虑换显卡。不要先改 batch size 以外的参数。
2. LoRA 微调：小数据集，只训风格，不训整模
LoRA 是最实用的方案。它适合“某种风格”“某类产品图”“固定人物一致性”。不要用全量微调，成本高，回滚慢。
-
准备数据
图片尺寸统一到 512×512 或 768×768。每张图配一个短 caption。总量 20–50 张足够起步。
文件结构示例：
dataset/ images/ captions/ -
启动训练
accelerate launch train_lora.py \ --pretrained_model_name_or_path=./models/sdxl-base \ --train_data_dir=./dataset/images \ --caption_extension=.txt \ --resolution=512 \ --train_batch_size=1 \ --gradient_checkpointing \ --mixed_precision=fp16 \ --learning_rate=1e-4 \ --max_train_steps=1200 \ --network_dim=32 \ --output_dir=./lora-out预期输出：
Steps: 1200/1200 saving model to ./lora-out train loss: 0.07~0.12 -
参数怎么定
- learning rate：风格类用 1e-4 起步。
- network dim：16/32 最常用。dim 越大越容易过拟合。
- steps：20 张图通常 800–1500 steps。
- checkpoint：每 200 steps 存一次，便于回退。
我在 12GB 显存卡上做过一个小样本案例：30 张工业产品图，caption 统一风格词，训练 1,200 steps 后，输出图在构图和光照上明显收敛；再往后加到 2,000 steps，开始出现背景复读和细节糊化，典型过拟合。这个结果足够说明：LoRA 不是越久越好。
3. 验证、排错与回滚
训练完不要直接发给业务。先做三轮验证。
-
推理验证
python infer.py --prompt "studio product shot, soft light, white background" --lora ./lora-out预期输出：
image saved to outputs/verify.png elapsed: 5.1s -
对比验证
用同一个 prompt，分别生成原模型和 LoRA 结果。检查三项：主体是否保持、风格是否迁移、是否出现脏边和重复纹理。
-
回滚策略
如果出现过拟合，优先回退到 checkpoint-1000 或 checkpoint-800。不要硬救最后一个 checkpoint。
Note: 访问训练脚本、模型文件和社区经验时，很多人会顺手查 Gemini怎么注册、Google AI怎么用、Gemini国内使用这类问题，但它们和本地 Stable Diffusion 没直接关系。真正需要解决的是显卡、数据和参数。
如何确认修好了：满足以下三条就算通过：1. 本地推理能连续生成 10 张图不中断；2. LoRA 训练 loss 下降并稳定在 0.07–0.12；3. 同一 prompt 下，LoRA 输出与基模相比风格变化清晰且没有明显过拟合。
如果你要把这套流程交给团队或客户，先保留官方和免费方案；需要省时间时，也可以把本地环境、模型管理和访问链路统一交给商都加速器这类工具做辅助，但它只是选项之一，不替代你的部署与训练能力。
References
diffusers 文档；PyTorch 官方安装指南；Hugging Face Accelerate 文档；Stable Diffusion 相关模型发布说明。