🤖 Stable Diffusion本地部署与特定领域模型迭代：SRE图像资产生成工作流优化 V1.0 (2024

Roxi 加速器 — 稳定·快速·安全

全球节点覆盖，支持所有主流平台，一键连接无需配置。新用户免费试用。

立即体验 →

1. 前言与先决条件

本文档旨在指导SRE团队成员在本地环境中部署Stable Diffusion，并进行LoRA（Low-Rank Adaptation）模型微调，以满足特定项目对图像生成的高度定制化需求。本指南假定读者具备基本的Linux命令行操作经验及Python环境配置知识。

1.1. 先决条件

• 操作系统: Ubuntu 22.04 LTS 或 Windows 10/11
• GPU: NVIDIA RTX系列显卡，至少8GB显存（推荐12GB+）
• 驱动: 已安装最新NVIDIA驱动
• Python: 3.10.x 版本（推荐3.10.6或3.10.9）
• Git: 2.x 版本
• 磁盘空间: 至少50GB可用空间

Warning: 较低显存的GPU可能导致训练失败或速度极慢。请确保驱动版本与CUDA Toolkit兼容。

2. Stable Diffusion本地部署 (Automatic1111 WebUI)

本节将详细说明如何部署Automatic1111的Stable Diffusion WebUI。这是目前最广泛使用的本地部署方案。

2.1. 环境准备与依赖安装

首先，确保Python和Git已正确安装。

# 检查Python版本
python3 --version
# 预期输出 (示例)
# Python 3.10.9

# 检查Git版本
git --version
# 预期输出 (示例)
# git version 2.34.1

# 对于Ubuntu，安装必要的依赖
sudo apt update
sudo apt install -y wget git python3 python3-venv libgl1 libglib2.0-0

2.2. 克隆WebUI仓库并安装

# 克隆Stable Diffusion WebUI仓库
git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git
cd stable-diffusion-webui

# 运行WebUI启动脚本。首次运行会自动下载依赖和模型文件。
# 对于Linux/MacOS
./webui.sh

# 对于Windows，运行
webui-user.bat

Note: 首次启动可能需要较长时间，因为它会下载PyTorch、Transformers等库以及基础的Stable Diffusion模型。请耐心等待。

2.3. 验证部署

成功启动后，控制台会显示本地访问地址，通常为 http://127.0.0.1:7860。

# 预期控制台输出片段
# ...
# Installing requirements for Web UI
# ...
# To see the UI go to http://127.0.0.1:7860

在浏览器中访问该地址，应能看到Stable Diffusion WebUI界面。

3. LoRA模型微调与特定领域迭代

LoRA是一种高效的微调技术，允许我们使用少量数据对预训练模型进行定制化，而无需修改模型全部参数。这对于生成特定风格、人物或物品的图像资产至关重要。

3.1. 数据集准备

为LoRA训练准备高质量的数据集是成功的关键。每个训练图像应具有对应的描述性文本（caption）。

• 图像数量: 至少10-20张（推荐30-50张）
• 图像分辨率: 建议统一为512x512或768x768
• 标注: 使用工具（如Kohya's GUI自带的BLIP或DeepBooru）对图像进行自动化标注，并手动修正。

Warning: 数据集质量直接影响微调效果。低质量或不准确的标注会导致模型生成结果不佳。

3.2. 使用Kohya's GUI进行LoRA训练

Kohya's GUI是目前最流行的Stable Diffusion训练界面，支持多种训练方法，包括LoRA。本节假设您已在WebUI中安装了Kohya's SD-Scripts扩展。

3.2.1. 安装Kohya's SD-Scripts (如果未安装)

在WebUI中，导航到“Extensions” -> “Install from URL”，输入Kohya's SD-Scripts的GitHub地址。

# GitHub仓库地址
https://github.com/bmaltais/kohya_ss.git

安装完成后，重启WebUI。

3.2.2. 配置训练参数

1. 在WebUI中，切换到“Dreambooth”或“Train”标签 (具体名称可能因版本而异，取决于Kohya's GUI的集成方式)。
2. 选择“LoRA”训练模式。
3. 配置以下关键参数：
   • Model: 选择基础Stable Diffusion模型 (如SD 1.5, SDXL)。
   • Dataset: 指定准备好的数据集路径。
   • Output: 指定LoRA模型保存路径。
   • Learning Rate: 建议 1e-4 或 5e-5。
   • Epochs/Steps: 根据数据集大小和期望效果调整。通常20-50 Epochs。
   • Batch Size: 1 (对于低显存GPU) 或 2-4。
   • Network Rank (Dimension): 32 或 64。

3.2.3. 启动训练

点击“Start Training”按钮。训练过程将在控制台显示进度。

# 预期控制台输出片段
# ...
# Epoch 1/20, Step 10/100, Loss: 0.1234
# ...
# Training finished. Saved LoRA model to: /path/to/your/model.safetensors

3.3. 应用与测试LoRA模型

训练完成后，将生成的 .safetensors 或 .ckpt LoRA文件放置在WebUI的 stable-diffusion-webui/models/Lora 目录下。

在WebUI的“txt2img”或“img2img”界面，通过点击“Show/hide extra networks”按钮，选择并启用您的LoRA模型。在提示词中加入触发词（通常是训练时使用的自定义词汇）即可生成受LoRA模型影响的图像。

Note: Stable Diffusion本地部署 和 LoRA模型微调 是实现特定图像资产生成效率提升的关键。熟练掌握 Stable Diffusion怎么用 可以显著加速SRE团队在设计资产方面的迭代速度。

4. 总结与展望

通过本文档，SRE团队应能成功部署Stable Diffusion WebUI并进行LoRA模型微调。这种本地化和定制化的能力，极大地提升了在特定场景下图像资产生成的灵活性和效率。未来工作将探索更多高效的微调策略和自动化工具集成，进一步优化SRE工作流。

版本: V1.0

日期: 2024-07-01

References

• AUTOMATIC1111/stable-diffusion-webui GitHub Repository
• bmaltais/kohya_ss GitHub Repository
• Hugging Face Diffusers - LoRA Training