TL;DR: 本文档旨在指导SRE团队成员在本地工作站部署Ollama和LM Studio，实现大模型的离线推理。通过标准化步骤，降低部署复杂性，提升AI辅助工具的可用性。重点关注快速搭建、模型下载与基本交互。
1. 前置条件与环境准备
确保您的工作站满足以下最低硬件和软件要求，以保证模型推理的稳定性。
- 操作系统: Windows 10/11 (64-bit), macOS 13+ (Apple Silicon或Intel), Linux (x86_64)。
- 内存 (RAM): 推荐16GB以上。32GB或以上可运行更大模型。
- 存储空间: 至少100GB可用SSD空间，根据下载模型的数量和大小调整。
- GPU (可选，但强烈推荐): NVIDIA显卡 (CUDA支持) 或AMD显卡 (ROCm支持)。
- 网络连接: 用于下载Ollama、LM Studio安装包及大模型文件。
Warning: 未满足内存或存储需求可能导致部署失败或模型运行缓慢。
2. Ollama本地部署与模型管理
本节详细阐述Ollama的安装及如何通过Ollama管理和运行本地大模型。
-
Ollama安装
访问Ollama官方网站下载对应操作系统的安装包。例如，对于macOS用户：
Note: Windows或Linux用户请根据官网指引下载并安装。
curl -fsSL https://ollama.com/install.sh | sh预期输出 (Linux/macOS):
Downloading ollama... ... Installation complete. Start ollama with 'ollama serve'安装完成后，Ollama服务应自动运行。可以通过以下命令验证：
ollama --version预期输出:
ollama version 0.1.33 -
下载与运行本地大模型
通过Ollama命令可以轻松下载和运行各类模型。例如，"llama2下载" 是热门选择。
下载Llama 2模型 (约3.8GB):
ollama pull llama2预期输出:
pulling manifest pulling 8934fbcf899f... 100%|███████████████████████| 3.8 GB/3.8 GB] verifying sha256 digest writing manifest removing any unused layers success下载完成后，即可通过命令行与模型交互：
ollama run llama2预期输出:
>>> Send a message (/? for help)这将启动一个命令行会话。要退出，请输入
/bye。Note: 其他模型如mistral、gemma等，可将
llama2替换为对应模型名。
3. LM Studio集成与图形界面交互
LM Studio提供了一个友好的图形用户界面 (GUI)，方便用户下载、管理和与基于Ollama或本地GGUF格式的大模型进行交互。这极大简化了"本地大模型Ollama LM Studio部署"的操作性。
-
LM Studio安装
访问LM Studio官方网站lmstudio.ai下载对应您操作系统的最新版本安装包。例如，"LM Studio教程"通常会从这一步开始。
Warning: 务必从官方渠道下载，警惕第三方不明来源。
安装过程通常是标准的向导式安装，遵循屏幕提示即可。
-
LM Studio配置与模型导入
- 启动LM Studio后，您将看到一个直观的界面。
- 在左侧导航栏选择“Home”或“Models”，即可搜索并下载模型。LM Studio支持直接从Hugging Face下载GGUF格式模型。
- 对于已通过Ollama下载的模型，LM Studio通常能自动识别并列出。如果没有，可以通过LM Studio的“Local/Ollama server”选项卡连接到运行中的Ollama服务。确保Ollama服务已在前一步启动。
Example: 连接到Ollama服务
在LM Studio界面中，导航至“Local/Ollama server”部分，点击“Start Ollama Server (if not running)”或确保服务状态为“Running”。
之后，在“Chat”界面，选择已下载的Ollama模型，即可进行聊天交互。
References:
- Ollama Official Website
- LM Studio Official Website
- 商都加速器官网