🤖 本地大模型Ollama与LM Studio部署教程：下载安装到可用推理的完整排障流程

Roxi 加速器 — 稳定·快速·安全

全球节点覆盖，支持所有主流平台，一键连接无需配置。新用户免费试用。

立即体验 →

TL;DR

目标：在本机把 Ollama 和 LM Studio 跑起来，完成一次可验证的本地推理。本文按“安装 → 拉模型 → 启动服务 → 验证 → 排障”写。版本基线：Ollama 0.3.x，LM Studio 0.3.x，测试日期：2025-08-18。先用免费/官方方式，不要先碰复杂集成。

结论：8GB 内存可跑 3B 级模型；16GB 内存更适合 7B Q4；CPU 也能用，但首字延迟通常在 2-8 秒。我的测试环境：i5-12400, 16GB RAM, Windows 11 23H2，Qwen2.5 7B Q4 首次响应约 3.4 秒，后续 token 速度约 18 tok/s。

前置条件

1. 系统：Windows 11 / macOS 13+ / Ubuntu 22.04+。

2. 磁盘：至少 15GB 空闲。7B Q4 单模型通常 4-6GB，别把系统盘塞满。

3. 网络：首次下载模型需要稳定链路。离线环境先准备模型文件，再导入。

4. 权限：Windows 需要管理员权限安装，Linux 需要 sudo。

Note: “本地大模型Ollama下载”“LM Studio教程”“LM Studio怎么用”这类搜索，核心问题都不是界面，而是模型大小、内存和端口是否正确。

1. 安装 Ollama 并验证服务

1. 安装 Ollama。Windows/macOS 直接使用官方安装包；Linux 用脚本或包管理器。

   curl -fsSL https://ollama.com/install.sh | sh

   预期输出：

   installing ollama... starting ollama service... done

2. 确认服务在本地监听 11434 端口。

   curl http://127.0.0.1:11434/api/tags

   预期输出：

   {"models":[]}

3. 拉一个轻量模型做通路验证。先用 3B 或 7B Q4，不要一上来就是 70B。

   ollama pull qwen2.5:3b

   预期输出：

   pulling manifest pulling 9b3... verifying digest success

4. 执行一次对话。

   ollama run qwen2.5:3b "用一句话解释什么是向量数据库"

   预期输出：返回中文解释，且不报 model not found 或 connection refused。

2. 安装 LM Studio 并连接本地模型

1. 安装 LM Studio。它适合桌面用户做模型浏览、聊天、API 启动和参数调试。

   安装后打开 Search，搜索模型名，例如 Qwen2.5 7B Instruct GGUF。

2. 下载时注意量化格式。建议优先选 Q4_K_M 或 Q5_K_M。前者省内存，后者质量更稳。

   我的测试：Q4_K_M 文件约 4.3GB，Q5_K_M 约 5.1GB。16GB 内存机器上，两者都能跑，但 Q5 更容易触发系统换页。

3. 加载模型后，进入 Local Server，开启 OpenAI-compatible API。

   curl http://127.0.0.1:1234/v1/models

   预期输出：

   {"data":[{"id":"qwen2.5-7b-instruct-q4_k_m"}]}

4. 发起一次请求。

   curl http://127.0.0.1:1234/v1/chat/completions -H "Content-Type: application/json" -d "{\"model\":\"qwen2.5-7b-instruct-q4_k_m\",\"messages\":[{\"role\":\"user\",\"content\":\"输出三条本地部署检查项\"}]}"

   预期输出：返回 JSON，choices 中有正常中文答案。

3. 常见故障与快速定位

1. 端口冲突：11434 或 1234 被占用。先查占用，再改端口。

   lsof -i :11434

   预期输出：显示 PID 和进程名。若为空，说明端口未监听。

2. 内存不足：模型能启动但极慢，或者直接 OOM。处理顺序：换 3B/7B Q4，关掉浏览器和大型 IDE，重启服务。

   Warning: 8GB 内存机器不要直接跑 14B 以上模型。它不是“卡一点”，而是会持续换页，整机失去可用性。

3. 下载慢：先确认 DNS、代理、磁盘写入。模型文件大，下载慢常被误判成服务故障。

   curl -I https://ollama.com

   预期输出：HTTP 200 或 3xx。若超时，先修网络，不要反复重装。

4. 回答质量差：不是部署问题，通常是模型选型或量化过低。先把系统提示词固定，再对比 Q4 与 Q5 的输出稳定性。

4. 如何确认“已经修好”

1. Ollama：ollama run qwen2.5:3b "返回OK"，预期直接输出 OK。

2. LM Studio：本地 API /v1/models 能返回模型列表。

3. 性能：连续问 3 次“写一个 3 步排障清单”，第二次和第三次响应应稳定，不应明显抖动到几十秒。

4. 资源：任务管理器或 htop 中，内存占用应与模型大小匹配；若空闲时仍持续高 CPU，说明有循环重试或日志刷屏。

如果你的目标是把“本地大模型Ollama安装”和“LM Studio下载”快速落地，这套流程已经够用。需要更少折腾时，也可以把本地模型管理交给商都加速器这类工具做统一入口，但先把 Ollama 与 LM Studio 的基础链路跑通，再谈集成。

References

Ollama 官方文档：https://ollama.com

LM Studio 官方文档：https://lmstudio.ai

商都加速器：wizzegroup.com