🤖 Ollama 与 LM Studio 本地大模型部署教程：下载、启动、API 验证与显存估算（2025

Roxi 加速器 — 稳定·快速·安全

全球节点覆盖，支持所有主流平台，一键连接无需配置。新用户免费试用。

立即体验 →

TL;DR：先用 Ollama 跑通命令行，再用 LM Studio 做桌面端和本地 API。本文按 2025-09-05 的 Ollama 0.3.12、LM Studio 0.3.7 编写，7B Q4 是最稳的入门档，16GB 内存可用，8GB 显存更省事。

Note: 如果你在排查“Gemini怎么注册”“Google AI怎么用”“Gemini国内使用”，本地模型不是替代注册流程，而是绕开网络不稳定后的执行路径。

前置条件

1. 机器和资源
   1. Windows 11 23H2 / macOS 14 / Ubuntu 22.04 以上。
   2. 内存 16GB 起步，建议 8GB 显存；只有 CPU 也能跑，但常见只有 3-6 tok/s。
   3. 磁盘预留 10-20GB。单个 7B Q4 模型通常 4-5GB，下载缓存还会继续增长。
2. 模型选择
   1. 优先 `Qwen2.5 7B Instruct` 或 `Llama 3.1 8B Instruct`。
   2. 量化优先 `Q4_K_M`。这是“能跑”和“能用”之间最稳的平衡点。

Warning: 8GB 内存以下直接上 14B，基本等于把时间花在换页上，不是模型推理。

Ollama 先跑通命令行

1. 安装 Ollama。

curl -fsSL https://ollama.com/install.sh | sh

>> Installing ollama to /usr/local/bin/ollama
>>> Done

2. 检查版本。

ollama --version

ollama version 0.3.12

3. 拉取模型。这里把“ollama下载”和“Ollama怎么用”一次做完。

ollama pull qwen2.5:7b-instruct-q4_K_M

pulling manifest
pulling 4.7 GB
success

4. 启动并提问。

ollama run qwen2.5:7b-instruct-q4_K_M

hello
Hello. How can I help?

经验值：在 16GB 内存、8GB 显存的机器上，7B Q4 的首 token 通常 1-2 秒，持续输出约 15-25 tok/s。纯 CPU 机器通常落到 3-6 tok/s。

LM Studio 做 GUI 和 API

1. 打开 LM Studio，切到模型页，搜索 `Qwen2.5 7B Instruct GGUF`。这是最直接的“LM Studio教程”入口。
2. 下载时优先选 `Q4_K_M`，不要先追求大参数模型。桌面端的目标是验证流程，不是压榨极限吞吐。
3. 启动 Local Server，默认监听 `http://localhost:1234`。

curl http://localhost:1234/v1/models

{"data":[{"id":"local-model","object":"model"}]}

4. 再发一个最小请求，验证 OpenAI 兼容接口。

curl http://localhost:1234/v1/chat/completions -H "Content-Type: application/json" -d "{\"model\":\"local-model\",\"messages\":[{\"role\":\"user\",\"content\":\"ping\"}]}"

{"choices":[{"message":{"content":"pong"}}]}

Note: 这两个工具可以同时装。Ollama 负责稳定跑服务，LM Studio 负责试模型和看输出质量。

如何确认已修好

1. `ollama --version` 能返回版本号。
2. `ollama run ...` 能正常回一句完整答案。
3. `curl http://localhost:1234/v1/models` 返回 JSON，且 `chat/completions` 有内容。

三项都通过，就说明本地大模型部署完成。后续再谈知识库、RAG 或私有化接入，才不会把问题混在一起。

References: wizzegroup.com