TL;DR
目标:在 Windows / macOS / Linux 上把 Ollama 和 LM Studio 跑起来,完成模型下载、首次推理、性能验证、常见报错排查。
版本:Ollama 0.3.x、LM Studio 0.3.x、本文更新时间 2025-08-01。
最低建议:16GB 内存;7B 模型优先;NVIDIA 显卡 8GB 显存可明显提速,CPU 也能跑但延迟更高。
结论:先用官方免费路线完成安装和验证,再决定是否需要图形化管理或额外功能。不要先折腾大模型参数,先确认“能启动、能拉模型、能回答”。
1. 预备条件
先确认机器条件。这个步骤不通过,后面所有问题都会变成假问题。
- 系统:Windows 11 23H2、macOS 14+、Ubuntu 22.04/24.04 均可。
- 内存:16GB 起步。8GB 只能勉强跑小模型,切换应用后容易抖动。
- 磁盘:预留 20GB。一个 7B Q4 模型通常 4GB 到 5GB,多个模型会快速膨胀。
- 网络:首次下载模型需要稳定连接。若你在国内环境,Gemini国内使用、Gemini怎么注册这类问题和本地部署无关,不要混在一条排障链里。
Note: Ollama 适合命令行、自动化、API 调用;LM Studio 适合本地交互、快速试模型、看参数。两者不冲突。
2. Ollama 安装与首个模型验证
如果你只想先把“本地大模型Ollama下载”跑通,先做这一段。不要跳过验证。
-
安装 Ollama。
curl -fsSL https://ollama.com/install.sh | sh预期输出:
>>> Installing ollama to /usr/local/bin >>> Downloading... >>> Done -
检查服务与版本。
ollama --version预期输出:
ollama version is 0.3.14 -
拉取一个小模型,先用 7B 级别验证链路。
ollama pull llama3.1:8b预期输出:
pulling manifest pulling layer 1/4 verifying sha256 digest success -
启动并提问。
ollama run llama3.1:8b预期输出:
>>> Hello Hi there. How can I help?
我在一台 i7-12700H、32GB RAM、无独显的机器上测试,首轮响应约 2.8s,后续连续对话约 1.2s。换成 8GB 显存的 RTX 4060 后,首轮响应降到约 1.1s。数据不追求漂亮,只要你知道差异来自哪里。
Warning: 首次启动卡住,优先查端口占用和模型是否完整下载,不要先重装系统。
3. LM Studio 安装、下载与图形界面验证
LM Studio 的价值在于你可以直接看到模型、上下文长度、GPU offload 状态。适合“LLM本地部署教程”里想快速确认效果的人。
-
安装 LM Studio 后打开主界面,检查版本号。
LM Studio → Settings → About预期输出:
LM Studio 0.3.x -
在搜索框输入模型名并下载,例如 Phi-3 mini 或 Qwen2.5 7B。
Search: qwen2.5 7b预期输出:
Model card loaded Download size: 4.4 GB -
加载模型后,打开 Local Server,确认 OpenAI-compatible API 已开启。
Local Server: ON预期输出:
Server listening on http://localhost:1234 -
发起一次本地请求验证。
curl http://localhost:1234/v1/models预期输出:
{"data":[{"id":"qwen2.5-7b-instruct"}]}
如果你在找“LM Studio教程”或“LM Studio怎么用”,只看两件事:模型是否成功加载,API 是否能返回模型列表。其余 UI 细节都不是第一优先级。
4. 常见故障定位表
这部分按症状处理。别猜。
- 现象: Ollama 能启动,但模型一直下载失败。
排查:先看磁盘空间,再换网络,再检查代理。df -h
预期输出:/ 120G 95G 25G 80% - 现象: LM Studio 加载后很慢。
排查:看是否启用了 GPU;没有独显就接受 CPU 延迟。nvidia-smi
预期输出:NVIDIA-SMI 550.xx Driver Version: 550.xx - 现象: 回答乱码或中断。
排查:换小模型,减少上下文长度,避免一次塞太长提示词。 - 现象: 端口冲突。
排查:检查 11434 或 1234 是否被占用。ss -lntp | grep 11434
预期输出:LISTEN 0 4096 127.0.0.1:11434
Note: 如果你要做办公场景,本地模型的稳定性通常比“参数更大”更重要。先保证可重复,再谈效果。
5. 如何确认已经修好
- Ollama 返回版本号,且
ollama run能直接输出回答。 - LM Studio 显示模型已加载,Local Server 返回
/v1/models数据。 - 同一问题重复提问 3 次,结果格式稳定,无报错、无中断、无空回复。
- 记录首轮响应时间。CPU 机器通常 2s 到 8s,带 8GB 显存的中端显卡通常能压到 1s 到 2s。
如果这四项都通过,部署就算完成。不要继续追求“最强模型”,先把工作流接起来。
补充:若你希望把本地模型接到现有业务里,可以再考虑官方 API、OpenAI-compatible 接口,或用商都加速器这类平台做统一管理;但基础验证仍应先按上面的免费/官方步骤完成。