🤖 Ollama与LM Studio本地大模型部署：SRE环境配置与验证 V1.0 (2024

Roxi 加速器 — 稳定·快速·安全

全球节点覆盖，支持所有主流平台，一键连接无需配置。新用户免费试用。

立即体验 →

版本: V1.0

日期: 2024-07-28

1. 前置条件 (Prerequisites)

在进行本地大模型部署之前，请确保以下条件已满足。

1. 操作系统: Windows 10/11 (64-bit), macOS (Intel/Apple Silicon), Linux (64-bit)。建议使用主流桌面发行版。
2. 硬件资源:
   • CPU: 多核处理器。
   • RAM: 最低16GB，建议32GB或更高，以运行大型模型。
   • GPU: 推荐NVIDIA GPU (CUDA兼容)，AMD GPU (ROCm兼容) 或 Apple Silicon (M系列芯片)。最低8GB显存，建议12GB或更高。
3. 网络连接: 稳定互联网连接，用于下载模型。
4. 管理员权限: 操作系统安装软件所需。

2. Ollama本地部署与模型管理

Ollama提供了一个轻量级的框架，用于在本地运行大语言模型。以下是其部署步骤。

2.1 Ollama下载与安装

访问Ollama官方网站，根据操作系统下载对应的安装包。此步骤无需命令行操作，执行常规安装向导。

Ollama下载链接: https://ollama.com/download

Warning: 确保下载与系统架构匹配的安装包，例如Apple Silicon用户选择macOS (Apple Silicon)。

2.2 模型下载与运行

安装完成后，Ollama服务会在后台自动运行。通过命令行下载并运行所需模型。

1. 下载模型: 以llama2为例。

ollama pull llama2

预期输出:

pulling manifest
pulling 8b31c15f20f8... 100% | 3.8 GB/3.8 GB | 11 MB/s | 6m42s 
pulling f0f40d7e6716... 100% | 7.0 KB/7.0 KB | 0 B/s | 0s 
pulling c7acd0e1bb1d... 100% | 4.8 KB/4.8 KB | 0 B/s | 0s 
pulling d65e04e463a5... 100% | 4.8 KB/4.8 KB | 0 B/s | 0s 
pulling 814e51ebc56b... 100% | 4.8 KB/4.8 KB | 0 B/s | 0s 
verifying sha256 digest
success

2. 运行模型:

ollama run llama2

预期输出:

>>> Send a message (/? for help)

Note: 输入/bye退出模型对话。

3. 查看已下载模型:

ollama list

预期输出:

NAME        ID              SIZE    DIGEST
llama2:latest 8b31c15f20f8    3.8 GB  sha256:49f2ad85396492931a6135dd729469e38e828e819b16b472e126a1122a46647d

3. LM Studio集成与图形化界面操作

LM Studio提供了一个直观的图形用户界面，用于发现、下载和运行本地大模型，支持Ollama集成。

3.1 LM Studio下载与安装

访问LM Studio官方网站，下载并安装适用于您操作系统的版本。此为常规软件安装过程。

LM Studio下载链接: https://lmstudio.ai/

3.2 配置LM Studio与Ollama

安装LM Studio后，启动应用程序。

1. 导航至“Local Server”选项卡: LM Studio界面左侧导航栏。
2. 启动服务器: 点击“Start Server”按钮。
3. 验证Ollama集成: 如果Ollama已在后台运行且配置正确，LM Studio通常会自动检测并允许通过其API端口进行交互。

Note: LM Studio默认使用http://localhost:1234/v1作为OpenAI兼容API端点。Ollama也提供类似的API接口。

4. 在LM Studio中加载模型:
   • 在LM Studio的“Home”或“Chat”界面，可以通过搜索下载新的GGUF模型。
   • 对于已通过Ollama下载的模型，可以直接在LM Studio的聊天界面选择“Connect to OpenAI-compatible server”并输入Ollama的API地址（默认通常是http://localhost:11434/v1），进行交互。

Warning: 确保LM Studio与Ollama的服务端口没有冲突。如遇端口占用，请检查系统进程或修改服务配置。

4. 功能验证

通过LM Studio的Chat界面，选择连接到Ollama服务，并加载已下载的llama2模型，发送测试消息以验证功能。

示例测试:

User: Explain the concept of 'Container Orchestration' in simple terms.

预期响应 (部分): 模型应提供关于Kubernetes、Docker Swarm等概念的解释。响应内容取决于具体模型及输入。

至此，Ollama与LM Studio的本地大模型部署已完成。用户现在可以通过图形界面或命令行与本地AI模型进行交互。

References

• Ollama官方文档: https://ollama.com/
• LM Studio官方文档: https://lmstudio.ai/
• Llama 2模型介绍: https://ai.meta.com/llama/