在本地运行大语言模型

本文将介绍如何在个人电脑上运行大语言模型，安装操作无需专业背景，全程只有一条指令。

所需要的只是一台能运行 Windows 10 的笔记本电脑，带独立显卡或台式机更佳。

效果展示

演示视频使用的设备是一台 2017年上市的戴尔台式机

路径图

在正式安装之前，先简要介绍一下这个系统的整体结构，主要由三部分组成：

图形界面：用户进行输入和操作的界面，也就是演示视频中看到的界面，此处使用的是 Chatbox

运行器：先估且这么称呼，它可以加载并运行大模型，同时为图形界面提供接口，此处使用的是 Ollama，

大语言模型：整个体系中真正的“大脑”，对问题进行“思考”并给出答复，此处使用的是千问

演示过程中，当我在图形界面中发出“你是谁”的问题后，Chatbox 将问题抛给 Ollama，Ollama 加载千问模型进行运算，并将结果回复给 Chatbox，最终在 Chatbox 中进行显示。

安装流程

我们按照运行器、大语言模型、图形界面的顺序进行安装。

由于 Ollama 和 Chatbox 都是跨平台的，以下流程稍加变动就能用于其他操作系统。

安装 Ollama

我们首先安装 Ollama，打开官网下载链接：

https://ollama.com/download

点击 Download for Windows 进行下载。

下载完成后双击打开，一路下一步即可安装完成。

就这么简单。

安装千问模型

打开命令提示符（如果你真的没用过，点击开始按钮，然后在搜索框输入cmd 就能找到它）

接下来输入全文唯一的指令：

ollama pull qwen2

等待 Ollama 帮你下载你指定的模型 qwen2，直到下载完成

用类似的指令你也可以下载其他模型，比如微软的 phi3（可以在更低的配置运行，但中文不太好）

看到进度条跑满并提示 success，就是下载成功了

安装Chatbox

现在只需一个图形界面就可以与大模型对话。打开 Chatbox 官网，下载 Windows 客户端。

https://chatboxai.app/zh

下载完毕后，双击打开安装包、然后一路下一步，直到安装完成。

此时会弹出欢迎界面

点击开始设置，弹出设置界面

在模型提供方中选择 Ollama，然后在模型中选择 qwen2

设置完成后，点击保存，回到 Chatbox 主界面，整个安装过程就完毕了。

体验

此时点击左侧边栏中的新对话，创建一个新的对话框，就可以与千问大模型对话了。

在本地运行大语言模型可以不依赖外部平台，你不需要注册账号并付费（除了电费），没有网络也能使用，可以安全的上传图片和文件而不用担心信息泄露或违反保密协议，因为一切数据都只存在于你的电脑上。

当然本地模型也有缺点，由于电脑性能的限制，个人电脑通常只能运行百亿参数左右的中小模型（上文演示的千问是70亿参数版本），而顶级的开源模型通常可以达到千亿参数，参数越少模型所涵盖的知识量越少，回答问题的准确度也越低，因此相对而言个人电脑更适合运行一些为特定领域训练的专用模型而非通用模型。

三层结构和替代

在安装的过程中，你可能已经发现，Ollama 可以安装千问，也可以安装 phi3，自然也能安装其他的模型，Chatbox 中的模型供应方可以是 Ollama，也可以是其他在线服务或本地软件；毫无疑问，Chatbox 也是只是众多图形界面软件中的一员。

随着了解的深入，你会发现各种各样的工具，有些只做好一件事，有些是将多种功能集成到一起，并完成一些锦上添花的工作，但无论如何，核心功能都不会脱离这个结构。