macOS 入坑指南 8：一起来玩大模型吧！
ChatGPT 大家应该都不陌生，作为全世界最有名的大预言模型，ChatGPT 在这个领域内有着举足轻重的地位。但是，由于 ChatGPT 本身是个闭源模型。而且在国内访问也存在限制。因此，想要顺畅安全地体验大模型，最好还是将其部署在本地。幸运的是，现在已经有相当成熟的解决方案。可以十分方便地让我们在本地部署大模型，接下来我们就一起来实践操作一下吧！
1. 准备工作
想要在本地部署大模型。我们需要使用到 Ollama 这款软件，它是一个开源的大模型运行框架。支持安装和运行主流的，例如 llama, Gemma, Mistral 等大语言模型。此外，我们还需要一个 Web UI 负责前端的交互。这里我们选择与 Ollama 出师同门的 Open WebUI，它具备类似于 ChatGPT 的交互界面，同时也提供一些进阶玩法。
接下来的内容。主要是在 macOS 上操作的。WIndows 端操作基本类似。
2. 下载并安装 Ollama
进入 Ollama 官网 ，点击右上角 Download 按钮跳转至 下载页面。根据自己的操作系统选择软件版本，这里选择 macOS 版本。
下载好之后，直接将下载好的 ollama.app 文件拖入「应用程序」文件夹即可完成安装。
打开启动台，双击 ollama 图标打开，之后会按照程序的提示操作即可完成环境的部署。如果看到菜单栏上出现小羊驼图标。就说明 Ollama 已经成功启动了。
3. 拉取模型到本地
以 llama3.1 8B 为例。打开终端，输入以下命令以拉取 llama3.1 8B 到本地。
ollama pull llama3.1:8b之后会自动下载模型及相关组件。llama3.1 8B 模型大约是 4.7GB，下载大约需要五到十分钟左右。
4. 在终端中运行模型
完成之后，就可以用以下命令来运行 llama3.1 8B 模型。
ollama run llama3.1:8b出现 send a message 就可以和大模型聊天了。
想要退出的话，只要输入 /bye ，接着退出终端就行了。
5. 通过 Open WebUI 使用图形界面
为了得到和 ChatGPT 类似的体验，我们需要安装 Open WebUI 来为 ollama 提供一个前端交互的框架。
5.1 安装 Docker
我们选择在 Docker 中运行 Open WebUI。Docker 是一个容器化的应用程序打包、部署和托管的工具。打开 Docker 的官网（docker.com），根据自己的硬软件平台下载适合的版本。这里选择 Download for Mac - Apple Silicon。
下载完成后，打开下载好的 dmg 文件。按照提示操作。将小鲸鱼图标拖入右侧的 Application 文件夹即可完成 Docker 的安装。
打开启动台，打开 Docker。按照程序提示操作即可。当你能在菜单栏看到小鲸鱼图标时，说明 Docker 已经成功启动。
5.2 用 Docker 部署 Open WebUI
打开终端，输入以下命令即可一键部署 Open WebUI。
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main等待容器部署完成即可。
5.3 使用 Open WebUI
打开浏览器，在地址栏中输入 localhost:3000 就可以看到 Open WebUI 的登录界面。没有账号的话，注册一个账号即可（这个账号是本地账号，数据存储在本地）。
登录后就可以看到类似于 ChatGPT 的界面。在顶部可以选择已经部署好的 llama3.1 8B 模型。
