Ollama部署DeepSeek全攻略

一、DeepSeek - R1模型简介

DeepSeek - R1是一个高性能的AI推理模型，在数学、代码和自然语言推理任务方面表现出色。它具有以下特点：

  • 专注多任务处理：能够同时应对数学计算、代码分析以及自然语言的逻辑推理等多种任务，例如在处理复杂数学公式推导、代码漏洞检测以及文章语义理解等任务时都有不错的表现。
  • 模型蒸馏：能够将推理能力迁移到更小的模型中，特别适合资源受限的场景。
  • 高效推理能力：相比于一些同类型模型，DeepSeek - R1在处理各种推理任务时，能够以较快的速度得出结果，减少用户等待时间。

在应用场景方面，它可广泛应用于学术研究、软件开发以及内容创作等领域。与其他模型相比，DeepSeek - R1在推理任务上可能更具优势，例如在处理特定领域的复杂逻辑问题时准确性更高。

二、Ollama简介

Ollama是一个开源的本地化大模型部署工具，其优势显著。

  • 简化部署管理：旨在简化大型语言模型（LLM）的安装、运行和管理，无论是对于经验丰富的开发者还是初学者来说，都能轻松上手。
  • 支持多种架构：支持多种模型架构，这意味着它可以适应不同类型的大型语言模型的部署需求。
  • 提供兼容API：提供与OpenAI兼容的API接口，方便开发者将其集成到自己的应用中，快速搭建私有化AI服务。

三、部署前的准备工作

  1. 系统要求

    • 硬件资源：电脑或服务器需要具备足够的硬件资源，特别是显卡显存，因为大型语言模型对显存有较高的要求。例如，如果要运行较大模型如DeepSeek - R1的70b版本，可能需要较高显存的显卡。
    • 操作系统：安装好适用的操作系统，如macOS、Linux或Windows。

  2. Ollama安装

    • macOS安装步骤：

      • 访问Ollama官网（ollama.com）。
      • 下载适用于macOS的Ollama版本。
      • 下载完成后，按照安装向导进行安装，安装过程中可能需要输入管理员密码等操作。安装完成后，在顶部菜单栏中看到小羊驼的图标即表示安装成功。

    • Linux安装步骤：

      • 同样先访问Ollama官网下载适用于Linux的版本。
      • 在终端中进入下载目录，使用命令行进行安装（例如，如果是deb包，可能使用sudo dpkg -i ollama.deb命令，具体根据实际下载的包类型而定）。
      • 安装过程中可能需要安装一些依赖库，如果提示缺少依赖，根据提示进行安装即可。

    • Windows安装步骤：

      • 在Ollama官网下载Windows版本的安装程序（exe文件）。
      • 双击启动安装程序，全程选择默认设置，点击“Install”后一直确认到底。安装完成后，程序会自动启动，在电脑右下角的托盘区域会看到Ollama的应用图标。

    • 验证Ollama安装成功的方法：

      • 在macOS或Linux中，可以打开终端，输入ollama version，如果显示出Ollama的版本信息，如ollama version is 0.5.7，则表明安装成功。

    • 在Windows中，可以打开命令行窗口（CMD），输入相同的ollama version命令查看版本信息来验证安装成功。

四、根据硬件配置选择DeepSeek - R1模型大小

可以通过访问下面链接搜索DeepSeekR1模型：

https://ollama.com/search?q=deepseek-r1

DeepSeek - R1有多种模型大小可供选择，如1.5b、7b、8b、14b、32b、70b或671b等。不同模型大小所需的硬件资源不同：

  • 1.5b版本：比较轻量，资源占用较少，大概占用1GB多点显存，适用于硬件资源相对有限的情况，例如一些显存较小的笔记本电脑，可用于简单的文本处理和基础的推理任务。
  • 7b版本：所需空间大约4.7G，性能与OpenAI - o1相当，适合中等配置的电脑，能够处理较为复杂的任务，如代码分析和一般性的自然语言处理任务。
  • 8b版本：所需空间大约4.9G，可根据实际硬件情况，在与7b版本类似的配置下选择。
  • 14b版本：所需空间大约9G，需要较好的硬件支持，能够处理更复杂的数学和逻辑推理任务。
  • 32b版本：所需空间大约20G，对硬件要求较高，适用于需要高精度推理结果的场景，如专业的学术研究和高级软件开发中的一些任务。
  • 70b版本：所需空间大约43G，需要强大的硬件支持，包括大容量显存的显卡和较多的内存，可用于处理超复杂的多任务推理场景。
  • 671b版本：所需空间大约404G，对硬件要求极高，一般用于大规模数据处理和超高难度的推理任务。

五、下载DeepSeek - R1模型

在部署之前，需要确保已经下载了DeepSeek - R1模型。可以从模型的官方仓库或其他可靠途径获取模型文件，通常模型文件是一个.pt或.bin文件。

简便方法：

安装好Ollama后，打开系统命令提示符（CMD）；

直接输入”ollama run deepseek-r1:8b”，会自动下载运行模型文件；

完成后就可以提问回答问题了

六、部署Chatbox网页版客户端

命令行访问对于大部分人还是不太友好，可以用图形化界面链接 ollama 来使用。

这里推荐代码开源的 chatbox

1.下载软件：https://chatboxai.app/zh#download

图片

2.配置Ollama

图片

3.测试效果

可以跟命令行一样输出内容

七、配置Ollama

配置Ollama来使用DeepSeek - R1模型，这通常通过创建一个配置文件来完成。以下是一个配置文件的示例：

1
2
3
4
yaml复制model: 
  name: deepseek
  path: /path/to/your/deepseek_model.pt
  type: pytorch

请确保将path替换为实际下载并存放DeepSeek - R1模型文件的路径。

八、启动Ollama服务

使用配置好的文件启动Ollama服务。在终端或命令提示符中，运行相应的命令来启动服务。例如，如果使用的是默认的配置文件，可以运行：

1
2
3
4
bash

复制
ollama serve

九、验证部署

可以通过发送请求来验证模型是否成功部署。使用curl或其他HTTP客户端工具发送一个POST请求到Ollama提供的API接口，并包含想要推理的文本作为输入。例如：

1
2
3
4
bash

复制
curl -X POST -d '{{ "input": "你的推理文本" }}' http://localhost:你的端口号/api/v1/inference

如果一切正常，会收到来自DeepSeek - R1模型的推理结果。

十、使用API

一旦模型成功部署，可以通过API来使用它。Ollama通常会提供一个REST API接口，可以通过HTTP请求来与模型交互。

  • API调用返回结果解释：API调用返回的结果通常是JSON格式的数据。例如，可能包含模型的推理结果、一些状态信息等。如果是处理自然语言任务，可能返回一段生成的文本内容；如果是数学计算任务，可能返回计算结果等。
  • 处理常见错误码：如果返回的状态码为400，可能表示请求格式错误，需要检查发送的请求内容是否符合API要求；如果是500，可能表示服务器内部错误，可能需要检查Ollama服务是否正常运行，模型是否正确加载等。

十一、监控和优化

部署完成后，可以使用Ollama提供的监控工具来监控模型的性能和资源使用情况。根据监控数据，可以对系统进行优化，比如调整模型参数、增加资源分配等。

十二、故障处理

  1. 启动失败案例
    • 问题描述：在启动Ollama服务时，提示找不到模型文件。
    • 日志信息示例：可能在日志中显示“Model file not found at specified path”。
    • 排查步骤：首先检查配置文件中的模型文件路径是否正确，确保模型文件确实存在于指定路径下。如果路径正确，检查文件权限是否正确，是否有读取权限等。
  2. 性能不佳案例
    • 问题描述：模型推理速度很慢。
    • 日志信息示例：可能在性能监控日志中看到CPU或GPU使用率过高，或者内存不足的提示。
    • 排查步骤：检查硬件资源使用情况，如果是CPU使用率过高，可能是同时运行了其他大量占用CPU的程序，可以关闭一些不必要的程序；如果是GPU显存不足，可以考虑降低模型大小或者增加硬件资源（如升级显卡）；如果是内存不足，可以关闭一些占用内存大的程序或者增加内存容量。

通过以上步骤，就能够成功使用Ollama部署DeepSeek - R1模型，并能顺利进行各种推理任务，同时在遇到问题时也能进行有效的处理。

ps：

ollama的安装和下载模型默认路径是在电脑的C盘，如果想更改路径，可以在系统的环境里面进行进一步的配置

软件可以找到ollama程序位置，然后复制到别的盘符，如果使用cmd打不开的情况，可以在系统path环境变量里面添加主程序路径；

你们可能希望将模型文件保存在其他盘符或目录下。为此，可以通过设置环境变量OLLAMA_MODELS来更改模型的下载路径。

步骤一：打开系统属性

首先，右键点击Windows桌面上的“此电脑”或“计算机”图标，选择“属性”以打开系统属性窗口。

步骤二：进入环境变量设置

在系统属性窗口中，点击左侧的“高级系统设置”按钮。在弹出的“系统属性”窗口中，切换到“高级”选项卡，然后点击“环境变量”按钮。

步骤三：新建或修改环境变量

在“环境变量”窗口中，可以在“系统变量”或“用户变量”部分找到或新建一个名为OLLAMA_MODELS的环境变量。如果已存在该变量，则直接选中并点击“编辑”按钮；如果不存在，则点击“新建”按钮来创建一个新的环境变量。

步骤四：设置新的存储路径

在“编辑环境变量”或“新建环境变量”窗口中，输入变量名OLLAMA_MODELS，并在“变量值”文本框中输入希望保存模型文件的新目录路径。例如，如果希望将模型文件保存在D盘的OllamaModels目录下，则输入D:\OllamaModels。

步骤五：重启Ollama

设置完环境变量后，需要重启Ollama以应用更改。可以通过任务管理器结束Ollama的进程，然后重新运行Ollama来实现重启。