DeepSeek 本地部署开启联网搜索

博主： F嘉阳
发布时间：2025 年 02 月 09 日
35 次浏览
暂无评论
3532字数
分类：开发

背景

由于官方DeepSeek频繁不可用，第三方API站点部署的全量模型无法联网，因此有需要联网推理的场景只能使用本地部署解决。

环境

CPU：12700 内存：32G DDR4 3200 显卡：RTX 2060 Super

模型准备

受显存限制，使用ollama只能下载8b和14b模型。

8b模型可以完全加载到显存中，使用cuda推理。
14b模型需要利用CPU+GPU混合推理。

本地下载开源docker镜像open-webui

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

该镜像下载困难可以手动传到阿里云镜像仓库做一次代理，本次使用我同步的代理镜像启动

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --rm registry.cn-guangzhou.aliyuncs.com/fjy8018_proxy/open-webui:main

首次启动耗时较长，耐心等待，显示如下画面表示启动完成

联网API

进入http://localhost:3000/admin/settings 点击联网搜索配置搜索引擎

目前有3种免费的联网搜索API，各有优劣

Duckduckgo

优点：免费，无需API配置缺点：网络无法直接访问。

Bing Search

优点：免费，国内网络可直连。缺点：需要微软账户+信用卡认证。

Google Search

优点：免费，搜索内容可靠。缺点：需要配置，网络无法直连。

此处为保障最好的搜索质量，使用Google搜索API接入。

申请API和密钥

进入谷歌可编程搜索引擎官网：Programmable Search Engine | Google for Developers 创建搜索引擎

点击控制面板

创建搜索引擎，名称任意

创建后得到搜索引擎ID

选择程序化访问

获取密钥

配置联网搜索

选择google pse，填写密钥和搜索ID

验证

8b + 联网搜索

使用8b+联网搜索验证

容器日志可以看到搜索到的文本内容

8b联网+推理显存沾满，显卡满载，但不需要CPU参与推理，32token/s，速度较快。

14b+联网搜索

改成14b后，token速度下降到7token/s，勉强可用。

由于显存不足，需要CPU+GPU混合推理，显卡cuda性能无法完全利用，CPU占用率高。

最后修改：2025 年 02 月 09 日

© 允许规范转载

如果觉得我的文章对你有用，请随意赞赏

发表评论取消回复
使用cookie技术保留您的个人信息以便您下次快速评论，继续评论表示您已同意该条款

评论 *

私密评论

名称 *

🎲

邮箱 *

地址

DeepSeek 本地部署开启联网搜索

F嘉阳 • 2025 年 02 月 09 日

<h2><a id="content-背景" href="#content-背景" class="heading-permalink" aria-hidden="true" title="Permalink"></a>背景</h2>
<p>由于官方DeepSeek频繁不可用，第三方API站点部署的全量模型无法联网，因此有需要联网推理的场景只能使用本地部署解决。</p>
<h2><a id="content-环境" href="#content-环境" class="heading-permalink" aria-hidden="true" title="Permalink"></a>环境</h2>
<p>CPU：12700
内存：32G DDR4 3200
显卡：RTX 2060 Super</p>
<h2><a id="content-模型准备" href="#content-模型准备" class="heading-permalink" aria-hidden="true" title="Permalink"></a>模型准备</h2>
<p>受显存限制，使用ollama只能下载8b和14b模型。</p>
<ul>
<li>8b模型可以完全加载到显存中，使用cuda推理。</li>
<li>14b模型需要利用CPU+GPU混合推理。
<img src="https://gitea.fjy8018.top/fjy8018/images/raw/branch/blog/img/DeepSeek%E6%9C%AC%E5%9C%B0%E9%83%A8%E7%BD%B2%E5%BC%80%E5%90%AF%E8%81%94%E7%BD%91%E6%90%9C%E7%B4%A2/file-20250209141718762.png" alt="file-20250209141718762.png" loading="lazy"  style="">
</li>
</ul>
<p>本地下载开源docker镜像open-webui</p>
<pre><code class="language-bash">docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
</code></pre>
<p>该镜像下载困难可以手动传到阿里云镜像仓库做一次代理，本次使用我同步的代理镜像启动</p>
<pre><code class="language-bash">docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --rm registry.cn-guangzhou.aliyuncs.com/fjy8018_proxy/open-webui:main
</code></pre>
<p>首次启动耗时较长，耐心等待，显示如下画面表示启动完成
<img src="https://gitea.fjy8018.top/fjy8018/images/raw/branch/blog/img/DeepSeek%E6%9C%AC%E5%9C%B0%E9%83%A8%E7%BD%B2%E5%BC%80%E5%90%AF%E8%81%94%E7%BD%91%E6%90%9C%E7%B4%A2/file-20250209142407547.png" alt="file-20250209142407547.png" loading="lazy"  style=""></p>
<h2><a id="content-联网api" href="#content-联网api" class="heading-permalink" aria-hidden="true" title="Permalink"></a>联网API</h2>
<p>进入http://localhost:3000/admin/settings 点击联网搜索配置搜索引擎
<img src="https://gitea.fjy8018.top/fjy8018/images/raw/branch/blog/img/DeepSeek%E6%9C%AC%E5%9C%B0%E9%83%A8%E7%BD%B2%E5%BC%80%E5%90%AF%E8%81%94%E7%BD%91%E6%90%9C%E7%B4%A2/file-20250209142632172.png" alt="file-20250209142632172.png" loading="lazy"  style=""></p>
<p>目前有3种免费的联网搜索API，各有优劣</p>
<h3><a id="content-duckduckgo" href="#content-duckduckgo" class="heading-permalink" aria-hidden="true" title="Permalink"></a>Duckduckgo</h3>
<p>优点：免费，无需API配置
缺点：网络无法直接访问。</p>
<h3><a id="content-bing-search" href="#content-bing-search" class="heading-permalink" aria-hidden="true" title="Permalink"></a>Bing Search</h3>
<p>优点：免费，国内网络可直连。
缺点：需要微软账户+信用卡认证。</p>
<h3><a id="content-google-search" href="#content-google-search" class="heading-permalink" aria-hidden="true" title="Permalink"></a>Google Search</h3>
<p>优点：免费，搜索内容可靠。
缺点：需要配置，网络无法直连。</p>
<p>此处为保障最好的搜索质量，使用Google搜索API接入。</p>
<h4><a id="content-申请api和密钥" href="#content-申请api和密钥" class="heading-permalink" aria-hidden="true" title="Permalink"></a>申请API和密钥</h4>
<p>进入谷歌可编程搜索引擎官网：<a rel="noopener noreferrer" href="https://developers.google.com/custom-search?hl=zh-cn">Programmable Search Engine  |  Google for Developers</a> 创建搜索引擎
<img src="https://gitea.fjy8018.top/fjy8018/images/raw/branch/blog/img/DeepSeek%E6%9C%AC%E5%9C%B0%E9%83%A8%E7%BD%B2%E5%BC%80%E5%90%AF%E8%81%94%E7%BD%91%E6%90%9C%E7%B4%A2/file-20250209143003526.png" alt="file-20250209143003526.png" loading="lazy"  style=""></p>
<p>点击控制面板
<img src="https://gitea.fjy8018.top/fjy8018/images/raw/branch/blog/img/DeepSeek%E6%9C%AC%E5%9C%B0%E9%83%A8%E7%BD%B2%E5%BC%80%E5%90%AF%E8%81%94%E7%BD%91%E6%90%9C%E7%B4%A2/file-20250209143022106.png" alt="file-20250209143022106.png" loading="lazy"  style=""></p>
<p>创建搜索引擎，名称任意
<img src="https://gitea.fjy8018.top/fjy8018/images/raw/branch/blog/img/DeepSeek%E6%9C%AC%E5%9C%B0%E9%83%A8%E7%BD%B2%E5%BC%80%E5%90%AF%E8%81%94%E7%BD%91%E6%90%9C%E7%B4%A2/file-20250209143108637.png" alt="file-20250209143108637.png" loading="lazy"  style=""></p>
<p>创建后得到搜索引擎ID
<img src="https://gitea.fjy8018.top/fjy8018/images/raw/branch/blog/img/DeepSeek%E6%9C%AC%E5%9C%B0%E9%83%A8%E7%BD%B2%E5%BC%80%E5%90%AF%E8%81%94%E7%BD%91%E6%90%9C%E7%B4%A2/file-20250209143200907.png" alt="file-20250209143200907.png" loading="lazy"  style=""></p>
<p>选择程序化访问
<img src="https://gitea.fjy8018.top/fjy8018/images/raw/branch/blog/img/DeepSeek%E6%9C%AC%E5%9C%B0%E9%83%A8%E7%BD%B2%E5%BC%80%E5%90%AF%E8%81%94%E7%BD%91%E6%90%9C%E7%B4%A2/file-20250209143216062.png" alt="file-20250209143216062.png" loading="lazy"  style=""></p>
<p>获取密钥
<img src="https://gitea.fjy8018.top/fjy8018/images/raw/branch/blog/img/DeepSeek%E6%9C%AC%E5%9C%B0%E9%83%A8%E7%BD%B2%E5%BC%80%E5%90%AF%E8%81%94%E7%BD%91%E6%90%9C%E7%B4%A2/file-20250209143244278.png" alt="file-20250209143244278.png" loading="lazy"  style=""></p>
<h4><a id="content-配置联网搜索" href="#content-配置联网搜索" class="heading-permalink" aria-hidden="true" title="Permalink"></a>配置联网搜索</h4>
<p>选择google pse，填写密钥和搜索ID
<img src="https://gitea.fjy8018.top/fjy8018/images/raw/branch/blog/img/DeepSeek%E6%9C%AC%E5%9C%B0%E9%83%A8%E7%BD%B2%E5%BC%80%E5%90%AF%E8%81%94%E7%BD%91%E6%90%9C%E7%B4%A2/file-20250209143347970.png" alt="file-20250209143347970.png" loading="lazy"  style=""></p>
<h2><a id="content-验证" href="#content-验证" class="heading-permalink" aria-hidden="true" title="Permalink"></a>验证</h2>
<h3><a id="content-8b--联网搜索" href="#content-8b--联网搜索" class="heading-permalink" aria-hidden="true" title="Permalink"></a>8b + 联网搜索</h3>
<p>使用8b+联网搜索验证
<img src="https://gitea.fjy8018.top/fjy8018/images/raw/branch/blog/img/DeepSeek%E6%9C%AC%E5%9C%B0%E9%83%A8%E7%BD%B2%E5%BC%80%E5%90%AF%E8%81%94%E7%BD%91%E6%90%9C%E7%B4%A2/file-20250209145225878.gif" alt="file-20250209145225878.gif" loading="lazy"  style=""></p>
<p>容器日志可以看到搜索到的文本内容
<img src="https://gitea.fjy8018.top/fjy8018/images/raw/branch/blog/img/DeepSeek%E6%9C%AC%E5%9C%B0%E9%83%A8%E7%BD%B2%E5%BC%80%E5%90%AF%E8%81%94%E7%BD%91%E6%90%9C%E7%B4%A2/file-20250209145333195.png" alt="file-20250209145333195.png" loading="lazy"  style=""></p>
<p>8b联网+推理显存沾满，显卡满载，但不需要CPU参与推理，32token/s，速度较快。
<img src="https://gitea.fjy8018.top/fjy8018/images/raw/branch/blog/img/DeepSeek%E6%9C%AC%E5%9C%B0%E9%83%A8%E7%BD%B2%E5%BC%80%E5%90%AF%E8%81%94%E7%BD%91%E6%90%9C%E7%B4%A2/file-20250209144633904.png" alt="file-20250209144633904.png" loading="lazy"  style=""></p>
<h3><a id="content-14b联网搜索" href="#content-14b联网搜索" class="heading-permalink" aria-hidden="true" title="Permalink"></a>14b+联网搜索</h3>
<p><img src="https://gitea.fjy8018.top/fjy8018/images/raw/branch/blog/img/DeepSeek%E6%9C%AC%E5%9C%B0%E9%83%A8%E7%BD%B2%E5%BC%80%E5%90%AF%E8%81%94%E7%BD%91%E6%90%9C%E7%B4%A2/file-20250209151556837.png" alt="file-20250209151556837.png" loading="lazy"  style="">
改成14b后，token速度下降到7token/s，勉强可用。</p>
<p>由于显存不足，需要CPU+GPU混合推理，显卡cuda性能无法完全利用，CPU占用率高。
<img src="https://gitea.fjy8018.top/fjy8018/images/raw/branch/blog/img/DeepSeek%E6%9C%AC%E5%9C%B0%E9%83%A8%E7%BD%B2%E5%BC%80%E5%90%AF%E8%81%94%E7%BD%91%E6%90%9C%E7%B4%A2/file-20250209151543095.png" alt="file-20250209151543095.png" loading="lazy"  style=""></p>