AI on F嘉阳

本地LLM训练

Sun, 30 Mar 2025 11:44:00 +0800

参考资料

jingyaogong/minimind

环境准备

本地环境配置

CPU 12700
内存 32G DDR4 3200
GPU RTX 2060Super
系统 Win11
CUDA 12.6
Python 3.12

由于需要本地编译，windows环境需要安装Microsoft Visual C++ 编译器，tiktoken编译需要rust环境，安装地址：

克隆并安装环境

git clone https://github.com/jingyaogong/minimind.git
cd minimind
pip install -r requirements.txt

注意：此处不建议使用清华源、也不建议使用conda虚拟环境，会导致pytorch包版本匹配失败

依赖安装检查，执行以下代码

import torch 
print(torch.__version__) 
print(torch.version.cuda) 
print(torch.cuda.is_available())

输入如下即成功

(base) PS F:\java_workspace\minimind> python .\test_env.py
2.6.0+cu126
12.6
True

按照文档指引下载默认的预训练集和监督训练集

minimind_dataset · 数据集

训练过程

预训练

执行预训练

python train_pretrain.py

在我的环境下需要3小时才能完成预训练

执行预训练，得到pretrain_*.pth作为预训练的输出权重（其中为模型的dimension，默认为512）

监督微调

python train_full_sft.py

执行监督全参数微调，在我的环境下需要2.5小时

效果测试

测试全参微调

python eval_model.py --model_mode 1

从结果来看，能进行对话，但受限于参数量，很多知识不完整，对话回答质量比较一般。

模型优化

受本地环境限制，只能完成监督微调步骤，后续步骤执行会爆显存，耗时显著增加。后续学习改为使用阿里云PAI-DSW环境

DeepSeek 本地部署开启联网搜索

Sun, 09 Feb 2025 17:28:00 +0800

背景

由于官方DeepSeek频繁不可用，第三方API站点部署的全量模型无法联网，因此有需要联网推理的场景只能使用本地部署解决。

环境

CPU：12700 内存：32G DDR4 3200 显卡：RTX 2060 Super

模型准备

受显存限制，使用ollama只能下载8b和14b模型。

8b模型可以完全加载到显存中，使用cuda推理。
14b模型需要利用CPU+GPU混合推理。

本地下载开源docker镜像open-webui

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

该镜像下载困难可以手动传到阿里云镜像仓库做一次代理，本次使用我同步的代理镜像启动

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --rm registry.cn-guangzhou.aliyuncs.com/fjy8018_proxy/open-webui:main

首次启动耗时较长，耐心等待，显示如下画面表示启动完成

联网API

进入http://localhost:3000/admin/settings 点击联网搜索配置搜索引擎

目前有3种免费的联网搜索API，各有优劣

Duckduckgo

优点：免费，无需API配置缺点：网络无法直接访问。

Bing Search

优点：免费，国内网络可直连。缺点：需要微软账户+信用卡认证。

Google Search

优点：免费，搜索内容可靠。缺点：需要配置，网络无法直连。

此处为保障最好的搜索质量，使用Google搜索API接入。

申请API和密钥

进入谷歌可编程搜索引擎官网：Programmable Search Engine | Google for Developers 创建搜索引擎

点击控制面板

创建搜索引擎，名称任意

创建后得到搜索引擎ID

选择程序化访问

获取密钥

配置联网搜索

选择google pse，填写密钥和搜索ID

验证

8b + 联网搜索

使用8b+联网搜索验证

容器日志可以看到搜索到的文本内容

8b联网+推理显存沾满，显卡满载，但不需要CPU参与推理，32token/s，速度较快。

14b+联网搜索

改成14b后，token速度下降到7token/s，勉强可用。

由于显存不足，需要CPU+GPU混合推理，显卡cuda性能无法完全利用，CPU占用率高。

基于 ChatGLM2-6B 搭建个人知识库

Wed, 06 Sep 2023 22:43:00 +0800

背景

ChatGLM2-6B 是开源中英双语对话模型 ChatGLM-6B的第二代版本，提升了性能和推理能力，可结合Langchain-Chatchat和Embedding 可实现基于本地知识库的推理能力

准备环境

由于需要构建强大的知识库而非通过prompt组装问答方式，故需要更大的显存和内存，此处直接使用阿里云提供的A10显卡，可免费试用3个月

申请机器

创建工作空间

创建实例

启动机器后进入工作台

部署ChatGLM2-6B

下载仓库

参考官方仓库的部署指南

$ git clone https://github.com/THUDM/ChatGLM2-6B
$ cd ChatGLM2-6B

然后使用 pip 安装依赖：

$ pip install -r requirements.txt

安装git lfs

阿里云的git源直接安装lfs会存在问题，需要安装前置依赖

$ apt -y install build-essential nghttp2 libnghttp2-dev libssl-dev
$ git lfs install --skip-smudge

下载模型

$ git clone https://huggingface.co/THUDM/chatglm2-6b /mnt/workspace/model/chatglm2-6b
$ git lfs fetch
$ git lfs checkout

修改启动配置

此处只使用webUI模式验证，修改 web_demo.py

tokenizer= AutoTokenizer.from_pretrained("/mnt/workspace/model/chatglm2-6b", trust_remote_code=True)
model= AutoModel.from_pretrained("/mnt/workspace/model/chatglm2-6b", trust_remote_code=True).half().cuda()

# 要暴露在公网上
demo.queue().launch(share=True, inbrowser=True, server_name='0.0.0.0', server_port=7860)

安装启动依赖

$ pip install gradio

启动WebUI

$ python web_demo.py

启动成功

使用非量化模型，显存占用12G

问答验证

基于A10显卡推理，运算速度非常快，对问题的理解能力也比之前体验的chatglm-6b更加准确，但依然有不少文字错误

部署Langchain知识库应用

介绍

Langchain-Chatchat是一种利用 langchain 思想实现的基于本地知识库的问答应用，目标期望建立一套对中文场景与开源模型支持友好、可离线运行的知识库问答解决方案。

原理示意图

更多介绍参考官方仓库

下载仓库

Langchain依赖的python包有些许差别，需要先升级python依赖版本

$ pip3 install --upgrade pip
$ pip uninstall accelerate
$ pip install accelerate>=0.20.3

# 拉取仓库
$ git clone https://github.com/chatchat-space/Langchain-Chatchat.git

# 进入目录
$ cd Langchain-Chatchat

# 安装全部依赖
$ pip install -r requirements.txt

下载Embedding模型

此处使用官方推荐的m3e-base模型为例

$ git clone https://huggingface.co/moka-ai/m3e-base
$ git lfs fetch
$ git lfs checkout

修改配置

修改Langchain模型引用配置

$ cd Langchain-Chatchat

复制样例文件，创建新配置configs/model_config.py 和 configs/server_config.py

本地的 LLM 模型本地存储路径写在 llm_model_dict 对应模型的 local_model_path 属性中

llm_model_dict={
 "chatglm2-6b": {
 "local_model_path": "/mnt/workspace/model/chatglm2-6b",
 "api_base_url": "http://127.0.0.1:9090/v1", # "name"修改为 FastChat 服务中的"api_base_url"
 "api_key": "EMPTY"
 },
 }

本地的 Embedding 模型本地存储路径写在 embedding_model_dict 对应模型位置

embedding_model_dict = {
 "m3e-base": "/mnt/workspace/model/m3e-base",
 }

重建知识库

首次使用模型需要重建知识库

$ python init_database.py --recreate-vs

启动知识库

一键启动所有 Fastchat 服务、API 服务、WebUI 服务

$ python startup.py -a

问答验证

LLM模型验证，连接本地ChatGLM2-6B成功

工程自带样例知识库，可以使用内置知识库验证，此处跳过，直接使用个人知识库验证

构建知识库

基金研报知识库

从天天基金拉取研报：中信证券：把握宏观政策接连发力下电商板块估值修复机会_天天基金网 (eastmoney.com)

将内容存储为txt上传到知识库

基于基金研报知识库问答，总结准确，速度非常快

推理过程日志，显存占用14G

个人面试知识库

将Java并发知识点转为txt类型知识库上传并创建新的知识库空间

不使用知识库情况下回答

使用知识库情况下回答

显然使用知识库回答更加准确