ChatGLM on F嘉阳

基于 ChatGLM2-6B 搭建个人知识库

Wed, 06 Sep 2023 22:43:00 +0800

背景

ChatGLM2-6B 是开源中英双语对话模型 ChatGLM-6B的第二代版本，提升了性能和推理能力，可结合Langchain-Chatchat和Embedding 可实现基于本地知识库的推理能力

准备环境

由于需要构建强大的知识库而非通过prompt组装问答方式，故需要更大的显存和内存，此处直接使用阿里云提供的A10显卡，可免费试用3个月

申请机器

创建工作空间

创建实例

启动机器后进入工作台

部署ChatGLM2-6B

下载仓库

参考官方仓库的部署指南

$ git clone https://github.com/THUDM/ChatGLM2-6B
$ cd ChatGLM2-6B

然后使用 pip 安装依赖：

$ pip install -r requirements.txt

安装git lfs

阿里云的git源直接安装lfs会存在问题，需要安装前置依赖

$ apt -y install build-essential nghttp2 libnghttp2-dev libssl-dev
$ git lfs install --skip-smudge

下载模型

$ git clone https://huggingface.co/THUDM/chatglm2-6b /mnt/workspace/model/chatglm2-6b
$ git lfs fetch
$ git lfs checkout

修改启动配置

此处只使用webUI模式验证，修改 web_demo.py

tokenizer= AutoTokenizer.from_pretrained("/mnt/workspace/model/chatglm2-6b", trust_remote_code=True)
model= AutoModel.from_pretrained("/mnt/workspace/model/chatglm2-6b", trust_remote_code=True).half().cuda()

# 要暴露在公网上
demo.queue().launch(share=True, inbrowser=True, server_name='0.0.0.0', server_port=7860)

安装启动依赖

$ pip install gradio

启动WebUI

$ python web_demo.py

启动成功

使用非量化模型，显存占用12G

问答验证

基于A10显卡推理，运算速度非常快，对问题的理解能力也比之前体验的chatglm-6b更加准确，但依然有不少文字错误

部署Langchain知识库应用

介绍

Langchain-Chatchat是一种利用 langchain 思想实现的基于本地知识库的问答应用，目标期望建立一套对中文场景与开源模型支持友好、可离线运行的知识库问答解决方案。

原理示意图

更多介绍参考官方仓库

下载仓库

Langchain依赖的python包有些许差别，需要先升级python依赖版本

$ pip3 install --upgrade pip
$ pip uninstall accelerate
$ pip install accelerate>=0.20.3

# 拉取仓库
$ git clone https://github.com/chatchat-space/Langchain-Chatchat.git

# 进入目录
$ cd Langchain-Chatchat

# 安装全部依赖
$ pip install -r requirements.txt

下载Embedding模型

此处使用官方推荐的m3e-base模型为例

$ git clone https://huggingface.co/moka-ai/m3e-base
$ git lfs fetch
$ git lfs checkout

修改配置

修改Langchain模型引用配置

$ cd Langchain-Chatchat

复制样例文件，创建新配置configs/model_config.py 和 configs/server_config.py

本地的 LLM 模型本地存储路径写在 llm_model_dict 对应模型的 local_model_path 属性中

llm_model_dict={
 "chatglm2-6b": {
 "local_model_path": "/mnt/workspace/model/chatglm2-6b",
 "api_base_url": "http://127.0.0.1:9090/v1", # "name"修改为 FastChat 服务中的"api_base_url"
 "api_key": "EMPTY"
 },
 }

本地的 Embedding 模型本地存储路径写在 embedding_model_dict 对应模型位置

embedding_model_dict = {
 "m3e-base": "/mnt/workspace/model/m3e-base",
 }

重建知识库

首次使用模型需要重建知识库

$ python init_database.py --recreate-vs

启动知识库

一键启动所有 Fastchat 服务、API 服务、WebUI 服务

$ python startup.py -a

问答验证

LLM模型验证，连接本地ChatGLM2-6B成功

工程自带样例知识库，可以使用内置知识库验证，此处跳过，直接使用个人知识库验证

构建知识库

基金研报知识库

从天天基金拉取研报：中信证券：把握宏观政策接连发力下电商板块估值修复机会_天天基金网 (eastmoney.com)

将内容存储为txt上传到知识库

基于基金研报知识库问答，总结准确，速度非常快

推理过程日志，显存占用14G

个人面试知识库

将Java并发知识点转为txt类型知识库上传并创建新的知识库空间

不使用知识库情况下回答

使用知识库情况下回答

显然使用知识库回答更加准确

ChatGLM-6B 本地化部署体验

Sun, 28 May 2023 19:50:00 +0800

背景

在ChatGPT引爆大语言模型热潮下，国内清华大学开源了包含62亿参数的GLM-6B，由于使用的参数较少，因此能支持在消费级显卡上私有化部署体验。

硬件

CPU：12700

内存：32G

GPU：RTX 2060 SUPER 8G

实践-ChatGLM-6B官方版本

介绍

GitHub - THUDM/ChatGLM-6B: ChatGLM-6B: An Open Bilingual Dialogue Language Model | 开源双语对话语言模型

ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。 ChatGLM-6B 使用了和 ChatGPT 相似的技术，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答，更多信息请参考我们的博客。

部署

采用秋叶一键部署包，使用8G显存版本

启动成功，访问web-ui

对话

对话流畅度与chatgpt类似，精准度不如gpt4

由于显存限制，咨询过大的问题会直接导致爆显存无法回答

实践-闻达版本

介绍

GitHub - wenda-LLM/wenda: 闻达：一个LLM调用平台。为小模型外挂知识库查找和设计自动执行动作，实现不亚于于大模型的生成能力

闻达基于GLM-6B扩展，支持了本地知识库和联网知识库，提供了近似new bing的体验

部署

使用官方一键包，默认使用6g显存模型

启动成功

对话-离线

只使用已有模型数据，询问

回答内容文不对题

主动提供正确数据内容后再询问，此时回答正确

对话-使用在线知识库

打开联网知识库，清理历史后重新询问，不需要提供本地知识也可以自行通过网络检索后回答正确

系统设计问题

文档解析

直接读取文档

直接使用读取文档并对话的方式很容易脱离文档内容，导致答非所问

尽管使用的是6g显存的版本，读取较大的文档时也会爆显存

手动模拟文档读取

GLM文档分析实际上是将文档识别后转换为特定prompt进行问答对话

参考内嵌prompt

手动复制文档内容进行模拟对话，内容回答正确

类AutoGPT功能

使用wenda提供的“根据标题写论文功能”可自动触发AutoGPT模式

其会自己列提纲，并逐个扩展，无需手工操作

总结

在消费级甜品卡上已经能实现接近chatgpt3的能力，ChatGLM-130B更是拥有1300亿参数的中英双语稠密模型，在能力上更进一步。

未来GLM企业级私有化部署可能会被包装为简单易用的产品向政府、企业推广，满足数据保密要求。