https://blog.fjy8018.top/tags/chatgpt/Recent content in ChatGPT on F嘉阳Hugo -- gohugo.iozh-cnSun, 30 Mar 2025 16:20:19 +0800https://blog.fjy8018.top/archives/285/Sun, 28 May 2023 19:50:00 +0800https://blog.fjy8018.top/archives/285/<h2 id="背景"><a href="#%e8%83%8c%e6%99%af" class="header-anchor"></a>背景 </h2><p>在ChatGPT引爆大语言模型热潮下，国内清华大学开源了包含62亿参数的GLM-6B，由于使用的参数较少，因此能支持在消费级显卡上私有化部署体验。</p> <h2 id="硬件"><a href="#%e7%a1%ac%e4%bb%b6" class="header-anchor"></a>硬件 </h2><p>CPU：12700</p> <p>内存：32G</p> <p>GPU：RTX 2060 SUPER 8G</p> <h2 id="实践-chatglm-6b官方版本"><a href="#%e5%ae%9e%e8%b7%b5-chatglm-6b%e5%ae%98%e6%96%b9%e7%89%88%e6%9c%ac" class="header-anchor"></a>实践-ChatGLM-6B官方版本 </h2><h3 id="介绍"><a href="#%e4%bb%8b%e7%bb%8d" class="header-anchor"></a>介绍 </h3><p><a class="link" href="https://github.com/THUDM/ChatGLM-6B" target="_blank" rel="noopener" >GitHub - THUDM/ChatGLM-6B: ChatGLM-6B: An Open Bilingual Dialogue Language Model | 开源双语对话语言模型</a></p> <blockquote> <p>ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于 <a class="link" href="https://github.com/THUDM/GLM" target="_blank" rel="noopener" >General Language Model (GLM)</a> 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。 ChatGLM-6B 使用了和 ChatGPT 相似的技术，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答，更多信息请参考我们的<a class="link" href="https://chatglm.cn/blog" target="_blank" rel="noopener" >博客</a>。</p> </blockquote> <h3 id="部署"><a href="#%e9%83%a8%e7%bd%b2" class="header-anchor"></a>部署 </h3><p>采用秋叶一键部署包，使用8G显存版本</p> <p><img alt="image-20230528172118422" class="gallery-image" data-flex-basis="965px" data-flex-grow="402" height="430" loading="lazy" sizes="(max-width: 767px) calc(100vw - 30px), (max-width: 1023px) 700px, (max-width: 1279px) 950px, 1232px" src="https://gitea.fjy8018.top/fjy8018/images/raw/branch/blog/img/image-20230528172118422.png" width="1730"></p> <p>启动成功，访问web-ui</p> <p><img alt="image-20230528172141100" class="gallery-image" data-flex-basis="319px" data-flex-grow="133" height="1448" loading="lazy" sizes="(max-width: 767px) calc(100vw - 30px), (max-width: 1023px) 700px, (max-width: 1279px) 950px, 1232px" src="https://gitea.fjy8018.top/fjy8018/images/raw/branch/blog/img/image-20230528172141100.png" width="1926"></p> <h3 id="对话"><a href="#%e5%af%b9%e8%af%9d" class="header-anchor"></a>对话 </h3><p>对话流畅度与chatgpt类似，精准度不如gpt4</p> <p><img alt="chatglm-6b" loading="lazy" sizes="(max-width: 767px) calc(100vw - 30px), (max-width: 1023px) 700px, (max-width: 1279px) 950px, 1232px" src="https://blog.fjy8018.top/images/recovered/444041181a77eac5f2bc.gif"></p> <p>由于显存限制，咨询过大的问题会直接导致爆显存无法回答</p> <p><img alt="image-20230528173346575" class="gallery-image" data-flex-basis="1815px" data-flex-grow="756" height="227" loading="lazy" sizes="(max-width: 767px) calc(100vw - 30px), (max-width: 1023px) 700px, (max-width: 1279px) 950px, 1232px" src="https://gitea.fjy8018.top/fjy8018/images/raw/branch/blog/img/image-20230528173346575.png" width="1717"></p> <p><img alt="image-20230528122150070" class="gallery-image" data-flex-basis="168px" data-flex-grow="70" height="827" loading="lazy" sizes="(max-width: 767px) calc(100vw - 30px), (max-width: 1023px) 700px, (max-width: 1279px) 950px, 1232px" src="https://gitea.fjy8018.top/fjy8018/images/raw/branch/blog/img/image-20230528122150070.png" width="582"></p> <h2 id="实践-闻达版本"><a href="#%e5%ae%9e%e8%b7%b5-%e9%97%bb%e8%be%be%e7%89%88%e6%9c%ac" class="header-anchor"></a>实践-闻达版本 </h2><h3 id="介绍-1"><a href="#%e4%bb%8b%e7%bb%8d-1" class="header-anchor"></a>介绍 </h3><p><a class="link" href="https://github.com/wenda-LLM/wenda" target="_blank" rel="noopener" >GitHub - wenda-LLM/wenda: 闻达：一个LLM调用平台。为小模型外挂知识库查找和设计自动执行动作，实现不亚于于大模型的生成能力</a></p> <p>闻达基于GLM-6B扩展，支持了本地知识库和联网知识库，提供了近似new bing的体验</p> <h3 id="部署-1"><a href="#%e9%83%a8%e7%bd%b2-1" class="header-anchor"></a>部署 </h3><p>使用官方一键包，默认使用6g显存模型</p> <p><img alt="image-20230528173835563" class="gallery-image" data-flex-basis="296px" data-flex-grow="123" height="900" loading="lazy" sizes="(max-width: 767px) calc(100vw - 30px), (max-width: 1023px) 700px, (max-width: 1279px) 950px, 1232px" src="https://gitea.fjy8018.top/fjy8018/images/raw/branch/blog/img/image-20230528173835563.png" width="1110"></p> <p>启动成功</p> <p><img alt="image-20230528173915303" class="gallery-image" data-flex-basis="435px" data-flex-grow="181" height="954" loading="lazy" sizes="(max-width: 767px) calc(100vw - 30px), (max-width: 1023px) 700px, (max-width: 1279px) 950px, 1232px" src="https://gitea.fjy8018.top/fjy8018/images/raw/branch/blog/img/image-20230528173915303.png" width="1730"></p> <h3 id="对话-离线"><a href="#%e5%af%b9%e8%af%9d-%e7%a6%bb%e7%ba%bf" class="header-anchor"></a>对话-离线 </h3><p>只使用已有模型数据，询问</p> <p><img alt="image-20230528121247875" class="gallery-image" data-flex-basis="436px" data-flex-grow="181" height="567" loading="lazy" sizes="(max-width: 767px) calc(100vw - 30px), (max-width: 1023px) 700px, (max-width: 1279px) 950px, 1232px" src="https://gitea.fjy8018.top/fjy8018/images/raw/branch/blog/img/image-20230528121247875.png" width="1031"></p> <p>回答内容文不对题</p> <p>主动提供正确数据内容后再询问，此时回答正确</p> <p><img alt="image-20230528121339750" loading="lazy" sizes="(max-width: 767px) calc(100vw - 30px), (max-width: 1023px) 700px, (max-width: 1279px) 950px, 1232px" src="https://blog.fjy8018.top/images/recovered/51ab890433412ae2daae.png"></p> <h3 id="对话-使用在线知识库"><a href="#%e5%af%b9%e8%af%9d-%e4%bd%bf%e7%94%a8%e5%9c%a8%e7%ba%bf%e7%9f%a5%e8%af%86%e5%ba%93" class="header-anchor"></a>对话-使用在线知识库 </h3><p>打开联网知识库，清理历史后重新询问，不需要提供本地知识也可以自行通过网络检索后回答正确</p> <p><img alt="image-20230528121121124" class="gallery-image" data-flex-basis="249px" data-flex-grow="103" height="1033" loading="lazy" sizes="(max-width: 767px) calc(100vw - 30px), (max-width: 1023px) 700px, (max-width: 1279px) 950px, 1232px" src="https://gitea.fjy8018.top/fjy8018/images/raw/branch/blog/img/image-20230528121121124.png" width="1074"></p> <p>系统设计问题</p> <p><img alt="image-20230528122234702" loading="lazy" sizes="(max-width: 767px) calc(100vw - 30px), (max-width: 1023px) 700px, (max-width: 1279px) 950px, 1232px" src="https://blog.fjy8018.top/images/recovered/6c613fea21606bae426d.png"></p> <h3 id="文档解析"><a href="#%e6%96%87%e6%a1%a3%e8%a7%a3%e6%9e%90" class="header-anchor"></a>文档解析 </h3><h4 id="直接读取文档"><a href="#%e7%9b%b4%e6%8e%a5%e8%af%bb%e5%8f%96%e6%96%87%e6%a1%a3" class="header-anchor"></a>直接读取文档 </h4><p>直接使用读取文档并对话的方式很容易脱离文档内容，导致答非所问</p> <p><img alt="image-20230528132251350" loading="lazy" sizes="(max-width: 767px) calc(100vw - 30px), (max-width: 1023px) 700px, (max-width: 1279px) 950px, 1232px" src="https://blog.fjy8018.top/images/recovered/d32b89cddc41a2a39649.png"></p> <p>尽管使用的是6g显存的版本，读取较大的文档时也会爆显存</p> <p><img alt="image-20230528133754622" class="gallery-image" data-flex-basis="2235px" data-flex-grow="931" height="184" loading="lazy" sizes="(max-width: 767px) calc(100vw - 30px), (max-width: 1023px) 700px, (max-width: 1279px) 950px, 1232px" src="https://gitea.fjy8018.top/fjy8018/images/raw/branch/blog/img/image-20230528133754622.png" width="1714"></p> <h4 id="手动模拟文档读取"><a href="#%e6%89%8b%e5%8a%a8%e6%a8%a1%e6%8b%9f%e6%96%87%e6%a1%a3%e8%af%bb%e5%8f%96" class="header-anchor"></a>手动模拟文档读取 </h4><p>GLM文档分析实际上是将文档识别后转换为特定prompt进行问答对话</p> <p>参考内嵌prompt</p> <p><img alt="image-20230528174537908" class="gallery-image" data-flex-basis="399px" data-flex-grow="166" height="648" loading="lazy" sizes="(max-width: 767px) calc(100vw - 30px), (max-width: 1023px) 700px, (max-width: 1279px) 950px, 1232px" src="https://gitea.fjy8018.top/fjy8018/images/raw/branch/blog/img/image-20230528174537908.png" width="1078"></p> <p>手动复制文档内容进行模拟对话，内容回答正确</p> <p><img alt="image-20230528132206338" loading="lazy" sizes="(max-width: 767px) calc(100vw - 30px), (max-width: 1023px) 700px, (max-width: 1279px) 950px, 1232px" src="https://blog.fjy8018.top/images/recovered/1714594fabbe13ed8d62.png"></p> <h3 id="类autogpt功能"><a href="#%e7%b1%bbautogpt%e5%8a%9f%e8%83%bd" class="header-anchor"></a>类AutoGPT功能 </h3><p>使用wenda提供的“根据标题写论文功能”可自动触发AutoGPT模式</p> <p><img alt="image-20230528175719724" class="gallery-image" data-flex-basis="219px" data-flex-grow="91" height="1192" loading="lazy" sizes="(max-width: 767px) calc(100vw - 30px), (max-width: 1023px) 700px, (max-width: 1279px) 950px, 1232px" src="https://gitea.fjy8018.top/fjy8018/images/raw/branch/blog/img/image-20230528175719724.png" width="1091"></p> <p>其会自己列提纲，并逐个扩展，无需手工操作</p> <p><img alt="chatglm-6b-autogpt" loading="lazy" sizes="(max-width: 767px) calc(100vw - 30px), (max-width: 1023px) 700px, (max-width: 1279px) 950px, 1232px" src="https://blog.fjy8018.top/images/recovered/180d6fc3afd209fa69f4.gif"></p> <h2 id="总结"><a href="#%e6%80%bb%e7%bb%93" class="header-anchor"></a>总结 </h2><p>在消费级甜品卡上已经能实现接近chatgpt3的能力，ChatGLM-130B更是拥有1300亿参数的中英双语稠密模型，在能力上更进一步。</p> <p>未来GLM企业级私有化部署可能会被包装为简单易用的产品向政府、企业推广，满足数据保密要求。</p>