AI创想

标题: Langchain Chatchat：开源代码与离线部署的完美融合 [打印本页]
作者: zoopk0079    时间: 昨天 20:24
标题: Langchain Chatchat：开源代码与离线部署的完美融合
作者：檀越@新空间
写在前面

(, 下载次数: 0)


一.好易智算介绍

1.官网网址

好易智算官网:https://www.haoee.com/
在使用了好易智算后,这个平台大概有以下几个优点:
① 对比其他平台，卡源丰富，通过底层优化，不会出现有卡不能开机的情况；
② 优质算力集成多款主流免费应用；
③ 免去繁琐部署，一键开机，即开即用；
好易智算共有算力市场、应用市场、交流社区三大功能模式。
此外，好易智算平台最近推出的“399 包月活动”更是为广大用户带来了前所未有的优惠。只需 399 元，用户即可在接下来的 30 天内享受到无限次的高性能计算服务，无论是大数据分析、深度学习还是复杂的模拟计算，都能轻松应对。这一活动进一步降低了先进计算资源的使用成本，让智能计算的力量触手可及。
(, 下载次数: 0)


2.应用市场

好易智算的应用市场提供了包含 Stable Diffusion WebUI、omost、SUPIR、kohya-ss、上河 AI、magicanimate、chattts、flashface、ootdiffusion、SadTalker、ComfyUI、Facefusion、Langchain Chatchat、Musetalk、Wav2lip、Fooocus、lora-scripts 等在内的多款应用，涵盖 AI 绘图、视频生成、图片生成及音频生成等多元化场景制作应用，无需部署、开箱即用、即点即用，为用户提供流畅、便捷的创作体验。
(, 下载次数: 0)


3.算力市场

好易智算提供多样化的显卡类型，以及弹性、可扩展的云计算资源，例如：RTX3090、RTX4090d、A100、Atlas 300V、Atlas 300T 等，旨在满足用户对于低成本、高效率的使用需求，确保每一个创新想法都能迅速转化为现实。
(, 下载次数: 0)


4.好易平台优势点总结

竞品名称劣势我们应对优势
A***L卡源紧张，很难抢到❌卡量充足，随时开机✅
A***L开机无卡，重新开卡需要拷贝数据，操作麻烦❌无缝开机，原数据自动流转，无需拷贝转移✅
***脑仅有应用模式，深度使用层面不够灵活❌镜像/应用均有，按需使用更灵活✅
***脑3 天释放数据❌数据保存 15 天，安心过年、安心度过黄金周，不用担心数据被清空✅
恒***云算力资源非直营，产品质量良莠不齐❌显卡全直营，品质有保障✅
恒***云机主素质不一，定价很随意，很容易遇到矿机改装❌全直营，定价体系规范统一，0 矿机，0 风险✅
揽***舟10GB 免费储存空间❌免费网盘容量 50GB，大容量✅
揽***舟应用只有 6 个，可用应用比较少❌应用丰富，涵盖范围广，除了已经上线的 9 个，还即将计划上线✅
揽***舟算力资源价格贵，4090 高达 3.1 元小时❌价格低，还享受 95 折优惠，2.12 元/小时✅
仙***云25GB 免费储存空间❌免费网盘容量 50GB，大容量✅
在使用了好易智算平台后，您将体验到以下显著优势：
选择好易智算，让您的计算任务变得更加轻松高效，享受科技带来的便利！立即体验，开启智能计算新篇章。
二.Langchain Chatchat 介绍

1.什么是 Langchain Chatchat?

Langchain-Chatchat 是一个基于 ChatGLM 等大语言模型与 Langchain 等应用框架实现的，开源、可离线部署的检索增强生成（RAG）大模型知识库项目，
是一个集成多模型的对话平台，实现自然语言交互。 Langchain-Chatchat 是在 Langchain 基础上封装了一层聊天服务，可以对接底层多种离线 LLM（大语言模型）
和在线的 LLM（也可以对接自定义的在线 LLM），提供基于知识库聊天功能相关的一系列 API。
(, 下载次数: 0)


2.Langchain Chatchat 特点

Langchain-Chatchat 构建高 可复用
可自由上传细分专业领域语料自由训练模型，实现不同领域的自然语言深度交互。
三.Langchain Chatchat 构建步骤

1.应用入口

在应用市场中找到如图所示的 Langchain Chatchat 应用,点击立即使用。
(, 下载次数: 0)


2.创建应用

在创建应用页面选择合适的机器,主要有计费方式、选择 GPU 等。
计费方式我们这里选择按量计费，创建新应用是默认的,就是我们要创建的Langchain Chatchat应用。
GPU 选择
可以看到价格是 1.88 每小时,未优惠的价格为 2.35 每小时,性价比还是很高的，确认好信息后，我们点击立即创建。
(, 下载次数: 0)


3.我的应用

立即创建后，会自动跳转到我的应用界面，创建新应用会花费一些时间,大概需要 1 分钟的时间引用就创建好了，我们可以点击如图所示的打开应用按钮，会跳转到应用的页面。
(, 下载次数: 0)


四.Langchain Chatchat 会话

1.会话首页

点击打开应用后，会跳转到会话首页，是一个聊天对话框，左侧可以设置一些参数，下面我会详细介绍一下这些参数的作用
(, 下载次数: 0)


2.系统按键区

如图右侧隐藏起来的是系统功能按键区，主要是一些帮助服务，为了体验更好而设置。
(, 下载次数: 0)


3.知识库管理

知识库管理就是我们可以自定义的上传各种各样格式的文件，这些文件通过 embedding 后会存入到向量数据库中供后续问答的时候使用，回答的结果会基于和问题相关的知识库切片进行回答。
知识库管理首页:
(, 下载次数: 0)


4.会话模式

Chatchat 的会话模式多种多样，灵活多样，满足各种需求，主要有如下几类会话类型:
(, 下载次数: 0)


5.模型种类

模型的种类目前有三种，不同的模型由于训练的参数量不同，会导致回答效果不一样。
LLM 模型
(, 下载次数: 0)


6.prompt 设置

prompt 设置主要是为了我们在对面前，告诉大模型一些公共的基础信息或者回答格式，需要基于这些基础信息和回答格式风格进行回答，满足使用者的要求。
(, 下载次数: 0)


7.Temperature 设置

Temperature 主要是控制大模型的发散度的，Temperature 值越小，大模型越严谨，不会随意发散回答，Temperature 值越大，则大模型会根据自己的理解进行发散性的总结回答，我们需要根据不同的需求场景对 Temperature 进行不同的设置。
(, 下载次数: 0)


8.多轮对话

历史对话轮数就是控制多轮对话，对话轮数越大，大模型在回答的时候参考的上下文就越长，回答的时候会基于之前的问答进行参考，进而对新问题有一个更加准确的回答，当然历史对话轮数越大，传给大模型的 token 数也就越大，我们在使用的时候也需要根据自己的需求设置合适的大小。
(, 下载次数: 0)


9.问答效果图

如何指定小学1年级的学习计划
(, 下载次数: 0)


编写一个红黑树的代码
(, 下载次数: 0)


10.关闭应用

使用完成注意关闭应用，避免资源浪费。
(, 下载次数: 0)


五.自定义知识库

1.新建知识库

选择新建知识库，填写新建知识库的名称，给知识库添加简介，并选择合适的向量库类型和 Embedding 模型。
(, 下载次数: 0)


向量库类型
Embedding 模型
2.上传文件

筛选准备好和当前知识库相关的文件资料，把资料文件上传到知识库，点击添加文件到知识库，同一个知识库可以添加多个文件。
(, 下载次数: 0)


3.向量知识库

可以对文件进行切片处理，其中单文本最大长度和相邻文本重合长度是动态调整的，并且可以自定义是否开启中文标题加强。切片后的结果如下图所示，主要是 JVM 基础知识的一些切片信息。
(, 下载次数: 0)


4.chat 端

在聊天对话框选择对话模式为知识库问答，然后在知识库配置中选择知识库，并且选择召回的条数，以及知识匹配分数阈值，问了一些和知识库 PDF 相关的问题，发现可以很好的回答出来，检索知识库起到了明显的作用。
(, 下载次数: 0)


5.知识库出处

通过点击知识库匹配结果，我们可以看到切片在 PDF 中的出处，进而根据切片进行总结回答，为用户提供一个满意的答案。
(, 下载次数: 0)


6.Chatchat 使用总结

在使用 Langchain Chatchat 过程中，我们可以发现 Langchain Chatchat 功能多样，有很多自定义参数可以进行配置，然后流式输出的速度很快，主要原因是运载应用的机器算力强大，非常值得尝试使用。
Langchain Chatchat优点:
(, 下载次数: 0)






原文地址：https://blog.csdn.net/qyj19920704/article/details/140294400



欢迎光临 AI创想 (https://www.llms-ai.com/) Powered by Discuz! X3.4