关于基于大模型智能知识库落地的一些思考

以下产品或商业化解决方案介绍内容均来自官网或公开报道，排名不分先后，仅供参考。

1. 云厂商

1.1 百度智能云+千帆大模型知识库

百度智能云千帆大模型知识库是一款专门面向大语言模型知识问答场景，旨在管理客户上传的知识并提供快速查询检索功能的产品。基于百度Elasticsearch，用户能够以高效的方式存储和检索大量的知识库文档，实现快速管理企业私域知识，构建知识问答应用。

下图展示了知识库在千帆大模型平台的定位，可以看到知识库作为大语言模型工具链的一环，用来保存企业私有数据，以解决数据隐私、时效性等问题。

从官方网站的介绍中可以看出，千帆大模型知识库的实现原理也是基于RAG技术+LLM的集成。

该方案特点在于能够灵活应用千帆大模型平台的能力进行知识库的构建。千帆大模型平台不仅提供包括文心一言底层模型（ERNIE-Bot）和第三方开源大模型，而且提供各种高AI开发工具和整套开发环境，比如数据管理、文档解析、自动化模型SFT、prompt管理以及推理服务云端部署等，方便客户轻松使用和开发大模型应用。

1.2 阿里云 PAI+向量检索

PAI是阿里云人工智能平台（Platform for AI），它提供的EAS模型在线服务能够使用户方便地使用大模型进行推理，同时还支持通过LangChain方便地将大模型与向量数据库无缝集成到业务中去，搭建****大模型知识库对话系统。

步骤如下：

1、准备向量数据库，支持Faiss、Hologres、AnalyticDB for PostgreSQL、Elasticsearch；

2、使用EAS部署LLM大模型推理服务；

3、部署LangChain服务并启动WebUI；

4、使用LangChain串联业务数据知识进行问答。

近期，阿里上线了百炼大模型服务平台，用户无需进行上述开发步骤，即可免费体验基于RAG+LLM的企业知识库应用。

1.3 AWS Askture

用户可基于丰富且高性价比的亚马逊云端资源，构建基于 MVP（LLM+Vector+Prompt）架构的企业下一代知识库，该解决方案适用于制造、游戏、电商、客服、教育、法律、医疗等行业。

Askture 架构将用户划分为三类角色：

• 知识库管理员：将通过专用的管理平台进行语料清洗、上传以及资料库管理等操作，可支持的数据格式包括 word、excel、ppt、pdf 等格式。

• 企业内部售前、售后人员等其他角色：通过内部搜索平台发起提问，以查询 IT/HR 等企业内部信息。搜索请求将由 Amazon API Gateway 接收，传送至 Amazon OpenSearch 或 Amazon Kendra 向量知识库进行搜索。搜索返回的结果，会通过部署在 AWS Lambda 上的 LangChain 进行提示词工程的处理，再由部署于 Amazon SageMaker 的大语言模型最终产生答案，并返回给用户。

• C 端用户与客服人员：则可将原有客服系统与 Askture 智问方案融合，用户提出问题时可先由 Askture 进行接管，如遇 Askture 无法解答的提问则可引导客户接入人工客服，据此以简化客服流程，优化客服成本。

2. 其他厂商

2.1 达观数据 智能知识管理系统KMS

达观数据是一家专注于智能文本处理技术的企业，为企业提供各类场景智能文本处理产品。其新一代智能知识管理系统KMS，提供知识生产、知识组织、知识搜索、知识问答、知识图谱、知识社区6大能力，应用于企业文档管理、研发知识管理、制度管理、合同管理等场景。

从技术角度来看，除了在LLM知识库解决方案中频频出现的“大模型”、“向量数据库”之外，KMS还融入了达观在知识图谱、RPA以及OCR识别领域的技术积累，在整体应用效果上也许能够给用户带来更大的想象空间。

2.2 萌嘉网络科技 TorchV系列产品

杭州萌嘉网络科技有限公司是成立于2023年11月29日的一家AI创业公司，TorchV是其AI系列产品的品牌，旨在帮助企业将LLM的能力应用于生产业务中。

从图中可以看到，Torch RAG定位为中间件，和底层国产大模型一起为TorchV Bot、TorchV Assistant以及TorchV Analyst三款基线产品提供基于智能知识库的能力。

以TorchV Bot为例，它是一款基于RAG+LLM技术的客服机器人，零人工维护成本，开箱即用，提供SaaS服务和私有化部署两种应用形式。目前有34家企业在试用，其中两家（不包含试用前的客户）已经成为正式客户，这个成绩应该说是非常不错了。

2.3 深蓝海域 基于大模型的深蓝小鱼智答首席知识官

从官网获取的信息来看，深蓝小鱼智答首席知识官融入了深蓝专利技术原子化知识搜索能力，将企业的知识库内容接入大模型，支持统一搜索、企业知识问答、阅读辅助等能力，支持私有化部署，能够充分保护企业数据安全。

2.4 其他

除此之外，杭州音视贝、中关村科金、Ucloud、耸智科技、天润融通等诸多企业也发布了相关产品和解决方案。由于可查找到的信息较少，此处便不再一一展开，感兴趣的读者可自行搜索。

问题二、落地前企业需要考虑哪些问题？

从产品和解决方案角度来看，基于LLM+RAG技术的知识库赛道已然“很卷”，企业如有相关需求，选择面非常广泛。不过根据后台的咨询，有一些企业从业务侧出发觉得确实有相关需求想要尝试一下，但是由于对相关技术不了解，在立项前缺乏了一些底气。

面对这种情况，建议企业先考虑以下几个问题：

1、想要实现什么样的功能和效果？对大模型这类创新技术有什么期待？

相信大部分想要落地基于大模型的知识库类似应用的企业，最终目标都是希望能为业务服务并起到良好效果。不过尽管大模型技术已经火爆了一年有余，对于如何将其引入B端应用，各行各业仍处于摸索前进状态。如果对此类应用效果没有任何感知，也许会遭遇“期望越高，失望越大”的窘境。

建议企业事先通过开源项目或阿里百炼平台进行简单尝试，对这类应用构建预期的“baseline”，再根据自己的业务定义好效果目标，做好预期管理再行动。

2、企业数据情况如何？

企业的数据情况在很大程度上影响最终的应用效果，体现在质量和数量两个方面。

质量要求主要体现在知识数据是否已有整理？是否易于解析？比如我们曾经遇到过一个案例，企业希望对含有图纸、手写签名等元素的复杂报表进行解析，客观来说基于现有的技术水平确实很难实现这个目标。

数量要求出现在对embedding模以及LLM模型微调环节，前者QA问答对要求在几千级别，后者在上万级别，这样才能获得比较好的微调效果。

此外，在建设知识库初期，也需要企业投入一定的资源和技术服务商一起对知识进行梳理，企业需要能够理解并积极参与进来。

3、对数据安全性的要求？

企业对数据安全性的要求主要体现在应用形式的选择上。

如果企业对数据的安全性要求极高，数据不出内网，那么只能选择私有化部署的方案；相反也有一些企业对上云的SaaS服务持开放态度，那么也可以根据需求和预算来选择适合的云服务。

4、企业是否具备专业技术团队？

这里的专业技术团队是指具备根据业务目标对embedding模型或LLM模型进行微调能力的团队。已经有一些技术服务商能够提供低代码、可视化的模型微调工具，这将大幅降低模型微调的门槛。在没有模型微调工具的情况下，需要有专业的算法团队，如果不具备的话也可以请技术服务商来提供配套服务，不过要考虑到这部分的预算。

5、对算力的考虑？

基于大模型的应用往往需要用到GPU资源，仅推理对算力的资源要求较低，如果需要对基础大模型进行微调则对算力的要求会更高。然而在传统的IT系统和应用建设过程中往往不涉及GPU算力。那么企业在落地相关应用时，需要考虑到这一部分的成本，从形式上可以考虑自备算力或者由技术服务商来提供类似软硬一体的解决方案。

相信通过对上述问题的思考，能够帮助企业在决策“是否要上基于大模型的智能知识库项目”时，对前置条件和应用预期有比较基本的认识和理解，在此基础上能够与技术服务商一起更加顺利地实现应用的落地。