400-035-6699
当前位置: 首页 » 技术支持 » 博文资讯 »

RAGFlow中集成MaaS API详细配置步骤指南

在当今的 IT 技术领域,RAGFlow 平台以其灵活性和强大的功能,为开发者提供了一个理想的模型服务平台。以下将详细介绍如何在该平台上配置 MaaS 模型服务,以及如何使用接入的 MaaS API 进行知识库问答的完整流程。
首先,让我们来看看如何在 RAGFlow 平台上部署。有两种方式可供选择:一种是直接访问 RAGFlow 官方的 SaaS 服务,但这需要翻墙;另一种是使用 docker Compose 进行本地部署,具体步骤可以在官方 Github 仓库中找到。
接下来,我们进入 MaaS 模型服务的接入环节。首先需要在 MaaS 控制台中创建 API Key,这涉及到访问 MaaS 控制台,并在鉴权管理页面创建 API Key。请注意,API Key 只会在创建时显示一次,因此创建后务必妥善保存。
创建 API Key 后,接下来选择要接入的模型服务。这里有两种方式:一种是预置服务接入,另一种是自部署“我的服务”接入。对于预置服务接入,你只需在控制台左侧点击“模型部署”,找到所需模型服务后点击“领取”,然后即可查看到调用该服务所需的基础 API 地址和模型名称信息。对于自部署服务,操作方式类似,只需在“模型部署-我的服务”页签中找到运行中的模型服务,点击“更多”中的“调用”即可。
接着,我们需要在 RAGFlow 平台中新增模型供应商。进入 RAGFlow 平台界面,点击右上角头像后选择左侧导航栏中的“模型提供商页签”,找到“OpenAI-API-Compatible”供应商并点击“添加模型”。
在添加模型后,需要进行 MaaS 模型服务的配置。在弹出的添加 LLM 弹窗中,填入模型类型、模型名称、基础 URL(去掉地址尾部的“/chat/completions”)、API Key 和最大 token 数等信息。
配置完成后,还需要修改系统模型设置。在模型供应商界面点击“系统模型设置”,将聊天模型设置为刚配置好的 MaaS 模型。嵌入和 Rerank 模型可以继续使用系统预置的。
现在,让我们来看看如何在 RAGFlow 中使用接入的 MaaS API 进行知识库问答。首先,创建知识库。在顶部切换到“知识库”页签,点击“创建知识库”,在详情页面配置文档解析、文档切分等规则。
接下来,上传需要问答的知识文档。在知识库的“数据集”页签中,点击“新增文件”-“本地文件”,上传完成后点击“运行”按钮。当解析状态显示为已完成时,知识库即可用于问答。
然后,创建助理。在“聊天”页签点击“新建助理”,自定义姓名后选择之前创建好的知识库。
最后,与助理进行文档问答。选择创建好的 AI 助理,点击旁边的蓝色加号开始问答。模型会基于外挂的知识库内容进行问题答复,从而提供高效的问答服务。
通过上述步骤,你可以在 RAGFlow 平台上成功配置 MaaS 模型服务,并利用接入的 MaaS API 进行知识库问答,为你的项目带来更加智能的交互体验。

11 RAGFlow 中配置 MaaS 模型服务使用全流程:

RAGFlow中集成MaaS API详细配置步骤指南

1.1 RAGFlow 平台部署

方式 1-直接访问 RAGFlow 官方 SaaS 服务(需翻墙):RAGFlow

方式 2-Docker Compose 方式部署:见官方 Github 仓库:HTTPS://github.com/infiniflow/ragflow

1.2 MaaS 模型 API 接入 RAGFlow

1)MaaS 控制台创建 API Key:

-访问 MaaS 控制台:点此访问

-在 MaaS 左侧导航栏中,选择“鉴权管理”。

-在“鉴权管理”页面,单击“创建 API Key”,填写描述信息后,单击“确认”会返回“您的密钥”,请复制保存密钥,单击“关闭”后将无法再次查看密钥。(注:最多支持创建 5 个密钥,密钥只会在新建后显示一次,请妥善保存。当密钥丢失将无法找回,请新建 API Key 获取新的访问密钥。)

wKgZPGfMA1uACcV_AACXFALOxto218.png

2)选择要接入的模型服务

预置服务接入:

-点击控制台左侧“模型部署”,找到想要使用的模型服务后点击“领取”

wKgZO2fMA1yAB-U7AADilikNwro022.png

-领取后找到已领取额度的模型服务,然后点击 “调用”;

wKgZPGfMA1yASXKUAAD1WfI_C80182.png

-在右侧弹出界面中,可以查看到调用该服务需要的基础 API 地址和模型名称信息

wKgZO2fMA12AKLo0AACrUF1tYcE210.png

自部署“我的服务”接入:

在“模型部署-我的服务”页签,状态为运行中的模型服务操作一栏点击“更多”中的“调用”;在右侧弹出界面中,可以查看到调用该服务需要的基础 API 地址和模型名称信息

wKgZO2fMA12AKLo0AACrUF1tYcE210.png

3)RAGFlow 新增模型供应商

进入 RAGFLow 平台界面,点击右上角头像后点击左侧导航栏中的“模型提供商页签”,找到“OpenAI-API-Compatible”供应商点击“添加模型”

wKgZPGfMA12Adb_JAAFhzutLLM0678.png

4)MaaS 模型服务配置

在弹出的添加 LLM 弹窗中填入如下信息:

-模型类型:chat

-模型名称:MaaS 服务调用界面显示的模型名称

-基础 Url:之前步骤中 MaaS 服务的基础 API 地址,需要去掉地址尾部的“/chat/completions” 后填入

-API Key:之前步骤中创建的 API Key

-最大 token 数:各预置服务支持的最大 token 数见下表

wKgZO2fMA16AbcBLAABuYfQRGvQ990.png

wKgZPGfMA16APdjcAAD4mNVGstI635.png

5)修改系统模型设置

在模型供应商界面点击“系统模型设置”,将聊天模型设置为刚配置好的 MaaS 模型。嵌入和 Rerank 模型可使用系统预置的。

wKgZO2fMA1-ADhEyAADZHRsiAZ0477.png

1.3 RAGFlow 中使用接入的 MaaS API 进行知识库问答

1)知识库创建

顶部切换到“知识库”页签,点击“创建知识库”,在知识库的详情页面配置页签可进行文档解析、文档切分等规则的配置

wKgZPGfMA1-ALIIEAAF1tpCWM4Y662.png

2)上传文档

-在知识库的“数据集”页签中,点击“新增文件”-“本地文件”

-弹窗中上传需要进行问答的知识文档

-上传完成后点击动作中的“运行”按钮,当解析状态为已完成时,则知识库已可以用于进行问答

wKgZO2fMA2CABb3XAAFG8MMtK1k777.png

3)创建助理

在“聊天”页签点击“新建助理”,自定义姓名后选择之前步骤中创建好的知识库

wKgZPGfMA2GAEExBAAC81z8XYfY249.png

4)与助理进行文档问答

选择创建好的 AI 助理,点击旁边的蓝色加号即可开始进行文档问答,模型会基于外挂的知识库中的内容进行问题答复;回答效果示例如下:

wKgZO2fMA2GAfcAPAAHFAoit0-c383.png


【限时免费】一键获取网络规划系统模板+传输架构设计+连通性评估方案

相关文章

服务电话:
400-035-6699
企服商城