立知重排序模型实战：用Dify快速搭建智能客服问答排序系统

立知重排序模型实战：用Dify快速搭建智能客服问答排序系统

1. 开篇：智能客服的“最后一公里”难题

想象一下这个场景：你是一家电商平台的客服主管，每天要处理成千上万的用户咨询。你的智能客服系统已经接入了庞大的知识库，理论上能回答大部分问题。但用户反馈却总是不尽人意——“我问的是A产品，它给我推荐B产品”、“我发了截图问问题，它却答非所问”。

问题出在哪里？不是系统“找不到”答案，而是“排不准”答案。

传统的检索系统就像一位记忆力超群但不会挑重点的助手，它能从海量资料里找出所有可能相关的信息，然后一股脑儿堆在你面前。用户需要的是最相关、最精准的那一个答案，而不是一堆需要自己筛选的候选。

这就是“重排序”要解决的“最后一公里”问题。今天，我要带你用立知多模态重排序模型（lychee-rerank-mm）和Dify平台，亲手搭建一个能看懂文字、也能理解图片的智能客服问答排序系统，让答案精准命中用户问题。

2. 核心武器：认识立知多模态重排序模型

2.1 它是什么，能做什么？

简单来说，lychee-rerank-mm是一个“打分裁判”。它的工作不是去数据库里捞数据，而是对你已经捞出来的一堆候选答案进行“质量评估”和“排名”。

假设你的客服知识库检索出了10条可能相关的答案：

1. “产品A的红色款正在促销”
2. “如何退换货”
3. “产品B的使用说明书（配图）”
4. “会员积分规则”
5. ……

如果用户的问题是：“我买的红色产品A怎么操作？”，传统文本匹配可能把1、3、5都列为相关。但lychee-rerank-mm能做得更细：它能理解“红色产品A”这个查询，同时评估“文字描述的相关性”和“配图内容的匹配度”，然后给出一个精确的分数，比如：

• 答案3：0.92分（高度相关，图文都匹配）
• 答案1：0.75分（文本相关，但没图）
• 答案5：0.35分（低度相关）

这样，系统就能把最靠谱的答案（答案3）优先推送给用户。

2.2 为什么是“多模态”？

“多模态”是它的杀手锏。很多客服场景是图文并茂的：

• 用户发来一张错误代码的截图
• 用户问“这个划痕在保修范围内吗？”并附上产品照片
• 用户想找“和图片里这款类似的商品”

纯文本模型看到图片就“瞎”了，但lychee-rerank-mm能同时“读”懂文字和“看”懂图片，做出更综合、更准确的判断。这对于电商、技术支持、产品咨询这类高度依赖视觉信息的客服场景，价值巨大。

2.3 为什么选择Dify来搭建？

因为快，且省心。Dify是一个低代码的AI应用开发平台，你可以把它想象成“AI应用的可视化组装车间”。你不用关心服务器怎么配置、API接口怎么设计、并发请求怎么处理——这些脏活累活Dify都包了。

你要做的，只是把lychee-rerank-mm这个“核心裁判”请进来，然后用拖拖拽拽的方式，告诉Dify：“用户这么问的时候，你去调这个裁判打分，然后按分数高低把答案排好给我。”

这对于想要快速验证想法、搭建原型的团队来说，效率提升不是一点半点。

3. 第一步：准备你的“开发车间”

在开始组装之前，我们需要把“车间”（Dify）准备好，并把“核心零件”（lychee-rerank-mm）搬进来。

3.1 获取并启动模型服务

首先，你需要有lychee-rerank-mm模型的访问权限。假设你已经通过CSDN星图镜像广场或其他方式获取了镜像，启动服务非常简单：

1. 打开终端，进入你的工作环境。
2. 输入启动命令：

   lychee load

   这个命令会启动模型服务。第一次运行需要加载模型，大概等10-30秒，看到终端显示Running on local URL: http://localhost:7860就说明成功了。
3. 验证服务：打开浏览器，访问http://localhost:7860。你应该能看到一个简洁的Web界面，这就是模型自带的测试工具。你可以先在这里玩玩，输入个问题，放几个文档，点“开始评分”看看效果，熟悉一下它的工作方式。

3.2 在Dify中配置模型

接下来，我们要在Dify里告诉它，去哪里找这个“裁判”。

1. 登录Dify：访问你的Dify控制台（社区版或云服务版）。
2. 创建新应用：点击“创建应用”，选择“工作流”类型，给它起个名字，比如“智能客服问答排序器”。
3. 配置模型供应商：进入应用后，找到“模型供应商”或“知识库模型”配置区域。
   • 模型类型：选择“自定义API”或“OpenAI-兼容”。
   • 基础URL：填写你的lychee-rerank-mm服务地址，比如http://localhost:7860（如果模型跑在本地），或者你部署在云服务器的公网地址。
   • API密钥：如果模型服务设置了认证，就在这里填上。lychee-rerank-mm的WebUI默认可能不需要，但通过API调用时最好配置上。

关键点：确保Dify服务器能访问到你模型服务的地址和端口。如果是本地部署，可能需要配置网络规则。

4. 第二步：设计客服排序的工作流

现在进入最核心的部分——用Dify的可视化工具，把整个客服问答排序的流程“画”出来。

4.1 工作流蓝图

一个完整的智能客服排序流程，可以分解成以下几个关键步骤，我们在Dify中为每一步创建一个“节点”：

1. 接收用户输入：用户提出了问题，可能还上传了图片。
2. 检索原始答案：从知识库、数据库或文档中，初步检索出N个可能的答案（这一步可以由另一个AI模型或传统检索系统完成，我们假设结果已经准备好）。
3. 格式化候选答案：把检索到的答案（可能是纯文本、纯图片或图文混合），整理成lychee-rerank-mm能理解的格式。
4. 调用重排序模型：把用户问题和候选答案列表，发送给lychee-rerank-mm打分。
5. 处理排序结果：收到打分结果后，按照分数从高到低重新排列答案。
6. 返回最终答案：将排序后的答案列表（通常取Top 1或Top 3）返回给用户界面。

4.2 在Dify中搭建节点

在Dify的工作流编辑器中，你会看到一个画布。我们从左侧的节点库中，拖拽需要的节点到画布上：

• 开始节点：这是工作流的入口，代表用户请求的到来。
• 变量设置节点：用来定义和存储数据，比如user_query（用户问题）、candidate_answers（候选答案列表）。
• HTTP请求节点：这是关键！我们将用它来调用lychee-rerank-mm的API。
• 代码执行节点（可选）：如果需要复杂的数据处理逻辑，可以用Python或JavaScript节点。
• 判断节点（可选）：根据某些条件决定流程走向，比如“如果最高分低于0.4，则触发人工客服”。
• 结束节点：输出最终排序结果。

用连接线把这些节点按逻辑顺序连起来，一个可视化的流程图就构成了你的应用逻辑。

5. 第三步：实现核心的排序逻辑

5.1 配置HTTP请求节点

双击画布上的HTTP请求节点，进行详细配置，这是连接Dify和lychee-rerank-mm的桥梁。

• URL：填写lychee-rerank-mm的API端点。根据其文档，重排序的API路径通常是/rerank或类似，所以完整的URL可能是http://你的模型地址:7860/rerank。你需要查阅lychee-rerank-mm的API文档确认确切路径。
• 方法：选择POST。
• Headers：
  • Content-Type: application/json
  • 如果API需要认证，加上Authorization: Bearer your-api-key
• Body：这是最重要的部分，我们需要构建一个JSON格式的请求体。lychee-rerank-mm通常期望这样的结构：

{ "query": "{{user_query}}", "documents": {{candidate_answers}}, "top_n": 3 }

注意{{user_query}}和{{candidate_answers}}。这不是写死的，而是Dify的模板变量。user_query和candidate_answers应该是在之前的“变量设置节点”中定义好的变量。Dify会在运行时，用实际的数据替换这些花括号里的内容。

top_n参数表示你希望返回前几个得分最高的结果。

5.2 处理多模态的候选答案

candidate_answers这个列表的构建是关键。lychee-rerank-mm支持多种格式的文档：

• 纯文本：{"text": "这里是纯文本答案内容。"}
• 纯图片：{"image": "https://example.com/problem-screenshot.jpg"}（需要是图片的URL）
• 图文混合：{"text": "针对您图片中的错误代码，解决方案是...", "image": "https://example.com/error-code.jpg"}

假设你的知识库里，有的答案是纯文本FAQ，有的答案是带图解的操作指南。在“检索原始答案”这一步之后，你需要一个“代码执行节点”或通过Dify的变量处理功能，把检索到的结果，统一构造成这样的对象列表。

例如，你的原始检索结果可能是一个数组：

[ {"id": 1, "content": "重启设备即可解决。", "type": "text"}, {"id": 2, "content": "https://kb.example.com/guide1.png", "type": "image"}, {"id": 3, "content": "请先检查连接线，图示如下：https://kb.example.com/guide2.png", "type": "mixed"} ]

你需要把它转换成：

[ {"text": "重启设备即可解决。"}, {"image": "https://kb.example.com/guide1.png"}, {"text": "请先检查连接线，图示如下：", "image": "https://kb.example.com/guide2.png"} ]

5.3 解析并应用排序结果

HTTP请求节点调用成功后，会返回lychee-rerank-mm的响应。响应体通常也是一个JSON，结构类似：

{ "results": [ {"index": 2, "score": 0.91, "document": {"text": "...", "image": "..."}}, {"index": 0, "score": 0.87, "document": {"text": "重启设备..."}}, {"index": 1, "score": 0.45, "document": {"image": "..."}} ] }

你需要用下一个节点（比如“代码执行节点”）来解析这个响应：

1. 根据score对results进行降序排序。
2. 根据排序后的index，去映射回原始的、完整的答案数据（包括答案ID、标题、详情等）。
3. 将最终排序好的答案列表，赋值给一个输出变量，比如sorted_answers。

最后，在“结束节点”的输出配置里，指定将sorted_answers作为这个工作流的最终输出。

6. 第四步：创建用户界面与测试

6.1 设计一个简单的客服对话界面

Dify不仅管后端工作流，还能帮你快速生成前端界面。

1. 在Dify应用编辑器中，切换到“对话界面”或“发布”选项卡。
2. 使用可视化工具，添加以下组件：
   • 一个文本输入框：用于用户输入问题。将其变量名绑定为工作流里的user_query。
   • 一个文件上传组件（可选）：如果支持用户上传问题截图。上传后，你需要编写逻辑将图片转换成URL，并可能将其作为query的一部分或单独处理。
   • 一个按钮：写上“发送”或“获取答案”。
3. 配置按钮的点击事件：触发我们刚才构建的那个“智能客服问答排序器”工作流。
4. 添加一个区域用于展示结果。将展示内容绑定到工作流的输出变量sorted_answers。你可以用列表或卡片的形式，清晰展示每个答案的摘要和相关性分数。

6.2 运行你的第一个测试

点击预览或发布你的应用，开始测试。

测试用例1：纯文本问答

• 用户输入：“忘记密码怎么办？”
• 知识库检索出候选答案：[“点击登录页面的‘忘记密码’链接”， “联系管理员重置”， “查看用户手册第5章”]
• 期望结果：第一个答案得分最高，排在首位。

测试用例2：图文混合问题

• 用户输入：“这个指示灯闪烁代表什么？”（并上传设备面板指示灯闪烁的图片）
• 知识库检索出候选答案：[文本答案：“电源指示灯常亮表示正常”， 图文答案：“红灯闪烁表示故障，请参考下图排查”， 另一个不相关的图文答案]
• 期望结果：那个包含“红灯闪烁”和故障排查图的图文答案得分最高。

通过测试，你可以观察lychee-rerank-mm的打分是否符合预期，并调整候选答案的检索范围、数量，或者微调模型指令（Instruction），来优化效果。

7. 进阶优化与场景拓展

基础系统跑通后，可以考虑以下优化，让它更智能、更健壮。

7.1 性能与稳定性优化

• 批量处理与缓存：如果客服问题有高频重复（例如常见问题），可以对“问题-答案”对的排序结果进行缓存，避免对相同查询重复调用模型，显著提升响应速度。
• 超时与降级策略：在HTTP请求节点设置合理的超时时间（如5秒）。如果重排序服务超时或失败，工作流应能降级，直接返回原始检索结果（未排序），保证服务可用性。
• 分数阈值过滤：在“处理排序结果”的节点中，增加一个判断。如果最高分低于某个阈值（例如0.4），可以认为所有候选答案都不够相关。此时可以触发备用策略，如：“抱歉，我暂时没有找到准确的答案，已为您转接人工客服。”

7.2 拓展到更多客服场景

这个排序引擎的用途很广：

• 工单自动分类与分配：用户提交的工单（文字+截图），通过重排序模型匹配到最相关的处理部门或解决方案模板，实现自动路由。
• 售后政策精准匹配：用户描述商品损坏情况并配图，系统从冗长的售后政策条款中，快速定位并高亮显示最适用的那几条。
• 培训知识检索：新客服员工在培训时，输入客户问题，系统不仅能给出答案，还能按相关性排序展示内部培训视频、案例文档等多媒体学习材料。

8. 总结

通过这次实战，我们完成了一件很有价值的事：用lychee-rerank-mm和Dify，像搭积木一样，构建了一个能理解图文的多模态智能客服排序核心。

整个过程的核心思路非常清晰：

1. 定位：lychee-rerank-mm不做海量检索，只做精准排序，解决“找得到但排不准”的痛点。
2. 集成：利用Dify低代码平台，将模型API快速封装成一个可调用的、带逻辑的工作流服务，省去了大量后端开发工作。
3. 应用：聚焦客服场景，处理用户“文字+图片”的混合查询，从候选答案中挑出最相关的那个。

这个方案的优点在于快速、灵活、效果可感知。你不需要是机器学习专家，也能搭建出具备先进多模态理解能力的应用。而且，你可以随时调整工作流，例如增加对低分答案的过滤，或者将排序结果与其他AI服务（如摘要生成）结合，创造出更复杂的客服自动化流程。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。