news 2026/10/16 6:35:40

Rag评测-被测系统答题

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
Rag评测-被测系统答题

上篇已经构建好问答集,可以说前半部分任务已经完成,现在执行下半部分任务了。那么下半部分首先需要执行的任务就是,用被测系统开始答题,先在models.py文件下写好被测系统的配置

System_llm_url=写被测系统url def system_llm(question): payload={ "填写好问答接口的请求体" } res=requests.post(url,json=payload,verify=False,stream=True) answer_part=[] references=[] for line in res.iter_lines(): #逐行读响应 line=line.decode("utf-8") #字节流转字符串 if not line.startswish("data:"): #只看有没有带data:,没有的直接跳过 continue try: obj=json.loads(line[len("data:"):])#剥掉"data: "前缀,剩下的才是json报文 except json.JSONDecodeError: #偶发不完整的行/解析失败的就跳过 continue event=obj.get("event") data=obj.get("data") if event=="answer" and data: answer_parts.append(data) elif event=="end": break return {"answer:"".join(answer_parts),"reference":references}#攒片拼回答+原样带回引用

上面的代码已经写好了被测系统的配置信息,并把被测系统需要的回答和检索文档一并拼装好。那么接下来新建run_system文件开始进行答题;

import json import pandas as pd from models import system_llm if __name__=="__main__": df=pd.read_csv(data/dataset_qa.csv") df=df.dropna(subset=["question"])#读问题 answer=[] refs=[] for_,row in df.iterrows(): ret=system_llm(row["question"])#调被测系统接口 answer.append(ret["answer"]) refs.append(json.dumps(ret["references"],ensure_ascii=False))#拿回答和检索文档 print() df["response"]=answer df["references"]=refs#拼好回答和检索文档 df.to_csv("data/dataset_result.csv, index=False,encoding="utf-8-sig")#存表

通过运行这个文件,把被测系统答题的答案和检索文档一并保存在dataset_result文件中了,这样,问答对,以及被测系统答题的答案和检索文档全都有了,下篇可以正式开始使用ragas框架进行评分了。

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/10/16 6:35:08

FreeRTOS任务调度实战:从任务创建到状态迁移的完整解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

作者头像 李华
网站建设 2026/10/16 6:34:35

诺贝尔经济学奖回顾(1969—2026)

诺贝尔经济学奖回顾(1969—2026) 概述 瑞典中央银行纪念阿尔弗雷德诺贝尔经济学奖(The Sveriges Riksbank Prize in Economic Sciences in Memory of Alfred Nobel)自 1969 年首次颁发以来,截至 2026 年共颁发 58 次…

作者头像 李华
网站建设 2026/10/16 6:31:59

Fiori My inbox App看不到工作流待办消息问题修复

1.症状工作流基础配置完成后,生成的工作流待办事务码SBWP能看到待办,但Fiori My inbox App看不到2.原因原因是我们S4 2023 op版本启用了工作流过滤功能导致的启用任务过滤器用途此操作可激活或停用任务过滤器。过滤器默认处于停用状态。功能行为任务过滤…

作者头像 李华