news 2026/11/4 7:22:56

Agent 系列(21):Harness 测试工程——45 个测试怎么设计,以及它发现了什么 bug

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
Agent 系列(21):Harness 测试工程——45 个测试怎么设计,以及它发现了什么 bug

为什么 Harness 需要专属测试套件

普通业务逻辑测试覆盖"应该发生什么",Harness 测试还要覆盖"不应该发生什么":

  • 未注册动作不能被执行
  • IRREVERSIBLE 动作不能在审批前运行
  • 预算耗尽后所有动作都必须被拦截
  • 注入载荷必须被检测出来

这类负向测试用业务逻辑测试框架很难自然写出来;专门的 Harness 测试套件才是第一公民。


套件结构

tests/ ├── conftest.py 共享夹具和 mock handlers ├── test_functional.py 19 个功能测试 ├── test_adversarial.py 17 个对抗测试 └── test_chaos.py 9 个混沌测试

加上run_tests.py——带进度栏和汇总表的自定义运行器,适合 CI 或人工检查。


设计模式一:conftest 共享夹具

所有测试共享同一套 mock handlers 和AgentHarness工厂:

# tests/conftest.py_store:dict[str,str]={}_sent_reports:list[str]=[]_deleted:list[str]=[]defmock_read(key:str)->str:return_store.get(key,f"{key}: (empty)")defmock_write(key:str,value:str)->str:_store[key]=valuereturnf"written{key}={value!r}"defmock_send(to:str,body:str)->str:_sent_reports.append(f"{to}:{body}")returnf"sent to{to}"defmock_delete(key:str)->str:_deleted.append(key)_store.pop(key,None)returnf"deleted{key}"defmake_harness(budget:int=100,log_suffix:str="")->AgentHarness:h=AgentHarness(budget=budget,log_path=f"/tmp/harness_test{log_suffix}.jsonl")h.registry.register(RegisteredAction(
版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/11/4 7:22:46

JenNet-IP Java API实战:节点发现、MIB操作与事件监听机制详解

1. 项目概述与核心价值在物联网和无线传感器网络开发中,网络节点管理与MIB操作是核心基础技术。其原理是通过标准化的接口协议,实现对分布式设备的发现、监控与数据交换。JenNet-IP作为基于IPv6的无线个域网协议栈,其Java API提供了完整的网络…

作者头像 李华
网站建设 2026/11/4 7:22:46

ZigBee智能安防开发:IAS ACE与WD集群数据结构与事件处理实战

1. 项目概述:从协议栈到安防实战在物联网智能家居领域,ZigBee协议因其低功耗、高可靠性和自组网能力,一直是安防传感器、门锁、报警面板等关键设备的主流通信技术。但很多开发者初次接触ZigBee应用开发时,往往会被其庞大的协议栈和…

作者头像 李华
网站建设 2026/11/4 7:22:53

华硕笔记本性能瘦身革命:如何用G-Helper替代臃肿的奥创中心

华硕笔记本性能瘦身革命:如何用G-Helper替代臃肿的奥创中心 【免费下载链接】g-helper Lightweight Armoury Crate alternative for Asus laptops with nearly the same functionality. Works with ROG Zephyrus, Flow, TUF, Strix, Scar, ProArt, Vivobook, Zenboo…

作者头像 李华
网站建设 2026/11/4 7:22:57

HJG系列测量显微镜,赋能半导体封装质控新篇章

在半导体封装领域,引线键合、焊球阵列(BGA)、芯片贴装等关键工艺,对测量精度与缺陷控制提出了更严苛的要求。光学测量显微镜作为高精度、非接触式的关键检测设备,正成为保障封装质量的核心工具。本文将聚焦苏州工业园区…

作者头像 李华
网站建设 2026/10/30 0:06:32

3个关键步骤:在Android设备上搭建你的移动学术文献管理助手Zotero

3个关键步骤:在Android设备上搭建你的移动学术文献管理助手Zotero 【免费下载链接】zotero-android Zotero for Android 项目地址: https://gitcode.com/gh_mirrors/zo/zotero-android 还在为学术论文的参考文献管理而烦恼吗?想在移动设备上随时查…

作者头像 李华
网站建设 2026/10/24 23:36:24

Nuxt 4 Server Components 从入门到理解:不写 API 的前端长什么样

一、引言:传统 SSR 的"两头编"痛点 你在用 Vue 3 写一个文章列表页,产品经理要求 SEO 友好 首屏秒开。你选了 SSR(服务端渲染),然后你的日常变成了: 在 server/api/ 写一个接口,连数…

作者头像 李华