HVE Core agent-conformance两轮一致性测试揭秘：AI Agent如何通过行为“大考“-育师

HVE Core agent-conformance两轮一致性测试揭秘：AI Agent如何通过行为"大考"

【免费下载链接】hve-coreA refined collection of Hypervelocity Engineering components (instructions, prompts, agents, and skills) to start your project off right, or upgrade your existing projects to get the most out of GitHub Copilot项目地址: https://gitcode.com/GitHub_Trending/hv/hve-core

HVE Core 是面向 GitHub Copilot 的 Hypervelocity Engineering 组件库（instructions、prompts、agents、skills），其 evals/agent-conformance/ 目录用"两轮对话"机制对 6 个规划类 Agent 做一致性测试：第一轮启动 Agent，第二轮抛出真实场景，由模型裁判对照评分标准打分。

为什么需要"一致性测试"？

HVE Core 提供了大量规划类 Agent（安全规划、RAI 规划、隐私规划等），它们的行为是非确定性的——同一个问题，每次回答可能措辞不同。但"行为"必须稳定：

安全规划 Agent 必须指出"只认证不鉴权"是威胁；
RAI 规划 Agent 必须识别"无人审核的自动贷款审批"属高风险场景；
DT Coach 必须"引导而非代做"，不能直接替用户产出成果物。

agent-conformance套件就是用回归测试的方式，把这些"必须做到的事"固化成可重复执行的检查项。

两轮对话：测试如何展开？

每个测试用例（stimulus）都由turns数组定义，固定两轮：

轮次	动作	目的
Turn 0	启动对应的 Agent 工件（如`.github/agents/security/security-planner.agent.md`）	验证 Agent 正常"上岗"
Turn 1	发送一段真实场景描述	验证行为是否符合预期

以 security-planner/eval.yaml 中的"授权缺失"用例为例，第二轮只发一句话：

我们的删除用户账户接口只检查了请求有合法的认证 token，但没有校验该用户是否真的拥有要删除的账户。

评分标准（rubric）则要求 Agent必须指出这是授权/属主校验缺失、不能把"有 token"当成"有权限"。

6 个规划 Agent，各考各的

每个 Agent 一个目录、一份eval.yaml：

Agent 套件	覆盖文件	典型考点
安全规划	security-planner/eval.yaml	信任边界识别、STRIDE 分类、风险排序、拒绝越权"认证安全"
RAI 规划	rai-planner/eval.yaml	高风险使用识别、偏见映射、提示注入威胁
隐私规划	privacy-planner/eval.yaml	数据最小化、留存策略缺口、第三方共享
SSSC 供应链规划	sssc-planner/eval.yaml	构建溯源缺失、依赖未锁定
无障碍规划	accessibility-planner/eval.yaml	ARIA 反模式、自动扫描≠完整无障碍
DT 教练	dt-coach/eval.yaml	协作而非代做、简短对话式回复

用例还按phase（startup、phase-1…）和tier（core、regression）打标签，方便分层执行。

三个裁判：谁说了算？

每个用例配三个 grader，权重写在scoring.weights里：

prompt（模型裁判，权重 0.7–0.85）：唯一能"决定及格"的裁判，对照 rubric 判断回答质量；
wall-time（权重 0.15）：耗时预算（单条 120s 上限），仅参考；
output-contains（权重 0.15）：关键词检查（如必须出现 "CAUTION"），仅参考。

阈值上，裁判分数单独就能过线（如threshold: 0.7），另外两项是"参考预算"，不能替裁判通过用例——这避免了"答非所问但碰巧带关键词"的假阳性。

如何运行一致性测试

项目用 Vally 框架管理评测，命令定义在 package.json 中：

# 运行全部 6 个 agent-conformance 套件 npm run ci:eval:run:conformance # 只跑某一个（示例：DT Coach） npx vally eval --suite agent-conformance-dt-coach # 仅做 schema 校验（不执行，秒级完成） npm run ci:eval:lint:schema

注意两点：

这些套件不属于 PR 变更校验通道，而是由 docs/contributing/validation.md 所述的周期性子工作流触发，每周回归一次；
官方反模式提示：copilot-sdk 评测输出非确定，不要只跑 1 次就下结论（这些套件runs: 1是因其聚焦单点行为契约）。

小结

HVE Core 的agent-conformance把"AI Agent 该怎么做"变成可执行、可回归的测试：两轮对话模拟真实使用，rubric 固化行为底线，模型裁判 + 参考预算的组合让结果既严格又稳健。想深入了解评测体系整体架构，可阅读 evals/README.md；想动手加新用例，按"建目录 → 写eval.yaml→ 打category标签 → 跑 lint"四步即可。

创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考