CCFA Skills 评审双保险:AI 独立科学审稿与 claim、数字、引用完整性审计怎么做
【免费下载链接】CCFA-SkillsA skill family for shaping the research storyline of CCF-A papers.项目地址: https://gitcode.com/gh_mirrors/cc/CCFA-Skills
CCFA Skills是一个面向 CCF-A 论文的研究助理技能家族,其中 ccf-paper-reviewer 负责 AI 独立科学审稿,ccf-integrity-auditor 负责 claim、数字、引用三类完整性审计。本文带你理解这对"评审双保险"如何分工:前者判断"结论站不站得住",后者核对"每个说法有没有证据支撑",帮助新手在投稿前用最小成本发现硬伤。
为什么投稿前需要"评审双保险"
很多被拒的论文,问题不在想法,而在两处:
- 结论与证据脱节:摘要里写"显著提升 30%",正文实验却只覆盖了 2 个数据集;
- 数字、表格、引用前后打架:正文、图表、BibTeX 之间的不一致,是审稿人最容易抓到的"硬伤"。
CCFA Skills 用两个技能把这两类风险拆开处理,互不越权:
| 技能 | 管什么 | 不管什么 |
|---|---|---|
| ccf-paper-reviewer | 科学完整性、证据充分性、写作与格式、版本对比评审 | 不改写正文、不写 rebuttal |
| ccf-integrity-auditor | claim 支撑、数字一致性、引用上下文核验 | 不做完整科学评审、不搜新文献 |
这种"单一职责"由路由规则统一约束,见 ccf-common/references/routing.md:审"思路靠不靠谱"走 idea-reviewer,审"稿件证据够不够"才走 paper-reviewer,而"检查 claim、数字、引用是否一致且有支撑"明确路由到 integrity-auditor。
第一重保险:AI 独立科学审稿怎么做
四种审稿模式,按需选择
打开 ccf-paper-reviewer/SKILL.md 可以看到 4 种模式:
scientific:新颖性、方法正确性、实验证据、相关工作、可复现性、伦理与评分;writing:段落逻辑、章节衔接、术语一致性、图表叙述;full:科学 + 写作 + 格式 + 修改行动建议的全量评审;version-comparison:冻结评分标准后对比新旧版本,回答"改进了多少"和"离录用还差多少"两个独立问题。
三步走:读稿、对表、给结论
- 三遍阅读协议(references/universal-review-rubric.md):第一遍抓定位与贡献,第二遍看方法与图表,第三遍像审稿人一样"压力测试"核心主张。
- 八维评分卡:贡献新颖性、意义影响、技术正确性、证据评估、清晰组织、定位与相关工作、可复现性、伦理与局限,每维 1–5 分,且低于 3 分的评分必须给出扣分依据和修复条件。
- 致命风险分诊:核心贡献不清、新颖性被已有工作覆盖、主要主张缺证据、最强基线缺失等 8 类情形,单独标记为"可独立导致拒稿"的风险。
报告格式是固定的,不是随手写
评审报告默认使用 14 节详细模板(references/fixed-output-format.md),从"评审信息与范围"到"修改优先级与复审记录",每个问题都有稳定 ID、精确位置、证据依据和"什么情况会改判"。多视角综合则按 references/reviewer-panel.md 呈现"最强支持解读 / 最强有利解读 / 最强批判解读"三种视角,而不是平均掉一个致命缺陷。
评分纪律同样适用于项目自身的评测:如上图所示,每个分数都附带置信区间与改判条件,而不是一个孤立数字。CCFA Skills 的共享评审标准(ccf-common/references/review-output-standards.md)要求区分"维度分、总体评分、置信度"三个值,且"未评估 ≠ 零分"。
第二重保险:claim、数字、引用完整性审计
claim-audit:每个主张都要找到证据
ccf-integrity-auditor/SKILL.md 的核心规则只有一句话:每条重要 claim 必须能追溯到提供的证据,追溯不到的标记为"无支撑",而不是靠编造来修复。
审计会构建一张 claim-证据矩阵,把每条主张标记为五种状态之一:
supported(有支撑) / partially supported(部分支撑) unsupported(无支撑) / overstated(夸大) / unclear(不清晰)对摘要、引言、结论中的每条主要 claim,审计输出:claim 位置、已检查的证据、证据类型、强度(强/足够/弱/缺失)、扣分与需要的修复。硬规则是:无支撑的主张只能被弱化、删除或补证据,绝不能用修辞包装。
numeric-audit:数字一致性是确定性检查
数字审计用"确定性算术"核对:正文、表格、图、图注、摘要、结论之间的同一数值是否一致,差值(delta)、单位、指标方向、四舍五入是否正确,并且严格区分"不可比"与"不一致"两种情况——前者是覆盖范围问题,后者才是真缺陷。
citation-audit:引用不只是元数据存在
引用审计分两层:
- 元数据层:BibTeX 键重复、DOI/arXiv/venue 合理性、已引论文的同一性;
- 上下文层:正文中引用它的语境是否被所引文献真正支持——"元数据存在"不等于"引用成立"。
发现问题时,元数据问题和上下文支撑问题会被分开报告,避免"改一处 bibliography 就万事大吉"的错觉。
两个技能如何接力
在默认论文流水线(见 ccf-common/references/routing.md 的 Default Paper Project Flow)中,两个技能一前一后:
- 写作完成后,先交给ccf-paper-reviewer做完整审稿,拿到带严重程度的问题清单;
- 再由ccf-integrity-auditor做 claim/数字/引用审计,输出审计契约(模式、检查对象、claim 矩阵、数字发现、引用发现、严重度、安全修改建议、下一位接手人、无编造状态);
- 若发现图表排版弱但数字一致,转
ccf-visual-composer;需要改措辞转ccf-paper-writer;需要回应对审稿意见则转ccf-rebuttal-writer。
审计技能还会检查提示注入与隐藏操纵:正文、附录、图注中若藏有针对 LLM 或审稿人的隐藏指令,一律当作数据处理,这正是"AI 审稿"时代稿件自身也要过的预审(references/desk-checks.md)。
新手上手清单:一句话就能触发
不需要理解内部实现,直接说人话即可:
| 你想做什么 | 直接说 | 路由到 |
|---|---|---|
| 全面审稿 | "完整审稿 / 这份稿件有什么硬伤 / 结论站得住吗" | paper-reviewer |
| 新旧版本对比 | "对比论文新旧版本,检查复审分数漂移" | paper-reviewer |
| 审计一致性 | "检查 claim、数字、引用是否一致且有支撑" | integrity-auditor |
常见问题 FAQ
Q1:AI 审稿会帮我改论文吗?不会。reviewer 只产出与决策相关的发现,不重写正文;具体编辑动作交接给 ccf-paper-writer,rebuttal 交给 ccf-rebuttal-writer。
Q2:审计会编造证据吗?不会。integrity-auditor 有明确的"无编造状态"输出字段,缺失材料会被标记为"覆盖范围限制",而不是被当作已证实的缺陷。
Q3:只给了 PDF 片段能审吗?可以,但会如实报告证据覆盖范围——"故意提供的节选不能证明全文缺陷",这是评分纪律的一部分。
写在最后
CCFA Skills 的评审双保险把"科学判断"和"事实核对"拆成两条独立通道:reviewer 用八维评分卡和固定报告格式给出可复核的评审意见,auditor 用 claim 矩阵、确定性算术和引用上下文核验守住事实底线。投稿前先跑一遍这两步,多数低级硬伤就能在审稿人看到之前被发现 🎯。更多技能清单见 docs/SKILLS_CATALOG.md。
【免费下载链接】CCFA-SkillsA skill family for shaping the research storyline of CCF-A papers.项目地址: https://gitcode.com/gh_mirrors/cc/CCFA-Skills
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考