中文AIGC检测实战：多信号融合与内容安全治理方案

AIGC内容像潮水一样涌进后台的时候，压力就给到了每一个做内容平台的内容安全团队。中文互联网里，批量生产的AI水文、洗稿软文、甚至以假乱真的AI新闻报道，已经在肉眼可见地挤占真实内容的流量空间。我所在的团队从半年前开始系统性推进中文语境下的AI生成内容治理，内部代号就叫“陌讯 AIGC 检测”，定位不是做一个论文里的模型，而是一套能扛住线上流量、能说服审核员、能在误判和漏放之间找到平衡的落地系统。这篇文章把整个方案的设计逻辑、数据标注、模型训练、工程部署和踩坑记录完整拆开，给正在做类似事情或准备立项的同行一个可参考的蓝本。

无论你是内容平台的安全工程师、算法工程师、负责内容治理的产品运营，还是刚准备踏入AIGC检测方向的研究者，这套方案里的多数问题你们迟早都会遇到。中文语境的复杂性决定了它不能直接照搬英文社区那套“PPL+分类器”的玩法，后面我会把为什么不行、怎么调、怎么落地讲透。

1. 项目定位与核心矛盾拆解

1.1 中文语境下的治理难点在哪里

先交代背景。我所在的内容平台每天的新增内容里，AI直接生成或AI辅助改写的比例在几个月内从不到1%涨到了接近15%，而且这个数字还在爬。这不是单一平台的个例，是几乎所有UGC平台都在面对的共性问题。早期靠人工抽检和简单的关键词规则还能勉强应付，但内容量一旦上来，纯人力的成本谁也扛不住。立项做自动检测，不是技术炫技，而是运营成本和安全水位双重倒逼的结果。

中文语境给AIGC检测加了几个英文场景不常见的难度。

第一是中文信息密度高，同样的语义用更短的字数表达，模型判断的上下文窗口显得更局促。很多AI生成检测器在英文长文本上表现不错，换到中文短句上精度掉得很快。

第二是中文文本的风格跨度极大。同一个模型生成的小说、新闻稿、小红书种草文案、知乎回答，表面特征差异非常大。如果检测器只在一个内容品类上训练，换一个品类效果就崩。

第三是中文资源语料里的“AI话术污染”已经发生。很多爬虫语料库本身已经混入了大量AI生成文本，用这种数据预训练的模型，天然就带着一定程度的“AI坐标偏移”，会让下游检测器更难学。

第四是“中英混杂”和“拼音缩写”在网络文本里太常见了。用户会在一句中文里夹英文关键词，会把“真的”写成“zhen de”，会故意用错别字规避审核。这些行为既出现在人类文本，也出现在AI为了绕检测而模仿的文本里，导致特征边界模糊。

所以“陌讯”这个方案的第一步不是选模型，而是定义清楚：在中文场景里，我们要检测的到底是什么。这直接影响后续所有技术选型。

1.2 检测目标：不是简单二分类

一开始产品给我提的需求是“判断一段文本是不是AI写的”。我听到这个需求就觉得不行。真实场景里用户和创作者的行为是一个光谱：

• 纯人工创作，未使用任何生成工具。
• 人工起稿，AI扩写或补全。
• AI起稿，人工润色修改。
• AI翻译/改写后的文本。
• 完全由AI生成，粘贴发布。

如果系统只输出“AI”或“非AI”，一方面会让大量混合创作用户被误杀，另一方面审核员拿到结果也不知道该怎么处置。我坚持把目标改成“风险分层标注”：模型输出0到1之间的AI生成概率，同时给出重点可疑句子的定位、文本困惑度、语义连贯度等辅助信号。人工审核员拿到的不是一个冷冰冰的二分类结果，而是一份带“证据”的风险报告。

这套思路决定了后续我们不是在做一个单点模型，而是做一套多信号融合的检测体系。分类模型是核心，但规则信号、统计特征、后处理逻辑同样重要。

1.3 方案设计原则：可解释、可兜底、可运营

“陌讯”整体设计遵循三条原则。

可解释：检测结果必须能说明“为什么”。审核员对AI判罚本来就敏感，如果系统只给“AI概率0.93”然后要求删文，没有任何支撑证据，审核员不敢点确认。我们要求每条处置建议必须附带置信区间、可疑片段、评估依据。

可兜底：任何模型都可能被绕过，因此不能把自动化检测作为唯一防线。实际流程是规则引擎+检测模型双重触发，高风险内容进入人工复核队列，低风险内容自动放行或仅标记观察。这样即使模型被对抗样本击穿，也只是少了一条自动拦截，不会造成大规模误杀。

可运营：检测系统不是上线就完事，必须能持续用线上真实数据迭代。标注数据回流、误判案例复盘、模型周期更新，这些被当作系统核心功能来建设，而不是事后补丁。

2. 检测技术方案选型：从统计特征到大模型判别

2.1 基础信号：困惑度与爆发度

先讲检测原理里最容易理解、也是我们最早用的两个统计信号：困惑度和爆发度。

困惑度（Perplexity，PPL）衡量的是文本在某个语言模型下的“意外程度”。简单说，如果一段话让一个训练充分的中文语言模型觉得“每个词都写得不出所料”，那它有较大可能是AI生成的，因为生成模型倾向于走概率最高的路径。反之，人类写作经常出现“意料之外但语义合理”的表达，困惑度更高。

爆发度（Burstiness）衡量的是困惑度的波动情况。AI文章往往整体困惑度都比较平滑，而人类文章会有一些“灵感爆发”的句子，也会有比较平常的过渡句，PPL曲线起伏更明显。

原理想通了，落地就碰到中文的坑。英文社区常用GPT-2或GPT-3系列计算PPL，但在中文上直接套有两个问题：

• 分词器不同导致PPL绝对值没有跨模型可比性。同一个句子用不同分词器算出来的PPL差异很大。
• 中文里大量成语、古诗、文言文引用，对语言模型来说本身就是“低概率”但“高语义密度”的存在。人类引用一句“落霞与孤鹜齐飞”，PPL会很高，AI如果自动生成这句它的PPL反而可能很低，因为模型学会了对高频古文片段的偏好。直接用PPL阈值会误杀引用古文的人类作者。

所以PPL在“陌讯”里只作为底层信号之一，不直接决定判罚。我们的做法是：对全文分句计算PPL和句间PPL变化率，输出6个连续特征进融合模型。纯粹规则阈值这条路，试完就放弃了，因为可绕过性太高。

2.2 语义断层检测：抓住AI长文的逻辑病

在统计特征之后，我们加了语义断层检测。这个方法来自对大量AI生成中文长文的观察：生成模型写短段落很顺滑，但写到长文时经常出现上下文信息密度不足、重复语义模板、逻辑跳跃的问题。典型表现是：

• 连续几句话都在用不同表述重复同一个观点。
• 段落之间缺乏有效的递进关系，像“车轱辘话来回说”。
• 局部句子高质量，但放到全文里会觉得“飘”，没有主线。

实现思路是把文本切成句子，用中文预训练模型得到每句话的向量表示，然后计算相邻句子的余弦相似度。人类文本相邻句子的相似度是动态变化的，有铺垫、有转折、有递进；AI文本的句间相似度往往单调偏高，尤其在后半段会出现“自我重复”导致的相似度骤升。

我们把这个指标叫做“语义平滑度”。经验值：正常人类文章相邻句子的平均余弦相似度在0.45到0.62之间，纯AI生成文章经常超过0.68，而且标准差明显偏小。当然这个数值会因文本类型不同而浮动，所以同样作为融合特征而非硬规则。

语义断层检测还有一层价值：它能够定位可疑片段。审核员打开内容详情页时，系统会把相似度异常偏高的连续段落标黄，并标注“此处语义重复度过高，疑似生成模型常见模式”。这个细节对人工复核效率的提升非常明显。

2.3 分类模型：中文预训练模型做检测器

第三块是核心分类模型。项目初期我们对比过几类方案：传统机器学习（TF-IDF+LR/XGBoost）、轻量深度模型（TextCNN、BiLSTM）、中文预训练模型（BERT系），最后用了基于中文RoBERTa的检测模型，并在其基础上融合前面讲的统计特征和语义特征。

选择预训练模型的原因很直接：数据量有限的情况下，预训练模型对复杂语义模式的泛化能力远超从零训练的浅层模型。AI生成的文本很多是“语义合理但微妙不自然”，TF-IDF这类词袋模型根本抓不到这种深层特征。

模型输入是三段信息拼接：

1. 文档文本本身，经分词后进入BERT编码器；
2. PPL、爆发度、语义平滑度等统计特征，在池化层后拼接进全连接层；
3. 句级可疑度序列的统计摘要（如Top3可疑句得分、可疑句占比）。

这种结构能同时利用语义表示和浅层统计信号。我们做过消融实验：单独BERT的F1在0.86左右，融合统计特征后F1能到0.90以上，尤其在“中文短文本”这一最难的类别上提升明显。

2.4 生成侧水印与协作机制的补充

检测侧再怎么努力，也是在“事后”做识别。如果能从生成源头打上水印，检测成本会大幅降低。所以项目里也接入了生成侧水印的验证能力。

水印的原理不复杂：在生成模型的解码阶段，通过特定分组的随机采样扰动，把一串不可见的二进制信息嵌入到文本中。第三方模型厂商可以在自家模型输出时主动打标，检测方只需要维护对应的水印解码器，就能判断文本是否由特定模型生成。

但现实是：市面上能接触到的开源模型和第三方API，大部分没有统一的水印标准。真正干扰平台生态的黑产，用的往往是开源模型或自己微调的模型，根本不会配合打水印。所以水印只能作为辅助手段，不能作为主力。真正能兜底的还是内容侧的语义检测。

这条选型路径走下来，我的体感是：不要迷信某一个单一技术，AIGC检测必须是一个“多信号融合”的工程体系，每类信号都有它擅长的场景，也都有它会被绕过的弱点。

3. 中文数据集构建与标注体系落地

3.1 数据来源与构造方式

模型要能打，数据是基础。中文AIGC检测最大的困境之一是公开数据集匮乏且场景单一。我们在项目里没有依赖现成数据集，而是自己搭了一条数据生产线。

人类文本侧，从平台历史内容里做分层采样。重点不是随机抽，而是按内容品类、作者活跃度、内容长度、写作风格四个维度分层。要覆盖长文、短文、评论、种草、问答、新闻、小说，避免模型在单一品类上过拟合。这部分数据量最后占到训练集40%。

AI文本侧，通过多个中文生成模型、不同解码策略批量采样生成。这里有个关键细节：不能只用默认解码参数。只用默认温度生成出来的文本特征高度集中，模型很容易学到“温度0.8 + top_p 0.9”的生成痕迹，一旦黑产换了参数就失效。我们按温度0.4到1.4、top_p 0.7到1.0、repetition_penalty 1.0到1.15做了网格采样，相当于人工制造了特征多样性。

混合改写侧是最难构造的。纯AI文本和纯人类文本的区分相对容易，难的是“半人半AI”。我们用规则生成+人工后编辑双路来构造：一种是把人类文章交给AI续写、扩写，另一种是把AI文章交给标注员做轻度润色。这个过程消耗了大量标注工时，但不做这部分，线上根本扛不住真实用户“AI生成+人工改几个字”的绕过行为。

3.2 标注体系设计：多标签与可信度

标注规范是整个数据工程质量的地基。我们定义了一套三级标签体系：

• 一级标签：文本类型，区分“人类原创”“AI直接生成”“AI辅助创作”“AI改写/翻译”。
• 二级标签：生成模型类别，如果有条件，记录文本是来自哪个模型家族的输出。
• 三级标签：典型特征标注，标注员需要勾选文本中肉眼可见的AI特征，比如“开头模板化”“语义重复”“逻辑跳跃”“过度使用连接词”。

这其中“AI辅助创作”是最难标、也是争议最大的类别。我们的仲裁原则是：只要生成模型参与了超过一半篇幅的创作，就算AI辅助；如果只是查资料或改个句子，不算。这个标准不一定通用，但必须内部一致，否则模型学到的边界会一团浆糊。

标注可信度我们也做了控制。每条样本至少两人标注，不一致的交第三人仲裁。项目跑了两个月，标注的一致率从刚开始的0.72提升到0.89，达到可用水准。值得一提的是，模型上线后我们还把线上审核员的高置信判例持续回流标注，这是数据迭代最宝贵的来源。

3.3 难例挖掘与浅层特征陷阱

初版模型上线后，我们做过一次“寻找模型盲区”的专项分析。把模型误判的样本挑出来给标注团队看，发现一个很扎眼的规律：模型把大量“人类写的但结构规整”的文本判成了AI。

典型例子：一位作者写技术教程，每一段都用“首先”“然后”“最后”开头，词和句都很通顺，结果被模型判定为AI概率高达0.87。这个误判让我意识到模型学到了中文AI写作的“模板词偏好”这种浅层特征。AI生成文本确实高频使用“首先/其次/总之/综上所述”，但人类写作同样会用，不能作为强特征让模型过度依赖。

我们花了一周时间针对性补充了“结构规整的人类文本”和“刻意避免模板词的AI文本”，同时把这种认知写进标注规范里，要求标注员不要因为看见“首先”就打AI标签。经过这轮补数据，模型对这类文本的误判率下降了约6个百分点。

难例挖掘的工作必须持续做。每两周我们会用线上新误判样本跑一轮数据复盘，这个节奏后来成了铁律。

4. 模型训练与信号融合的实操细节

4.1 模型结构与输入特征组织

模型主体用中文RoBERTa，具体网络结构上不是简单地在BERT后面接一个分类头。我前面提到过三路输入，展开说下实现：

第一路是文档编码。长文本超过BERT最大长度限制时，我们按段落切窗，每个窗口独立编码，再做序列池化。一个文档的每个窗口都会得到一组“AI风险概率”，最后汇总成文档级概率和窗口级风险序列。

第二路是统计特征。PPL均值、PPL标准差、爆发度、语义平滑度、可疑句占比，这几个值归一化后拼成一个特征向量，与BERT池化向量做concatenate。

第三路是局部信号。从语义断层检测里拿到的Top3可疑句的相似度极值和位置信息，也作为序列特征输入。

训练时用多目标损失：主任务是AI风险分类的交叉熵，辅助任务是“可疑片段定位”。也就是说模型不仅要判断整篇文本是不是AI生成，还要预测哪些句子最可疑。这个多任务设计让模型被迫学会关注句子级别的异常模式，泛化能力比单标签模型明显要好。

参考训练参数，供同行复现时起步用：

• 预训练模型：中文RoBERTa-wwm-ext
• 序列长度：512，按句切窗
• 批大小：16
• 学习率：2e-5，采用线性衰减
• 优化器：AdamW
• 训练轮数：5轮，早停
• 损失权重：主任务0.8，辅助定位任务0.2

这个参数组合在我的数据规模下效果稳定，但不同平台的数据分布不同，建议把学习率和批大小当主要调参对象。

4.2 对抗训练与类别不平衡处理

单拿分类模型去做，前一两个版本都能跑出不错的离线指标，但上线就露馅。问题在于模型学会了“正常AI”的特征，却扛不住“对抗AI”。所以我们做了两件事。

对抗训练：在BERT嵌入层上加FGM扰动。原理不展开讲，效果是让模型对嵌入空间的小扰动更鲁棒。加了FGM之后，模型在模拟对抗测试集上的F1从0.82提升到0.86，代价是训练时间增加了约三分之一。对于检测这种天然有对抗属性的任务，这笔时间值得花。

类别不平衡：真实线上数据里，人类原创文本还是大多数，AI文本占比在10%到15%之间。训练集如果过分平衡，模型对正常人类文本的“误杀”会升高。我们在损失函数里给少数类加了权重，把正样本权重设为负样本的2倍，同时用标签平滑防止模型过度自信。最终模型在低误杀率区间的召回表现好了不少，而业务上我们更优先保低误杀。

4.3 阈值校准与人工介入策略

任何二分类模型都需要阈值。这里的核心问题是：阈值定得越低，漏放越少，但误杀越多；阈值定得越高，误杀少，但漏放增加。我们不走“一刀切”路线，而是设计了三档决策区间。

模型输出概率低于0.45：判断为低风险，直接放行。 概率在0.45到0.75之间：判断为中风险，进人机协同队列。规则引擎再叠加检查，如果文本同时触发“超长重复段落”或“外部链接插入”等业务规则，则优先人工审核。 概率高于0.75且证据信号充分：判断为高风险，自动拦截，进入复审流程。

为什么选0.45和0.75？这两个阈值不是拍脑袋，而是在验证集上结合业务代价算出来的。0.45是“误杀率不超过2%”时的概率分位点；0.75是“漏放率不超过1%”时的概率分位点。中间地带就是留给人类判断的空间。

4.4 可解释输出：给审核员看的证据报告

模型输出如果只有“概率0.8”这个数字，审核员的使用体验极差，他们根本不知道该怎么复核。我们用七天时间做了一个结果解释模块，将检测输出结构化：

• 总体风险：高风险/中风险/低风险三档。
• AI生成概率：0到1的数值，附带置信区间。
• 主要依据：列出Top3条触发信号，比如“全文困惑度偏低”“第4到9句语义重复度高”“疑似模板词频率过高”。
• 可疑片段：模型定位的句子高亮，人工点击就能对照原文。
• 语句可视化：段落级风险热力条，一眼看清风险集中在哪部分。

这套可解释输出上线之后，人工复核效率提升了大约30%。审核员不再是“盲信”系统，而是有了可核查的线索，很多不必要的争议也少了。

5. 工程落地：服务化部署与治理闭环

5.1 系统模块划分与数据流

“陌讯检测”不是单一模型服务，而是一套围绕检测能力构建的治理子系统。整体数据流大致是：内容发布者提交文本 → 网关 → 同步检测服务与规则引擎并行执行 → 输出风险结论 → 根据风险档位决定放行/拦截/人工队列 → 人工结果回流到样本库 → 进入下一轮训练。

这里有一个工程取舍：同步还是异步？早期产品希望所有内容先检测再发布，所以同步检测接口必须足够快；但如果每个内容都走完整模型推理，成本根本扛不住。我们最终做了分层策略：

• 第一层：低耗时规则（正则、关键词、长度、链接数量），毫秒级，拦截明显垃圾内容。
• 第二层：轻量文本分类模型，用蒸馏后的小模型做粗筛，过滤掉绝大多数低风险内容。
• 第三层：完整“陌讯”检测模型，只在第一层或第二层命中可疑信号时触发。

这套分层链路的直接效果是：真正跑完整大模型的内容只占总量的20%到30%，日均检测成本下降了接近一半。

5.2 性能优化与长文本处理

长文本是检测系统的性能瓶颈。BERT系模型有512 token上限，一篇3000字的中文文章可能切出七八个窗口。如果每个窗口都独立推理，单篇延迟直接超过2秒，线上没法用。

我们做了三个优化：

• 长文切窗：按语义边界（段落、句子）切分，不是盲目按字符切，保证每个窗口语义相对完整。
• 窗口级并行推理：单篇多窗口在GPU上并行计算，延迟从2秒压到800毫秒左右。
• 蒸馏小模型：白天在线用蒸馏后的6层轻量模型，只有需要复核的风险内容才会在原库里跑完整大模型。

实际压测数据：单GPU卡（消费级）可以支撑日均数十万篇内容的粗筛，完整检测模型作为兜底，峰值QPS控制在20以内。这个吞吐量对绝大多数中大型内容平台足够了。

MySQL存结果、Redis当中间队列、审核平台走独立的Web服务，这些常规中间件不多做介绍，重点强调的是检测结果必须持久化。我们专门建了“检测明细表”，每一条检测结果都记录模型版本号、概率分数、触发信号、处理状态。没有这些记录，后续复盘和模型迭代完全无从下手。

5.3 人机协同治理闭环

系统上线到第二周，运营反馈了一个典型问题：自动拦截确实拦住了AI内容，但有些被拦截用户会反复申诉，说“这篇稿子是我一个字一个字写的，凭什么说是AI？”申诉处理不能靠人工一个个看，必须有配套机制。

我们设计的闭环是：

• 系统拦截后，用户可发起申诉。
• 系统自动对申诉内容跑一次“复核检测”，对比初次检测结果是否稳定，并生成一条详细的差异说明。
• 如果复核结果确认为低风险，自动放行，并记录一次“初次误判”。
• 如果复核仍为高风险，直接转到人工复核队列，按优先级别处理。
• 无论结论如何，这条申诉样本都会进入“争议样本池”，用于下一轮标注和训练。

这个申诉闭环表面上只是产品功能，实际上是我们获取高质量“困难样本”的最核心渠道。模型在争议样本池上每提升一个点，线上误伤就会肉眼可见地减少。

5.4 样本回流与自动迭代

治理系统的技术债如果不还，越往后越难。我们把“样本回流”做进了日常流程，不是靠人肉整理，而是每天凌晨自动拉取前一天的以下三类数据：

• 新标注样本：人工复核中确认过高置信的样本。
• 争议样本：申诉后改判的样本。
• 模型漂移样本：模型置信度与最终裁决不一致的样本。

这三类数据合并后进入标注平台，批量补齐标签。每隔两周用增量数据微调一次模型，并在固定的验证集上跑回归测试。连续跑了几轮后，模型在“最近30天新出现的内容”上的表现越来越稳，这比一次性训练一个模型直接上线要有效得多。

6. 评估体系与踩坑实录

6.1 离线指标与业务指标的平衡

很多人上手检测项目，第一反应是追求F1分数。但AIGC检测这个场景里，离线指标高不等于业务可用的程度高。

我们在模型选型阶段看一组指标：

离线准确率、召回率都好理解，但业务最敏感的是误杀率。中文内容生态里，最难受的投诉不是AI内容漏放，而是真人作者被系统误判后带来的创作者信任崩塌。一个优质创作者被冤枉之后，可能直接流失。所以我们在调参时给误杀率设了硬性底线，宁可漏一些AI内容，也不能大规模误伤。

6.2 鲁棒性测试：对抗样本如何设计

评估检测系统，不能只拿干净数据测试。真实线上环境的AI生成内容，不是训练集里的标准输出，黑产会用各种手段规避。我们建了一套对抗测试集，语言模型改进的检测方向。

第一类是文本噪声：在AI生成内容里随机插入全角/半角空格、错别字、同音字替换、拼音替代。测试结果显示，加入少量噪声后，模型的召回终归下降，但下降幅度从初版模型的8%压到了3%左右，这个进步主要归功于对抗训练和数据增强。

第二类是结构扰动：把AI文本打断重排、段落调换、插入一段人类写的段落。这类扰动主要考验“局部特征”是否稳定。实践中发现，如果文章后半段突然插入一段人类写的真实细节，模型整体风险分会被拉低。所以我们还引入了“段落级标签”机制，即使整体判低风险，也标记出个别高危段落在人工审核中继续观察。

第三类是风格模仿：用几组人类常用句式改写AI文本，例如把“首先”“其次”删掉，换成短句连接。早期模型在这种测试集上掉点最严重，后来补充了“去模板词”训练样本，情况才明显好转。

6.3 高频踩坑与排查速查表

项目跑了半年，踩过的坑不少。我整理了一张速查表，按问题频率排列：

这张表里的前两条，就是我们实际把线上误判压下去的突破口，也是很多团队容易在“模型调参”里钻牛角尖而忽略的盲区。

6.4 与AI生成工具的持续对抗

最后聊一下这半年我最大的认知变化：AIGC检测是一场军备竞赛，不是一劳永逸的项目。开源模型和API都在升级，生成文本的质量越来越接近人类。自己做检测的时候，始终要保持“对抗思维”。

我最近的实践是建了一个“检测器对战实验室”。团队定期拿最新发布的生成模型、最新的微调套路，在内部批量生成挑战样本，用现有的“陌讯”检测模型去测试，再把失败的样本加入训练集。这个实验室一开始是我个人的小动作，后来发现价值实在太高，成了项目组的固定流程。它本质上是在告诉团队：任何检测能力都只能阶段性占有优势，持续迭代才是真正的护城河。

如果你准备在团队里做类似的事情，我建议从“保留争议样本池”开始。AI生成内容的核心特征会随模型升级而漂移，但“与人类逻辑不一致”的底层矛盾短期内不会消失。所有表达能力、可解释能力、人机协同流程，都要围绕这个底层矛盾去建设。

这套方案并不是最优解，只是当前环境下趟出来的一条相对可行的路。中文语境下的AIGC治理，还需要更多同行贡献自己的实践细节，大家把各自的数据分布、模型选型和踩坑复盘摊开来交流，这个领域的整体水位才有机会快速抬高。