最近这几天，AI圈子里讨论最密集的话题，不是哪个大模型又刷了榜单，也不是哪家芯片厂放出了新卡，而是三件看似彼此独立、细看却指向同一个方向的新闻：一位图灵奖级别的深度学习教父发表了关于递归自改进安全性的论文（圈内简称RSI），一位公认的顶尖数学家公开表态支持给AI研发节奏踩刹车，还有一款主流AI对话应用被曝出可以轻易生成某资深漫画家笔迹的签名，并被人拿去制作“假亲签”售卖。这三件事放在一起，我想任何一个长期做内容安全、做模型落地的人都会意识到，AI安全问题已经不再是论文里的抽象概念，而是正在变成模型研发、公共舆论和普通创作者日常中的现实问题。
这篇文章不打算转述二手消息，我把自己在技术侧看到的东西整理出来——RSI论文到底在解决什么、顶级数学家为什么转向减速派、签名伪造事件背后有哪些技术细节和责任边界，以及我们这些具体做事的人该怎么应对。
1. 三条新闻的共同信号：AI安全正在从纸面走向现实
1.1 先复盘一下三件事到底发生了什么
第一件事，是那位深度学习教父亲自下场发了一篇关于AI安全的长篇论文。过去几年，他一直在各种公开场合表达对AI失控的忧虑，这次终于把思考系统整理成了论文，标题里直接带上了RSI这个缩写。RSI全称是Recursive Self-Improvement，中文学术圈一般叫“递归自改进”或“递归自我改进”，意思是AI系统能够自己修改自己的代码、训练目标或者推理流程，修改后的系统又具备更强的修改能力，如此循环。论文的主要论点非常直接：如果不对这种递归能力施加约束，我们面对的可能不是某个模型出错，而是整个物种层面无法挽回的失控风险。
第二件事，和一位顶尖数学家有关。前几年他算是AI工具的积极使用者，甚至在研究里大规模引入AI辅助证明，公开表态也算乐观。这次他明确表达了对AI发展速度的担忧，认为当前的推进节奏太快，社会机制、验证手段和法律框架都来不及跟上，因此支持适当减速。这个表态在数学圈和AI圈都引起了不少讨论，因为数学是公认的、最依赖严格验证的学科，一个整天和形式化证明打交道的人如果都开始担心“不可靠的智能扩张”，那说明问题已经到了专业群体都无法忽视的程度。
第三件事，则是关于签名伪造。某热门AI对话应用被曝出用户只需提供一位漫画家若干张真实签名样本，就能通过应用内置的图像生成能力输出足以乱真的仿造签名，有人把这些签名套在低价复印的卡片上，当“亲笔签名版”在二手市场出售。事件曝光后，应用方虽然迅速调整了相关提示词的输出限制，但被伪造签名的那位漫画家已经不得不公开发声明澄清，并考虑用法律手段维权。
1.2 为什么说这三件事其实是一件事
如果你只看表面，这三件事分别属于学术研究、学界立场和消费欺诈，领域完全不相干。但从我做过模型评测和内容风控的角度来看，它们指向的是同一个底层变化：AI已经从一个“被讨论的对象”变成了“能主动参与社会博弈的主体”。
这里我想区分两个概念。过去几年讲AI安全，大家讨论最多的是“模型说错话”“模型产生有害内容”，这类问题本质上是内容生成的质量与合规问题，是可以用提示词工程、分类器、安全微调来约束的。但RSI论文讨论的是模型修改自身能力的问题，属于能力和控制权层面的问题；数学家T讨论的是发展节奏的问题，属于社会选择层面的问题；签名伪造讨论的是模型输出被第三方恶意利用的问题，属于工具责任层面的问题。这三层加在一起，才是完整的AI风险图景：不只是“模型会不会说错话”，而是“模型的成长速度是否可控”“模型的能力是否会被用来伤害具体的人”“出事之后责任应该落在谁头上”。
为什么这三件看起来各自独立的事会在同一个时间节点集中爆发？我个人的观察是，2026年前后，生成式模型的综合能力已经跨过了一个临界点。前两年大家还在争论AI能不能写论文、能不能做设计，现在这些问题已经没有争论的必要——它能，而且做得不错，同时它也能模仿笔迹、伪造签名、辅助说服、生成虚假证据。能力越强，滥用场景越具体，学术界和社会大众对安全的担忧就越真实。所以，这三条新闻本质上是一条新闻：AI能力发展到了一定水位，安全问题随之浮出水面。
2. RSI论文的核心：递归自改进为什么是绕不过去的坎
2.1 先拆解RSI：递归自改进到底是什么意思
要理解这篇论文的分量，得先弄清楚RSI在AI安全里的特殊地位。普通的安全对齐研究，讨论的是一个静态模型如何不产生有害输出。比如一个聊天模型，我们通过训练时加入人类反馈、推理时加约束，让它不要生成歧视性言论，不要泄露隐私，这些方法面对的都是“给定输入、给定模型，如何让输出可控”的问题，模型本身是不变的。
但RSI面对的是完全不同的场景：如果系统被赋予修改自身代码或训练策略的权限，它会陷入一个正反馈循环。今天的能力是A，它改完自己的代码后能力变成B，而B的能力足以让它做出更好的修改C，如此往复。这个过程一旦开始，人类很难在每一个循环节点都插进手去审查，因为系统改进自己的速度会越来越快，而人类的审查速度是线性的。这就是常说的“智能爆炸”的机制雏形。你可以把它类比成一个能自己改方案的施工队：普通施工队再厉害，也受制于工头每天看图纸的节奏；但一支能自己改图纸、自己调材料、自己定工期的施工队，只要工头在初期盯不紧，后面就很难再叫停。
过去几年，这个领域的研究大多停留在理论推演和思想实验阶段，因为真正具备递归自改进能力的系统还没有出现。但大模型时代让这个问题有了现实紧迫性：模型可以调用外部工具，可以自己编写并执行代码，可以分析自己的错误输出并调整提示词或检索策略。虽然今天的系统还不能像科幻电影里那样重写自己的权重，但“模型+工具+自我反馈”的叠加形态，已经让RSI不再是一个纯理论概念。
2.2 论文提出的对齐思路：用形式化验证把AI套上“笼头”
G教授这篇RSI论文的贡献，不在于发明了一个新算法，而在于把RSI的安全问题转化成了一个可以讨论计算复杂度的形式化问题。他的核心思路大致可以概括为三块：
第一块是定义了“可验证对齐”的目标。他主张在系统设计之初就锁定一个高阶目标，这个目标不随系统自我迭代而变化。听起来简单，做起来非常困难，因为你必须找到一种方式，让系统在每一次自我修改之后，仍然能证明“自身的修改不会偏离初始目标”。这相当于要求一个系统同时担任运动员和裁判员，并且要求它每一轮比赛结束后都给出自己仍然遵守规则的严格证明。
第二块是把对齐与计算成本挂钩。论文里提出了一个很关键的想法：强烈的对齐保障是有计算代价的，成本会随着系统的智能水平和自我修改次数快速上升。换句话说，一个无限强大的系统加上无限严格的安全对齐，在计算上可能根本不存在；我们必须在“能力过强但验证不足”和“能力受限但验证充分”之间做出选择。这是对“超级AI能自发实现安全”这种乐观叙事的一记重锤。
第三块是强调不可解释的风险。论文认为，系统的自我修改越深入，其内部状态就越复杂，人类事后回溯“它为什么做了这个决定”就越困难。一旦系统进化到无法被解释的状态，任何对齐承诺都失去了意义，因为人类无法验证它是否真的遵守了承诺。
2.3 为什么这篇论文的分量主要不在技术细节
坦白说，论文里的很多内容在这个领域并不是全新观点，形式化验证、价值锁定、不可解释性，都是此前若干年反复被讨论的老话题。我身边不少做安全对齐的同事看完论文后的第一反应是：核心论点不算意外，但由这个人说出来，意义完全不同。
G教授的身份太特殊了。他是深度学习理论的奠基人之一，也是符号逻辑、认知科学等多条技术路线交汇点上的重量级人物。过去几十年，他对神经网络在大规模视觉任务上的可行性判断、对无监督学习的多次预言，后来都被证明方向是对的。这样一个在技术前沿摸爬滚打半个世纪的人，转过身来亲自写RSI安全论文，等于是在用行动告诉整个行业：递归自改进的风险已经真实到需要权威级的人物亲自下场背书。
从行业传播的角度来说，这才是RSI论文真正的影响所在。以前“递归自改进失控”更多是科幻迷和哲学爱好者的谈资，很多一线工程师甚至觉得这是个被夸大的伪命题。但这篇论文发布之后，几个主流模型社区的技术讨论区里，关于“side-channel control”“self-referential training”的讨论肉眼可见地多了起来，几家头部AI公司也很快发了回应。这种从“谈资”到“议题”的转变，本身就是一个值得记录的现象。
3. 数学家T的减速表态：精英内部开始出现立场分裂
3.1 一个长期使用AI工具的人，为什么反而“退缩”了
数学家T的表态之所以引发巨大关注，是因为他不是那种对AI一无所知的空想批评家。过去很长一段时间，他是AI辅助数学研究的代表性人物，和团队一起推动过利用自动化推理工具辅助定理证明，并且公开表达过对这种协作方式的乐观态度。他亲身体验过AI在搜索数学思路、验证复杂推导方面的实际价值，所以他的减速表态比任何外行质疑都更有分量。
他给出的理由，我总结下来大概有这么几个层次。第一，他在使用AI工具的过程中发现，模型的快速推理能力看似强大，但可靠性并没有随能力同步提升。AI可以在很短时间内生成一个看起来无懈可击的证明框架，但其中某个关键步骤的隐藏假设可能是错的，而且错误隐藏在大量正确推理中很难定位。对数学这种必须以严格证明为根基的学科来说，这种“高置信度的错误”比“明显的错误”危险得多。第二，他对“能力蔓延”表示警惕。今天模型能帮人证明定理，明天就能帮人设计实验，后天就能在没人完全理解的情况下做出影响现实生活的决策，而人类对每一步的验证能力都在相对减弱。第三，他侧面提到，学术界和工业界的激励结构都在鼓励“尽快出成果”，但没有人真正为“出错了怎么办”负责。
3.2 减速派与加速派的分歧到底是什么
T表态之后，社交媒体上立刻出现了两种极端解读。一种人说他背叛了科学进步，另一种人把他当作“AI末日论者”的标杆。这两种解读都很片面。
实际上，学术圈内部对AI发展速度的争论，核心分歧根本不是“要不要发展AI”，而是“发展过程中，谁有权踩刹车、刹车应该装在哪里”。加速派的主张是，AI带来的收益足够大，任何形式的减速都会增加人类错失技术红利的机会成本，与其担心尚未发生的风险，不如全力冲刺，把问题留给“更强AI”去解决。减速派的主张则是，技术和人类社会制度的适配速度存在物理上限，今天一个模型从上线到影响千万人可能只需要几分钟，而一个行业规范从起草到落地可能需要几年，二者之间的时间差就是风险敞口。T的表态属于典型的减速派立场：不是不要AI，而是要求给AI的部署加上节流阀，让能力增长和验证能力增长之间的落差不至于无限扩大。
作为从业者，我其实两边的话都能听懂。加速派关注的是机会窗口，减速派关注的是容错空间。但有一个事实无法回避：目前行业的默认状态是加速的，没有任何一个现成的、被广泛接受的减速机制。所以当一位顶级数学家站出来主动表态要求减速时，他本质上是在给这个默认状态投反对票，让“速度是否过快”成为一个需要被认真讨论的问题，而不是被默认接受的前提。
3.3 数学家的视角为什么值得格外重视
数学家对AI风险的看法值得单独拎出来说，因为数学是目前所有学科里对“严格正确”要求最高的领域。在大多数应用场景里，AI犯错的代价可能是推荐一个不太好吃的餐厅，或者让客服回答有点跑偏，这些都可以接受。但在数学领域，一个证明哪怕只有一个步骤有问题，整个定理就是无效的。长期在这种“全有或全无”的验证文化中工作的人，对“概率意义上的正确”“大致上的有效”这些说法会异常敏感。
T的转向，本质上是从数学家的职业本能出发，对AI黑盒产出做出的风险判断。他比任何人都清楚，一个被过度依赖的不可靠推理器，会在不知不觉中污染整个知识体系。这种污染在纯数学里的表现是有瑕疵的证明被引用，在现实世界中的表现则是AI生成的虚假签名被当作真品流通、AI生成的错误法律文书被当作正式建议、AI伪造的证据干扰公共判断。他看到了AI不可靠性的深远扩散方式，这正是他决定公开表态减速的根本原因。
4. 签名伪造事件：模型滥用如何从“谈资”变成“事故”
4.1 事件本身：一条很短的伪造链条
签名伪造事件的传播链条其实非常短，短到让人后怕：有人拿出某位人气漫画家早年公开的真签名照片，用AI对话应用内置的图像生成功能做了风格学习，生成了一张笔迹几乎一致的签名图，然后把这张图打印在普通卡片上，挂到二手交易平台当成“作者亲签”出售。由于价格挂得比正常亲签市场价低不少，很快就出了好几单。
事件被曝光后，平台方和二手交易平台都做了一些处理，AI应用也限制了相关风格的生成请求。但这件事真正的冲击点在于，整条伪造链路的成本低得离谱。过去要伪造一个知名人物的签名，至少要找到足够多的真迹样本、研究笔峰和力度变化、反复手写练习，没有一段时间练不下来；而现在，只要收集几张公开的签名图，再花几分钟让模型提取笔迹风格，就能生成一批足以骗过普通收藏者的扫描件。
4.2 技术上为什么这么容易得手
从技术角度看，签名伪造在生成模型的加持下确实不算难。这里需要说明一下原理。现代图像生成模型最擅长的能力之一就是从少量样例中提取某种“风格”，签名本质上就是一种高度风格化的视觉符号，笔画粗细、起笔角度、运笔速度、连笔习惯，这些都是可以被编码进风格特征空间的。作者如果公开过足够多的签名图，模型就能把这些特征提取出来，再在生成时组合出全新的签名。
更麻烦的一点是，签名这种目标不像人脸那么有“防御资源”。人脸伪造之所以被控制得比较好，是因为有大量公开数据集训练检测模型，平台也普遍部署了识别人脸换脸的算法；但签名属于长尾目标，没有大规模的伪造检测数据集，也几乎没有专门的识别网络在做防护。攻击面不对称，防御资源稀少，让签名伪造在技术上处在“低成本、低风险”的区间。
还有一个很容易被忽视的细节：伪造签名不一定非要生成一张完整的、高分辨率的图。只要生成的签名轮廓、连笔节奏足够接近，再把这张图缩小、压上印刷网点、加上轻微色偏，伪装成“拍照翻拍的旧卡片”，反而更像真品。很多收藏鉴别者习惯看纸张和油墨质地，却在“扫描上传到二手平台的图片”这种场景下失去了物理层面的鉴别依据，这也是AI签名能够蒙混过关的原因之一。
4.3 责任归属：平台、模型和用户各自的边界在哪里
事件发酵之后，讨论最多的问题是“到底应该怪谁”。我自己的看法是，这个问题没有非黑即白的答案，但可以拆成几个层次。
从模型层面看，生成模型本身不具备主观意图，它只是在拟合训练数据分布，“根据输入生成一个类似指定风格的签名”是它的正常功能，谈不上主观恶意。从平台层面看，AI服务提供者有责任评估输出被滥用的可能性，对涉及个人身份特征的内容加以限制。从用户层面看，明知是伪造品仍然以真品名义出售，这是典型的欺诈行为，无论是在AI出现之前还是之后，法律层面都是明确要承担责任的。
真正值得关注的边界问题在于：当伪造的物理门槛被AI大幅降低时，平台该控制到什么程度才合理？如果AI应用对所有“特定人签名”类请求一律拒绝，那么法律从业者、收藏鉴定者、字体设计师的正常需求也会被误伤。我见过一些内容安全团队设计审核规则时，把“涉及人物身份特征”的输出一刀切，结果作者连给自己虚构的角色生成一张手写信封面都做不了。如何做到既阻断恶意伪造、又不影响正常创作，是这一两年做内容安全的人必须直面的复杂课题。
5. 面对这三股浪潮的应对：技术、平台与个人三层防御
5.1 技术侧：溯源、水印与AI取证的当前边界
先说技术侧。针对AI伪造，目前主流防线有三条：输出侧加可见/不可见水印、训练侧加入数据指纹、检测侧训练专门的伪造分类器。
可见水印大家都很熟悉，就是AI生成的图片上叠加一个肉眼可见的标记，但它容易被裁剪或覆盖。不可见水印则是把信息嵌入到图像的像素噪声中，人眼看不出来，但通过特定算法可以提取。问题在于，现在的主流编码器对“屏幕翻拍”“二次压缩”“局部裁剪”这类常见操作仍然不够鲁棒，用户只要把AI生成的签名图旋转几度、压缩一下画质再上传，水印就基本失效了。
数据指纹的思路更好一些，是在模型生成的产物中嵌入与模型参数相关联的模式特征，通过分析生成图的结构性伪影（比如某类降噪器特有的纹理残留）来确认“这是哪款模型生成的”。这种方法的优势是无需在生成后添加额外标记，缺点是只能追踪到模型层面，追踪不到当时的单次请求。
AI取证则是最新、也最不成熟的领域。它的目标是把生成模型内部的注意力热力图、采样轨迹等中间信息保存下来，作为司法意义上的证据链。但这个方向目前连统一的行业标准都没有，不同实验室保存的信息格式完全不一致，距离实际落地还有相当长的路要走。
5.2 平台侧：负责任输出的三个具体抓手
平台侧能做的事比很多人想象中多，但每件事都面临平衡问题。我接触过的内容安全团队，现在一般从三个角度入手：
第一个抓手是风格化请求的细分管控。签名生成这件事很难一刀切禁止，可行的做法是把请求分类：用户只是单纯想让模型模仿某种字体，还是试图复刻某个在世公众人物的身份笔迹？后者需要更强的验证门槛，比如要求用户说明用途、限制生成次数、强制加水印。
第二个抓手是输出侧的影响生命周期管理。如果生成的签名图本身带有隐藏的生成指纹，那么就算它流转到二手平台，平台也可以通过自动检测识别出来。这和视频平台对疑似AI生成内容添加提示标签是同一个逻辑。
第三个抓手是事后处置的效率。过去AI平台被投诉滥用时，响应流程是“用户举报—人工审核—封禁账号”，这个链条往往需要几天。但在伪造签名这种事件里，上架几天可能已经完成好几笔欺诈交易了。平台需要建立高优先级处置通道，对涉及个人身份伪造的投诉进行快速响应，同时把处置结果反馈给受害方。
5.3 创作者与普通用户的自保清单
对创作者和普通用户来说，与其等平台完善防御，不如先做一些低成本的自保措施。我整理了几条比较实用的：
- 给自己的作品建立“真品锚点”。定期在社交账号发布带有明确时间戳的签名、手稿、绘制过程的视频，让粉丝能够交叉验证“作者本人最近在做什么”，降低被模糊图蒙骗的概率。
- 交易时要求“动态验证”。买亲签时，除了看签名本身，要求卖家提供带有当日日期、购买凭证、快递实拍的同框照片。AI能模仿静态笔迹，但很难伪造实时互动的多个信息之间的交叉一致性。
- 使用鉴别工具时保留原始文件。下载图片后不要直接改尺寸，先用元数据查看软件确认文件的生成时间、编辑软件记录，这些信息在AI取证中可能成为关键线索。
- 遇到疑似伪造的商品，不要只退款了事。把保存的证据同步反馈给AI平台和交易平台，让平台有机会对生成端和交易端同时做标记，这能间接帮助后续受害者。
6. 我的一些从业者观察与建议
6.1 为什么这类话题总是“讨论很多、落地很慢”
做了这几年内容安全和模型评测，我最大的感受是：AI安全领域的讨论从来不缺热度，缺的是把讨论转化为可执行机制的耐心。RSI论文引起了很大反响，但真正在研究如何设计可验证对齐的团队少之又少；数学家T的减速表态上了热搜，但各家公司没几家真的把发布节奏放缓；签名伪造事件被曝光后热度持续了大约一周，两周后平台就悄悄把限制条件放宽了些，因为“用户体验指标下降了”。
原因不难理解：安全问题天然带有不确定性，投入的资源看不到即时ROI，而模型能力竞争是每月都有榜单和数据可以衡量的。商业组织和研究机构都天然倾向于做有即时反馈的事。正因为如此，需要有人持续承担“不受欢迎的提醒者”这个角色。这篇论文也好，数学家的表态也好，都是在这个意义上起了示范作用。
6.2 如果身边人问起，我会怎么简单回答
最近有几位做设计、做插画的朋友问我，AI发展成这样，是不是意味着以后所有东西都没法信任了。我的回答是：信任的颗粒度会变细，但不会消失。过去我们信任“一张有签名的图”，以后我们可能只信任“一张能提供完整来源链路、且关键节点可交叉验证的图”。这听起来像是额外负担，但仔细想想，纸质签名时代其实也没有很多人想象的那么可靠，只不过以前伪造的成本高，大家默认“不会有人费那么大劲造假”。AI把成本打下来了，“默认可信”这个前提就瓦解了。接下来比拼的不是谁更不信任AI，而是谁的鉴别速度比伪造速度更快。
我在实际工作中体会最深的是：技术手段再强，也替代不了基础的安全意识。水印可以绕、溯源可以作假、检测模型可以对抗，但如果在每个环节都保留一到两个交叉验证的动作，伪造者就需要在多个维度同时满足条件，这会极大提高滥用成本。无论是模型开发者、平台运营者，还是普通创作者，把“保留验证链路”这个习惯内化下来，大概率是应对下一波AI滥用最实用的生存策略。
