写在前面
欢迎大家关注Rocky的公众号:WeThinkIn
欢迎大家关注Rocky的知乎:Rocky Ding
《三年面试五年模拟》AIGC/LLM/AI Agent算法工程师/开发工程师求职面试秘籍独家资源:【三年面试五年模拟】WeThinkIn/AIGC-Interview-Book,欢迎大家Star~
Rocky最新撰写的10万字AI Agent(AI智能体)深入浅出全维度解析文章:深入浅出完整解析AI Agent(AI智能体)的核心基础知识
AIGC/LLM/AI Agent算法岗/开发岗求职面试内推学习社群(涵盖AIGC、LLM大模型、AI Agent、传统深度学习、自动驾驶、机器学习、计算机视觉、自然语言处理、强化学习、大数据挖掘、具身智能、元宇宙、AGI等AI行业最新面试干货经验与核心知识)欢迎大家加入:https://t.zsxq.com/33pJ0
大家好,我是Rocky。
核心导读
法律任务中,一段流畅的分析可能同时包含正确法条、错误事实和无法执行的建议。普通读者很难察觉这种混合,专业团队却必须为最终结论负责。也正因为如此,法律 AI 的核心难题,是在完整工作过程中持续维持事实、规范、推理和文件之间的对应关系。
GLM-Legal 基于 GLM-5.3-Flash,通过法律中期训练、专业环境强化学习与 Agent 运行框架协同优化,提高合同审查、证据分析和合规研究能力。官方公布其 Harvey LAB 全条件通过率为 19.2%,比底座高 12.5 个百分点;LegalBench 的发布成绩为 86.23%。这两类数字测量的对象不同,不能拼成一个笼统的“法律能力分数”。
Rocky认为,GLM-Legal 的研究价值,在于把领域知识转化为可审阅工作成果,并暴露出专业 Agent 的真正瓶颈:一项任务中的多个必要条件,必须同时成立。它为法律辅助工作提供了新的技术路径,也让评测、复核和责任分工变得更加具体。
1. GLM-Legal 为什么需要整条工作链
一次合同审查通常不是“检索相关法条,然后生成建议”。模型要先辨认客户立场、合同版本和交易目标,再理解相互引用的条款,定位风险,判断哪些风险可以谈判,最后把建议落实到可修改的文字。
例如,软件服务终止后的交接安排,涉及通知期、违约补救期、知识产权归属、未付款成果、过渡服务和数据返还。单独把通知期从 60 天改为 30 天,未必解决交接风险。若成果归属条款已经约定客户拥有工作成果,终止条款却只要求返还已付款部分,系统就需要识别两处约定之间的关系。
GLM-Legal 的公开演示围绕这个具体任务展开:建议缩短便利终止通知期,为严重的知识产权、保密或数据安全违约提出即时终止安排,并结合已有成果归属约定,明确在制成果与交接支持范围。这里值得研究的,是局部修改是否服从合同整体逻辑,而不是建议看起来有多专业。
图中的条款是特定客户立场下的演示建议,不能成为通用合同模板。不同交易的议价地位、适用法律和交付模式不同,90 天过渡支持也不是一条普遍法律要求。专业系统必须把“合同已有约定”“法定义务”和“谈判建议”分开标注,否则越具体的输出,越容易制造错误确定性。
2. 从法律知识到工作能力,GLM-Legal 做了两层训练
中期训练首先解决领域表达与概念关系。法律语料可以强化模型对规范结构、专业术语、解释方法和事实到结论之间连接方式的理解。它的收益不只是增加记忆条目,还包括让模型更自然地组织专业分析。
但知识熟悉度并不自动变成任务执行能力。面对几十份材料,模型还需要决定先读什么、如何保存证据、何时核对、怎样组织成果,以及怎样应对工具失败。这些决策属于轨迹层面的能力。
官方给出的第二层训练,是在数万法律任务环境中进行强化学习,并同步迭代 Harness。后者负责上下文组织、工具连接和执行反馈。模型训练发现的失败会反过来暴露框架问题,框架改进又会改变模型看到的环境与反馈。
可以用一个分析性表达来理解这种协同:
Y = F ( θ , H , D , V ) , Y=F(\theta,H,D,V),Y=F(θ,H,D,V),
其中θ \thetaθ是模型策略,H HH是运行框架,D DD是任务材料,V VV是验证机制,Y YY是最终交付质量。这不是官方训练公式,而是提醒我们:整体成绩变化不能全部归因于参数更新。若同时更换检索策略、工具和提示模板,必须通过消融才能分离收益。
当前公开介绍没有提供完整语料配比、奖励函数、训练计算量与对照消融。因此,能够确认的是两阶段训练与模型—框架协同路线;尚不能据此复现训练过程,也不能量化每个组件的独立贡献。
3. 19.2% 的全通过率,该怎样理解
Harvey LAB 把任务设计为合伙人向律师分配工作:给出简短需求和一组客户材料,要求生成可以审阅的工作成果。其初版包含约 1,250 项任务、24 个执业领域和超过 75,000 条专家评分条件。这里的难度来自资料组织、问题识别、分析、引用和交付格式的联合约束。
对于任务i ii,设第j jj条必要条件是否通过为r i j ∈ { 0 , 1 } r_{ij}\in\{0,1\}rij∈{0,1},则全条件通过的计分方式可以表示为:
S a l l = 1 N ∑ i = 1 N ∏ j = 1 m i r i j . S_{\mathrm{all}}=\frac{1}{N}\sum_{i=1}^{N}\prod_{j=1}^{m_i}r_{ij}.Sall=N1i=1∑Nj=1∏mirij.
只要一项必要条件失败,该任务就不算全部通过。单条条件准确率较高,仍可能对应较低的完整任务成功率。用纯示意的独立假设举例,若每条条件通过概率为 0.97,50 条同时通过的概率约为0.97 50 ≈ 21.8 % 0.97^{50}\approx21.8\%0.9750≈21.8%。真实条件并不独立,这个计算不能估算 GLM-Legal 的表现,但能解释为什么局部可靠与整体可靠之间存在显著距离。
GLM-Legal 的 19.2% 比底座高 12.5 个百分点,意味着底座对应成绩为 6.7%,绝对提升与相对提升需要区分。同时,19.2% 也意味着在这套严格标准下,多数任务还没有同时满足全部要求。这个结果支持其作为专业辅助工具进一步试验,不能推出无需人工审阅的独立执业能力。
LegalBench 更侧重法律推理任务,PLawBench 面向中文法律实践,Harvey LAB 则强调长程成果交付。跨基准判断时,还需检查法域、语言、任务版本、工具预算和评分实现。所谓榜首只能限定在特定榜单、时间和模型类别内,无法自动覆盖全球所有法律工作。
4. 证据分析最难的部分,是让推断能够回到材料
GLM-Legal 的另一组演示分析了一个软件项目争议:对外报告称完成 60%,内部快照约为 41%,更早的风险提示与沟通指令又影响对披露行为的理解。仅找到两个百分比不同,只完成了信息检索;要形成有用分析,还必须核对日期、统计口径、人员知情状态和合同约定。
这里至少存在三层判断。第一层是可定位事实:哪个文件、哪个日期写了什么。第二层是关联推断:不同材料之间是否构成矛盾、时间顺序是否支持某种解释。第三层是法律结论:相关事实是否满足某项请求权或责任要件。
如果把第二层直接跳成第三层,模型就可能把“存在异常”写成“已经构成违法”。同样,60% 与 41% 可能使用不同的完成度定义,差值本身并不自动证明虚假陈述。严谨的成果应保留替代解释、待补证事项以及原始文档定位。
工程上,可以把证据组织为有类型的关联图:文档节点记录出处,事实节点记录明确陈述,推断节点记录依赖,结论节点列出要件。这样的结构让复核者能从结论回溯到证据,也能在某份材料被推翻时,找到受影响的下游判断。它是面向专业产品的设计建议,并非对 GLM-Legal 内部架构的推定。
5. 合规清单的价值,在于把规范映射到可检查动作
跨境网站上线涉及隐私告知、追踪技术、营销退订和境外云服务。模型若只写“遵守当地隐私法律”,不会减少工程团队的实际工作量。可执行建议需要明确数据流、处理目的、供应商、责任人和验收证据。
GLM-Legal 的公开案例涉及新加坡、马来西亚与印度尼西亚,提出记录同意、区分注册与营销授权、让退订进入抑制列表、梳理云和支付等供应商的数据目的地。这里最有价值的变化,是把抽象规范连接到系统配置与业务流程。
但一份共同控制清单仍不能替代逐法域审查。要求可能随数据类型、主体身份、业务模式和法规修订而变化,法规引用也必须核实有效版本。一个看起来更细致的清单,可能只是更保守的上线基线,并不意味着每项建议都属于所有市场的强制义务。
因此,落地产品应允许用户区分“必须满足”“保守建议”“待专业确认”和“当前不适用”,并附上对应依据。把不确定性结构化,能够降低审阅成本;用强烈语气掩盖不确定性,只会把成本推迟到交付之后。
6. GLM-Legal 的可复现性与部署边界
本次核对能够确认官方发布页、训练路线和任务演示;官方页说明 Harvey LAB 与 LegalBench 由 Vals 进行独立评估,并给出模型页面。公开报道中的 86.23% 等具体数字,应继续绑定对应发布快照,而不被当作永久排名。
“开放权重”“可申请 API”与“完整训练可复现”是不同层级。本次能够验证 Beta API 申请入口,但尝试读取通常命名的 Hugging Face 模型仓库没有获得可用模型说明,不能据此宣称已经核验权重、许可证或自托管配置,也不能仅凭这一请求失败判断权重一定不存在。
实际部署的关键约束集中在权限、版本和审阅。客户材料需要按案件隔离;检索引用必须保留原始位置;模型建议进入可追踪修改;最终输出需要明确谁审阅、谁批准、哪些结论仍待核对。对敏感法律任务,这些要求直接决定产品能否被专业团队采用。
评估商业价值时,最有意义的指标也应改变。可以统计每份合格工作成果的模型费用、律师复核时间、重大遗漏率与返工率。低 API 费用如果伴随高复核负担,未必产生净节省;更昂贵的推理如果显著减少关键遗漏,也可能更经济。
7. 值得继续研究的三个方向
第一个方向是证据约束的奖励设计。除了整体质量评分,还可单独核验引用是否存在、引用能否支持相邻断言、关键反证是否遗漏,并研究这些局部信号是否能提高完整任务全通过率。这里需要独立验证集,防止模型学会迎合评分措辞。
第二个方向是校准后的拒答与升级。当材料不足、法域不明确或规范冲突时,Agent 应能主动请求补充材料,或把任务转给专业人员。研究目标不应只追求回答覆盖率,还应衡量接受任务与拒绝任务之间的风险分配。
第三个方向是审阅效率。模型把推理写得更长,不一定帮助律师更快判断。将结论、依据、关键假设与待核事项对应展示,可能比增加几千字分析更有用。可以通过受控实验测量复核时间与遗漏发现率,而不是只做文本偏好评测。
8. Rocky 的判断:垂直模型的价值要在工作成果中兑现
GLM-Legal 表明,成熟通用底座仍然可以通过领域训练和任务环境获得进一步收益。但这种收益能否成为持续优势,取决于专业反馈能否进入数据、评测、模型与工作流的循环。
法律团队提供的是问题定义与责任标准,算法团队提供的是学习与推理能力,产品团队负责把二者连接成可以审阅、可以纠错、可以交接的系统。任何一环缺失,演示中的专业感都难以变成稳定服务。
对法律 Agent,真正值得积累的资产,是可核对的证据链、可执行的质量标准和经过专业复核的反馈。模型版本会继续更新,这些资产则能持续帮助团队识别进步发生在哪里,以及哪些任务仍必须谨慎交付。
推荐阅读
Rocky一直在运营技术交流群(WeThinkIn-技术交流群),这个群的初心主要聚焦于技术话题的讨论与学习,包括但不限于算法、开发、竞赛、科研以及工作求职等。群里有很多人工智能行业的大牛,欢迎大家入群一起学习交流~(请添加小助手微信Jarvis8866,拉你进群~)
1. 深入浅出完整解析AI Agent(AI智能体)的核心基础知识
2025年可以说是AI Agent全面落地应用的元年,因此Rocky在持续撰写对AI Agent的全维度解析文章:
深入浅出完整解析AI Agent(AI智能体)的核心基础知识
2. 深入浅出完整解析扩散模型DDPM、DDIM、Score-Based、SDE、LDM、Classifier/Classifier-Free Guidance、Rectified Flow核心基础知识
Rocky对扩散模型的本质原理与和核心基础知识进行了全面系统的深入浅出分析讲解,同时不断跟进补充扩散模型的最新技术发展,希望能给大家带来帮助:
深入浅出完整解析扩散模型DDPM、DDIM、Score-Based、SDE、LDM、Classifier/Classifier-Free Guidance、Rectified Flow核心基础知识
3. 入浅出完整解析FLUX.2、Seedream(即梦)、Z-image、GLM-Image核心基础知识
Rocky对AIGC时代“中场时刻”之后的主流AIGC创作大模型的核心基础知识进行了全面系统的深入浅出分析讲解,力求让大家通俗易懂理解AIGC时代的技术浪潮的本质价值:
入浅出完整解析FLUX.2、Seedream(即梦)、Z-image、GLM-Image核心基础知识
4. 深入浅出完整解析FLUX.1 Kontext和FLUX.1 Krea核心基础知识
Rocky对FLUX.1 Kontext和FLUX.1 Krea的核心基础知识作了全面系统的梳理与解析:
深入浅出完整解析FLUX.1 Kontext和FLUX.1 Krea核心基础知识
5. 深入浅出完整解析DeepSeek系列核心基础知识
Rocky对DeepSeek系列模型的核心基础知识作了全面系统的梳理与解析:
深入浅出完整解析DeepSeek系列核心基础知识
6. 深入浅出完整解析Stable Diffusion 3(SD 3)和FLUX.1系列核心基础知识
Rocky对Stable Diffusion 3和FLUX.1的核心基础知识作了全面系统的梳理与解析:
深入浅出完整解析Stable Diffusion 3(SD 3)和FLUX.1系列核心基础知识
7. 深入浅出完整解析Stable Diffusion XL(SDXL)核心基础知识
Rocky对Stable Diffusion XL的核心基础知识作了全面系统的梳理与解析:
深入浅出完整解析Stable Diffusion XL(SDXL)核心基础知识
8. 深入浅出完整解析Stable Diffusion(SD)核心基础知识
Rocky对Stable Diffusion 1.x-2.x系列模型的核心基础知识做了全面系统的梳理与解析:
深入浅出完整解析Stable Diffusion(SD)核心基础知识
9. 深入浅出完整解析Stable Diffusion中U-Net的前世今生与核心知识
Rocky对Stable Diffusion中最为关键的U-Net结构进行了深入浅出的全面解析,包括其在传统深度学习中的价值和在AIGC中的价值:
深入浅出完整解析Stable Diffusion中U-Net的前世今生与核心知识
10. 深入浅出完整解析LoRA(Low-Rank Adaptation)模型核心基础知识
对于AIGC时代中的“ResNet”——LoRA模型,Rocky进行了深入浅出的全面讲解:
深入浅出完整解析LoRA(Low-Rank Adaptation)模型核心基础知识
11. 深入浅出完整解析ControlNet核心基础知识
AIGC图像创作开源社区已经形成以Stable Difffusion/FLUX为核心,ConrtolNet和LoRA作为首要AI辅助工具的变化万千的AIGC图像创作工作流。
ControlNet正是让AI图像创作社区无比繁荣的关键一环,它让AIGC图像创作过程更加的可控,更有助于广泛地将AIGC算法解决方案应用到各行各业中:
深入浅出完整解析ControlNet核心基础知识
12. 深入浅出完整解析Sora、Seedance、keling等AI视频大模型核心基础知识
AI绘画和AI视频是两个互相促进、相互交融的领域,2024年无疑是AI视频领域的爆发之年,Rocky对AI视频领域核心的Sora、Seedance、Keling等大模型进行了全面系统的梳理与解析:
深入浅出完整解析Sora、Seedance、keling等AI视频大模型核心基础知识
13. 深入浅出完整解析AIGC时代Transformer核心基础知识
在AIGC时代中,Transformer为AI行业带来了深刻的变革。Transformer架构正在一步一步重构所有的AI技术方向,成为AI技术架构大一统与多模态整合的关键核心基座,大有一统“AI江湖”之势。Rocky也对Transformer模型进行持续的深入浅出梳理与解析:
深入浅出完整解析AIGC时代Transformer核心基础知识
14. 深入浅出完整解析ComfyUI、Diffusers、Stable Diffusion WebUI等主流AIGC创作框架核心基础知识
AIGC创作框架正是AIGC算法工作流的运行载体,目前主流的AIGC创作框架有ComfyUI、Diffusers、Stable Diffusion WebUI等。在传统深度学习时代,PyTorch、TensorFlow以及Caffe是传统深度学习模型的基础运行框架,到了AIGC时代,Rocky相信ComfyUI就是AIGC时代的“PyTorch”、Stable Diffusion WebUI就是AIGC时代的“TensorFlow”、Diffusers就是AIGC时代的“Caffe”:
深入浅出完整解析ComfyUI、Diffusers、Stable Diffusion WebUI等主流AIGC创作框架核心基础知识
15. 深入浅出完整解析ComfyUI、Diffusers、Stable Diffusion WebUI等主流AIGC创作框架核心基础知识
在AIGC时代中,如何快速转身,入局AIGC产业?如何成为AIGC/LLM/AI Agent算法/开发工程师?如何在学校中系统性学习AIGC/LLM/AI Agent知识,斩获心仪的AIGC/LLM/AI Agent算法/开发offer?
Don‘t worry,Rocky为大家总结整理了全面的AIGC/LLM/AI Agent算法/开发工程师成长秘籍,为大家答疑解惑,希望能给大家带来帮助:
手把手教你成为AIGC/LLM/AI Agent算法/开发工程师,斩获AIGC/LLM/AI Agent算法/开发offer!
16. AIGC产业的深度思考与分析
2023年3月21日,微软创始人比尔·盖茨在其博客文章《The Age of AI has begun》中表示,自从1980年首次看到图形用户界面(graphical user interface)以来,以OpenAI为代表的科技公司发布的AIGC模型是他所见过的最具革命性的技术进步。
Rocky也认为,AIGC及其生态,会成为AI行业重大变革的主导力量。AIGC会带来一个全新的红利期,未来随着AIGC的全面落地和深度商用,会深刻改变我们的工作、生活、学习以及交流方式,各行各业都将被重新定义,过程会非常有趣。
那么,在此基础上,我们该如何更好的审视AIGC的未来?我们该如何更好地拥抱AIGC引领的革新?Rocky准备从技术、产品、商业模式、长期主义等维度持续分享一些个人的核心思考与观点,希望能帮助各位读者对AIGC有一个全面的了解:
深入浅出全面解析AIGC时代核心价值与发展趋势(2025年版)
17. AI算法工程师的独孤九剑秘籍
为了方便大家实习、校招以及社招的面试准备,同时帮助大家提升扩展技术基本面,Rocky将符合大厂和AI独角兽价值的算法高频面试知识点撰写总结成《三年面试五年模拟》之独孤九剑秘籍:
【三年面试五年模拟】AIGC时代的算法工程师的求职面试秘籍(持续更新中)
18. 深入浅出完整解析AIGC时代中GAN(Generative Adversarial Network)系列模型核心基础知识
GAN系列模型作为传统深度学习时代的最热门生成式Al模型,在AIGC时代继续繁荣,作为Stable Diffusion/FLUX系列大模型的“得力助手”,广泛活跃于AlGC图像创作的产品与工作流中:
深入浅出完整解析AIGC时代中GAN(Generative Adversarial Network)系列模型核心基础知识