news 2026/8/23 9:45:43

SA-ADP: Sensitivity-Aware Adaptive Differential Privacy for Large Language Models

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
SA-ADP: Sensitivity-Aware Adaptive Differential Privacy for Large Language Models

一、文章主要内容总结

该研究聚焦大型语言模型（LLMs）训练中的个人身份信息（PII）隐私保护问题，针对传统差分隐私方法（如DP-SGD）采用统一噪声注入导致的隐私-效用权衡失衡问题，提出了敏感度感知自适应差分隐私（SA-ADP）框架。其核心思路是根据训练数据中各PII令牌的敏感度动态分配噪声，实现细粒度隐私保护。

SA-ADP的三阶段核心流程：

  1. PII检测：利用基于LangChain和LLaMA 3的隐私代理自动提取训练数据中的敏感令牌；
  2. 敏感度评分：从频率（稀有度）、可链接性（与其他信息关联能力）、数据类型（是否受全球隐私法规保护）三个维度，通过加权线性组合计算令牌的归一化敏感度分数（0.0-1.0）；
  3. 自适应噪声校准：基于敏感度分数分配高斯噪声（高敏感度令牌：σ=3.0；低敏感度令牌：σ=2.0；非敏感令牌：无噪声），并通过Rényi差分隐私（RDP）会计框架跟踪隐私损失预算。

实验验证：在UNSW-NB15（结构化）、ABCD、CUSTOMERSIM（对话类）、Wikitext-2（非结构化）四个数据集上微调GPT-2模型，结果显示SA-ADP在保持99%基线模型（无DP）效用（准确率、困惑度）的同时，隐私损失预算（ε）较传统DP-SGD降低约75%，且在不同PII密度、不同数据类型场景下均表现稳定。

二、文章创新点

  1. 令牌级自适应隐私机制：突破传统D
版权声明: 本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若内容造成侵权/违法违规/事实不符，请联系邮箱：809451989@qq.com进行投诉反馈，一经查实，立即删除！
网站建设 2026/8/23 9:37:27

设计模式——装饰模式

一、装饰模式的原理 `` 装饰模式作为一种结构型模式，其核心功能在于对主要功能进行巧妙修饰。不妨想象这样一幅场景：在糕点师的操作台上，有一块造型质朴的原味蛋糕，它静静等待着被赋予新的魅力。当糕点师为其精心涂上一层丝滑的奶油后，这块蛋糕便摇身一变，成了一款美…

作者头像 李华
网站建设 2026/8/23 9:34:59

Makefile头文件依赖自动生成：-MMD与-include实战指南

1. 项目概述：为什么头文件依赖是Makefile的“阿喀琉斯之踵”？如果你写过C/C项目，并且用Makefile管理过构建流程，那你大概率踩过这个坑：你只修改了一个头文件（比如config.h），然后满怀…

作者头像 李华
网站建设 2026/8/23 9:34:33

从FFmpeg到Pillow：构建高效自动化文件格式转换技术栈

你是不是也遇到过这样的场景：好不容易找到一段珍贵的音频素材，结果发现是WAV、FLAC甚至M4A格式，上传到某些平台直接被拒；或者收到一堆五花八门的图片，JPG、PNG、WebP、BMP都有，需要统一成PDF提交给客户&…

作者头像 李华
网站建设 2026/8/23 9:28:11

金融大模型安全框架FinHarness：为AI智能体编织实时防护网

1. 项目缘起：当金融大模型“放飞自我”时，我们如何系上“安全绳”？最近几个月，我身边不少在银行、券商和基金公司做技术或风控的朋友，都在为一个事儿头疼：大模型（LLM）在金融场景的应…

作者头像 李华