Enhancing Trading Performance Through Sentiment Analysis with Large Language Models: Evidence fro...

文章主要内容总结

本文聚焦多模态大语言模型（MLLMs）在音频隐私安全领域的风险，首次系统研究了MLLMs通过音频数据推断敏感个人属性的能力（称为“音频隐私属性分析”），并提出了相应的数据集、框架和防御策略。具体内容如下：

1. 研究背景与问题：MLLMs的发展带来了跨模态任务的突破，但也引发新的隐私风险。相比文本和图像，音频具有易被隐蔽采集、包含语调/音高等独特信息的特点，但其隐私属性分析尚未被充分研究。
2. 核心挑战：
   • 缺乏带敏感属性标注的音频基准数据集；
   • 当前MLLMs直接从音频推断敏感属性的能力有限（ALMs缺乏世界知识和推理能力，LLMs依赖音频转文本易丢失关键信息）。
3. 解决方案：
   • 构建了AP2数据集，包含两个子集（AP2-Com来自公共数据集，AP2-TV来自最新电视剧），均标注敏感属性；
   • 提出Gifts混合多智能体框架，结合音频语言模型（ALMs）和大语言模型（LLMs）的优势：LLM引导ALM进行推断，通过追问解决ALM长文本生成的幻觉问题，最终整合结果提升准确性；
   • 探索了防御策略：模型级采用“上下文遗忘”（In-context Unlearning），数据级采用“反窃听干扰”（Anti-Eavesdropping Jamming），均能有效降低推断精度。