RedOne: Revealing Domain-specific LLM Post-Training in Social Networking Services

文章主要内容和创新点

主要内容

本文介绍了一款针对社交网络服务（SNS）的领域特定大语言模型（LLM）——RedOne，旨在解决现有模型在SNS场景中存在的单任务优化收益递减、难以适应多样化真实场景等问题。RedOne采用三阶段训练策略：

1. 持续预训练（CPT）：通过大规模通用数据和SNS特定数据（如非正式讨论、情感内容、用户交互数据等），让模型掌握SNS领域的基础语言知识；
2. 有监督微调（SFT）：针对SNS核心能力（内容理解、信息提取、语义匹配等6类）设计任务，结合通用指令数据，提升模型在特定任务上的表现；
3. 偏好优化（PO）：根据任务类型构建偏好数据（主观任务依赖专家标注，客观任务利用数据标签结构），采用直接偏好优化（DPO）算法，使模型更符合人类偏好。

实验结果显示，RedOne在8个主要SNS任务上平均性能提升14.02%，在SNS双语评估中提升7.56%；在线测试中，有害内容检测曝光率降低11.23%，浏览后搜索点击率提升14.95%，同时保持了较强的通用能力。

创新点

1. 提出RedOne作为SNS领域的首个全面领域特定LLM，突破了单任务模型的性能瓶颈，为SNS平台提供了统一的基础模型支持。
2. 设计三阶段训练策略（CPT+SFT+PO），结合大规模真实SNS数据，在增强领域特定能力的同时，避免了通用能力的显著下降，实现了跨任务的优异泛化。
3. 通过全面