用基础模型建模广告竞价环境，Bid2X如何重塑出价策略

做广告投放优化的同学，应该都有过这种憋屈时刻：你花了两周调出来的出价策略，上线跑得还不错，结果平台一次流量分配规则调整，或者一个新广告主带着激进的预算冲进来，整个市场就变了一副面孔。你之前的调参经验、历史胜率曲线、训练好的价值模型，一下子全成了刻舟求剑的剑。这个问题的根子不在出价函数本身，而在我们对广告竞价环境的理解方式太粗糙了。

KDD‘25 这篇关于 Bid2X 的工作，尝试换个非常有意思的角度——不再把竞价环境当成一堆需要逐一拟合的静态参数，而是用基础模型（Foundation Model）的视角，把整个竞价环境当成一个可观测、可描述、可交互的系统来建模。这听起来有点像把研究方向从“怎么出价”搬到了“怎么理解市场”。今天聊聊我读这篇工作后的一些拆解，以及这个方向在真实广告系统里落地时要面对的那些问题。

1. 广告竞价为什么需要一个“环境模型”而不是更好的出价函数

先回忆一下广告竞价这个场景和我们平时做的出价优化有什么区别。比如你去调一个电商场景的转化成本，本质上你面对的是一个有明确反馈信号的控制问题：出价高了，拿量多；出价低了，拿量少。看起来可以画一条曲线来拟合，但真正上线之后你会发现，这条曲线的形状每天都在变。不是你的拟合算法不够好，而是竞价市场本身就不是一个稳定的物理系统，而是一个由大量参与者共同博弈出来的动态系统。

我在之前的一个投放项目里就踩过类似的坑。当时团队花了不少精力训练了一个预测 CVR 的模型，做了非常细粒度的分桶校准，上线之后前两天成本表现很好，第三天开始波动，第五天成本直接失控。排查下来发现是个大预算广告主进入市场，把某些流量位上的成交价格整体抬高了一截。我们的出价模型还在按前几天学到的价值分布去竞价，自然容易被挤出去或者用极高的价格才能拿到量。这个案例让我意识到一个事情：广告投放优化的核心难点不是“我的广告值多少钱”，而是“当前这个市场到底处于什么状态”。

这个市场状态就是所谓的“竞价环境”。它包含很多信息：当前流量池的供给质量、竞争广告主的数量和出价策略、平台机制最近有没有调整、用户对当前广告类型的反应热度等等。传统做法里，这些信息被压缩成了几个简单的统计量，比如平均成交价、竞价胜率、流量波动系数。但真实环境的复杂程度远远超过这几个数字能表达的范围。

所以从研究思路上看，把“竞价环境”单独拎出来建模，是一个很自然的演进方向。这里的“环境模型”不是用来直接给出出价数字的，而是负责回答一个更前置的问题：在给定历史信息和当前观测下，接下来的市场会怎么演变。如果这个回答足够准确，出价策略只是在这个环境描述上做决策的一层薄薄的映射。Bid2X 这个工作的核心主张，就是可以用基础模型来承担“环境建模”这个任务，把竞价环境的表征、预测和生成都统一到一个模型框架里。

Bid2X 里这个“X”我理解得很宽泛，它不是某一个具体的变量，而是所有影响竞价结果的未知因素的总和。传统方法试图用点估计把每个因素都定死，比如预估一个胜率值、预估一个成交价格，而 Bid2X 的思路是：我承认这些因素是不确定的，但我可以用基础模型把这种不确定性描述出来，出价策略学会在不确定性下做决策。这个转变听起来不大，实际操作里的差别是巨大的。

2. 传统环境建模的三个短板：点估计、静态分布、无策略反馈

如果把过去几年广告竞价系统里使用的环境建模方式放在一起看，大致能分成三类：基于点估计的、基于静态分布的、基于离线数据的策略反馈建模。每一类都在实际业务里承担过重要角色，但也都有非常明显的天花板。

2.1 点估计：把活市场压缩成死数字

最传统的方式是给环境里的每个关键变量一个点估计。比如预估下一个曝光时段的平均 CPM 是 30 元，预估当前广告位的竞价胜率在 40% 左右，然后把这两个数字放进出价公式里计算。这类方法在流量波幅小、竞争格局稳定的时期表现还行，因为它本质上是在拿平均情况当真实情况。

但问题是，竞价环境里的概率分布往往是多峰的，而不是围绕某个均值的单峰分布。同一批流量里，可能有几拨来自不同行业的广告主，他们的出价行为和支付意愿差异非常大。平均成交价 30 元，可能是 20 元和 40 元两种情形各占一半混合出来的结果。如果你用均值 30 去决策，在两种真实情形下都会出错：遇到 20 元的情形你出高了，遇到 40 元的情形你拿不到量。点估计丢掉的不只是误差，而是环境本身的结构信息。

2.2 静态分布：分布还在，但坐标轴已经换了

后来大家开始改进，不再只预测一个点，而是预测整个市场价格的分布。比如用参数化分布或者非参数化的直方图来描述下个时段的成交价格。这个方向明显比点估计前进了一步，出价的时候可以根据分布算期望收益或者风险控制，确实在业务上有实际效果。

但这个思路仍然有个隐含假设：环境变化是平缓的，历史分布对未来的参考价值是持续的。广告市场偏偏不是这样。平台机制的一次改版、行业政策的一次调整、甚至某个大广告主换了投放策略，都能让分布的位置和形状发生突变。你花大量样本拟合出来的分布模型，在突变发生之后就变成了对旧世界的描述。静态分布建模本质上是在用过去描述未来，这在高速变化的环境里是很危险的。

2.3 无策略反馈：环境模型没有和策略形成闭环

第三个短板更隐蔽，也更容易被忽略。很多环境建模工作是拿历史竞价数据独立训练出来的，训练目标和出价策略的最终效果之间没有直接关联。也就是说，环境模型学会了预测市场状态，但没有人关心这个预测对最终出价决策到底有没有帮助。这会带来一个典型的落地问题：离线指标很好，线上效果翻车。

原因在于，环境模型的预测误差在策略使用过程中会被放大。举个例子，环境模型预测下一个时段竞争会加剧，出价策略因此提高了出价，但这个预测本身有噪声，部分流量被价格虚高买进来了，实际转化成本大幅上升。如果环境模型在设计时没有考虑策略行为的反馈，就很难规避这类系统性风险。真正有价值的环境建模，应该和策略处于同一个优化闭环里，让环境模型学会预测“在策略采取不同动作的情况下环境会如何反应”，而不是单纯预测“环境本身是什么样”。

这三块短板放在一起看，就比较容易理解 Bid2X 这类工作的动机了。它要做的不是一个更精细的价格预测器，而是一个能和出价策略相互作用、能表达不确定性、能适应市场突变的环境模型。基础模型在这里的价值，恰好在于它擅长处理复杂序列、捕捉长期依赖、并在大量异构数据上学习通用表征——这三点和竞价环境建模的核心需求高度匹配。

3. Bid2X 的核心设计：基础模型如何把竞价环境“说”出来

说清楚痛点之后，来看看 Bid2X 在方法上是怎么组织的。由于论文本身的细节很多，这里不逐条复述公式，我想重点聊它的整体设计逻辑，以及几个关键模块在真实系统里分别对应什么工程问题。

3.1 环境表征：把竞价历史变成模型能读的“状态序列”

基础模型处理任何任务的第一步，都是把原始信息转成它能理解的序列化输入。在 Bid2X 的情境下，这个输入就是竞价环境的“状态序列”。它不只是一条广告请求的特征，而是把一段时间内的竞价过程组织成一个带时间戳和上下文关联的序列，里面包含流量特征、参与竞价的广告主分布、出价分布、成交结果、用户反馈等。

这个设计的巧妙之处在于，它不再把每次竞价当成孤立的样本，而是当成同一个市场过程的连续切片。我在实际业务里对这种做法的感觉很强烈：竞价环境的演化是有记忆的，昨天某个广告主开始激进出价，通常意味着接下来几天他的预算分配策略会持续影响市场价格。如果我们只用单条样本的特征来做环境判断，就会丢掉这种时间维度上的连续性。基础模型天然支持对这种长序列做上下文建模，这是它比传统树模型和简单时序模型更适合这个任务的原因之一。

3.2 条件生成：不是预测一个值，而是生成一组可能的世界

Bid2X 的第二块核心是环境条件生成。给定当前观测到的竞价状态序列，模型要输出的不是一个确定性的环境描述，而是一组关于未来市场状态的合理假设。这里用的是生成式模型的思路：输入上下文，条件采样出未来环境片段。

这个设计和前面提到的“静态分布”最大的不同在于，生成是条件式的、动态的。今天早上九点的市场和下午三点的市场，即便流量规模一样，竞争结构也完全不同。生成模型能够根据完整的上下文条件，给出在当前条件下最合理的未来状态分布，而不是套用一个全局平均分布。这一点在实际投放里很有用，因为好的出价策略需要区分不同时段、不同流量位、不同竞争烈度下的市场行为，而不是所有流量共用一套环境假设。

3.3 策略融合：环境模型和出价决策不应该是两条平行线

Bid2X 没有把环境模型训练完就丢给下游使用，而是设计了一套和出价策略联合训练、联合评估的框架。策略不直接消费环境模型输出的统计量，而是在环境模型生成的多组未来情景里做决策，然后根据决策结果和环境模型的预测一致性来更新整个系统。

用大白话说就是：环境模型负责给策略提供“剧本”，策略负责在这些“剧本”里找最优动作，然后真实世界的反馈会告诉系统哪些剧本写得对、哪些动作选得好。这个闭环结构，正好补上了传统环境建模“无策略反馈”的短板。从这个角度看，Bid2X 的思路和强化学习里的世界模型（World Model）是一脉相承的，只是把通用的世界建模思路移植到了广告竞价这个特定领域，并且用基础模型作为载体来实现。

从工程实现的角度看，这个设计带来的直接好处是：出价策略不再是“对着历史统计数字做规则映射”，而是学会了在环境不确定的情况下采取稳妥的动作。比如在多组环境采样中，某个出价在大部分情景下表现都不错，那它就是一个稳健的选择。这在广告投放里非常实用，因为实际业务最怕的不是赚不到钱，而是策略在某个环境突变点上突然崩溃。

4. 训练与落地链路：自我对弈、离线验证与线上兜底

方法框架理解了，真正让人头疼的是怎么把它落地到线上系统。这里不仅有性能问题，还有数据分布、训练稳定性和业务安全边界的问题。我把印象比较深的几个工程环节拆开来说。

4.1 Two-Phase 训练：先在脑子里打比赛，再和真实世界校准

Bid2X 这类环境基础模型通常采用两阶段训练。第一个阶段是在历史大规模竞价数据上做预训练，让模型学会“这个世界大概是怎么运作的”：什么时候竞争激烈、什么时候供给充足、出价变化如何影响胜率。这个阶段相当于让模型在历史数据里建立一个关于竞价环境的先验认识。

第二个阶段才引入策略交互。在环境模型的辅助下，让出价策略在模型生成的环境里做自我对弈，不断尝试不同的出价动作，观察环境模型的反馈，逐步优化策略行为。这很像棋类 AI 的自我对弈思路：不需要真的到真实市场里试错几百万次，而是先在环境模型这个“沙盘”上把策略打磨得足够好，再上真实系统。

这里有个非常关键的设计：第二阶段的策略优化轨迹，最终还是要和真实反馈做对齐。否则容易出现环境模型自嗨、策略在模拟环境里表现完美、一到线上就失灵的情况。我在做类似项目时的做法是设置一个“环境可信度”指标，定期比较环境模型生成的状态分布和真实线上观测到的状态分布，如果偏差超过阈值，就需要重新做校准训练。

4.2 环境采样的“温度”控制：别让模型脑补过度

生成模型有一个很经典的风险：模型的“想象力”可能超出真实世界的边界。竞价环境建模也不例外。如果环境模型在生成未来状态时过度发散，产生了一些在真实市场不可能出现的情景组合，策略在这个基础上学习到的行为就可能很怪异。

Bid2X 在工程实现上需要特别控制生成过程里的随机性强度，对应到生成模型里的“温度参数”。温度太高，环境采样过于发散，策略学到一堆对真实世界没有意义的应对措施；温度太低，生成结果过于集中在历史模式上，策略对环境突变没有泛化能力。实际调优的时候，我一般会给不同业务场景设置不同的温度策略：核心流量和稳定市场的温度低一些，新流量位和冷启动场景的温度高一些，让策略在探索和保守之间保持平衡。

4.3 奖励设计：如果只优化胜率，系统会教你怎么亏钱

环境模型给策略提供的反馈是多维的。如果奖励信号只包含“是否赢得这次竞价”，策略会很容易找到一个作弊式的解法：无脑高价拿量。所以你去看这一类工作里的奖励建模，通常都会把竞价成本、后续转化收益、预算消耗节奏这些因素全部纳入进来。

实际业务里我遇到过更细的问题：预算有限的情况下，花在低质量流量上的每一分钱，都是对高质量流量机会的挤压。这就需要在奖励里引入“机会成本”的概念，而这恰恰是环境建模能够提供的增量价值——它可以模拟出不同的预算分配方案在相似环境下的长期回报差异，而不只是盯着一两次竞价的胜负。Bid2X 这种方式，本质上是在让策略学会管理一个组合，而不是管理单次出价。

4.4 推理优化：基础模型很重，但线上出价只有几毫秒

这里必须泼一盆冷水：基础模型的推理开销通常很大，但广告竞价系统的出价决策往往要求毫秒级响应。指望线上服务直接跑一个完整的基础模型来为每次请求做环境生成，在现阶段的大部分业务里是不现实的。

比较可行的做法是“重训轻用”。离线阶段用完整的基础模型环境建模来训练策略，训练完成之后，把策略部分蒸馏成一个轻量级网络，或者把环境模型压缩成一个小型评分函数，线上只做快速的近似推理。Bid2X 如果要在工业界真正推广开，这一层工程压缩是绕不开的。我在阅读这类研究工作时，往往会先看模型的哪些部分可以被离线化，哪些部分必须在线计算，这决定了这个方向到底是一个学术工作还是一个可落地系统。

5. 和现有方法对比，以及真实落地时那几个绕不开的坑

前面聊了 Bid2X 的内部设计，最后做一个横向对比，再讲讲我在实践这类环境建模方案时觉得最容易翻车的几个地方。

5.1 和三类相关方法的对比

传统强化学习出价大家已经很熟悉了，它的优势是决策闭环比较直接，问题是环境状态表示比较简陋，通常就是一个特征向量，对长期依赖的建模能力弱。离线强化学习解决了一部分在线试错成本高的问题，但严重依赖日志数据的覆盖度，策略一旦超出日志分布的范围，表现就很难保证。生成式世界模型是近年兴起的一类做法，思路和 Bid2X 比较接近，但大多来自游戏和机器人领域，很少有专门针对广告竞价博弈特性的设计。

我把这几个方向放在一起做过对比：

5.2 坑一：训练数据本身就带着策略偏差

竞价日志里的曝光数据，并不是市场环境的随机采样，而是过去策略行为过滤之后的结果。你的策略以前出价低，那些高竞争流量的曝光你就根本没看到。这意味着环境模型从日志里学到的市场状态，是被历史策略“筛选过”的市场状态，天然存在样本选择偏差。

处理这个问题，靠模型结构很难根治，关键是在数据构造时就加入纠偏逻辑。比如对没有赢得竞价的流量做反事实归因，或者用倾向性得分加权，让训练分布的覆盖度和真实市场尽量接近。在这个问题上偷懒，环境模型学到的可能是一个“带着有色眼镜的市场”。

5.3 坑二：平台机制变化会击穿一切环境模型

不管环境模型做得多么精巧，广告平台一旦调整竞价机制或者流量分配逻辑，之前学到的市场规律就都会部分失效。这是环境建模方向的系统性风险。在我看来，所有声称能适应万变的环境模型都是要打问号的，真正务实的态度是给环境模型加一个“变化检测”模块。

实际操作中，可以每天对比环境模型的预测分布和线上真实分布的偏差，比如算一下 KL 散度或者 Wasserstein 距离。一旦发现了连续多日的显著偏差，就触发重新训练或者回退到保守策略。环境模型的作用不是消灭市场变化，而是让你更快地发现变化、更平稳地适应变化，这个预期管理比技术本身更重要。

5.4 坑三：多目标优化冲突时，环境模型的“剧本”也会自相矛盾

广告投放的优化目标很少是单一维度的。你既要控制成本，又要保证消耗预算，还希望流量质量稳定，三个目标之间经常打架。环境模型在生成未来市场状态时，如果不同维度之间出现矛盾信号，比如“成本下降”和“竞争加剧”同时发生，策略会面临很大的决策干扰。

我自己的经验是，环境模型输出的不应该是单一的市场状态描述，而是分维度的置信区间和趋势信号。让策略模块自己去判断哪些信号在当前目标下更值得信任。换句话说，环境模型负责提供证据，策略负责做价值判断，这两个角色最好不要混在一起。

6. 从 Bid2X 往后看：环境建模会成为广告系统的标配能力吗

简单做个小结。Bid2X 让我印象最深的不是某个具体的模型结构，而是它把广告竞价的核心矛盾准确地指了出来：这个环境太复杂、变化太快，传统的光栅化方法无论如何精调，都追不上真实市场的变化速度。用基础模型的序列建模和条件生成能力，把“环境”本身作为一种可学习的对象，确实是一个值得押注的方向。

我在实际项目里有个体会，类似的环境建模即使不做到论文里那么完整，也可以先拆成两个小能力去落地：一个是市场状态趋势预测，一个是竞价结果不确定性估计。前者让策略提前调整预算分配，后者让出价决策更加稳健。这两件事哪怕只做对一个，对投放效果的提升都是实实在在的。

最后分享一个觉得挺重要的经验：不要一开始就想建模整个市场的全貌。某一个细分流量、某一段时间窗口、和你直接竞争的那一小撮广告主，才是真正影响你投放效果的关键环境。先把这个小世界的环境模型做扎实，再逐步扩展边界，比一上来就做一个“全知全能的市场模拟器”要现实得多，也更容易让业务看到实际价值。