Hoeffding与Chernoff不等式：高维统计的尾部控制基石

1. 这两个不等式不是“工具”，而是高维统计的呼吸节奏

你翻开任何一本现代高维统计教材，翻到前五十页，几乎必然撞见 Hoeffding 和 Chernoff。但绝大多数人——包括刚学完概率论、信心满满来啃 MATH567 的同学——会把它们当成两张“查表用的公式卡片”：背下形式，套进作业题，算出个上界，交差了事。我带过三届 MATH567 的助教，批改过上千份作业，最常看到的错误不是计算失误，而是根本没理解这两个不等式在讲什么。它们不是用来“算出一个数”的，而是用来重新校准你对随机性的直觉。

举个最朴素的例子：抛一枚公平硬币 100 次，正面朝上的比例偏离 0.5 超过 0.1（即落在 [0, 0.4] 或 [0.6, 1]）的概率有多大？用二项分布精确计算，结果是约 0.035。而 Hoeffding 不等式给出的上界是 $2\exp(-2 \times 100 \times 0.1^2) = 2e^{-2} \approx 0.27$；Chernoff 给出的更紧上界（用矩母函数推导）约为 $2e^{-100 \times 0.1^2 / 3} = 2e^{-10/3} \approx 0.078$。你看，Hoeffding 的答案比真实值大了近 8 倍，Chernoff 大了 2 倍多。这看起来像“不准”，但恰恰是它们的价值所在：它们不追求精确，而追求“可控的保守”。在高维场景里，你面对的不是 100 次抛硬币，而是 $p=10^4$ 个变量、$n=500$ 个样本，精确计算连定义都写不出来。这时，一个“虽然偏大但绝对可靠、且计算极其简单”的上界，比一个“理论上精确但根本算不出”的答案有用一万倍。

这就是 MATH567 开篇就死磕这两个不等式的底层逻辑：它不是在教你怎么解一道题，而是在重塑你处理高维随机对象的基本范式——从“求精确分布”转向“控制尾部行为”。Hoeffding 是这个范式的入门砖，Chernoff 是它的第一块进阶跳板。它们共同构成了高维统计中所有“一致性证明”、“相合性分析”、“模型选择理论”的呼吸节律。你后面看到的 Lasso 的 oracle 性质、PCA 的谱间隙估计、甚至深度学习中泛化误差的界，其证明骨架里，总能拆解出 Hoeffding 或 Chernoff 的某次调用。所以，别急着抄公式。先问自己：当我说“这个估计量以指数速度收敛”，我到底在承诺什么？这个“指数速度”是从哪来的？它依赖于数据的哪些本质属性？这些问题的答案，就藏在这两个看似简单的不等式里。

1.1 为什么必须从有界性出发？——Hoeffding 的物理直觉

Hoeffding 不等式最常被记成这个样子：

设 $X_1, \dots, X_n$ 是独立随机变量，且对每个 $i$，有 $a_i \leq X_i \leq b_i$ 几乎必然成立。令 $S_n = \sum_{i=1}^n X_i$，则对任意 $t > 0$， $$ \mathbb{P}\left( |S_n - \mathbb{E}[S_n]| \geq t \right) \leq 2 \exp\left( -\frac{2t^2}{\sum_{i=1}^n (b_i - a_i)^2} \right) $$

初学者第一反应往往是：“哦，又一个带 exp 的上界。”但真正关键的是分母里的 $\sum (b_i - a_i)^2$。这个量，本质上就是所有变量可能取值范围的“总方差容量”。想象你有一根橡皮筋，两端分别系着 $a_i$ 和 $b_i$，那么 $(b_i - a_i)$ 就是这根橡皮筋的原始长度。当你把 $n$ 根这样的橡皮筋首尾相接，总长度就是 $\sum (b_i - a_i)$；但 Hoeffding 关心的不是总长度，而是总“弹性势能”——它用平方和来度量，因为方差本身就是平方意义下的离散度。

为什么是平方和？因为概率的尾部衰减，本质上是关于“能量”的故事。一个随机变量偏离均值 $t$，需要“付出”的“能量”大致正比于 $t^2$（想想正态分布的密度函数 $e^{-x^2/2}$）。而每个 $X_i$ 最多能贡献的“扰动能量”，上限就是它取值区间的平方 $(b_i - a_i)^2$。Hoeffding 的精妙之处在于，它没有假设任何分布形状（不像中心极限定理需要正态近似），只靠这个最粗略的“物理尺寸”信息，就给出了一个普适的、指数级的衰减保证。这就像你不需要知道一辆车的发动机型号，只要知道它的最大马力和最大扭矩，就能估算它爬坡的极限能力。

我在第一次讲授这部分时，会让学生做个小实验：生成 1000 个独立同分布的 Uniform[0,1] 随机变量，计算其均值 $\bar{X}_n$，然后观察 $\mathbb{P}(|\bar{X}_n - 0.5| > 0.05)$ 的经验频率。再用 Hoeffding 算上界：$2\exp(-2n \cdot 0.05^2) = 2e^{-0.005n}$。当 $n=100$ 时，上界是 $2e^{-0.5} \approx 1.21$（毫无意义，大于 1）；当 $n=1000$ 时，上界是 $2e^{-5} \approx 0.013$；当 $n=10000$ 时，上界是 $2e^{-50} \approx 1.9 \times 10^{-22}$。而实际模拟中，$n=1000$ 时的经验概率大约是 0.002，远小于上界。这个差距，就是“保守性”的代价，也是它普适性的基石。它不关心你是均匀分布、还是 Beta 分布、还是某个奇形怪状的分布，只要你的变量被关在 [0,1] 这个盒子里，它就敢给你这个保证。

提示：Hoeffding 的“保守”不是缺陷，而是设计目标。它的使命是为高维、非正态、小样本场景提供一个“兜底”的安全网。当你看到论文里出现 “by Hoeffding’s inequality” 时，作者其实是在说：“我不管数据长什么样，反正这个结论在最坏情况下也成立。”

1.2 Chernoff：从“盒子”到“轮廓”——矩母函数的威力

如果说 Hoeffding 是靠“物理尺寸”说话，Chernoff 就是靠“性格画像”下判断。它的核心思想极其简单，却威力无穷：

对任意 $\lambda > 0$，有 $$ \mathbb{P}(S_n \geq t) \leq e^{-\lambda t} \mathbb{E}[e^{\lambda S_n}] $$ （对左尾类似）

这个不等式本身，只是 Markov 不等式在 $e^{\lambda S_n}$ 上的一次平凡应用。真正的魔法，在于右边的 $\mathbb{E}[e^{\lambda S_n}]$ —— 这就是 $S_n$ 的矩母函数（Moment Generating Function, MGF）。MGF 就像一个生物的 DNA 序列，它完整编码了随机变量的所有矩（均值、方差、偏度……），也决定了它的整个分布形态。Chernoff 的策略是：我不直接算概率，我先找到一个 $\lambda$，让这个上界尽可能小。也就是最小化 $e^{-\lambda t} \mathbb{E}[e^{\lambda S_n}]$ 关于 $\lambda$ 的值。

这个优化过程，就是 Chernoff 界的“灵魂”。它不再满足于 Hoeffding 那种一刀切的保守，而是根据 $X_i$ 的具体分布，动态地“捏”出一个最紧的上界。比如，对于 Bernoulli($p$) 变量，其 MGF 是 $pe^\lambda + (1-p)$，代入优化后得到著名的 Chernoff 界： $$ \mathbb{P}(\bar{X}_n \geq p + \delta) \leq \exp\left( -n \cdot D(p+\delta | p) \right) $$ 其中 $D(a|b) = a \log\frac{a}{b} + (1-a)\log\frac{1-a}{1-b}$ 是 KL 散度。这个界比 Hoeffding 的 $2e^{-2n\delta^2}$ 紧得多，尤其当 $\delta$ 很小或 $p$ 接近 0 或 1 时。KL 散度在这里扮演的角色，就是量化了“偏离 $p$ 一个 $\delta$”这件事，在 Bernoulli 分布的语境下，到底有多“不可能”。

我在批改作业时，发现一个高频误区：学生试图对任意分布都硬套 Bernoulli 的 Chernoff 形式。这是致命的。Chernoff 界的紧致性，完全依赖于你能精确计算出 MGF。对于 Gaussian 变量，MGF 是 $e^{\mu \lambda + \sigma^2 \lambda^2 / 2}$，优化后得到 $e^{-t^2/(2\sigma^2)}$，这正是正态分布尾部的真实衰减速率。但对于一个只有有限阶矩的重尾分布（比如 Pareto），MGF 在 $\lambda > 0$ 时根本不存在，Chernoff 就彻底失效了——这时你只能退回到更粗糙的 Markov 或 Chebyshev 不等式。所以，Chernoff 不是万能钥匙，它是一把需要匹配锁芯的精密钥匙。它的强大，恰恰建立在对数据生成机制的一定了解之上。

注意：Chernoff 界的“紧致”是有代价的。它要求你知道 MGF，或者至少能给出一个可处理的上界。在高维统计中，我们经常面对的是复杂的、耦合的随机过程（比如随机矩阵的特征值），此时直接计算 MGF 是不可能的。于是，研究者发展出了各种“Chernoff-type”技巧：用一个容易计算的、稍弱的 MGF 来控制原过程，或者利用独立性分解，将复杂结构拆解为多个可处理的子块。MATH567 后面章节里反复出现的“net argument”、“epsilon-net covering”，其理论根基，往往就是这种“分而治之”的 Chernoff 思想。

2. 从单变量到高维：不等式如何“升维”？

MATH567 的标题里有“高维统计”，但 Hoeffding 和 Chernoff 最初都是为标量和（$S_n$）设计的。那么，它们怎么撑起整个高维世界的理论大厦？答案不是“直接推广”，而是通过精巧的降维与组合。这一步，是连接基础概率论与现代统计学的关键跃迁，也是很多初学者卡壳的地方。

2.1 最大值的上界：Union Bound 是高维的“空气开关”

设想你有 $p$ 个独立的随机变量 $X_1, \dots, X_p$，每个都满足 Hoeffding 条件：$|X_i| \leq 1$。你想知道：所有 $X_i$ 同时都不超过某个阈值 $\epsilon$ 的概率，即 $\mathbb{P}(\max_{1\leq i \leq p} |X_i| \leq \epsilon)$。这等价于 $\mathbb{P}(|X_1| \leq \epsilon, \dots, |X_p| \leq \epsilon)$。但直接算这个联合概率，需要知道所有变量的联合分布，这在高维下通常是未知的。

Union Bound（并集界）给出了一个极其简单、极其鲁棒的解决方案： $$ \mathbb{P}\left( \max_{i} |X_i| > \epsilon \right) = \mathbb{P}\left( \bigcup_{i=1}^p { |X_i| > \epsilon } \right) \leq \sum_{i=1}^p \mathbb{P}(|X_i| > \epsilon) $$ 这个不等式不要求任何独立性，甚至不要求同分布，它只是集合论的基本事实。现在，对每个 $\mathbb{P}(|X_i| > \epsilon)$，你可以放心大胆地套用 Hoeffding： $$ \mathbb{P}(|X_i| > \epsilon) \leq 2e^{-2n\epsilon^2} $$ （假设 $X_i$ 是 $n$ 个独立有界变量的均值）。于是， $$ \mathbb{P}\left( \max_{i} |X_i| > \epsilon \right) \leq 2p e^{-2n\epsilon^2} $$

看，这里出现了关键的 $p$ 和 $n$ 的博弈。为了保证这个上界趋于 0，你需要 $p e^{-2n\epsilon^2} \to 0$。这意味着，如果 $p$ 是固定的，$n \to \infty$，没问题；但如果 $p$ 也随 $n$ 增长，比如 $p = n^2$，那么你就需要 $n$ 增长得足够快，使得 $n^2 e^{-2n\epsilon^2} \to 0$，这要求 $n$ 至少是 $\log p$ 的量级。这就是高维统计中著名的“$n \gg \log p$” 条件的雏形。它告诉你：要在一个有 $p$ 个参数的世界里做可靠的统计推断，你的样本量 $n$ 必须压倒性地大于 $\log p$，否则，哪怕每个参数单独看都很稳定，它们的“集体失控”风险也会累积到不可接受的程度。

我在课堂上常举一个例子：假设你有 $p=1000$ 个基因表达水平的测量值，你想找出哪些基因在疾病组和健康组之间有显著差异。你对每个基因做一次两样本 t 检验，设定显著性水平 $\alpha = 0.05$。那么，即使所有基因都真的没有差异（零假设全真），你平均也会错误地挑出 $1000 \times 0.05 = 50$ 个“假阳性”。Union Bound 就是这个多重检验问题的理论源头。Bonferroni 校正（把 $\alpha$ 除以 $p$）就是 Union Bound 的直接应用：设 $\mathbb{P}(\text{至少一个假阳性}) \leq p \cdot (\alpha/p) = \alpha$。所以，高维统计里那些看似繁琐的校正规则，其数学心脏，就是这个朴素的并集界。

2.2 向量与矩阵的范数：从“点”到“空间”的控制

高维统计的核心对象，往往不是单个数字，而是向量 $\boldsymbol{\theta} \in \mathbb{R}^p$ 或矩阵 $\mathbf{A} \in \mathbb{R}^{n \times p}$。如何用 Hoeffding/Chernoff 控制它们的“大小”？答案是：选择合适的范数，并将其分解为标量问题。

最常见的，是控制向量的 $\ell_\infty$ 范数（最大绝对值）： $$ |\boldsymbol{X}|\infty = \max{1\leq i \leq p} |X_i| $$ 这正是上一节讨论的情形。另一个关键范数是 $\ell_2$ 范数（欧氏长度）： $$ |\boldsymbol{X}|2 = \sqrt{\sum{i=1}^p X_i^2} $$ 直接对 $|\boldsymbol{X}|_2$ 应用 Hoeffding 是不行的，因为 $|\boldsymbol{X}|_2$ 本身不是一个有界变量（即使每个 $X_i$ 有界，$|\boldsymbol{X}|2$ 的上界是 $\sqrt{p} \cdot \max |X_i|$，这依赖于 $p$）。但我们可以用一个巧妙的“投影”技巧：对于任意向量 $\boldsymbol{v} \in \mathbb{R}^p$，其内积 $\langle \boldsymbol{X}, \boldsymbol{v} \rangle = \sum{i=1}^p X_i v_i$ 是一个标量和。如果 $\boldsymbol{X}$ 的每个分量 $X_i$ 都满足 $|X_i| \leq B$，那么 $\langle \boldsymbol{X}, \boldsymbol{v} \rangle$ 就是一个加权和，其系数是 $v_i$。Hoeffding 可以直接应用于这个加权和，给出： $$ \mathbb{P}\left( |\langle \boldsymbol{X}, \boldsymbol{v} \rangle| > t \right) \leq 2 \exp\left( -\frac{2t^2}{B^2 |\boldsymbol{v}|_2^2} \right) $$

现在，$|\boldsymbol{X}|2 = \sup{|\boldsymbol{v}|2 = 1} \langle \boldsymbol{X}, \boldsymbol{v} \rangle$。也就是说，向量的长度，等于它在所有单位方向上的投影长度的最大值。因此，要控制 $|\boldsymbol{X}|2$，我们只需要控制它在“足够多”的单位方向上的投影。这就引出了$\epsilon$-net的概念：一个在单位球面上的有限点集 $\mathcal{N}\epsilon$，使得球面上任意一点，到 $\mathcal{N}\epsilon$ 中某点的距离都不超过 $\epsilon$。单位球面的 $\epsilon$-net 的大小，大约是 $(3/\epsilon)^p$。

于是，我们可以这样操作：

1. 对 $\mathcal{N}_\epsilon$ 中的每一个 $\boldsymbol{v}_j$，用 Hoeffding 控制 $|\langle \boldsymbol{X}, \boldsymbol{v}_j \rangle|$。
2. 利用 Union Bound，将所有 $j$ 的失败概率加起来。
3. 利用 net 的性质，将对 $\boldsymbol{v}_j$ 的控制，“延拓”到整个单位球面。

最终得到的界，会包含一个 $(3/\epsilon)^p$ 的因子，这解释了为什么高维统计中，指数项里常常出现 $p$。例如，一个经典的结论是：如果 $\boldsymbol{X} = (X_1, \dots, X_p)$，每个 $X_i$ 独立，$|X_i| \leq 1$，那么 $$ \mathbb{P}\left( |\boldsymbol{X}|_2 \geq \sqrt{p} + t \right) \leq 2 \exp\left( -\frac{t^2}{2} \right) $$ 这个界告诉我们，$|\boldsymbol{X}|_2$ 的典型大小是 $\sqrt{p}$，偏离这个值 $t$ 的概率是指数衰减的。这正是高维空间中“体积集中现象”的定量描述。

实操心得：在阅读高维统计论文时，看到 “by a standard epsilon-net argument” 这句话，不要慌。它背后的标准流程就是：1) 定义你要控制的对象（如一个矩阵的谱范数）；2) 找到一个能用标量不等式控制的“投影”形式；3) 构造一个合适的 net；4) 用 Union Bound 把 net 上所有点的失败概率加起来；5) 选择 $\epsilon$ 平衡 net 的大小和延拓误差。这个流程是模板化的，熟练之后，一眼就能看出作者省略了哪几步。

3. Hoeffding vs Chernoff：何时该用哪一个？一张实战决策表

在 MATH567 的习题和后续研究中，你经常会面临一个看似简单却至关重要的选择：面对一个具体的随机和 $S_n$，我该用 Hoeffding 还是 Chernoff？这不是一个“哪个更好”的问题，而是一个“哪个更合适”的工程决策。我根据多年教学和科研经验，总结了一张决策表，它不是教科书上的理论对比，而是基于真实场景的实操指南。

这张表的核心洞见是：Hoeffding 是“防御型”武器，Chernoff 是“进攻型”武器。前者为你筑起一道坚不可摧的城墙，后者则为你锻造一把锋利无比的长矛。在 MATH567 的课程设计中，第一章用 Hoeffding 打下“安全第一”的基调，第二章引入 Chernoff 展示“精度至上”的可能性，第三章则教你如何在两者之间切换自如，根据战场（问题）的地形（已知信息）和战略目标（证明需求）来选择最合适的装备。

我在批改一份关于稀疏 PCA 的作业时，看到一个学生用 Chernoff 去控制一个明显是重尾分布的噪声项，结果得出了一个虚假的、过于乐观的收敛速率。我给他写了很长的评语：“Chernoff 不是万能膏药。给它喂错‘饲料’（MGF），它就会产出有毒的‘结论’。在不确定时，永远先用 Hoeffding 画出安全边界，再在这个边界内，谨慎地尝试 Chernoff 的优化。”这句话，是我对这两个不等式最朴实的总结。

4. 踩坑实录：MATH567 学生最常犯的 5 个致命错误

作为这门课的助教，我见过太多聪明的学生，在 Hoeffding 和 Chernoff 上栽跟头。这些错误，往往不是因为不会算，而是因为对不等式的哲学和适用边界存在根本性误解。我把它们整理出来，配上真实的作业片段和我的批注，希望能帮你绕过这些深坑。

4.1 错误一：混淆“独立”与“不相关”，把协方差为零当成独立的通行证

典型错误作业片段：

“设 $\mathbf{X} = (X_1, \dots, X_p)$ 是一个 $p$ 维随机向量，其协方差矩阵为 $\mathbf{\Sigma}$。由于 $\mathbf{\Sigma}$ 是对角阵，故 $X_i$ 相互独立。因此，对 $S = \sum_{i=1}^p X_i$，可直接应用 Hoeffding 不等式…”

我的批注（红色）：

❌严重错误！协方差为零（即不相关）绝不意味着独立！这是概率论中最经典的陷阱。Hoeffding 和 Chernoff 的基石是独立性，而非不相关性。一个反例：令 $Z \sim N(0,1)$，$X = Z$, $Y = Z^2$。则 $\text{Cov}(X,Y) = \mathbb{E}[Z^3] - \mathbb{E}[Z]\mathbb{E}[Z^2] = 0 - 0 = 0$，所以 $X$ 和 $Y$ 不相关。但显然，$Y$ 完全由 $X$ 决定，它们绝非独立！Hoeffding 对 $(X,Y)$ 的和 $X+Y$ 完全不适用。

✅正确做法：在声称“独立”之前，必须有明确的建模依据（如“$X_i$ 是从同一总体中独立抽取的样本”）或严格的数学证明。仅仅从协方差矩阵是对角阵，无法推出独立性，除非你额外假设了联合分布是多元正态的（此时不相关等价于独立）。

这个错误之所以普遍，是因为在本科统计学中，我们大量使用“独立同分布（i.i.d.）”这个假设，久而久之，大家把它当成了默认前提。但在高维统计的前沿研究中，数据的依赖结构（dependence structure）恰恰是核心挑战。Lasso 的理论分析，就花了巨大篇幅去处理设计矩阵 $\mathbf{X}$ 的列之间的相关性。所以，从 MATH567 第一天起，就要把“独立”二字刻在脑子里：它不是免费的午餐，而是需要你亲手签发的许可证。

4.2 错误二：对“有界性”的机械理解，忽略了随机变量本身的构造

典型错误作业片段：

“设 $X_i = \mathbf{a}_i^\top \boldsymbol{\beta} + \varepsilon_i$，其中 $\boldsymbol{\beta}$ 是未知参数向量，$\varepsilon_i \sim N(0, \sigma^2)$。由于 $\varepsilon_i$ 是 Gaussian，其取值无界，故 Hoeffding 不等式不适用。”

我的批注（红色）：

⚠️片面理解！Hoeffding 要求的是随机变量本身有界，而不是它的组成部分。这里的 $X_i$ 是一个整体。你说 $\varepsilon_i$ 无界，没错；但 $X_i$ 是 $\mathbf{a}_i^\top \boldsymbol{\beta} + \varepsilon_i$，这是一个 Gaussian 变量，它本身也无界。所以，这个推理链条是对的，结论也是对的：Hoeffding 不能直接用于 $X_i$。

✅但解决方案不是放弃，而是转换视角！我们通常不直接对 $X_i$ 用 Hoeffding，而是对它的函数或变换。例如，在回归分析中，我们关心的是残差 $\hat{\varepsilon}_i = y_i - \mathbf{x}_i^\top \hat{\boldsymbol{\beta}}$。虽然 $\hat{\varepsilon}_i$ 本身可能无界，但它的经验分布或某种截断版本（如 $\tilde{\varepsilon}i = \varepsilon_i \cdot \mathbf{1}{{|\varepsilon_i| \leq M}}$）可以是有界的。或者，我们转而使用更适合无界变量的不等式，如 Bernstein 不等式（它结合了方差和上界信息）。

🔑核心教训：“有界性”不是对数据的物理限制，而是对你所分析的随机对象的数学约束。如果原始对象不满足，就思考：有没有一个与之紧密相关的、满足条件的代理对象（proxy）？这是高维统计中最重要的建模艺术之一。

4.3 错误三：滥用 Union Bound，导致指数爆炸，却浑然不觉

典型错误作业片段：

“我们要控制 $p$ 个统计量 $T_1, \dots, T_p$，每个满足 $\mathbb{P}(|T_i| > \epsilon) \leq e^{-c n \epsilon^2}$。由 Union Bound，$\mathbb{P}(\max_i |T_i| > \epsilon) \leq p e^{-c n \epsilon^2}$。令此上界小于 $\delta$，解得 $n > \frac{1}{c \epsilon^2} \log(p/\delta)$。证毕。”

我的批注（红色）：

🚨危险！这个推导在数学上是正确的，但它掩盖了一个致命的实践问题：当 $p$ 很大时，$\log p$ 项会迅速吞噬掉 $n$ 的增长。例如，若 $p = 10^6$，$\delta = 0.01$，则 $\log(p/\delta) \approx \log(10^8) \approx 18.4$。这看起来不大。但如果你的问题要求 $\epsilon = 0.001$，那么 $n$ 需要大于 $18.4 / (c \times 10^{-6})$，即 $n > 1.84 \times 10^7 / c$。这在现实中往往是不可行的。

✅更优策略：不要盲目地对所有 $p$ 个变量应用 Union Bound。思考：这些 $T_i$ 是否有结构？能否将它们分组？能否利用它们的稀疏性（sparsity）？例如，在 Lasso 中，我们并不关心所有 $p$ 个系数的误差，而只关心其中最多 $s$ 个非零系数的误差。这时，Union Bound 只需在 $\binom{p}{s}$ 个可能的支撑集上进行，而 $\binom{p}{s} \approx (ep/s)^s$，其对数是 $s \log(p/s)$，远小于 $p$。这就是“稀疏性”带来的巨大红利。

💡一句话心得：Union Bound 是强大的，但它是“暴力美学”。真正的高手，懂得在暴力之前，先做精巧的结构分析，把 $p$ 缩小到一个可管理的规模。

4.4 错误四：Chernoff 优化中的“λ 陷阱”——忘记检查最优 λ 是否在定义域内

典型错误作业片段：

“对 $X \sim \text{Bernoulli}(p)$，其 MGF 为 $M_X(\lambda) = pe^\lambda + (1-p)$。则 $\mathbb{P}(X \geq a) \leq \inf_{\lambda > 0} e^{-\lambda a} (pe^\lambda + (1-p))$。对右边求导，令导数为 0，解得 $\lambda^* = \log\left( \frac{a(1-p)}{p(1-a)} \right)$。代入即得 Chernoff 界。”

我的批注（红色）：

❌灾难性错误！你求出的 $\lambda^$，必须满足两个条件：1) $\lambda^> 0$（因为 Chernoff 的原始不等式要求 $\lambda > 0$）；2) $\lambda^$ 必须在 MGF 的定义域内。对于 Bernoulli，MGF 在所有实数 $\lambda$ 上都有定义，所以条件 2 满足。但条件 1 呢？$\lambda^> 0$ 当且仅当 $\frac{a(1-p)}{p(1-a)} > 1$，即 $a > p$。这正是我们关心