Harvey-Liu-Zhu 多重检验：提高因子门槛

Harvey、Liu 和 Zhu 的计算优先指南：为什么 316 个已发表变量改变显著性阈值，Bonferroni 和 Holm 如何工作，以及因子研究人员应报告什么。

第 10 篇 · 共 12 篇约 9 分钟

一个因子还是三百次机会？

通常因子测试被呈现为好像研究人员有一个问题：该特征是否预测收益横截面？在实际文献中，问题更接近：许多特征、定义、样本、组合排序和基准中哪个能产生可发表结果？

Harvey、Liu 和 Zhu (2016) 强制这两个问题分开。他们编制了 316 个已发表变量曾被提为收益预测因子，并开发了在多重检验下调整统计标准的框架。他们著名的实际信息是旧的 $|t|>2$ 约定对新因子太弱。约 3.0 的阈值更可辩护，取决于研究族和依赖结构。

算术直接。什么算作检验的判断是难的部分。

横截面检验

设 $x_{i,t}$ 为形成日期 $t$ 时股票 $i$ 的特征。常见组合测试按 $x$ 排序股票并计算高组和低组之间的收益差。如果 $r_{H,t+1}$ 和 $r_{L,t+1}$ 是组合收益，因子收益是

f_{t+1}=r_{H,t+1}-r_{L,t+1}.

样本均值是

\bar{f}=\frac{1}{T}\sum_{t=1}^{T}f_t,

熟悉的 t 统计量是

t=\frac{\bar{f}}{SE(\bar{f})}.

相同想法可以用 Fama-MacBeth 横截面回归实施。在每个月，估计

r_{i,t+1}=a_t+b_t x_{i,t}+\epsilon_{i,t+1},

然后检验 $b_t$ 的时间序列均值是否不同于零。确切估计器改变，但多重检验问题保持：许多候选 $x$ 变量可以在报告前尝试。

家族计算

假设 $m$ 假设以水平 $\alpha$ 被检验。如果检验独立，在全局零假设下至少一次错误拒绝的概率是

FWER=1-(1-\alpha)^m.

对 $m=316$ 和 $\alpha=0.05$ ，

FWER=1-0.95^{316},

实质上是一。预期错误拒绝数是

E[V]=m\alpha=15.8.

这些不是估计有多少已发表因子是假的。它们是简单全零模型的影响。计算解释为什么常规阈值不能被解释为好像只存在一个检验。

Bonferroni 通过设定控制家族错误率

\alpha_j=\frac{\alpha}{m}

对每个检验。对双边正态统计量，等价临界值是

|t|>\Phi^{-1}\left(1-\frac{\alpha}{2m}\right).

在 $m=316$ 和 $\alpha=0.05$ ，临界值约 3.7。Bonferroni 故意谨慎。它保护至少一次错误发现，即使许多真因子不存在。

为什么数字 316 不是最终答案

检验相关。动量变体共享信息。价值代理相关。流动性和规模不是陌生人。如果所有检验完全相同，除 alpha 以 316 将荒谬保守。如果所有独立，校正将适当。现实介于那些情况之间。

有效检验数 $m_{\mathrm{eff}}$ 是依赖结构的概念总结。基于粗略特征值的测度可以写为

m_{\mathrm{eff}}=\sum_{j=1}^{m}\min(\lambda_j,1),

其中 $\lambda_j$ 是适当归一化相关矩阵的特征值。其他估计器存在，每个依赖于观察检验族。重点不是产生神奇标量。是承认名义计数和独立计数不同。

Harvey、Liu 和 Zhu 用因子发现的历史增长和检验之间依赖推荐更高实际阈值而非每篇论文的字面 Bonferroni 临界值。常被引用的 $t>3$ 标准是妥协：它比 $t>2$ 严格但比将每个已发表变量视为独立更少惩罚。

妥协不是定理。它是由可用证据建造的专业标准。如果你的研究族包含 5,000 个几乎独立试验， $t>3$ 可能仍过宽容。如果它包含三个紧密相关预先指定检验，完全 3.7 临界值可能不必要保守。

Holm 改进钝校正

Holm 逐步下降程序控制家族错误率同时在功效上占优于简单 Bonferroni 程序。排序 p 值使

p_{(1)}\le p_{(2)}\le\cdots\le p_{(m)}.

将 $p_{(1)}$ 与 $\alpha/m$ 比较。如果它失败，拒绝零。如果它通过，比较 $p_{(2)}$ 与 $\alpha/(m-1)$ ，并继续直到第一次失败。根据逐步下降规则拒绝该假设和所有后续假设。

阈值随排名增加变得不那么严厉。Holm 仍控制任意依赖下的家族错误率且不要求研究人员估计相关矩阵。当检验数已知且目标是少量可辩护发现时，它是明智默认。

关键短语是“当检验数已知”。跑了 316 个检验但报告五个的研究人员不在使用 Holm。他们在隐藏族。

错误发现率是不同承诺

Benjamini-Hochberg 控制期望错误发现率而非任何错误发现概率。它排序 p 值并找最大排名 $k$ 满足

p_{(k)}\le\frac{k}{m}q,

其中 $q$ 是期望 FDR 水平。拒绝排名达 $k$ 的假设。

FDR 控制对探索性因子发现可以适当。如果研究程序被设计来识别稍后确认的候选组合，接受一些假阳性可能合理。但解释必须诚实：5% FDR 程序不意味着每个已选因子可能真实。它控制假设下平均比例，而非每个个体因子的后验概率。

对资本分配决策，损失函数重要。研究实验室可能偏好宽候选列表。部署数百万的基金可能偏好更少候选具有更强证据。统计程序不能为你决定该权衡。

p 值到 t 统计量的翻译

对带正态近似的双边检验，p 值是

p=2\left[1-\Phi(|t|)\right].

Bonferroni 调整 p 值可以写为

p_{\mathrm{adj}}=\min(mp,1).

如果因子有 $t=2.5$ ，其未调整双边 p 值约 0.012。在 316 检验下，Bonferroni 调整值大于 1 并被截断为 1。这不是说因子已知是假。它是说证据相对那样大的族较弱。

$t=3.5$ 的因子有名义 p 值约 0.0005。乘以 316，它变成约 0.16，仍不在 5% 上 Bonferroni 显著。那是严厉标准，但它使算术可见。 $t=3$ 实际规则不等价于字面 316 检验 Bonferroni 校正。

研究人员应报告名义值和调整值。读者然后可以区分效应大小和证据强度。

先验概率问题

多重检验和贝叶斯推理指向同一方向。设 $\pi_1$ 是候选因子中有非零经济有用效应的先验部分。设功效为 $1-\beta$ 。对名义检验水平 $\alpha$ ，显著结果是真发现的概率是

PPV=\frac{\pi_1(1-\beta)}{\pi_1(1-\beta)+(1-\pi_1)\alpha}.

如果研究人员发明数百候选变量但只有几个机制真实， $\pi_1$ 小。通过更高 t 阈值降低 $\alpha$ 提高阳性预测值。经济理论通过使候选集更少随意也提高它。

这就是为什么经济动机因子带中等统计量可以比数据挖掘因子带相同统计量更值得关注。p 值相同；先验不同。

HLZ 框架不声称什么

13% 存活数字常被重复好像 Harvey、Liu 和 Zhu 证明恰好 87% 已发表因子是假。他们没有。他们的结果依赖于目录、阈值、依赖假设和用于校准多重检验调整的历史。

论文也没说失败推荐阈值的因子没有经济价值。统计功效有限。真实但小的因子可以失败。因子可以真实但成本后不可交易。相反，因子可以在一样本中清除阈值但失败独立复制。

框架说证据负担比常规阈值暗示更高。那足够。量化不需要因子动物园的完美普查来停止将每个 $t=2.1$ 结果视为发现。

校正例程

以下小程序将 Holm 和 Bonferroni 应用于 p 值列表。它不替代研究协议，但它使决策规则显式。

import numpy as np

p_values = np.array([0.0004, 0.006, 0.019, 0.041, 0.21])
alpha = 0.05
order = np.argsort(p_values)
rejected = np.zeros(len(p_values), dtype=bool)
for rank, index in enumerate(order):
    threshold = alpha / (len(p_values) - rank)
    if p_values[index] <= threshold:
        rejected[index] = True
    else:
        break
bonferroni = p_values * len(p_values) <= alpha
print(rejected, bonferroni)

对金融项目，p 值数组应从声明研究族构建，而非从最终表复制。如果族包括相关因子，报告相关结构和敏感分析。

逐因子证据账本

用每因子候选一行的证据账本。至少记录：

经济构念和方向；
原始变量定义；
信息可用日期；
数据源和版本；
候选族；
样本和整体；
组合形成；
总收益和净收益；
名义 p 值；
调整 p 值或联合检验结果；
样本外结果；
规则修改次数。

账本有额外好处：它分离真正稳健性免于重复重新标记。如果五个价值代理都用相似单调差工作，证据可以支持估值机制。如果一个代理工作四个为负，特定代理需要更强故事。

新因子必须清除什么

新因子应清除多于一个统计障碍。从预先指定机制开始。定义研究族。报告所有候选检验。用匹配目标的多重检验校正。冻结最终规则。在后续数据上测试它。减去成本。检查单调性、持续性和容量。

接近 3 的 t 统计量是关注的起点，非购买指令。存活 HLZ 式审查和 McLean-Pontiff 式发表后怀疑的因子已赢得听证。它未赢得无限资本。

要点

Harvey、Liu 和 Zhu 没有让因子研究不可能。他们让旧标准不舒服。一旦数百变量已提出，问题不再是因子能否产生 $t>2$ 。是结果在考虑研究人员本可以找到有趣东西的方式数之后是否不寻常。

实际教训严厉但可用：计数族、提高阈值、报告搜索、要求独立证据。如果因子存活，其可信度改进。如果不存活，校正已从混淆幸运表与持久信号中救了你。

依赖是建模决策

有效检验数不是数据库传递的属性。它依赖于研究族和检验统计量的相关结构。原始会计比率库比其变量数所示可有更少独立维度。不相关行为、流动性和宏观信号集可以有更多。

使用检验统计量或底层因子收益估计依赖，但要小心：用于估计相关的相同样本可以包含你正尝试校正的选择噪声。将估计视为敏感输入而非真相。显示保守计数、中央计数和更激进计数下的结果。

主成分视图可以澄清库包含什么。设 $R$ 为因子收益的相关矩阵，带特征值 $\lambda_1,\ldots,\lambda_m$ 。几个大特征值指示许多变量共享共同变化。那不证明共享变化是真因子；它只描述候选集的几何。

族也可以层级。广义研究程序可能测试价值、动量、投资和流动性族，每个内有几个代理。校正每个检验对全宇宙可能对狭义声明假设保守。只在校正最终代理集内如果族在检查所有四组后被选择可能不诚实。报告层级和定义族的决策。

实际反应是透明。陈述候选集如何组装、多少变量被考虑、哪些被排除以及为什么，以及族是否在检查结果前定义。如果族不能枚举，使用更高 t 统计量、reality check 和受保护样本外测试而非假装不确定不存在。

多重检验校正不替代经济思考。它是告诉你广义搜索变得多贵的会计系统。理论、持续性、单调性和成本分析仍决定存活因子是否值得资本。

更高门槛不是单一神奇数字

实际 $t>3$ 规则不应在不考虑检验族下机械应用。在一个声明市场的一个机制的预先指定检验不同于来自数千变量库的最佳结果。相反，在几十次非正式实验后选择的因子可能需要高于 3 的门槛，即使最终论文称它为一个假设。

将阈值作为分层决策的一部分。首先识别族并尽可能应用正式校正。然后检查经济大小及它是否在成本后存活。最后保留未触及时期。失败保留的 $t=3.2$ 因子不比预先指定、独立复制且有强机制的 $t=2.8$ 因子更可信。统计量回答不同问题。

在论文或研究备忘录中报告阈值选择。陈述它是否在结果前选择、检验数是观察还是估计、以及依赖是否通过相关估计、自助法或保守规则处理。读者应能告诉 $t=3$ 是有原则设计选择还是因为结果碰巧清除它而选的便利数字。

因子研究人员也应抵抗从每个存活者构建组合的冲动。多重检验校正识别候选；它不消除相关、容量限制或常见拥挤。十统计校正价值代理组合可能仍是一个穿十个标签的交易。机制层面组合证据并测量联合账本。

参考文献

Harvey, C. R., Liu, Y., and Zhu, H. (2016). “…and the Cross-Section of Expected Returns.” The Review of Financial Studies, 29(1), 5-68. doi:10.1093/rfs/hhv059.
Bonferroni, C. (1936). “Teoria Statistica delle Classi e Calcolo delle Probabilità.”
Holm, S. (1979). “A Simple Sequentially Rejective Multiple Test Procedure.” Scandinavian Journal of Statistics, 6(2), 65-70.
Benjamini, Y. and Hochberg, Y. (1995). “Controlling the False Discovery Rate.” Journal of the Royal Statistical Society: Series B, 57(1), 289-300.
McLean, R. D. and Pontiff, J. (2016). “Does Academic Research Destroy Stock Return Predictability?” The Journal of Finance, 71(1), 5-32.
López de Prado, M. (2018). Advances in Financial Machine Learning. Wiley, 第 11-15 章.