跳到正文

McLean-Pontiff 预注册:发表创造的复制

McLean 和 Pontiff 没有字面预注册 97 异常;他们的设计通过冻结已发表预测因子并检查发表前后的收益来创造有用的准确认性测试。

第 11 篇 · 共 12 篇 约 10 分钟

标题需要警告标签

短语“McLean-Pontiff 预注册”是有用速记且技术上误导。McLean 和 Pontiff (2016) 没有进行现代注册报告,其中假设、结果和代码在数据收集前打时间戳。他们的贡献不同:他们用已发表预测因子作为冻结对象并检查原论文无法使用的后续时期发生了什么。

该设计创造类似自然交叉验证练习的东西。原论文是发现阶段。后续数据是预测因子在发现后以及最终发表后是否存活的测试。设计不完美,但它比问原始样本内表是否看起来显著更信息丰富。

该区别重要因为“预注册”已成为可信度徽章。标签不能替代实际信息流。McLean 和 Pontiff 的优势来自冻结预测因子并测量其后续表现,而非来自不存在的注册文档。

97 预测因子面板

McLean 和 Pontiff 从已发表股票收益横截面研究汇编了 97 个变量。对每个变量,他们遵循组合构造的原始精神并测量三个时期的性能:原始样本内时期、发表前的后续样本外时期,以及发表后时期。

第一时期被选择。第二测试预测因子在学术结果公开前是否工作。第三测试预测因子在投资者可以了解它之后是否工作。该时序让研究分离两种衰减:

  • 衰减出现仅因为原始样本是有利选择样本;
  • 一旦发表通知交易出现额外衰减。

作者报告相对原始样本内基准收益低约 26% 在样本外和低 58% 在发表后。差异约 32 个百分点,是他们分解中与发表相关的下降。不正确描述论文为显示 32% 发表前下降和 58% 发表后下降而不解释分母和分解。

数字是跨一组异构预测因子的均值。它们不是每个策略的通用减幅。高容量价值因子和微小非流动应计策略不应收到相同预测。均值有价值因为它们建立先验:原论文倾向于高估未来收益。

为什么这类似于交叉验证

在机器学习中,交叉验证在未用于拟合的数据上测试学习程序。在 McLean-Pontiff 设计中,“学习程序”是原始学术发现过程。已发表论文选择变量和构造。后续数据评估该冻结对象。

类比不精确。原作者不一定在查看收益前冻结所有选择,所以发现阶段可能已经过拟合。后续样本也可以与更广文献的演变约定重叠。但方向对:后续观察对原论文报告估计不可用。

设 μI\mu_I、μO\mu_O 和 μP\mu_P 为样本内、发表前样本外和发表后时期的均值收益。定义

DO=1−μOμI,D_O=1-\frac{\mu_O}{\mu_I}, DP=1−μPμI,D_P=1-\frac{\mu_P}{\mu_I},

和

Dpub=DP−DO.D_{\mathrm{pub}}=D_P-D_O.

分解问发表后下降是否大于仅从普通样本外失望预期的下降。如果更大,发表和信息扩散是可信机制。

设计有重要优点:发表日期在策略收益构造外。它们定义可研究的信息事件而不要求原研究人员重运行模型。

检验从发表偏差中存活什么

发表偏差在 McLean 和 Pontiff 开始前已操作。97 预测因子是已发表赢家,不是所有测试想法的随机样本。发表后测试因此不能告诉我们多少未发表异常失败。它告诉我们一旦选择和时间被面对已发表声称表现如何。

那仍很多。如果已发表集由强稳定预测因子组成,它们后续收益应保持实质。相反,平均效应收缩。具更强原始收益的预测因子倾向于显示更大发表后下降,正是如果选择和拥挤偏好戏剧结果所预期的。

字面预注册会处理不同问题:它会防止分析员在看到确认样本后改变检验。McLean 和 Pontiff 的设计通过使用外部发表事件和现有已发表预测因子列表减少该问题。它不消除构造后续组合中的每个可能研究人员选择。

发表事件经济上有意义

发表可以通过几个渠道影响收益。投资者可能直接读论文。数据供应商可能将特征添加到产品。其他研究人员可能使用因子作为控制或构建变体。基金可能将信号并入组合优化器。市场不需要每个参与者读原文;信息可以通过中介扩散。

简单模型是

E[rt+1∣It]=α(It)−λqt,E[r_{t+1}\mid I_t]=\alpha(I_t)-\lambda q_t,

其中 ItI_t 是市场信息集,qtq_t 是信号诱导的总交易需求。发表扩展 ItI_t 并倾向于增加 qtq_t。如果 λ>0\lambda>0,预期收益随资本拥挤交易下降。

效应应对便宜交易信号更强,对受风险、成本或容量限制保护的信号更弱。McLean 和 Pontiff 在连接到高特质波动率和低流动性的预测因子中发现更显著发表相关下降。那些正是原始总差难以捕获且新资本可以推动价格的地方。

结果不是干净实验室实验。发表日期聚集,市场 regime 变化,信息可能在正式发表前泄露。研究的贡献是与竞争故事一致的模式,不是声称一期期刊问题引起每个基点衰减的声称。

发表前时期告诉我们什么

发表前样本外时期是设计最被低估的部分。它测量在原始样本后但预测因子正式公开前发生了什么。这里的下降是反对将原始估计字面意思看待的证据,即使当无发表拥挤发生时。

该下降可以来自选择偏差、样本特定运气、数据质量变化或变化市场。它也可以来自非正式扩散:工作论文在发表前流传,会议展示暴露想法,从业者独立发现模式。

因此发表前时期应读取为“正式发表前的后续证据”,而非完美干净的私人市场。发表后时期然后添加更强信息处理,但非孤立的。

t 统计量的角色

对预测因子 jj,定义时期特定收益 fˉj,s\bar{f}_{j,s} 和标准误 SEj,sSE_{j,s}。t 统计量是

tj,s=fˉj,sSEj,s.t_{j,s}=\frac{\bar{f}_{j,s}}{SE_{j,s}}.

从大样本内 t 统计量到更小后续 t 统计量的下降可以反映更低均值收益、高波动率、更短样本或更保守标准误。仅比较 t 统计量可能误导。McLean 和 Pontiff 也分析收益大小和预测因子特征。

策略经理应将相同纪律带入复制。比较均值差、波动率、换手、回撤、观察数和成本。t 统计量下降因为波动率翻倍不同于 t 统计量下降因为均值变为零说明不同事情。

原论文的 t 统计量也被选择。它的后续对应不独立于预测因子被选择发表的事实,但它较少被原始样本的有利噪声污染。那就是为什么下降信息丰富即使它不是教科书无偏估计量。

简单交叉验证账本

实用复制账本可以将每个预测因子表示为冻结模型版本:

Field发现发表前测试发表后测试
信号定义从论文固定未变未变
数据时序原始约定点时重建点时重建
组合规则固定固定固定
选择原始论文无无
成本单独报告单独报告单独报告

关键词是未变。如果后续样本需要新过滤器、新排序或新基准,记录改变并将结果视为新规格。不要“修复”旧因子并称修复为复制。

这教导关于预注册什么

预注册有价值因为它分离确认免于探索。McLean 和 Pontiff 教授互补教训:即使当预注册缺席,外部事件可以创造有用测试如果测试对象冻结且后续样本免于重设计。

对当前研究,组合两个想法。预注册发现假设和主检验。保持单独探索日志。冻结模型在打开确认样本前。当结果公开时,继续监控它不改变规则。发表日期然后变为发现后性能的实时测试,而非简单引用里程碑。

该过程也暴露因子和因子配方之间区别。因子配方包括变量、整体、时序、极值处理、排序、再平衡、成本和基准。如果那些在原始结果后任何改变,配方已改变。名字不是规格。

衰减的四种解释

McLean 和 Pontiff 的证据与四种重叠机制兼容。

统计偏差意味着原始估计选择了有利噪声。后续样本移除部分噪声。

交易成本意味着学术总组合高估资本能捕获的东西。当更多资本交易相同名称时成本可以上升。

拥挤意味着发表通知额外投资者朝同方向交易。

真实 alpha 衰减意味着市场行为改变因为底层信息优势或行为错误变得不那么有价值。

机制非互斥。因子可以真实、昂贵、拥挤并同时被高估。有用问题不是哪个单标签赢。它是原始收益有多少存活于完整链。

什么存活测试

在原始样本后,发表前后都保持正的预测因子比仅在发现期闪耀的预测因子有更强证据。但“存活”不应意味着“仍有高于 2 的名义 t 统计量”。寻找稳定方向、单调性、可信暴露、容量和净表现。

因子可以有更低发表后 Sharpe 并仍值得持有作为分散化器。其期望收益可能适中,但其与其他策略协方差可以改善组合。相反,因子可以保持正总均值同时变得太拥挤或昂贵而无法部署。

因此发表后测试是排名工具非二元门。它告诉你哪些声称值得进一步工作。它不单独决定组合权重。

小衰减计算

以下代码使发表差距显式而非混合 26%、58% 和 32% 数字。

in_sample = 0.0050
pre_publication = 0.0037
post_publication = 0.0021
pre_decay = 1 - pre_publication / in_sample
post_decay = 1 - post_publication / in_sample
publication_gap = post_decay - pre_decay
print(pre_decay, post_decay, publication_gap)

输出是一组比率,非单独的因果估计。代码有用因为它防止常见口头错误:将 32 点发表差距称为整个样本外下降。

要点

McLean 和 Pontiff 提供因子研究最接近外部考试的东西。原论文提交声称。时间提供新数据。发表提供新竞争者。平均结果变小。

称设计“预注册”太强。称它普通回测太弱。它是冻结预测因子、发现后验证练习,揭示已发表文献的收益有多少存活于时间和信息扩散的接触。

用你自己研究的教训:在打开保留前写规则,在发表前冻结它,并在市场学习后保持监控。如果结果弱化,不立即将其调回生命。那是复制转为另一发现搜索的方式。

自然实验的限制

发表日期是有用信息标记非完美治疗分配。工作论文在正式发表前流传。会议暴露结果。从业者可以独立发现相同信号。一些论文花多年从草稿移到期刊,其他立即吸引注意。因此发表后期时期测量信息环境变化非单日翻动的干净开关。

原始预测因子列表也被选择。McLean 和 Pontiff 不能观察研究人员尝试并放弃的异常,所以他们的研究不估计所有想法中为假的比例。它估计已发表声称在后续样本和市场学习被允许说话时如何表现。

样本组成随时间变化。市值、交易所结构、会计标准、指数产品、卖空访问和交易成本都移动。预测因子可以衰减因为底层机构改变而非因为投资者读论文。那不是忽视结果的理由。是小心陈述外部有效性声称的理由。

研究还继承测量选择。重建已发表信号需要关于数据时序、缺失值、退市、断点和组合权重的决定。如果后续实现与原论文在物质方式不同,结果是邻近因子配方的复制,不一定确切原对象。

这些限制使发现作为因果估计更弱,作为研究警告更强。平均已发表异常不保留其在后续数据中的原始大小。假设原始大小仍可用的经理正在做证据不支持的假设。

正确后续是注册、版本化延续:冻结原始配方,发布数据和代码选择,在打开它前定义后续窗口,并报告结果即使无帮助。该过程将自然实验转为更好现代实验。

现代注册延续会加什么

当前研究团队可以用真正注册延续扩展 McLean-Pontiff 逻辑。在访问确认期前,冻结原始信号配方并发布分析计划。声明主收益测度、组合整体、成本假设、时期分割和处理缺失或修订数据的规则。

为持续性和衰减注册单独假设。持续性问符号和经济关系是否保持。衰减问大小相对原始估计如何变化。这些不是相同测试。因子可以保留其符号同时失去其大部分收益,那正是实时组合经理需要理解的精确情况。

预指定监控期停止规则。不要因子在一个糟糕月后退休或在一个好月后复活。使用固定窗口、置信区间和声明决策规则。如果开发了新实现,给它分配新版本并保持其性能与冻结复制分开。

延续应发布失败和偏差。如果原始数据不再可用,陈述哪些字段被重建以及改变可能如何影响结果。如果信号不能在借券和容量成本后实施,将其报告为经济复制失败而非隐藏在总收益后。

那是历史论文变为研究资产的方式:不是通过保留原始标题,而是通过保留让后来研究人员从存活和衰减学习的信息流。

参考文献

  • McLean, R. D. and Pontiff, J. (2016). “Does Academic Research Destroy Stock Return Predictability?” The Journal of Finance, 71(1), 5-32.
  • Harvey, C. R., Liu, Y., and Zhu, H. (2016). “…and the Cross-Section of Expected Returns.” The Review of Financial Studies, 29(1), 5-68.
  • Aronson, D. (2006). Evidence-Based Technical Analysis. Wiley, 第 9-12 章.
  • López de Prado, M. (2018). Advances in Financial Machine Learning. Wiley, 第 7、11 和 12 章.
  • Chen, A. Y. and Zimmermann, T. (2021). “Open Source Cross-Sectional Asset Pricing.” Critical Finance Review, 10(1), 1-62.