随机过程:一切模型的地基

你只观察到一条样本路径,却想推断整个过程。什么条件让这件事成为可能?平稳性、遍历性、混合、Wold 分解——把这条逻辑链走通,ARMA 往后的一切才有根。

第 4 篇 · 共 12 篇约 12 分钟

在拟合 ARIMA、搭 GARCH 规格、跑卡尔曼滤波之前，你得先想清楚一件事：你到底在跟什么对象打交道。这个对象叫随机过程——一组按时间索引的随机变量。听起来简单，其实藏着时间序列分析里最根本的困境：过程是一整个概率结构，而你只观察到它的一条样本路径。一次实验、一个现实、不可重复。凭一条路径推断整个结构，这件事凭什么可能？

这篇文章的主线就是这个问题。答案是一条环环相扣的链：平稳性让”用一段历史推断另一段”有意义，遍历性让时间平均能代替总体平均，混合条件让你能做推断，Wold 分解告诉你为什么 ARMA 这么小的一族模型就够用。这些地基大多数教材一笔带过，等假设悄悄失效的时候你再后悔。Hamilton (1994, 第 1-3 章) 是主要参考，Tsay (2010, 第 1-2 章) 补金融视角。

随机过程到底是什么

随机过程 $\{y_t\}_{t \in T}$ 是按某个集合 $T$ 索引的一组随机变量。时间序列计量里 $T$ 几乎总是离散且等间距的：样本上就是 $\{1, 2, \ldots, T\}$ ，想做渐近理论干净点就用双向无穷的 $\{\ldots, -1, 0, 1, \ldots\}$ 。

每个 $y_t$ 有自己的分布，而整个过程由任意有限组 $(y_{t_1}, y_{t_2}, \ldots, y_{t_k})$ 的联合分布刻画——每个 $k$ 、每种下标选择的联合分布你都知道，过程的一切你就全知道。但实际中你知道的远少于此：你观察到一个现实，一条样本路径，然后要倒推结构。这就是为什么下面每一节都在给这条倒推的路加台阶。

路上会反复碰到四类过程：白噪声（不相关、零均值的冲击序列）、随机游走（ $y_t = y_{t-1} + \varepsilon_t$ ，冲击永不消化）、平稳线性过程（ARMA 及其近亲，冲击的影响是暂时的）、带随机趋势的非平稳过程（单位根、积分过程、结构突变）。这篇覆盖前三类，为第四类做铺垫。

白噪声:积木

白噪声是最简单的非平凡过程。序列 $\{\varepsilon_t\}$ 是白噪声，如果：

E[\varepsilon_t] = 0, \quad \text{Var}(\varepsilon_t) = \sigma^2, \quad E[\varepsilon_t \varepsilon_s] = 0 \text{ for } t \neq s

记作 $\varepsilon_t \sim \text{WN}(0, \sigma^2)$ 。方差 $\sigma^2$ 有时也叫创新方差或冲击方差。注意定义只要求不相关；如果 $\varepsilon_t$ 相互独立（不只是不相关）且同分布，记 $\varepsilon_t \sim \text{iid}(0, \sigma^2)$ ，叫 iid 白噪声。高斯白噪声是特例 $\varepsilon_t \sim N(0, \sigma^2)$ iid。经典时间序列理论大多假设高斯性——对金融数据这个假设相当糟糕（收益率有肥尾），但基于高斯性搭起来的线性方法仍是有用的起点。

白噪声重要不在它自己，而在它是积木。AR、MA、ARMA、GARCH，说白了都是把白噪声变换成更有意思的东西的各种套路。这个说法不是修辞——后面的 Wold 分解定理会把它变成定理：任意平稳过程都可以用过去和当下白噪声冲击的线性组合逼近到任意精度。

鞅:金融给的那块积木

适应于滤族 $\{\mathcal{F}_t\}$ 的过程 $\{y_t\}$ 是鞅，如果：

E[y_{t+1} \mid \mathcal{F}_t] = y_t

把 $\mathcal{F}_t$ 想象成”截至时刻 $t$ 已知的一切”。鞅就是公平游戏：给定今天所知的一切，明天值的最佳预测就是今天的值。

金融为什么绕不开它：在风险中性测度下，折现后的资产价格是鞅。这就是资产定价基本定理，一句话讲完。你只要在给衍生品定价、模拟路径、或检验有效市场假说，你就在跟鞅结构打交道，不管自己知不知道。

两个例子把定义掰开。零漂移的随机游走 $y_t = y_{t-1} + \varepsilon_t$ 、 $E[\varepsilon_t \mid \mathcal{F}_{t-1}] = 0$ ，是鞅——今天的值就是明天的最佳预测。白噪声加常数 $y_t = \mu + \varepsilon_t$ 不是鞅：条件期望 $E[y_{t+1} \mid \mathcal{F}_t] = \mu$ ，而 $y_t = \mu + \varepsilon_t$ ，两者只在 $\varepsilon_t = 0$ 时相等。跟鞅配套的还有一个更常用的概念：鞅的增量 $\Delta y_t = y_t - y_{t-1}$ 构成鞅差序列（MDS）， $E[\Delta y_{t+1} \mid \mathcal{F}_t] = 0$ 。MDS 是回归型时间序列分析的主力——把 $y_t$ 对 $x_t$ 回归、假设误差项是 MDS，这正是时间序列回归能用 OLS 的标准根据：误差是 MDS 时，即便回归子自相关，一致性照样成立。

平稳性:让一条路径开始有用

现在回到主线。要用样本的一段推断另一段，过程在时间平移下至少得”长得一样”。这个直觉有强弱两个版本。

过程严平稳是说 $(y_{t_1}, \ldots, y_{t_k})$ 的联合分布等于 $(y_{t_1 + h}, \ldots, y_{t_k + h})$ 的联合分布，对所有 $h$ 、所有 $k$ 、所有下标选择成立——整个概率结构在时间平移下不变。这个条件非常强，实际中很少全部用到。

过程弱平稳（协方差平稳、二阶平稳）只管前两阶矩：均值 $E[y_t] = \mu$ 不随 $t$ 变；方差 $\text{Var}(y_t) = \gamma_0 < \infty$ 有限且不随 $t$ 变；协方差 $\text{Cov}(y_t, y_{t+h}) = \gamma_h$ 只依赖滞后 $h$ 、与 $t$ 无关。函数 $\gamma_h$ 是自协方差函数（ACVF），归一化版本 $\rho_h = \gamma_h / \gamma_0$ 是自相关函数（ACF），两者都是模型识别的核心工具。严平稳加有限二阶矩推出弱平稳，反之不成立；高斯过程是重要例外——分布由前两阶矩完全决定，弱平稳就推出严平稳。

时间序列分析的基本假设是：产生数据的过程至少弱平稳。过程不平稳，经典方法给的标准误、 $t$ 统计量、预测全是错的——单位根、结构突变、随机趋势都属于这类，要特殊处理。

自协方差函数不是随便一个函数都当得了。对弱平稳过程， $\gamma_h$ 满足 $\gamma_0 \geq 0$ 、 $\gamma_{-h} = \gamma_h$ 、 $|\gamma_h| \leq \gamma_0$ ，以及最关键的半正定性：对任意权重 $a_1, \ldots, a_n$ ，

\sum_{i=1}^n \sum_{j=1}^n a_i a_j \gamma_{|i-j|} \geq 0

半正定性不只是个好性质，它是定义性的：任何满足这些性质的函数都是某个平稳过程的自协方差函数（离散时间的 Herglotz 定理）。ARMA 模型的自协方差结构长成那个样子，根子就在这条约束上。

样本这边的对应物：

\hat{\gamma}_h = \frac{1}{T} \sum_{t=h+1}^{T} (y_t - \bar{y})(y_{t-h} - \bar{y})

样本自相关 $\hat{\rho}_h = \hat{\gamma}_h / \hat{\gamma}_0$ 是识别的主力。弱假设下它一致且渐近正态，标准误大约 $1/\sqrt{T}$ 。所以画 ACF 有实际内容：自相关衰减得快，像平稳；在长滞后上顽强不退，多半是单位根。不过注意——“样本量 $T$ 越大估计越准”这句话本身就预设了时间平均能逼近总体量。这一步平稳性还给不了，得靠下一块地基。

遍历性与混合:一条路径什么时候够用

平稳性说”过程各段长得一样”，但没说”一条路径的时间平均能替代跨现实的总体平均”。后者是遍历性。严平稳且遍历的过程，Birkhoff 遍历定理给出：

\bar{y} = \frac{1}{T} \sum_{t=1}^T y_t \xrightarrow{a.s.} E[y_t] = \mu

这就是能从一条样本路径估计均值的许可证。弱平稳框架下也有个够用的版本：自协方差绝对可加（ $\sum_h |\gamma_h| < \infty$ ）就保证样本均值均方收敛到 $\mu$ ——依赖衰减得够快，远处的观测就近似独立，平均起来就管用。没有遍历性的话，你需要过程的多个独立现实才能估计任何总体量，而时间序列数据只给你一条。

估计一致还不够，做推断（置信区间、假设检验、p 值）需要中心极限定理：样本均值、样本自相关、OLS 系数以 $\sqrt{T}$ 速率收敛到正态。经典 iid CLT 要求独立，相依数据要用混合条件替代——依赖随观测间隔衰减，衰减速率有不同强度的度量。最常用的 $\alpha$ -混合（强混合）定义为 $\alpha(h) = \sup_{A \in \mathcal{F}_{-\infty}^t,\, B \in \mathcal{F}_{t+h}^\infty} |P(A \cap B) - P(A) P(B)| \to 0$ （ $h \to \infty$ ）；CLT 的典型条件把混合速率和矩条件绑在一起——例如 $\sum_h \alpha(h)^{\delta/(2+\delta)} < \infty$ 配上有限的 $2+\delta$ 阶矩。更强的 $\beta$ -混合要求给定过去后整个未来分布收敛到边际（某些 MCMC 收敛结果用它）， $\phi$ -混合又更强。技术细节 Doukhan (1994) 有系统整理。

好消息是，对大多数方差有限的平稳 ARMA 过程， $\alpha$ -混合以几何速率自动成立，依赖衰减飞快，标准推断结果全都在。坏消息在边界上：单位根和近单位根过程的混合会失败或极慢，CLT 的速率和极限分布都变成非标准的——Dickey-Fuller 分布、持续性回归的种种怪相，都是这条地基塌掉的直接后果。实际工作里你几乎从不直接检验混合条件，而是通过模型选择来假设它：拟合 ARMA，你就假设了混合；拟合随机游走，你就知道混合不成立；拟合长记忆、近单位根带偶发突变这类异类，就得认真想一想。

Wold 分解:为什么 ARMA 就够了

链条走到这里还差一环：凭什么平稳过程用 ARMA 这么小的一族模型就能拟合？答案是经典时间序列里最漂亮、也几乎没人教的一个结果。

Wold 分解定理：任意（弱）平稳、纯非确定性的过程 $\{y_t\}$ 都可以写成

y_t = \mu + \sum_{j=0}^\infty \psi_j \varepsilon_{t-j}, \quad \sum_{j=0}^\infty \psi_j^2 < \infty, \quad \psi_0 = 1

其中 $\{\varepsilon_t\}$ 是白噪声（Wold, 1938）。证明思路是投影：把 $y_t$ 对它自己的过去做线性投影，投影残差就是创新 $\varepsilon_t$ ，逐期做下去便得到这个表示。注意系数条件是平方可加——这是定理本身给的，比绝对可加弱。

从 MA( $\infty$ ) 到有限参数模型还有一步。如果过程还有系数绝对可加的 AR( $\infty$ ) 表示

y_t = c + \phi_1 y_{t-1} + \phi_2 y_{t-2} + \cdots + \varepsilon_t

把 AR 多项式截断到 $p$ 阶、用 MA( $q$ ) 收拾剩余动态，就得到 ARMA( $p, q$ ) 近似；等价地，用有理函数逼近 $\psi(L)$ 多项式。Box & Jenkins (1976, 第 3 章) 把这条路讲得很细。实用结论值得单独说一遍：ARMA 模型不只是方便，它在平稳过程空间里是稠密的。实际中碰到的任何平稳过程， $p$ 、 $q$ 选得够大，都能用有限阶 ARMA 拟合得不错。整个 Box-Jenkins 方法论的理论根据就是这一条。

一个命名说明，顺便带出一个陷阱。上面的结果是 Wold 分解，不是 Yule-Slutsky 定理。Yule (1927) 和 Slutsky (1937) 研究的是相关但不同的问题：把随机冲击加起来能产生伪周期。iid 随机变量过一个低阶线性滤波器，出来的东西看起来有周期，虽然输入是纯噪声——这就是 Slutsky 效应。对所有盯着自相关以为看到了经济周期的人，这是个永久有效的警告：有些看似商业周期的动态，可能就是平滑过的噪声。

不信可以自己跑：

import numpy as np
import matplotlib.pyplot as plt

rng = np.random.default_rng(42)
n = 500
eps = rng.standard_normal(n)


window = 5
y = np.convolve(eps, np.ones(window)/window, mode='valid')

# 计算并画出样本 ACF
def acf(x, nlags=20):
    x = x - x.mean()
    c0 = np.sum(x**2) / len(x)
    return [np.sum(x[:len(x)-k] * x[k:]) / len(x) / c0 for k in range(nlags+1)]

plt.figure(figsize=(10,4))
plt.plot(y[:200])
plt.title("过滤后的 iid 噪声,看起来有周期,其实没有")
plt.show()

print("ACF 滞后 1-10:", np.round(acf(y, 10)[1:], 3))

纯 iid 噪声过一个 5 期移动平均，图上就有了”结构”，前几个自相关正而显著。要是在一条宏观序列里看到这种图、又不知道它是怎么生成的，你会跑去追一个根本不存在的周期。

谱密度:同一个对象的频域读法

平稳过程还有第二种打开方式：不问”相邻观测怎么相关”，问”方差集中在哪些频率上”。对自协方差为 $\gamma_h$ 的平稳过程，谱密度是：

f(\omega) = \frac{1}{2\pi} \sum_{h=-\infty}^\infty \gamma_h e^{-i \omega h}, \quad \omega \in [-\pi, \pi]

就是自协方差函数的傅里叶变换，告诉你每个频率上有多少方差。 $f(\omega)$ 在 $\omega_0$ 处有尖峰，说明存在周期 $2\pi/\omega_0$ 的周期成分；数据这边的样本对应物叫周期图，是谱密度的原始估计。白噪声的谱是平的——方差在所有频率均匀摊开，“白”字就是这么来的。随机游走不平稳、严格说没有谱密度，但它的低频行为给出一个有用直觉：谱质量在 $\omega \to 0$ 处像 $1/\omega^2$ 一样堆积，方差全压在长周期上。

ARMA 过程的谱密度有闭式：

f(\omega) = \frac{\sigma^2}{2\pi} \frac{|\Theta(e^{-i\omega})|^2}{|\Phi(e^{-i\omega})|^2}

分子是 MA 多项式 $\Theta$ ，分母是 AR 多项式 $\Phi$ ，谱的形状可以直接从多项式的根读出来。谱视角对识别周期成分、商业周期频率最有用，也是时间序列傅里叶方法的基础：任何平稳序列都能分解成各频率上的正弦余弦分量，系数在极限下不相关。现代实践里谱分析一定程度被小波和其他时频方法替代了，但把动态和频率内容联系起来想，它仍是最干净的方式。

多变量推广

以上都是单变量。联合观察 $K$ 条序列时，地基换成互协方差矩阵：

\Gamma_h = E[(\mathbf{y}_t - \boldsymbol{\mu})(\mathbf{y}_{t-h} - \boldsymbol{\mu})']

每个滞后 $h$ 一个 $K \times K$ 矩阵。多元弱平稳要求均值向量不随时间变、 $\Gamma_h$ 只依赖 $h$ 。能问的问题一下子丰富起来：领先-滞后关系（ $y_{1t}$ 是不是 Granger 引起 $y_{2t}$ ？）、公共因子（有没有冲击同时驱动所有序列？）、协整（序列的线性组合能不能产生平稳性？）。接下来几篇的 VAR、VECM、因子模型，全建在这块多元地基上。

收尾:拿到一条新序列先问什么

把这篇的链条倒过来用，就是面对新数据的操作顺序。先问平稳吗——跑 ADF、画 ACF、看自相关是否衰减；再问自相关结构长什么样——ACF 配 PACF，找 AR 还是 MA 的特征；单位根要正式检验，也要看数据本身；有没有明显的状态切换或结构突变——目视检查加 Chow 检验；最后问经济背景是什么，它往往直接约束第一个问题的答案。

这个模块接下来的内容——ARMA、GARCH、VAR、状态空间、马尔可夫切换——都假设你至少暂时回答了这些问题。跳过地基，下游模型会以隐蔽方式失效：标准误是错的、预测是垃圾、关系是虚假的。而如果这篇你都吸收了，读 Hamilton 第 3 章和 Tsay 第 2 章不会迷路：你知道平稳过程是什么、白噪声是什么、鞅为什么在金融里出现、ACF 在测什么、凭什么 ARMA 对平稳数据是一套够用的工具。

下一篇从零搭 ARMA 家族。剧透一下：基本就是在白噪声上做多项式代数。

参考文献

Hamilton, J. D. (1994). Time Series Analysis. Princeton University Press. Ch. 1-3.
Tsay, R. S. (2010). Analysis of Financial Time Series (3rd ed.). Wiley. Ch. 1-2.
Box, G. E. P., & Jenkins, G. M. (1976). Time Series Analysis: Forecasting and Control. Holden-Day.
Slutsky, E. (1937). The summation of random causes as the source of cyclical processes. Econometrica, 5(2), 105-146.
Yule, G. U. (1927). On a method of investigating periodicities in disturbed series. Philosophical Transactions of the Royal Society A, 226, 267-298.
Wold, H. (1938). A Study in the Analysis of Stationary Time Series. Almqvist & Wiksell.
Brockwell, P. J., & Davis, R. A. (1991). Time Series: Theory and Methods (2nd ed.). Springer.
Doukhan, P. (1994). Mixing: Properties and Examples. Springer.