自相关的概念与内涵

滞后变量（lag variable）：对某个时间序列变量进行滞后变换后得到的新变量。

例如对时间序列变量 $Z_{2,t} \quad (t \in 1,2,\cdots, T)$进行滞后变换可以得到多个滞后变量： $Z_{2,t-1};Z_{2,t-2};\cdots;Z_{2,t-p};\cdots ; Z_{2,t-(T-1)}$。

自相关的概念与内涵

时间序列数据的两种相关关系：

• 序列相关（serial correlation）：两个不同时间序列变量之间（或/及它们的滞后变量之间） 的（线性）相关关系。

$$\begin{align} & cor(Z_{2,t},Z_{3,t})\\ & cor(Z_{2,t},Z_{3,t-1}); \quad \cdots; \quad cor(Z_{2,t},Z_{3,t-p}). \quad p \in 1,2,\cdots, T-1 \\ & cor(Z_{2,t-1},Z_{3,t}); \quad \cdots; \quad cor(Z_{2,t-p},Z_{3,t}). \quad p \in 1,2,\cdots, T-1 \end{align}$$

• 自相关（autocorrelation）：某个时间序列变量与其自身滞后变量的（线性）相关关系。

$$\begin{align} & cor(Z_{2,t},Z_{2,t-1}); \quad cor(Z_{2,t},Z_{2,t-2}); \quad \cdots; \quad cor(Z_{2,t},Z_{2,t-p}). \quad p \in 1,2,\cdots, T-1 \end{align}$$

自相关的概念与内涵

k变量总体回归模型(PRM)

$$\begin {align} Y_{t}=\beta_{1}+\beta_{2} X_{2t}+\beta_{3} X_{3t}+ \cdots +\beta_{k} X_{kt}+u_{t} \end {align}$$

经典线性回归模型假定（CLRM）在随机干扰项 $u_i$之间不存在自相关，也即：

$$\begin{align} E(u_tu_{t-p}) &=0;\quad p \in 1,2,\cdots, T-1 \end{align}$$

如果随机干扰项 $u_i$出现自相关时，则意味着违背了CLRM假设（其他假设仍旧成立）：

$$\begin{align} E(u_tu_{t-p}) & \neq 0;\quad p \in 1,2,\cdots, T-1 \end{align}$$

自相关的概念与内涵（模拟演示）

随机干扰项 $u_t$的几种自相关模式和非自相关模式可以表示为：

产生自相关的原因1

产生自相关的原因1：时间惯性的普遍存在。大多数经济时间序列变量都有时间惯性。

• GNP、价格指数、生产、就业和失业等时间序列变量都呈现出商业循环。

产生自相关的原因2

产生自相关的原因2-1：模型设定偏误——应含而未含某些重要变量（excluded variables） 。

• 以牛肉需求模型为例。其中： $Y_t$表示牛肉需求量； $X_{2t}$表示牛肉价格； $X_{3t}$表示消费者收入； $X_{4t}$表示猪肉价格。

$$\begin {align} Y_{t}=\beta_{1}+\beta_{2} X_{2t}+\beta_{3} X_{3t}+ \beta_{4} X_{4t}+u_{t} \end {align}$$

• 如果我们把上述模型做成如下情形，在猪肉价格影响牛肉消费的情形下，新模型的残差 $v_t$将表现出某种系统的模式。也即模型出现了错误设定，导致随机干扰项不满足CLRM假设。

$$\begin {align} Y_{t}=\alpha_{1}+\alpha_{2} X_{2t}+\alpha_{3} X_{3t}+v_{t} \end {align}$$

产生自相关的原因2

产生自相关的原因2-2：模型设定偏误——不正确的函数形式。

产生自相关的原因3

产生自相关的原因3：蛛网现象（Cobweb phenomenon）的存在。

• 以农产品供给模型为例。如果在 当期（t期）价格 $P_t$的低于前一期（t-1期）价格 $P_{t-1}$，那么在未来1期（t+1期），农户将会决定生产更少的农产品。如此往复决策，将会使得形成蛛网生产和价格模式。

$$\begin {align} Supply_{t} & =\beta_{1}+\beta_{2} P_{t-1}+u_{t} \end {align}$$

产生自相关的原因4

产生自相关的原因4：滞后效应的普遍存在。

• 以消费支出模型为例。当期消费（t期）还会受到前期（t-1期）消费水平的影响。这种带有因变量的滞后变量 $Consumption_{t-1}$的回归也叫自回归（auto-regression）。

$$\begin {align} Consumption_{t}=\beta_{1}+\beta_{2} Income_t+\beta_3 Consumption_{t-1}+u_{t} \end {align}$$

产生自相关的原因5

产生自相关的原因5：数据的“编造”。

-从月度数据计算得出季度数据，会减小波动，引进匀滑作用，使扰动项出现系统性模式

• 数据的内插（interpolation）：人口普查10年一次

• 数据的外推（extrapolation）

产生自相关的原因6

产生自相关的原因6：数据的“变换”。

• 例如，有时候我们可以构造如下的一阶差分模型，这类模型也被称为动态回归模型（Dynamic regression）。

$$\begin {align} Y_{t} &=\beta_{1}+\beta_{2} X_{t}+u_{t}\\ Y_{t-1} &=\beta_{1}+\beta_{2} X_{t-1}+u_{t-1}\\ \Delta Y_{t} &=\beta_{2} \Delta X_{t}+\Delta u_{t} \\ \Delta Y_{t} &=\beta_{2} \Delta X_{t}+v_{t} \end {align}$$

• 如果 $Y_t$和 $X_t$都是已经经过了对数化处理，则一阶差分变换后的模型中随机干扰项 $v_t$将会出现自相关模式。

产生自相关的原因7

产生自相关的原因7：时间序列非平稳性的广泛存在。

$$\begin {align} Y_{t} &=\beta_{1}+\beta_{2} X_{t}+u_{t} \end {align}$$

• 因变量 $Y_t$和自变量 $X_t$很可能都是非平稳的。因此随机干扰项 $u_t$也是非平稳的。此时，随机干扰项将表现出自相关。

自相关的几种模式：视角1

直接观察视角：我们可以从随机干扰项 $u_t$与其滞后变量 $u_{t-1},u_{t-2},\cdots, u_{t-p},\cdots, u_{t-(T-1)}$的散点图来观察自相关模式（比较容易理解）。

自相关的几种模式：视角2

间接观察视角：我们可以从随机干扰项 $u_t$随时间t的散点图变化来观察自相关模式（不太好理解）。

马尔可夫1阶自回归

下面给出自相关情形为马尔可夫1阶自回归模式：

$$\begin{aligned} Y_{t} &=\beta_{1}+\beta_{2} X_{t}+u_{t} \\ u_{t} &=\rho u_{t-1}+\varepsilon_{t} && \leftarrow \left[-1 <\rho<1 \right] \end{aligned}$$

• $\rho$被称为自协方差系数(coefficient of autocovariance)

$$\begin{aligned} \rho &=\frac{E\left[\left(u_{t}-E\left(u_{t}\right)\right)\left(u_{t-1}-E\left(u_{t-1}\right)\right)\right]} {\sqrt{\operatorname{var}\left(u_{t}\right)} \sqrt{\operatorname{var}\left(u_{t-1}\right)}} =\frac{E\left(u_{t} u_{t-1}\right)}{\operatorname{var}\left(u_{t-1}\right)} \end{aligned}$$

• $\varepsilon_t$是满足以下标准CLRM假定的随机干扰项。此时 $\varepsilon_t$也被成为白噪声误差项(white noise error Term)。

$$\begin {align} E\left(\varepsilon_{t}\right) &=0 \\ var\left(\varepsilon_{t}\right) &=\sigma^{2} \\ cov\left(\varepsilon_{t}, \varepsilon_{t+s}\right) &=0； \quad s \neq 0 \end {align}$$

出现自相关性时的态度1

态度1：忽视自相关性，坚持错误地使用CLRM假设下OLS方法的各种公式。

$$\begin{aligned} Y_{t} &=\beta_{1}+\beta_{2} X_{t}+u_{t} \\ u_{t} &=\rho u_{t-1}+\varepsilon_{t} && \leftarrow \left[-1 <\rho<1 \right] \end{aligned}$$

在自相关性存在的情形下（马尔科夫1阶自相关），却坚持使用OLS方法下的方差公式：

$$\begin {align} \hat{\beta}_{2} \parallel_{OLS}^{CLRM} =\frac{\sum x_{t} y_{t}}{\sum x_{t}^{2}} =\frac{n \sum X_{t} Y_{t}-\sum X_{t} \sum Y_{t}}{n \sum X_{t}^{2}-\left(\sum X_{t}\right)^{2}} \end {align}$$

$$\begin {align} \operatorname{var}\left(\hat{\beta}_{2}\right) \parallel_{OLS}^{CLRM} =\frac{\sigma^{2}}{\sum x_{t}^{2}} \end {align}$$

• 坚持使用的方差公式 $\operatorname{var}\left(\hat{\beta}_{2}\right) \parallel_{OLS}^{CLRM}$是有偏的，可能高估或低估其真实方差 $\operatorname{var}\left(\hat{\beta}_{2}\right)$。
• 坚持使用回归误差方差公式 $\hat{\sigma}^{2} \parallel_{OLS}^{CLRM}=\frac{\sum \mathrm{e}_{i}^{2}}{n-2}$，并不是真值 $\sigma^2$的无偏估计量。
• 进一步地，置信区间、t检验和F检验也将不准确。

出现自相关性时的态度2

态度2：承认“自相关性”这一事实，但仍旧使用OLS方法。

$$\begin{aligned} Y_{t} &=\beta_{1}+\beta_{2} X_{t}+u_{t} \\ u_{t} &=\rho u_{t-1}+\varepsilon_{t} && \leftarrow \left[-1 <\rho<1 \right] \end{aligned}$$

在自相关性存在的情形下（马尔科夫1阶自相关），仍旧使用OLS方法，得到估计量及其方差的“新公式”（细节见下一页slide）：

$$\begin {align} \hat{\beta}_{2} \parallel_{OLS}^{AR1} =\frac{\sum x_{t} y_{t}}{\sum x_{t}^{2}} =\frac{n \sum X_{t} Y_{t}-\sum X_{t} \sum Y_{t}}{n \sum X_{t}^{2}-\left(\sum X_{t}\right)^{2}} \end {align}$$

$$\begin {align} \operatorname{var}\left(\hat{\beta}_{2}\right) \parallel_{OLS}^{AR1} =\frac{\sigma^{2}}{\sum x_{t}^{2}} \frac{1+r \rho}{1-r \rho }= {var}\left(\hat{\beta}_{2}\right) \parallel_{OLS}^{CLRM} \cdot \frac{1+r \rho}{1-r \rho } \end {align}$$

• 系数估计量仍是一致的；方差公式是有偏的，可能高估或低估其真实方差 $\operatorname{var}\left(\hat{\beta}_{2}\right)$。

• 请验证 $r=0.6,\rho=0.8$时，二者的大小关系？

附录：方差计算细节

给定马尔科夫1阶自相关情形（AR(1)）：

$$\begin{aligned} Y_{t} &=\beta_{1}+\beta_{2} X_{t}+u_{t} \\ u_{t} &=\rho u_{t-1}+\varepsilon_{t} && \leftarrow \left[-1 <\rho<1 \right] \end{aligned}$$

$$\begin{aligned} \operatorname{var}\left(u_{t}\right) &=E\left(u_{t}^{2}\right)=\frac{\sigma_{\varepsilon}^{2}}{1-\rho^{2}} \\ \operatorname{cov}\left(u_{t}, u_{t-s}\right) &=\operatorname{cov}\left(u_{t}, u_{t+s}\right)=E\left(u_{t} u_{t-s}\right)=\rho^{s} \frac{\sigma_{\varepsilon}^{2}}{1-\rho^{2}} \\ \operatorname{cor}\left(u_{t}, u_{t-s}\right) &=\operatorname{cor}\left(u_{t}, u_{t+s}\right)=\rho^{s} \end{aligned}$$

附录：方差计算细节

$$\begin {align} \operatorname{var}\left(\hat{\beta}_{2}\right)^{AR1}_{OLS} &=\frac{\sigma^{2}}{\sum x_{t}^{2}}\left[1+2 \rho \frac{\sum x_{t} x_{t-1}}{\sum x_{t}^{2}}+2 \rho^{2} \frac{\sum x_{t} x_{t-2}}{\sum x_{t}^{2}}+\cdots+2 \rho^{n-1} \frac{x_{1} x_{n}}{\sum x_{t}^{2}}\right] \\ &=\frac{\sigma^{2}}{\sum x_{t}^{2}} \frac{1+r \rho}{1-r \rho } \quad \quad \leftarrow \left[ if \quad X_t=rX_{t-1}+v_t \right] \end {align}$$

• 若 $\rho=1$，上述方差和协方差将不能定义；若 $|\rho|< 1$， $u_t$的均值、方差和协方差都不随时间而变化。AR(1)过程被称为是平稳的。此时，协方差的值将随着两个误差的时间间隔越远而越小。

出现自相关性时的态度3

态度3：在自相关性存在情形下，首先想办法消除自相关性，再使用OLS方法。广义最小二乘法（GLS）下（如广义差分方程法），估计量及其方差公式可写成：

$$\begin {align} \hat{\beta}_{2} \parallel_{\mathrm{GLS}}^{AR1} & =\frac{\sum_{t=2}^{n}\left(x_{t}-\rho x_{t-1}\right)\left(y_{t}-\rho y_{t-1}\right)}{\sum_{t=2}^{n}\left(x_{t}-\rho x_{t-1}\right)^{2}}+C && \leftarrow \left[ \text{C is a correction factor} \right] \end {align}$$

$$\begin {align} \operatorname{var} (\hat{\beta}_{2})_{\mathrm{GLS}}^{AR1} & =\frac{\sigma^{2}}{\sum_{t=2}^{n}\left(x_{t}-\rho x_{t-1}\right)^{2}}+D && \leftarrow \left[ \text{D is a correction factor} \right] \end {align}$$

• 系数估计量是一致的

• 方差公式是无偏的，其期望将等于真实方差 $\operatorname{var}\left(\hat{\beta}_{2}\right)$。

• 此时，GLS得到的才是BLUE！（证明过程略）

出现自相关性时的态度：总结

• 态度1：“把头埋进沙堆的鸵鸟”

$$\begin {align} \operatorname{var}\left(\hat{\beta}_{2}\right) \parallel_{OLS}^{CLRM} =\frac{\sigma^{2}}{\sum x_{t}^{2}} \end {align}$$

• 态度2：“将错就错地走下去”

$$\begin {align} \operatorname{var}\left(\hat{\beta}_{2}\right) \parallel_{OLS}^{AR1} =\frac{\sigma^{2}}{\sum x_{t}^{2}} \frac{1+r \rho}{1-r \rho }= {var}\left(\hat{\beta}_{2}\right) \parallel_{OLS}^{CLRM} \cdot \frac{1+r \rho}{1-r \rho } \end {align}$$

• 态度3：“直面困难找出路”

$$\begin {align} \operatorname{var} (\hat{\beta}_{2})_{\mathrm{GLS}}^{AR1} & =\frac{\sigma^{2}}{\sum_{t=2}^{n}\left(x_{t}-\rho x_{t-1}\right)^{2}}+D && \leftarrow \left[ \text{D is a correction factor} \right] \end {align}$$

出现自相关时使用OLS 的后果

在自相关出现时，OLS 估计量仍是线性的、无偏的和一致性的，但不再是有效的（亦即最小方差）。那么，如果我们继续使用OLS估计量，我们平常的假设检验程序会遇到什么问题呢?主要有：

• 参数估计不再是有效估计量(亦即不再是方差最小)

• 参数的显著性检验失去意义

• 模型的预测失效

下面分两种情形来讨论其后果：

• 态度1：忽视自相关，采用OLS估计

• 态度2：考虑自相关，采用OLS估计

出现自相关时使用OLS 的后果（态度1和态度2）

对于态度1和态度2，执意采用OLS估计，将会：残差方差可能低估真实方差；高估可绝系数；或低估考虑一阶自回归的方差；检验无效，得出错误的结论。

$$\begin{aligned} Y_{t} &=\beta_{1}+\beta_{2} X_{t}+u_{t} \\ u_{t} &=\rho u_{t-1}+\varepsilon_{t} && \leftarrow \left[-1 <\rho<1 \right] \end{aligned}$$

出现自相关时使用OLS 的后果

实际经济分析中，正自相关性一般更为普遍，也即 $(0 < \rho < 1; 0< r <1)$。此时：

$$\begin {align} \operatorname{var}\left(\hat{\beta}_{2}\right) \parallel_{OLS}^{AR1} &=\frac{\sigma^{2}}{\sum x_{t}^{2}} \frac{1+r \rho}{1-r \rho }= {var}\left(\hat{\beta}_{2}\right) \parallel_{OLS}^{CLRM} \cdot \frac{1+r \rho}{1-r \rho } \\ \operatorname{var}\left(\hat{\beta}_{2}\right) \parallel_{OLS}^{AR1} & > {var}\left(\hat{\beta}_{2}\right) \parallel_{OLS}^{CLRM} \quad \quad \leftarrow \left[ \text{if} \quad 0 < \rho < 1; 0< r <1 \right] \end {align}$$

出现自相关时使用OLS 的后果

事实上，在AR(1)情形下采用广义最小二乘法（GLS）才能得到BLUE，意味着：

$$\begin {align} {var}\left(\hat{\beta}_{2}\right) \parallel_{OLS}^{AR1} > {var}\left(\hat{\beta}_{2}\right) \parallel_{OLS}^{CLRM} > {var}\left(\hat{\beta}_{2}\right) \parallel_{GLS}^{AR1} \end {align}$$

同时，也将意味着GLS方法下斜率系数的置信区间也将更窄：

启示：尽管OLS 估计量是无偏的和一致性的，但为了构造置信区间并检验假设，要用GLS而不用OLS！

蒙特卡洛模拟（数据生成1）

给定如下存在自相关情形AR(1)的模拟数据表（观测数 $T=$ 9）：

$$\begin{aligned} Y_{t} &=1 +0.8 X_{t}+u_{t} \\ u_{t} &=0.7 u_{t-1}+\varepsilon_{t} && \leftarrow \left[ u_0=5 \right]\\ \varepsilon_t & \sim N(0,1) && \leftarrow \left[ \varepsilon_0=0 \right] \end{aligned}$$

蒙特卡洛模拟（随机干扰项模式1）

存在自相关情形AR(1)的模拟数据，随机干扰项 $u_t$的分布模式如下：

蒙特卡洛模拟（回归分析1）

对以上存在AR(1)的模拟数据，我们构建如下的回归模型，并坚持采用OLS方法得到估计结果：

$$\begin{equation} \begin{alignedat}{999} &Y_t=&& + \beta_{1} && + \beta_{2} X_{t}&&+u_t\\ \end{alignedat} \end{equation}$$

$$\begin{equation} \begin{alignedat}{999} &\widehat{Y_t}=&&+4.30&&+0.51X_{t}\\ &\text{(t)}&&(6.7249)&&(4.4750)\\&\text{(se)}&&(0.6389)&&(0.1135)\\&\text{(fitness)}&& R^2=0.7410;&& \bar{R^2}=0.7040\\& && F^{\ast}=20.03;&& p=0.0029 \end{alignedat} \end{equation}$$

蒙特卡洛模拟（回归线1）

对OLS方法下的样本回归线（SRL1）绘图，并与真实的总体回归线（PRL）进行对比：

$$\begin{aligned} E(Y|X_{t}) &=1 +0.8 X_{t} && (PRL/PRF) \end{aligned}$$

蒙特卡洛模拟（数据生成2）

如果我们使用符合CLRM假设的模拟数据 $(Y_t^*, X_t)$，其中：

$$\begin{aligned} Y_{t}^* &=1 +0.8 X_{t}+\varepsilon_{t} \\ \varepsilon_t & \sim N(0,1) && \leftarrow \left[ \varepsilon_0=0 \right] \end{aligned}$$

蒙特卡洛模拟（随机干扰项模式2）

符合CLRM假设的模拟数据，随机干扰项 $\varepsilon_t$的分布模式如下：

蒙特卡洛模拟（回归分析2）

对以上符合CLRM假设模拟数据，我们构建如下的回归模型，并采用OLS方法得到估计结果：

$$\begin{equation} \begin{alignedat}{999} &\widehat{NewY_t}=&&+0.48&&+0.73X_{t}\\ &\text{(t)}&&(0.6331)&&(5.4323)\\&\text{(se)}&&(0.7569)&&(0.1345)\\&\text{(fitness)}&& R^2=0.8083;&& \bar{R^2}=0.7809\\& && F^{\ast}=29.51;&& p=0.0010 \end{alignedat} \end{equation}$$

蒙特卡洛模拟（回归线2）

对OLS方法下的样本回归线（SRL2）绘图，并与真实的总体回归线（PRL）进行对比：

$$\begin{aligned} E(Y|X_{t}) &=1 +0.8 X_{t} && (PRL/PRF) \end{aligned}$$

工资与生产率案例

• $Y_t$表示时均真实工资指数；

• $X_t$表示生产效率指数

散点图

回归分析

对以上数据，我们可以分别构建如下的经典线性回归模型和双对数模型，并坚持采用OLS方法得到估计结果：

思考：

• 我们的数据是否受到自相关问题的困扰？

• 我们如何发现自相关问题并加以纠正?

图示法

图示法重点关注模型残差序列（ $e_t$）是否存在某种系统化模式。总体回归模型PRM中随机干扰项 $u_t$是不能直接观测到，所以可通过观察样本回归模型SRM中残差的行为模式，间接诊断随机干扰项是否存在自相关性问题。

• 图形1：残差序列 $e_t$时序图（serial plot，也即残差 $e_t$随时期 $t$的变化图）。

• 图形2：残差序列 $e_t$与残差1阶滞后序列 $e_{t-1}$的散点图（scatter plot）。

• 图形3：残差序列 $e_t$与残差p阶滞后序列 $e_{t-p},\quad p \in (2,3,\cdots,T-1)$的散点图（scatter plot）。

图示法：案例演示（主回归）

首先构建如下双对数主回归模型：

$$\begin{equation} \begin{alignedat}{999} &log(Y_t)=&& + \hat{\beta}_{1} && + \hat{\beta}_{2} log(X_{t)}&&+e_i\\ \end{alignedat} \end{equation}$$

双对数主回归模型回归结果为：

$$\begin{equation} \begin{alignedat}{999} &\widehat{log(Y_t)}=&&+1.61&&+0.65log(X_{t)}\\ &\text{(t)}&&(29.3680)&&(52.7996)\\&\text{(se)}&&(0.0547)&&(0.0124)\\&\text{(fitness)}&& R^2=0.9845;&& \bar{R^2}=0.9841\\& && F^{\ast}=2787.80;&& p=0.0000 \end{alignedat} \end{equation}$$

图示法：案例演示（主回归EViews报告）

作为对照，下面给出的是主模型的EViews报告：

图示法：案例演示（残差数据）

得到主回归模型的残差序列 $e_t$、残差1阶滞后序列 $e_{t-1}$，以及标准化变换的残差序列 $e_t^*=\frac{e_t}{S_{e_t}}$：

提示： $Y_t$表示时均真实工资指数； $X_t$表示生产效率指数； $e_t^*=\frac{e_t}{S_{e_t}}=\frac{e_t}{\sum{e_t^2}/(T-1)}$

图示法：案例演示（残差模式1）

残差序列（ $e_t$）和1/100标准化残差（ $0.01e_t^*$）时序图（serial plot）如下：

图示法：案例演示（残差模式2）

残差序列 $e_t$与残差1阶滞后序列 $e_{t-1}$的散点图（scatter plot）为：

辅助回归法

思路：利用样本数据，构建并分析残差 $e_t$序列对 $e_{t-1},e_{t-2},\cdots$序列的辅助回归方程，从而间接判断随机干扰项 $u_t$的自相关性模式。

考虑如下的对应关系：

$$\begin {align} u_t & = \rho_1 u_{t-1} + \rho_2 u_{t-2} + \cdots + \rho_p u_{t-p} && \quad p \in (1, 2, \cdots, T-1) \\ e_t & = \hat{\rho}_1 e_{t-1} + \hat{\rho}_2 e_{t-2} + \cdots + \hat{\rho}_p e_{t-p} + v_i && \quad p \in (1, 2, \cdots, T-1) \end {align}$$

辅助回归法

步骤：

• 构建主回归模型，并进行OLS估计，得到残差序列（及其滞后p阶序列）；

• 根据残差图模式，构建相应的残差辅助回归方程（无截距模型），根据回归报告，得到主模型是否存在自相关性问题的初步结论。

诊断依据：

• 如果残差辅助回归方程的F检验显著，则表明主模型存在残差辅助回归方程所示的自相关性问题。

• 如果残差辅助回归方程的F检验不显著，则表明主模型不存在残差辅助回归方程所示的自相关性问题。

辅助回归法：OLS估计

利用主回归模型的残差序列 $e_t$，我们可以构建如下的辅助回归模型：

$$\begin {align} e_t & = \hat{\rho}_1 e_{t-1} + v_i \end {align}$$

OLS估计的简要报告如下：

$$\begin{equation} \begin{alignedat}{999} &\widehat{et}=&&+0.87et.l1\\ &\text{(t)}&&(12.7360)\\&\text{(se)}&&(0.0681)\\&\text{(fitness)}&& R^2=0.7866;&& \bar{R^2}=0.7818\\& && F^{\ast}=162.21;&& p=0.0000 \end{alignedat} \end{equation}$$

提示：et表示残差序列 $e_t$，et.l1表示残差序列的1阶滞后变量 $e_{t-1}$。

自相关和偏相关分析法

思路：分析残差 $e_t$序列对 $e_{t-1},e_{t-2},\cdots$序列的自相关和偏相关统计图表报告（注意滞后阶数的选择）。

步骤：

• 对主模型进行OLS估计，得到残差 $e_t$序列

• 利用统计软件（EViews或R等）绘制残差序列的自相关和偏相关图表

• 观察和比对残差序列的自相关和偏相关图表，得到主模型是否存在自相关性问题的初步结论。

诊断依据：

• 观察自相关图和偏相关图的组合关系，判断残差序列的自相关性模式。

$$\begin {align} e_t & = \hat{\rho}_1 e_{t-1} + \hat{\rho}_2 e_{t-2} + \cdots + \hat{\rho}_p e_{t-p} + v_i && \quad p \in (1, 2, \cdots, T-1) \end {align}$$

案例：残差的自相关分析（ACF）（R软件）

对于工资和劳动率案例，残差 $e_t$序列的自相关图（ACF）为：

残差序列et的自相关图（ACF）

案例：残差序列的偏自相关分析（PACF）（R软件）

对于工资和劳动率案例，残差 $e_t$序列的偏自相关图（PACF）为：

残差序列et的偏自相关图

案例：残差序列的自相关和偏自相关分析（EViews软件）

残差自相关和偏相关分析的Eviews操作

案例：残差序列的自相关和偏自相关分析（EViews软件）

残差自相关和偏相关的Eviews报告

德宾-沃森检验法（Durbin-Watson test）

假设总体回归模型PRM存在如下1阶自相关,则可以认为存在：：

$$\begin{aligned} Y_{t} &=\beta_{1}+\beta_{2} X_{t}+u_{t} \\ u_{t} &=\rho u_{t-1}+\varepsilon_{t} && \leftarrow \left[-1 <\rho<1 \right] \end{aligned}$$

$$\begin {align} Y_{t} &=\hat{\beta}_{1}+\hat{\beta}_{2} X_{t}+e_{t} \\ e_t & = \hat{\rho} e_{t-1} + v_i \end {align}$$

那么就可以构造得到如下的样本Durbin-Watson的d统计量：

$$\begin {align} d=\frac{\sum_{2}^{T}\left(\mathrm{e}_{t}-e_{t-1}\right)^{2}}{\sum_{1}^{T} e_{t}^{2}} \end {align}$$

• 它其实是用相继残差的差异的平方和与“残差平方和RSS”之比。

• 由于取相继差异时损失1个观测值，德宾-沃森d统计量的分子只有 $T-1$次观测值。

德宾-沃森检验法（Durbin-Watson test）

$$\begin{align} d &=\frac{\sum_{2}^{T}\left(\mathrm{e}_{t}-e_{t-1}\right)^{2}}{\sum_{2}^{T} e_{t}^{2}} \\ &=\frac{\sum \mathrm{e}_{t}^{2}+\sum e_{t-1}^{2}-2 \sum e_{t} e_{t-1}}{\sum e_{t}^{2}} && \leftarrow \left[ \sum e_{t}^{2} \approx \sum e_{t-1}^{2} \right]\\ & \doteq 2\left(1-\frac{\sum e_{t} e_{t-1}}{\sum e_{t}^{2}}\right) && \leftarrow \left[ \hat{\rho}=\frac{\sum e_{t} e_{t-1}}{\sum e_{t}^{2}} \right] \\ &=2(1-\hat{\rho}) \end{align}$$

因为 $0 \leq \hat{\rho} \leq 1$，所以德宾-沃森d统计量 $0 \leq d \leq 4$，并具有如下特征：

• 如果 $\hat{\rho}=+1$，则 $d=0$，此时残差序列存在完全1阶正自相关性。

• 如果 $\hat{\rho}=0$，则 $d=2$，此时残差序列不存在自相关性。

• 如果 $\hat{\rho}=-1$，则 $d=4$，此时残差序列存在完全1阶负自相关性。

德宾-沃森检验法（Durbin-Watson test）

德宾-沃森检验法的步骤：

• 对主模型进行OLS估计，得到残差 $e_t$序列

• 得到主回归方程分析报告中的德宾-沃森d统计量（Durbin-Watson）

• 查找德宾-沃森统计量（Durbin-Watson）理论表，找到理论下界值 $d_L$和理论上界值 $d_U$。

• 比较德宾-沃森d统计量与查表值之间的关系，根据诊断依据，得到主模型是否存在自相关性问题的初步结论。

Durbin-Watson统计量服从 $\chi^2(n,k,\alpha)$ 分布，具体可以参看Eviews在线帮助文档

下界值 $d_L$和上界值 $d_U$的理论值使用bootstrap方法仿真计算得到，与 $(n,k,\alpha)$有关

下界值 $d_L$和上界值 $d_U$的理论查表值可以参考在线文档

德宾-沃森检验法（Durbin-Watson test）

德宾-沃森检验法的诊断依据（后视镜法则）：

• 如果 $0< d <d_L$，则表明主模可能存在的1阶正自相关问题。

• 如果 $4-d_L< d <4$，则表明主模型可能存在的1阶负自相关问题。

德宾-沃森检验法（Durbin-Watson test）

德宾-沃森检验法的诊断依据（后视镜法则）：

德宾-沃森检验法（Durbin-Watson test）

德宾-沃森检验法的适用条件：

• 回归模型含有截距项，如果没有截距项，就必须重新做带有截距的回归

• 解释变量 $X_{2t},X_{3t},\cdots,X_{kt}$是非随机的，或者说，在反复抽样中是被固定的.

• 随机干扰项 $u_t$是按1阶自回归模式产生的：

$$\begin{aligned} Y_{t} &=\beta_{1}+\beta_{2} X_{2t} +\beta_{3} X_{3t}+ \cdots +\beta_{k} X_{kt} +u_{t} \\ u_{t} &=\rho u_{t-1}+\varepsilon_{t} && \leftarrow \left[-1 <\rho<1 \right] \end{aligned}$$

• 因变量 $Y_t$的滞后变量 $Y_{t-1}, Y_{t-2}, \cdots,Y_{t-q}$不能当作解释变量之一。如模型：

$$\begin {align} Y_{t}=\beta_{1}+\beta_{2} X_{2 t}+\beta_{3} X_{3 t}+\cdots+\beta_{k} X_{k t}+\gamma Y_{t-1}+u_{t} \end {align}$$

• 没有数据缺损，如果数据缺失，d统计量无法补偿。

案例：德宾-沃森检验（EViews报告）

主回归模型Eviews操作

案例：德宾-沃森检验（EViews报告）

主回归模型Eviews报告

拉格朗日乘数检验法（LM test）

拉格朗日乘数检验（LM test），也称为布罗施-戈弗雷检验（Breusch-Goldfrey，BG test）。

拉格朗日乘数检验假定随机干扰项 $u_t$服从如下的p阶自回归模式AR(p)：

$$\begin{aligned} Y_{t} &=\beta_{1}+\beta_{2} X_{2t} +\beta_{3} X_{3t}+ \cdots +\beta_{k} X_{kt} +u_{t} \\ u_{t} &=\rho_1 u_{t-1}+ \rho_2 u_{t-2}+ \cdots + \rho_p u_{t-p}+ \varepsilon_{t} \end{aligned}$$

拉格朗日乘数检验的原假设为： $H_0: \rho_1= \rho_2=\cdots=\rho_p=0$

拉格朗日乘数检验法（LM test）

拉格朗日乘数检验的适用条件：

• 可以对高阶自相关模式[AR(p)]进行检验

• 允许非随机回归元

• 允许随机干扰项为自回归异动平均ARMA(p,q)模式。也即：

$$\begin{aligned} Y_{t} &=\beta_{1}+\beta_{2} X_{2t} +\beta_{3} X_{3t}+ \cdots +\beta_{k} X_{kt} +u_{t} \\ u_{t} &=\rho_1 u_{t-1}+ \rho_2 u_{t-2}+ \cdots + \rho_p u_{t-p}+ \varepsilon_{t} +\lambda_1\varepsilon_{t-1} +\lambda_2\varepsilon_{2} +\cdots +\lambda_q\varepsilon_{t-q} \\ \varepsilon_{t} & \sim iid N(0,1) \end{aligned}$$

拉格朗日乘数检验法（LM test）

拉格朗日乘数检验的步骤：

• 对主模型进行OLS估计，得到残差 $e_t$序列

• 再利用主回归模型的残差序列，做如下的LM辅助回归：

$$\begin{aligned} resid_{t} &=\hat{\alpha}_1 + \hat{\alpha}_2 X_{2t} + \hat{\alpha}_3 X_{3t} +\cdots + \hat{\alpha}_k X_{kt} +\hat{\rho}_1 e_{t-1}+ \hat{\rho}_2 e_{t-2}+ \cdots + \hat{\rho}_p e_{t-p}+ v_t \end{aligned}$$

• 计算LM辅助回归方程的判定系数 $R^2$，并得到如下LM统计量（卡方统计量）：

$$\begin {align} LM \equiv {\chi^2}^{\ast}=(n-p)R^2 \sim \chi^{2}(p) \end {align}$$

拉格朗日乘数检验法（LM test）

拉格朗日乘数检验的诊断依据：

• 如果LM辅助回归方程的卡方检验显著，也即 $LM \equiv {\chi^2}^{\ast} > \chi^2_{1-\alpha}(p)$（对应的概率值P< 0.1），则表明主模型是存在LM辅助回归方程形式的自相关性问题。

• 如果LM辅助回归方程的卡方检验不显著，也即 $LM \equiv {\chi^2}^{\ast}< \chi^2_{1-\alpha}(p)$（对应的概率值P>0.1），则表明主模型是不存在LM辅助回归方程形式的自相关性问题。

案例：拉格朗日乘数检验

工资-劳动率案例中，双对数主回归模型及其OLS回归结果为：

$$\begin{equation} \begin{alignedat}{999} &\widehat{log(Y_t)}=&&+1.61&&+0.65log(X_{t)}\\ &\text{(t)}&&(29.3680)&&(52.7996)\\&\text{(se)}&&(0.0547)&&(0.0124)\\&\text{(fitness)}&& R^2=0.9845;&& \bar{R^2}=0.9841\\& && F^{\ast}=2787.80;&& p=0.0000 \end{alignedat} \end{equation}$$

我们可以利用残差序列构建 $p=1$的LM辅助回归方程：

$$\begin{align} e_{t} &=\hat{\alpha}_1 + \hat{\alpha}_2 X_{2t} +\hat{\rho}_1 e_{t-1}+ v_t \end{align}$$

案例：拉格朗日乘数检验（R软件）

采用R软件的拉格朗日乘数检验结果为：

    Breusch-Godfrey test for serial correlation of order
    up to 1
data:  lm.main
LM test = 34.02, df = 1, p-value = 5.456e-09

$$\begin{align} resid_t = +0.0063 -0.0015log(X_t)+0.8687lag(resid)_1 \end{align}$$

• 根据LM辅助方程的计算结果，LM统计量为 $LM={\chi^2}^{\ast}=$ 34.0196，其对应的概率值p为0.0000。

• 查表也可知在当 $n=$ 46, $k=$ 2, $\alpha=0.05$时， $\chi^2_{1-\alpha}(p)=\chi^2_{0.95}($ 1 )= 3.841459要远远小于样本LM统计量值。

• 因此认为主模型可能存在自相关性问题。

提示： $resid_t$表示 $e_t$； $lag(resid)_1$表示 $e_{t-1}$。

案例：拉格朗日乘数检验（EViews软件）

拉格朗日自相关检验的Eviews操作

案例：拉格朗日乘数检验（EViews软件）

拉格朗日自相关检验的Eviews报告

广义差分方程法（自相关系数已知）

广义差分方程法 ：对主回归方程进行合适的广义差分变换，使得变换以后的新模型不再有自相关问题，然后再使用OLS方法估计，从而得到参数估计的BLUE。

广义差分法变换法属于广义最小二乘法（GLS）的一种，专门用来处理随机干扰项出现自相关性问题的一种常用方法。

广义差分方程法（自相关系数已知）

广义差分方程法的原理：如果主模型随机干扰项的自相关系数 $\rho$已知，则可以直接用差分变换得到新模型，容易证明新模型将不再有自相关问题。

下面将说明1阶自相关情形AR(1)下的广义差分变换的理论过程：

$$\begin{align} Y_t & =\beta_1+\beta_2X_{2t}+u_{t} && \text{(PRM)}\\ u_t & =\rho u_{t-1}+\varepsilon_t && \text{(AR(1))} \\ \rho Y_{t-1} & =\rho \beta_1+\beta_2\rho X_{2t-1}+\rho u_{t-1} && \text{(Lag 1 Model)} \\ (Y_t-\rho Y_{t-1}) & =\beta_1(1-\rho)+\beta_2(X_{2t}-\rho X_{2t-1})+(u_t-\rho u_{t-1}) && (\Delta\text{ Model} ) \\ Y^{\ast}_t & =\beta^{\ast}_1+\beta^{\ast}_2X^{\ast}_{2t}+\varepsilon_{t} && \text{(Adjusted Model)} \end{align}$$

其中，AR(1)模型中的 $\varepsilon_t\sim i.i.d\ \ N(0,\sigma^2_{\varepsilon})$。

广义差分方程法：基于残差辅助方程

矫正思路：如果主模型随机干扰项的自相关系数未知，则可以直接用基于残差辅助方程估计得到 $\hat{\rho}$；再根据 $\rho\simeq\hat{\rho}$用广义差分变换得到新模型，容易证明新模型将不再有自相关问题。

如下将展示1阶自相关AR(1)情形下的广义差分变换的理论过程：

$$\begin{align} Y_t & =\beta_1+\beta_2X_{2t}+u_{t} && \text{PRM} \\ u_t & =\rho u_{t-1}+\varepsilon_t && \text{AR(1)} \\ Y_t & =\hat{\beta}_1+\hat{\beta}_2X_{2t}+e_{t} && \text{SRM} \\ e_t & =\hat{\rho}e_{t-1}+v_t && \text{Auxiliary Model} \\ \rho & \simeq \hat{\rho} \\ \rho Y_{t-1} & =\rho \beta_1+\beta_2\rho X_{2t-1}+\rho u_{t-1} && \text{Lag 1 Model} \\ (Y_t-\rho Y_{t-1}) & =\beta_1(1-\rho)+\beta_2(X_{2t}-\rho X_{2t-1})+(u_t-\rho u_{t-1}) && \Delta1\text{ Model} \\ Y^{\ast}_t & =\beta^{\ast}_1+\beta^{\ast}_2X^{\ast}_{2t}+\varepsilon_{t} && \text{Adjusted Model} \end{align}$$

其中，AR(1)模型中的 $\varepsilon_t\sim i.i.d\ \ N(0,\sigma^2_{\varepsilon})$。

案例矫正：基于残差辅助方程（EViews软件）

基于残差辅助方程近似计算自相关系数

案例矫正：基于残差辅助方程（EViews软件）

基于残差辅助方程的广义差分矫正操作

案例矫正：基于残差辅助方程（EViews软件）

基于残差辅助方程的广义差分矫正报告

广义差分方程法：基于D-W统计量

矫正思路：如果主模型随机干扰项的自相关系数未知，则可以基于Durbin-Waston检验的d统计量计算得到 $\hat{\rho}$，再根据 $\rho\simeq\hat{\rho}$用广义差分变换得到新模型，容易证明新模型将不再有自相关问题。

如下将展示一阶自相情形下的广义差分变换的理论过程

$$\begin{align} Y_t & =\beta_1+\beta_2X_{2t}+u_{t} && \text{PRM} \\ u_t & =\rho u_{t-1}+\varepsilon_t && \text{AR(1)} \\ d & \simeq2(1-\hat{\rho}) && \text{Durbin-Waston} \\ \hat{\rho} & \simeq 1-d/2 \\ \rho & \simeq \hat{\rho} \\ \rho Y_{t-1} & =rho \beta_1+\beta_2\rho X_{2t-1}+\rho u_{t-1} && \text{Lag 1 Model}\\ (Y_t-\rho Y_{t-1}) & =\beta_1(1-\rho)+\beta_2(X_{2t}-\rho X_{2t-1})+(u_t-\rho u_{t-1}) && \Delta1\text{ Model} \\ Y^{\ast}_t & =\beta^{\ast}_1+\beta^{\ast}_2X^{\ast}_{2t}+\varepsilon_{t} && \text{Adjusted Model} \end{align}$$

其中，AR(1)模型中的 $\varepsilon_t\sim i.i.d\ \ N(0,\sigma^2_{\varepsilon})$。

案例矫正：基于D-W统计量

基于Durbin-Waston统计量近似计算自相关系数

案例矫正：基于D-W统计量

基于Durbin-Waston统计量的广义差分模型矫正操作

案例矫正：基于D-W统计量

基于Durbin-Waston统计量的广义差分模型矫正报告

可行广义最小二乘法(FGLS)：基迭代法

矫正思路：

• 如果主模型随机干扰项的自相关系数未知，而且存在高阶自相关情形，则可以使用基于迭代的可行广义最小二乘法(FGLS)计算得到 $\hat{\rho_1},\hat{\rho_2},\cdots,\hat{\rho_p}\ \quad p\in(1,2,\cdots)$，再根据 $\rho\simeq\hat{\rho}$用广义差分变换得到新模型，容易证明新模型将不再有自相关问题。

• 这些迭代方法主要包括:

  • 科克伦-奥克特迭代法(Cochrane-Orcutt iterative procedure) ；

  • 科克伦-奥克特两步法(Cochrane-Orcutt two-step procedure) ；

  • 德宾两步法(Durbin two-step procedure) ；

  • 希尔德雷思-卢扫描或搜寻程序(Hildreth-Lu scanning or search procedure) 等

可行广义最小二乘法(FGLS)：基于迭代法

如下将展示科克伦-奥克特迭代法下对二阶自相关（ $AR(p),p=2$）情形下的广义差分变换的理论过程

$$\begin{align} Y_t & =\beta_1+\beta_2X_{2t}+u_{t} && \text{PRM} \\ u_t & =\rho_1u_{t-1}+\rho_2u_{t-2}+\varepsilon_t && \text{AR(2)} \\ \cdots & && \text{Cochrane-Orcutt iterative} \notag \\ \rho_p & \simeq \hat{\rho_p} \notag \\ \rho_1Y_{t-1} & =\rho_1\beta_1+\beta_2\rho_1X_{2t-1}+\rho_1u_{t-1} && \text{Lag 1 Model} \\ \rho_2Y_{t-2} & =\rho_2\beta_1+\beta_2\rho_2X_{2t-2}+\rho_2u_{t-2} && \text{Lag 2 Model} \\ \end{align}$$

$$\begin{align} (Y_t-\rho_1Y_{t-1}-\rho_2Y_{t-2}) & =\beta_1(1-\rho_1-\rho_2) +\beta_2(X_{2t}-\rho_1X_{2t-1}-\rho_2X_{2t-2}) \\ & +(u_t-\rho_1u_{t-1}-\rho_2u_{t-2}) && \Delta2\text{ Model} \\ Y^{\ast}_t &=\beta^{\ast}_1+\beta^{\ast}_2X^{\ast}_{2t}+\varepsilon_{t} && \text{Adjusted Model} \end{align}$$

矫正案例：基于迭代法（FGLS）

基于科克伦-奥克特迭代法的FGLS模型矫正Eviews操作

矫正案例：基于迭代法（FGLS）

基于科克伦-奥克特迭代法的FGLS模型矫正Eviews报告

矫正案例：基于迭代法（FGLS）

基于科克伦-奥克特迭代法近似计算的自相关系数

一致性标准误校正法（HAC）：尼威-威斯特(Newey-West)

目标：直接用尼威-威斯特(Newey-West)一致性标准误矫正流程方法，构建回归分析模型，此时模型的自相关问题将会有所缓解。

矫正思路：利用统计软件（Eviews或R等），进行基于尼威-威斯特(Newey-West)一致性标准误矫正程序的建模分析。

理论提示：（数学表达和证明过程略）

• 异方差-自相关一致性标准误（heteroscedasticity-autocorralation consistent standard errors，HAC）也被简称为尼威-威斯特一致性标准误(Newey-West consistent standard errors)

• 尼威-威斯特(Newey-West)一致性标准误矫正程序或菜单，在主流的统计软件里都会配置

• 尼威-威斯特(Newey-West)一致性标准误矫正程序，严格意义上对于大样本数据是有效的，因此不太适合于小样本数据的情形。

矫正案例：一致性标准误校正法（HAC）

尼威-威斯特(Newey-West)矫正法的操作

矫正案例：一致性标准误校正法（HAC）

尼威-威斯特(Newey-West)矫正法的Eviews报告