06-multiple-reg-matrix-slide.knit

# 计量经济学(Econometrics)

### 胡华平

### 西北农林科技大学

### 经济管理学院数量经济教研室

### huhuaping01@hotmail.com

### 2023-02-15

<div>
<style type="text/css">.xaringan-extra-logo {
width: 110px;
height: 70px;
z-index: 0;
background-image: url(../pic/logo/nwafu-logo-circle-wb.png);
background-size: contain;
background-repeat: no-repeat;
position: absolute;
top:0.2em;left:1em;
}
</style>
<script>(function () {
  let tries = 0
  function addLogo () {
    if (typeof slideshow === 'undefined') {
      tries += 1
      if (tries < 10) {
        setTimeout(addLogo, 100)
      }
    } else {
      document.querySelectorAll('.remark-slide-content:not(.title-slide):not(.inverse):not(.hide_logo)')
        .forEach(function (slide) {
          const logo = document.createElement('div')
          logo.classList = 'xaringan-extra-logo'
          logo.href = null
          slide.appendChild(logo)
        })
    }
  }
  document.addEventListener('DOMContentLoaded', addLogo)
})()</script>
</div>

---
class: center, middle, duke-orange,hide_logo
name: chapter06b

# 第6章：多元回归：矩阵部分

[6.1 k变量模型的矩阵表达](#expression)

[6.2 模型假设的矩阵表达](#assumption)

[6.3 OLS估计的矩阵表达](#OLS)

[6.4 假设检验的矩阵表达](#hypothesis)

[6.5 模型预测的矩阵表达](#forecast)

[6.6 矩阵方法总结（示例）](#case)

---
layout: false
class: center, middle, duke-softblue,hide_logo
name: expression

# 6.1 k变量模型的矩阵表达

---
layout: true
  
<div class="my-header-h2"></div>
<div class="watermark1"></div>
<div class="watermark2"></div>
<div class="watermark3"></div>

<div class="my-footer"><span>huhuaping@   <a href="#chapter06b">第06章 多元回归II：矩阵部分</a>
&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;
&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;
<a href="#expression">6.1 k变量模型的矩阵表达</a> </span></div>

---

## k变量线性回归模型

k变量总体回归模型(PRM)

`$$\begin {align} 
Y_{i}=\beta_{1}+\beta_{2} X_{2i}+\beta_{3} X_{3i}+ \cdots +\beta_{k} X_{ki}+u_{i} 
\end {align}$$`

其n个联立方程组为：

`$$\begin {align} 
Y_{1} &=\beta_{1}+\beta_{2} X_{21}+\beta_{3} X_{31}+\cdots+\beta_{k} X_{k 1}+u_{1} \\ 
Y_{2} &=\beta_{1}+\beta_{2} X_{22}+\beta_{3} X_{32}+\cdots+\beta_{k} X_{k 2}+u_{2} \\ 
& \ldots \ldots \ldots \ldots \ldots \ldots \ldots \ldots \ldots \ldots \ldots \\ 
Y_{n} &=\beta_{1}+\beta_{2} X_{2 n}+\beta_{3} X_{3 n}+\cdots+\beta_{k} X_{k n}+u_{n} 
\end {align}$$`

---

## k变量线性回归模型

如果样本数为n，则可以将上述PRM模型表达为矩阵形式：

`$$\begin{equation}
  \begin{bmatrix}
  Y_1 \\  Y_2 \\  \cdots \\  Y_n \\
  \end{bmatrix}  =
  \begin{bmatrix}
  1 &  X_{21} & X_{31} & \cdots &  X_{k1} \\
  1 &  X_{22} & X_{32} & \cdots &  X_{k2} \\
  \cdots &  \cdots & \cdots & \cdots &  \cdots \\
  1 &  X_{2n} & X_{3n} & \cdots &  X_{kn}
  \end{bmatrix}
  \begin{bmatrix}
  \beta_1 \\  \beta_2 \\  \vdots \\  \beta_k \\
  \end{bmatrix}+
  \begin{bmatrix}
  u_1 \\  u_2 \\  \vdots \\  u_n \\
  \end{bmatrix}
\end{equation}$$`

进一步地，可以得到精简化的PRM矩阵形式：
`$$\begin{alignat}{4}
\boldsymbol{y} &= &\boldsymbol{X}&\boldsymbol{\beta}&+&\boldsymbol{u}\\
(n \times 1) &  &{(n \times k)} &{(k \times 1)}&+&{(n \times 1)}
\end{alignat}$$`

---

## k变量线性回归模型

或者进一步紧凑表达为：
`$$\begin {align} 
\boldsymbol{y}=\boldsymbol{X} \boldsymbol{\beta}+\boldsymbol{u}
\end {align}$$`

其中：

* **向量**（默认为列向量）用加粗体的小写字母表达
* **矩阵**用大写粗体字母表达
* 矩阵或向量的**维度**需要注意标明

---
layout: false
class: center, middle, duke-softblue,hide_logo
name: assumption

# 6.2 模型假设的矩阵表达

---
layout: true
  
<div class="my-header-h2"></div>
<div class="watermark1"></div>
<div class="watermark2"></div>
<div class="watermark3"></div>

<div class="my-footer"><span>huhuaping@   <a href="#chapter06b">第06章 多元回归II：矩阵部分</a> 
&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;
&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;
<a href="#assumption">6.2 模型假设的矩阵表达</a> </span></div>

---

## 经典线性回归模型假设(N-CLRM)的矩阵表达

进一步地，我们可以用矩阵方法表达正态经典线性回归模型假设（N-CLRM）：

**N-CLRM假设1-1**：模型是正确设置的。（这里大有学问，也是一切计量分析问题的根本来源）

**N-CLRM假设1-2**：模型应该是参数线性的。也即模型中**参数**必须线性，变量可以不是线性。

**CLRM假设2-1**：X是固定的（给定的）或独立于误差项。也即自变量X**不是**随机变量。或者表达为矩阵
`$\boldsymbol{X}_{n*k}$`是非随机的，即它由固定数的一个集合构成。

**N-CLRM假设2-2**：多元回归情形下，自变量
`$X$`间无**完全共线性**。可记为
`$\rho(\boldsymbol{X})=k$`，也即矩阵
`$\boldsymbol{X}$`为**列满秩**

- 矩阵
`$\boldsymbol{X}$`是列满秩(full column rank) 的， 也即其秩等于矩阵的列数。

- 矩阵
`$\boldsymbol{X}$`的列是线性独立的，即在
`$X_{ki}$` 变量之间无完全的线性关系即无**完全共线性**

---

## 经典线性回归模型假设(N-CLRM)的矩阵表达

**N-CLRM假设3-1**：随机干扰项期望为0。可记为
`$E(\boldsymbol{u})=\boldsymbol{0}$`

具体地：

`$$\begin {align} 
E(\boldsymbol{u})=
E \left[ 
  \begin{array}{c}{u_{1}} \\ {u_{2}} \\ {\vdots} \\ {u_{n}}
  \end{array}\right]
=\left[ 
  \begin{array}{c}{E\left(u_{1}\right)} \\ {E\left(u_{2}\right)} \\ {\vdots} \\ {E\left(u_{n}\right)}
  \end{array}
\right]=
\left[ 
  \begin{array}
  {c}{0} \\ {0} \\ {\vdots} \\ {0}
  \end{array}
\right]
=\boldsymbol{0}
\end {align}$$`

**N-CLRM假设3-2/3**：随机干扰项同方差且无自相关。可记为
`$E(\boldsymbol{uu'})=\sigma^2\boldsymbol{I}$`

在正态性假设下，关于随机干扰项的全部假设可以记为
`$\boldsymbol{u} \sim N(\boldsymbol{0},\sigma^2\boldsymbol{I})$`

---

## 随机干扰项的方差协方差矩阵

随机干扰项的方差协方差矩阵为：
`$$\begin{align}
var-cov(\boldsymbol{u})&=E(\boldsymbol{uu'})\\
&=E
  \begin{bmatrix}
  u_1\\  u_2\\ \vdots \\ u_n
  \end{bmatrix}
  \begin{bmatrix}
  u_1 &  u_2& \cdots & u_n
  \end{bmatrix} 
  =E
  \begin{bmatrix}
  u_1^2 & u_1u_2  &\cdots &u_1u_n\\
  u_2u_1 & u_2^2  &\cdots &u_2u_n\\
  \vdots & \vdots &\vdots &\vdots \\
  u_nu_1 & u_nu_2  &\cdots &u_n^2\\
  \end{bmatrix}\\
&=
  \begin{bmatrix}
  E(u_1^2) & E(u_1u_2)  &\cdots &E(u_1u_n)\\
  E(u_2u_1) & E(u_2^2)  &\cdots &E(u_2u_n)\\
  \vdots & \vdots &\vdots &\vdots \\
  E(u_nu_1) &E(u_nu_2)  &\cdots &E(u_n^2)\\
  \end{bmatrix}\\
\end{align}$$`

---

## 随机干扰项的方差协方差矩阵

如果满足N-CLRM假设，则随机干扰项的方差协方差矩阵进一步可以写成：

`$$\begin{align}
var-cov(\boldsymbol{u})&=E(\boldsymbol{uu'})
=
  \begin{bmatrix}
  \sigma_1^2 & \sigma_{12}^2  &\cdots &\sigma_{1n}^2\\
  \sigma_{21}^2 & \sigma_2^2  &\cdots &\sigma_{2n}^2\\
  \vdots & \vdots &\vdots &\vdots \\
  \sigma_{n1}^2 & \sigma_{n2}^2  &\cdots &\sigma_n^2\\
  \end{bmatrix}  
  && \leftarrow (E{(u_i)}=0)\\
&=
  \begin{bmatrix}
  \sigma^2 & \sigma_{12}^2  &\cdots &\sigma_{1n}^2\\
  \sigma_{21}^2 & \sigma^2  &\cdots &\sigma_{2n}^2\\
  \vdots & \vdots &\vdots &\vdots \\
  \sigma_{n1}^2 & \sigma_{n2}^2  &\cdots &\sigma^2\\
  \end{bmatrix} 
  && \leftarrow \left[ var{(u_i)}=\sigma^2;cov{(u_i,u_j)}=0,i \neq j \right]\\
&=\sigma^2
  \begin{bmatrix}
  1 & 0  &\cdots &0\\
  0 & 1  &\cdots &0\\
  \vdots & \vdots &\vdots &\vdots \\
  0 & 0  &\cdots &1\\
  \end{bmatrix}
  =\sigma^2\boldsymbol{I}
\end{align}$$`

---
layout: false
class: center, middle, duke-softblue,hide_logo
name: OLS

# 6.3 OLS估计的矩阵表达

---
layout: true
  
<div class="my-header-h2"></div>
<div class="watermark1"></div>
<div class="watermark2"></div>
<div class="watermark3"></div>

<div class="my-footer"><span>huhuaping@   <a href="#chapter06b">第06章 多元回归II：矩阵部分</a> 
&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;
&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;
<a href="#OLS">6.3 OLS估计的矩阵表达</a> </span></div>

---

## OLS估计的矩阵表达：代数过程

给定如下的样本回归模型（SRM）：

`$$\begin{align}
Y_i&=\hat{\beta}_1+\hat{\beta}_2X_{2i}+\hat{\beta}_3X_{3i}+\cdots+\hat{\beta}_kX_{ki}+e_i
&& \text{(SRM)}
\end{align}$$`

可以表达为：

`$$\begin{equation}
  \begin{bmatrix}
  Y_1 \\  Y_2 \\  \cdots \\  Y_n \\
  \end{bmatrix}  =
  \begin{bmatrix}
  1 &  X_{21} & X_{31} & \cdots &  X_{k1} \\
  1 &  X_{22} & X_{32} & \cdots &  X_{k2} \\
  \cdots &  \cdots & \cdots & \cdots &  \cdots \\
  1 &  X_{2n} & X_{3n} & \cdots &  X_{kn}
  \end{bmatrix}
  \begin{bmatrix}
  \hat{\beta}_1 \\  \hat{\beta}_2 \\  \vdots \\  \hat{\beta}_k \\
  \end{bmatrix}+
  \begin{bmatrix}
  e_1 \\  e_2 \\  \vdots \\  e_n \\
  \end{bmatrix}
\end{equation}$$`

`$$\begin{alignat}{4}
\boldsymbol{y} &= &\boldsymbol{X}&\boldsymbol{\hat{\beta}}&+&\boldsymbol{e}
\\
(n \times 1) &  &{(n \times k)} &{(k \times 1)}&+&{(n \times 1)}
\end{alignat}$$`

---

## OLS估计的矩阵表达：代数过程

`$$\begin {align} 
\sum e_{i}^{2} &=\sum\left(Y_{i}-\hat{\beta}_{1}-\hat{\beta}_{2} X_{2 i}-\cdots-\hat{\beta}_{k} X_{k i}\right)^{2} \\
&=e_{1}^{2}+e_{2}^{2}+\cdots+e_{n}^{2}
=\left[e_{1} e_{2} \cdots e_{n}\right] \left[ \begin{array}{c}{e_{1}} \\ {e_{2}} \\ {\vdots} \\ {e_{n}}\end{array}\right] 
\end {align}$$`

`$$\begin{cases}
  \begin {alignedat}{6} 
  \frac{\partial \sum{e_i^2}} {\partial \hat{\beta}_{1}} & =2 \sum\left(Y_{i}-\hat{\beta}_{1}-\hat{\beta}_{2} X_{2 i}- \cdots-\hat{\beta}_{k} X_{k i}\right)(-1)  &&=0 \\ 
  \frac{\partial \sum{e_i^2}} {\partial \hat{\beta}_{2}} & =2 \sum\left(Y_{i}-\hat{\beta}_{1}-\hat{\beta}_{2} X_{2 i}- \cdots -\hat{\beta}_{k} X_{k i}\right)\left(-X_{2 i}\right)  &&=0 \\
  &\cdots &&\cdots\\
  \frac{\partial \sum e_i^2} {\partial \hat{\beta}_{k}} & =2 \sum\left(Y_{i}-\hat{\beta}_{1}-\hat{\beta}_{2} X_{2 i}- \cdots-\hat{\beta}_{k} X_{k i}\right)\left(-X_{k i}\right)  &&=0
  \end {alignedat}
\end{cases}$$`

---

## OLS估计的矩阵表达：代数过程

正规方程组如下：

`$$\begin{cases}
  \begin {alignedat} {6}
  & n \hat{\beta}_{1} &&+\hat{\beta}_{2} \sum X_{2 i} &&+\hat{\beta}_{3} \sum X_{3 i} &&+\cdots && +\hat{\beta}_{k} \sum X_{k i} &&=\sum Y_{i} \\ 
  &\hat{\beta}_{1} \sum X_{2 i} && +\hat{\beta}_{2} \sum X_{2 i}^{2} &&+\hat{\beta}_{3} \sum X_{2 i} X_{3 i} &&+\cdots && +\hat{\beta}_{k} \sum X_{2 i} X_{k i} &&=\sum X_{2 i} Y_{i} \\ 
  &\hat{\beta}_{1} \sum X_{3 i} &&+\hat{\beta}_{2} \sum X_{3 i} X_{2 i} &&+\hat{\beta}_{3} \sum X_{3 i}^{2} &&+\cdots &&+\hat{\beta}_{k} \sum X_{3 i} X_{k i} &&=\sum X_{3 i} Y_{i} \\
  & \cdots && \cdots && \cdots && \cdots && \cdots && \cdots\\
  &\hat{\beta}_{1} \sum X_{k i} &&+\hat{\beta}_{2} \sum X_{k i} X_{2 i}  &&+\hat{\beta}_{3} \sum X_{k i} X_{3 i} &&+\cdots &&+\hat{\beta}_{k} \sum X_{k i}^{2} &&=\sum X_{k i} Y_{i} 
  \end {alignedat}
\end{cases}$$`

---

## OLS估计的矩阵表达：代数过程

写成矩阵形式：

`$$\begin {align} 
\left[ \begin{array}{ccccc}{n} & {\sum X_{2 i}} & {\sum X_{3 i}} & {\cdots} & {\sum X_{k i}} \\ 
{\sum X_{2 i}} & {\sum X_{2 i}^{2}} & {\sum X_{2 i} X_{3 i}} & {\cdots} & {X_{2 i} X_{k i}} \\ 
{\sum X_{3 i}} & {\sum X_{3 i} X_{2 i}} & {\sum X_{3 i}^{2}} & {\cdots} & {\sum X_{3 i} X_{k i}} \\ 
{\cdots} & {\cdots} & {\cdots} & {\cdots}  & {\cdots}\\ 
{\sum X_{k i}} & {\sum X_{k i} X_{2 i}} & {\sum X_{k i} X_{3 i}} & {\cdots} & {\sum X_{k i}^{2}}\end{array}\right]
\left[ \begin{array}{c}{\hat{\beta}_{1}} \\ {\hat{\beta}_{2}} \\
{\hat{\beta}_{3}} \\ {\vdots} \\ {\hat{\beta}_{k}}\end{array}\right]
=
\left[ \begin{array}{cccc}{1} & {1} & {\cdots} & {1} \\ {X_{21}} & {X_{22}} & {\cdots} & {X_{2 n}} \\ {X_{31}} & {X_{32}} & {\cdots} & {X_{3 n}} \\ {\cdots} & {\cdots} & {\cdots} & {\cdots} \\ {X_{k 1}} & {X_{k 2}} & {\cdots} & {X_{k n}}\end{array}\right] 
\left[ \begin{array}{c}{Y_{1}} \\ {Y_{2}} \\ {Y_{3}} \\ {\vdots} \\ {Y_{n}}\end{array}\right]
\end {align}$$`

从而有：

`$$\begin{align}
\boldsymbol{X'X\hat{\beta}} &=\boldsymbol{X'y}
\end{align}$$`

如果矩阵
`$\boldsymbol{X'X}$`的逆矩阵存在，则两边同时左乘
`$\boldsymbol{(X'X)^{-1}}$`，得到OLS估计量：

`$$\begin{align}
\boldsymbol{\hat{\beta}} &=\boldsymbol{(X'X)^{-1}X'y} 
\end{align}$$`

---

## OLS估计的矩阵表达：纯矩阵过程

最小二乘方法将求解最小化过程：

`$$\begin{align}
Q&=\sum{e_i^2}\\
&=\boldsymbol{e'e} &&\leftarrow \left[ \begin{array}{l}{y=X \hat{\beta}+e};\quad  {e=y-X \hat{\beta}}\end{array}\right]\\
&=\boldsymbol{(y-X\hat{\beta})'(y-X\hat{\beta})} 
&& \leftarrow 
  \left \{
  \begin{split}
   \left(\hat{\boldsymbol{\beta}}' \boldsymbol{X}' \boldsymbol{y}\right)'=\boldsymbol{y}' \boldsymbol{X} \hat{\boldsymbol{\beta}}=\hat{\boldsymbol{\beta}}' \boldsymbol{X}' \boldsymbol{y} \\
  \left(1^{*} \mathrm{k}\right) \cdot\left(\mathrm{k}^{*} \mathrm{n}\right) \cdot\left(\mathrm{n}^{*} 1\right)=(1 * 1)
  \end{split} 
  \right . \\
&=\boldsymbol{y'y-2\hat{\beta}'X'y+\hat{\beta}'X'X\hat{\beta}} 
\end{align}$$`

> 提示：标量的转置还是自身！

---

## OLS估计的矩阵表达：纯矩阵过程

.pull-left[
进一步可以得到：
`$$\begin{align}
\frac{\partial Q}{\partial \boldsymbol{\hat{\beta}}}&=0\\
\frac{\partial(\boldsymbol{y'y-2\hat{\beta}'X'y+\hat{\beta}'X'X\hat{\beta}})}{\partial \boldsymbol{\hat{\beta}}}&=0\\
-2\boldsymbol{X'y}+2\boldsymbol{X'X\hat{\beta}}&=0\\
-\boldsymbol{X'y}+\boldsymbol{X'X\hat{\beta}}&=0\\
\boldsymbol{X'X\hat{\beta}} &=\boldsymbol{X'y}
\end{align}$$`

如果矩阵
`$\boldsymbol{X'X}$`的逆矩阵存在，则两边同时左乘
`$\boldsymbol{(X'X)^{-1}}$`，得到OLS估计量：

`$$\begin{align}
\boldsymbol{\hat{\beta}} &=\boldsymbol{(X'X)^{-1}X'y} 
\end{align}$$`
]

>提示：

`$$\begin{align}
F &=AZ, && \frac{\partial {F}} {\partial{Z}} = A' \\
F &=ZA, && \frac{\partial {F}} {\partial{Z}} = A \\
F &=Z'A, && \frac{\partial {F}} {\partial{Z}} = A \\
F &=A'ZB, && \frac{\partial {F}} {\partial{Z}} = AB' \\
F &=A'Z'B, && \frac{\partial {F}} {\partial{Z}} = AB' \\
F &=A'Z'B, && \frac{\partial {F}} {\partial{Z}} = BA' \\
F &=Z'AZ, && \frac{\partial {F}} {\partial{Z}} = AZ+A'Z \\
\end{align}$$`
]

---

## OLS估计的矩阵表达：纯矩阵过程(u的方差)

此外，很容易证明OLS方法下，利用样本回归模型得到的估计量
`$\hat{\sigma}^2$`，是对总体回归模型参数
`${\sigma}^2$`的无偏估计，也即：

`$$\begin{align}
\hat{\sigma}^2&=\frac{\sum{e_i^2}}{n-k}=\frac{\boldsymbol{e'e}}{n-k} = \frac{=\mathbf{y}' \mathbf{y}-\hat{\boldsymbol{\beta}}' \mathbf{X}' \mathbf{y}}{n-k}
&& \leftarrow E(\hat{\sigma}^2)=\sigma^2
\end{align}$$`

.pull-left[
`$$\begin {align} 
\mathbf{e}' \mathbf{e} &=(\mathbf{y}-\mathbf{X} \hat{\boldsymbol{\beta}})'(\mathbf{y}-\mathbf{X} \hat{\boldsymbol{\beta}}) \\
 &=\left(\mathbf{y}'-\hat{\boldsymbol{\beta}}' \mathbf{X}'\right)(\mathbf{y}-\mathbf{X} \hat{\boldsymbol{\beta}}) \\ 
 &=\mathbf{y}' \mathbf{y}-\mathbf{y}' \mathbf{X}' \mathbf{y}-\hat{\mathbf{\beta}}' \mathbf{X}' \mathbf{y}+\hat{\boldsymbol{\beta}}' \mathbf{X}' \mathbf{X} \hat{\boldsymbol{\beta}} \\
 &=\mathbf{y}' \mathbf{y}-\hat{\boldsymbol{\beta}}' \mathbf{X}' \mathbf{y}-\left(\mathbf{y}'-\hat{\boldsymbol{\beta}}' \mathbf{X}'\right) \mathbf{X} \hat{\boldsymbol{\beta}} \\
 &=\mathbf{y}' \mathbf{y}-\hat{\boldsymbol{\beta}}' \mathbf{X}' \mathbf{y}-\mathbf{e}' \mathbf{X} \hat{\boldsymbol{\beta}}\\
&=\mathbf{y}' \mathbf{y}-\hat{\boldsymbol{\beta}}' \mathbf{X}' \mathbf{y}-\left(\mathbf{X}' \mathbf{e}\right)' \hat{\boldsymbol{\beta}} \\ 
&=\mathbf{y}' \mathbf{y}-\hat{\boldsymbol{\beta}}' \mathbf{X}' \mathbf{y}
\end {align}$$`
]

`$$\begin {align} 
\mathbf{y} &=\mathbf{X} \hat{\boldsymbol{\beta}}+\mathbf{e} \\
\mathbf{y}' &=\hat{\boldsymbol{\beta}}' \mathbf{X}'+\mathbf{e}' \\ \mathbf{y}'&-\hat{\boldsymbol{\beta}}' \mathbf{X}' =\mathbf{e}'
\end {align}$$`

`$$\begin {align} 
\boldsymbol{y} &=\boldsymbol{X \hat{\beta}}+\mathbf{e} \\ 
\mathbf{X}' \mathbf{y} & =\mathbf{X}' \mathbf{X} \hat{\boldsymbol{\beta}}+\mathbf{X}' \mathbf{e} \\
\mathbf{X}' \mathbf{y} &=\mathbf{X}' \mathbf{X}\left(\mathbf{X}' \mathbf{X}\right)^{-1} \mathbf{X}' \mathbf{y}+\mathbf{X}' \mathbf{e} \\
&= \mathbf{X}' \mathbf{y}+\mathbf{X}' \mathbf{e} \\
\mathbf{X}' \mathbf{e} &=\mathbf{0}
\end {align}$$`

]

---

### 回归系数的方差协方差矩阵

对于回归系数的OLS估计量
`$\boldsymbol{\hat{\beta}}$`，进一步讨论其方差和协方差矩阵
`$var-cov(\boldsymbol{\hat{\beta}})$`，一般记为：

`$$\begin{align}
var-cov(\boldsymbol{\hat{\beta}})
&=E\left( \left(\hat{\beta}-E(\hat{\beta}) \right) \left( \hat{\beta}-E(\hat{\beta}) \right )' \right)\\
&=
  \begin{bmatrix}
  var(\hat{\beta_1}) & cov(\hat{\beta_1},\hat{\beta_2})  &\cdots &cov(\hat{\beta_1},\hat{\beta_k})\\
  cov(\hat{\beta_2},\hat{\beta_1}) & var(\hat{\beta_2})  &\cdots &cov(\hat{\beta_2},\hat{\beta_k})\\
  \vdots & \vdots &\vdots &\vdots \\
  cov(\hat{\beta_k},\hat{\beta_1}) & cov(\hat{\beta_k},\hat{\beta_2})  &\cdots &var(\hat{\beta_k})\\
  \end{bmatrix}  
\end{align}$$`

---

### 回归系数的方差协方差矩阵

如果满足N-CLRM假设，则回归系数的OLS估计量
`$\boldsymbol{\hat{\beta}}$`的方差和协方差矩阵
`$var-cov(\boldsymbol{\hat{\beta}})$`可以进一步写成：

`$$\begin{align}
&var - cov(\boldsymbol{\hat{\beta}}) \equiv \sigma^2_{\boldsymbol{\hat{\beta}}} \\
&=\boldsymbol{E\left( \left(\hat{\beta}-E(\hat{\beta}) \right) \left( \hat{\beta}-E(\hat{\beta}) \right )' \right)}\\
&=\boldsymbol{E\left( \left(\hat{\beta}-{\beta} \right) \left( \hat{\beta}-\beta \right )' \right)} \\
&=\boldsymbol{E\left( \left((X'X)^{-1}X'u \right) \left( (X'X)^{-1}X'u \right )' \right)} \\
&=\boldsymbol{E\left( (X'X)^{-1}X'uu'X(X'X)^{-1}  \right)} \\
&= \boldsymbol{(X'X)^{-1}X'E(uu')X(X'X)^{-1}}   \\
&= \boldsymbol{(X'X)^{-1}X'}\sigma^2\boldsymbol{IX(X'X)^{-1}}   \\
&= \sigma^2\boldsymbol{(X'X)^{-1}X'X(X'X)^{-1}}   \\
&= \sigma^2\boldsymbol{(X'X)^{-1}}
\end{align}$$`
]

.pull-right[
`$$\begin {align} 
\hat{\boldsymbol{\beta}} &=\left(\boldsymbol{X}' \boldsymbol{X}\right)^{-1} \boldsymbol{X}' \boldsymbol{y} \\
&=\left(\boldsymbol{X}' \boldsymbol{X}\right)^{-1} \boldsymbol{X}'(\boldsymbol{X} \boldsymbol{\beta}+\boldsymbol{u}) \\
&=\left(\boldsymbol{X}' \boldsymbol{X}\right)^{-1} \boldsymbol{X}' \boldsymbol{X} \boldsymbol{\beta}+\left(\boldsymbol{X}' \boldsymbol{X}\right)^{-1} \boldsymbol{X}' \boldsymbol{u} \\
&=\boldsymbol{\beta}+\left(\boldsymbol{X}' \boldsymbol{X}\right)^{-1} \boldsymbol{X}' \boldsymbol{u} \\ 
 \hat{\boldsymbol{\beta}}&-\boldsymbol{\beta} =\left(\boldsymbol{X}' \boldsymbol{X}\right)^{-1} \boldsymbol{X}' \boldsymbol{u} 
\end {align}$$`

`$$\begin {align} 
(\mathrm{AB})' &=\mathrm{B}' \mathrm{A}' \\
\left[\left(\boldsymbol{X}' \boldsymbol{X}\right)^{-1}\right]' &=\left[\left(\boldsymbol{X}' \boldsymbol{X}\right)'\right]^{-1} \\ 
&=\left(\boldsymbol{X}' \boldsymbol{X}\right)^{-1} 
\end {align}$$`
]

---

### 回归系数的方差协方差矩阵

那么，可以很快得到回归系数的OLS估计量
`$\boldsymbol{\hat{\beta}}$`的**样本**方差和协方差矩阵
`$S^2_{ij}(\boldsymbol{\hat{\beta}})$`

`$$\begin{align}
S^2_{ij}(\boldsymbol{\hat{\beta}})
&= \hat{\sigma}^2\boldsymbol{(X'X)^{-1}}  \\
&= \frac{\boldsymbol{e'e}}{n-k}\boldsymbol{(X'X)^{-1}}   \\
&=\frac{\mathbf{y}' \mathbf{y}-\hat{\boldsymbol{\beta}}' \mathbf{X}' \mathbf{y}}{n-k} \cdot \boldsymbol{(X'X)^{-1}}
\end{align}$$`

---

## OLS估计的性质：BLUE

下面我们将证明高斯-马尔可夫定理(Gauss-Markov Theorem)：在正态经典线性回归模型假设（N-CLRM）下，采用普通最小二乘法（OLS），得到的估计量
`$\hat{\beta}$`，是真实参数
`$\beta$`最优的、线性的、无偏估计量（BLUE）。记为：

`$$\xrightarrow[\text{N-CLRM}]{\text{OLS}}\boldsymbol{\hat{\beta}} \xrightarrow[\text{}]{\text{BLUE}} \boldsymbol{\beta}$$`

因为模型参数的OLS估计为：

`$$\begin{align}
\boldsymbol{\hat{\beta}} &=\boldsymbol{(X'X)^{-1}X'y} 
\end{align}$$`

又因为矩阵
`$\boldsymbol{X}$`为列满秩，也即
`$\rho(\boldsymbol{X})=k$`，所以
`$\boldsymbol{\hat{\beta}}$`关于
`$\boldsymbol{y}$`是线性的。

---

## OLS估计的性质：BLUE

根据模型参数OLS估计，容易得到如下过程：
`$$\begin{align}
\boldsymbol{\hat{\beta}} 
&=\boldsymbol{(X'X)^{-1}X'y} \\
&=\boldsymbol{(X'X)^{-1}X'(X\beta+u)} \\
&=\boldsymbol{(X'X)^{-1}X'X\beta+(X'X)^{-1}X'u} \\
&=\boldsymbol{\beta+(X'X)^{-1}X'u} \\
\end{align}$$`

进一步可证明
`$$\begin{align}
E(\boldsymbol{\hat{\beta}})
&=E(\boldsymbol{\beta+(X'X)^{-1}X'u}) \\
&=\boldsymbol{E(\beta)+(X'X)^{-1}X'E(u)} \\
&=\boldsymbol{\beta} \\
\end{align}$$`

因此，
`$\boldsymbol{\hat{\beta}}$`是参数
`$\boldsymbol{\beta}$`的无偏估计量得证。

---

## OLS估计的性质：BLUE

假设存在用其他方法估计的线性无偏估计量
`$\boldsymbol{\beta^{\ast}}$`，则要求
`$\boldsymbol{C}$`满足如下条件：

`$$\begin{align}
\boldsymbol{CX} &=0 \\
\end{align}$$`

从而保证如下式子成立：

`$$\begin{align}
\boldsymbol{\beta^{\ast}} 
&=\boldsymbol{\left((X'X)^{-1}X'+C \right)y} \\
&=\boldsymbol{\left((X'X)^{-1}X'+C \right)(X\beta+u)} \\
&=\boldsymbol{\beta+CX\beta+(X'X)^{-1}X'u+Cu} \\
&=\boldsymbol{\beta+(X'X)^{-1}X'u+Cu} \\
\end{align}$$`

进一步得到：

`$$\begin{align}
\boldsymbol{\beta^{\ast}-\beta} 
&=\boldsymbol{(X'X)^{-1}X'u+Cu} \\
\end{align}$$`

---

## OLS估计的性质：BLUE

根据方差定义，有：

`$$\begin{align}
var-cov(\boldsymbol{\beta^{\ast}}) 
&=\boldsymbol{E\left( (\beta^{\ast}-\beta)(\beta^{\ast}-\beta)'\right)}\\
&=\boldsymbol{E\left( \left((X'X)^{-1}X'u+Cu\right)\left((X'X)^{-1}X'u+Cu\right)'\right)}\\
&=\boldsymbol{\sigma^2(X'X)^{-1}+\sigma^2CC'}\\
&=var-cov(\boldsymbol{\hat{\beta}})+\boldsymbol{\sigma^2CC'}
\end{align}$$`

其中，我们可以证明
`$\boldsymbol{\sigma^2CC'}$`是**半正定矩阵**，矩阵对角线元素
`$\geq 0$`，因此有：

`$$\begin{align}
var-cov(\boldsymbol{\beta^{\ast}}) & \geq var-cov(\boldsymbol{\hat{\beta}})
\end{align}$$`

从而表明N-CLRM假设下，OLS方法估计得到的
`$\boldsymbol{\hat{\beta}}$`，方差最小。

---
layout: false
class: center, middle, duke-softblue,hide_logo
name: hypothesis

# 6.4 假设检验的矩阵表达

---
layout: true
  
<div class="my-header-h2"></div>
<div class="watermark1"></div>
<div class="watermark2"></div>
<div class="watermark3"></div>

<div class="my-footer"><span>huhuaping@   <a href="#chapter06b">第06章 多元回归II：矩阵部分</a>
&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;
&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;
<a href="#hypothesis">6.4 假设检验的矩阵表达</a> </span></div>

---

## 平方和分解的矩阵表达

对于多元回归模型：
`$$\begin{align}
Y_i&=\beta_1+\beta_2X_{2i}+\beta_3X_{3i}+\cdots+\beta_kX_{ki}+u_i 
&& \text{(PRM)}\\
Y_i&=\hat{\beta}_1+\hat{\beta}_2X_{2i}+\hat{\beta}_3X_{3i}+\cdots+\hat{\beta}_kX_{ki}+e_i
&& \text{(SRM)}\\
\hat{Y}_i&=\hat{\beta}_1+\hat{\beta}_2X_{2i}+\hat{\beta}_3X_{3i}+\cdots+\hat{\beta}_kX_{ki}
&& \text{(SRF)}
\end{align}$$`

---

## 平方和分解的矩阵表达

通过对
`$Y_i$`的变异及其来源的分解，可以得到：

`$$\begin{align}
(Y_i-\bar{Y_i})  &= (\hat{Y_i}-\bar{Y_i}) +(Y_i-\bar{Y_i}) \\
y_i &=\hat{y_i}+  e_i \\
\sum{y_i^2} &= \sum{\hat{y_i}^2} +\sum{e_i^2} \\ 
TSS&=ESS+RSS 
\end{align}$$`

其中TSS表示总离差平方和，ESS表示回归平法和，RSS表示残差平方和。它们分别可以用矩阵表达为：

`$$\begin{align}
TSS&=\boldsymbol{y'y}-n\bar{Y}^2 \\
RSS&=\boldsymbol{ee'}=\boldsymbol{y'y-\hat{\beta}'X'y} \\
ESS&=\boldsymbol{\hat{\beta}'X'y}-n\bar{Y}^2 
\end{align}$$`

---

## 平方和分解的矩阵表达（ANOVA）

进一步地，可以得到方差分析表（ANOVA）：

<table class="table" style="margin-left: auto; margin-right: auto;">
 <thead>
  <tr>
   <th style="text-align:center;"> 变异来源 </th>
   <th style="text-align:center;"> 平方和符号SS </th>
   <th style="text-align:center;"> 平方和计算公式 </th>
   <th style="text-align:center;"> 自由度df </th>
   <th style="text-align:center;"> 均方和符号MSS </th>
   <th style="text-align:center;"> 均方和计算公式 </th>
  </tr>
 </thead>
<tbody>
  <tr>
   <td style="text-align:center;"> 回归平方和 </td>
   <td style="text-align:center;"> ESS </td>
   <td style="text-align:center;"> $ \sum{\hat{y}_i^2} $ </td>
   <td style="text-align:center;"> k-1 </td>
   <td style="text-align:center;"> $MSS_{ESS}$ </td>
   <td style="text-align:center;"> $  =(\boldsymbol{\hat{\beta}'X'y}-n\bar{Y}^2)/(k-1) $ </td>
  </tr>
  <tr>
   <td style="text-align:center;"> 残差平方和 </td>
   <td style="text-align:center;"> RSS </td>
   <td style="text-align:center;"> $ \sum{e_i^2} $ </td>
   <td style="text-align:center;"> n-k </td>
   <td style="text-align:center;"> $MSS_{RSS}$ </td>
   <td style="text-align:center;"> $ =(\boldsymbol{y'y-\hat{\beta}'X'y})/(n-k) $ </td>
  </tr>
  <tr>
   <td style="text-align:center;"> 总平方和 </td>
   <td style="text-align:center;"> TSS </td>
   <td style="text-align:center;"> $ \sum{y_i^2}$ </td>
   <td style="text-align:center;"> n-1 </td>
   <td style="text-align:center;"> $MSS_{TSS}$ </td>
   <td style="text-align:center;"> $ =(\boldsymbol{y'y}-n\bar{Y}^2)/(n-1) $ </td>
  </tr>
</tbody>
</table>

---

## 拟合优度的矩阵表达

根据拟合优度的定义，判定系数
`$R^2$`和调整判定系数
`$\bar{R}^2$`的矩阵计算公式为：

`$$\begin{align}
R^2&=\frac{ESS}{TSS}
=\frac{\boldsymbol{\hat{\beta}'X'y}-n\bar{Y}^2}{\boldsymbol{y'y}-n\bar{Y}^2} \\
\bar{R}^2 &=1- \frac{RSS / f_{RSS}} {TSS / f_{TSS}}
=1- \frac{MSS_{RSS}}{MSS_{TSS}}
=1- \frac{ \left( \boldsymbol{y'y-\hat{\beta}'X'y} \right) /(k-1)}
{\left(\boldsymbol{y'y}-n\bar{Y}^2 \right)/(n-1)}
\end{align}$$`

---

## 回归系数显著性检验（t检验）的矩阵方法实现

根据回归系数显著性检验的定义，利用矩阵方法实现t检验的过程如下：

对于多元回归模型
`$$\begin{align}
Y_i&=\beta_1+\beta_2X_{2i}+\beta_3X_{3i}+\cdots+\beta_kX_{ki}+u_i \\
\boldsymbol{y} &= \boldsymbol{X}\boldsymbol{\beta}+\boldsymbol{u} && \text{(PRM)}  \\
\boldsymbol{y} &= \boldsymbol{X}\boldsymbol{\hat{\beta}}+\boldsymbol{e}  && \text{(SRM)} 
\end{align}$$`

---

## 回归系数显著性检验（t检验）的矩阵方法实现

在N-CLRM假设下，采用OLS估计方法，可以证明：

`$$\begin{align}
\boldsymbol{u}&\sim N(\boldsymbol{0},\sigma^2\boldsymbol{I}) \\
\boldsymbol{\hat{\beta}} &\sim N\left(\boldsymbol{\beta},\sigma^2\boldsymbol{X'X}^{-1} \right)  \\
\end{align}$$`

从而可以构造t统计量
`$$\begin{align}
\boldsymbol{T_{\hat{\beta}}}&=\boldsymbol{\frac{\hat{\beta}-\beta}{S_{\hat{\beta}}}} 
\sim \boldsymbol{t(n-k)}\\
T_{\hat{\beta}}& =\frac{\hat{\beta}_{j}-\beta_{j}}{\sqrt{c_{i j} \frac{\mathbf{y}' \mathbf{y}-\hat{\boldsymbol{\beta}}' \mathbf{X}' \mathbf{y}}{n-k}}}
\end{align}$$`

其中
`$c_{ij}$`表示矩阵
`$\mathbf{(X'X)^{-1}}$`主对角线第
`$j$`个元素

]

`$$\begin{align}
\boldsymbol{\hat{\beta}} &=\boldsymbol{(X'X)^{-1}X'y} 
\end{align}$$`

`$$\begin{align}
var - cov(\boldsymbol{\hat{\beta}}) &\equiv \sigma^2_{\boldsymbol{\hat{\beta}}} \\
&= \sigma^2\boldsymbol{(X'X)^{-1}}
\end{align}$$`

]

---

## 回归系数显著性检验（t检验）的矩阵方法实现

对于总体回归模型的任一参数
`$\boldsymbol{\beta_j}, j \in (1,2,\cdots,k)$`提出假设：

`$$\begin{equation}
  H_0:\boldsymbol{\beta_j}=0\\
  H_1:\boldsymbol{\beta_j}\neq 0
\end{equation}$$`

根据原假设
`$H_0$`，可以得到：

`$$\begin{align}
\boldsymbol{t_{\hat{\beta}}^{\ast}}&=\frac{\boldsymbol{\hat{\beta}}}{\boldsymbol{\sqrt{S^2_{ij}(\hat{\beta}_{kk})}}} 
= \frac{\hat{\beta}_{j}}{\sqrt{c_{i j} \frac{\mathbf{y}' \mathbf{y}-\hat{\boldsymbol{\beta}}' \mathbf{X}' \mathbf{y}}{n-k}}}
\end{align}$$`

其中
`$\boldsymbol{S^2_{ij}(\hat{\beta_{kk}})}$`表示，由
`$\boldsymbol{\hat{\beta}}$`的**样本**方差和协方差矩阵
`$S^2_{ij}(\boldsymbol{\hat{\beta}})$`的对角线元素组成的列向量，即

`$$S^2_{ij}(\hat{\beta}_{kk})=[s^2_{\hat{\beta}_1},s^2_{\hat{\beta}_2},\cdots,s^2_{\hat{\beta}_k}]^{T}$$`

---

## 回归系数显著性检验（t检验）的矩阵方法实现

若给定显著性水平
`$\alpha$`和自由度
`$(n-k)$`，很快可以得到t分布的查表t值，也即
`$t_{(1-\alpha/2)}(n-k)$`。

然后比较样本t统计量
`$\boldsymbol{t_{\hat{\beta}}^{\ast}}$`与理论t分布查的表t值
`$(t_{(1-\alpha/2)}(n-k))$`的关系。根据如下法则做出参数
`$\beta_2$`的显著性检验结论：

- 如果列向量
`$\boldsymbol{t_{\hat{\beta}}^{\ast}}$`的第
`$k$`个元素
`$t_{\hat{\beta_k}}^{\ast}>t_{(1-\alpha/2)}(n-k)$`，则表明参数
`$\beta_k$`的t检验在
`$\alpha$`水平下是**显著**的，也即显著地拒绝
`$H_0:\beta_k=0$`，从而接受
`$H_1:\beta_k\neq 0$`。

- 如果列向量
`$\boldsymbol{t_{\hat{\beta}}^{\ast}}$`的第
`$k$`个元素
`$t_{\hat{\beta_k}}^{\ast} \leq t_{(1-\alpha/2)}(n-k)$`，则表明参数
`$\beta_k$`的t检验在
`$\alpha$`水平下是**不显著**的，也即不能显著地拒绝
`$H_0:\beta_k=0$`，从而只能暂时接受
`$H_0:\beta_k=0$`。

---

## 模型整体显著性检验（F检验）的矩阵方法实现

对于多元回归模型
`$$\begin{align}
Y_i&=\beta_1+\beta_2X_{2i}+\beta_3X_{3i}+\cdots+\beta_kX_{ki}+u_i && \text{(U-PRM)} \\
Y_i&=\hat{\beta}_1+\hat{\beta}_2X_{2i}+\hat{\beta_3}X_{3i}+\cdots+\hat{\beta}_kX_{ki}+e_i && \text{(U-SRM)}\\
\boldsymbol{y} &= \boldsymbol{X}\boldsymbol{\beta}+\boldsymbol{u} && \text{(PRM)}  \\
\boldsymbol{y} &= \boldsymbol{X}\boldsymbol{\hat{\beta}}+\boldsymbol{e}  && \text{(SRM)} 
\end{align}$$`

我们称总体回归模型和对应的样本回归模型为**无约束模型**（unrestricted model）。

对于总体回归模型的斜率参数
`$\boldsymbol{\beta_j}, j \in (2,\cdots,k)$`提出如下**联合假设**（joint hypothesis）：

`$$\begin{align}
  H_0: &\beta_2=\beta_3=\cdots=\beta_k=0\\
  H_1: &\beta_j \text{ not all }0, \text{ for } j \in (2,\cdots,k)
\end{align}$$`

---

## 模型整体显著性检验（F检验）的矩阵方法实现

在原假设
`$H_0:\beta_2=\beta_3=\cdots=\beta_k=0$`下，我们可以得到如下模型：

`$$\begin{align}
Y_i&=\beta_1+u_i && \text{(R-PRM)} \\
Y_i&=\hat{\beta}_1+e_i && \text{(R-SRM)}
\end{align}$$`

此时，我们称总体回归模型和对应的样本回归模型为**受约束模型**（restricted model）。在备择假设
`$H_1:\beta_j$`不全为0，
`$j \in (2,\cdots,k)$`下，我们可以得到该假设下的一种特殊回归模型（如
`$\beta_j \neq 0, j \in (2,\cdots,k)$`），也即无约束总体回归模型和无约束样本回归模型。

**受约束模型**：一般也称为参数约束回归模型（restricted model），是指总体参数满足某种约束条件的一类回归模型。

**无约束模型**：一般也称为参数无约束回归模型（unrestricted model），是指总体参数没有被指定满足某种约束条件的一类回归模型。

???

实际上在假设\{
`$H_1:\beta_j$`不全为0，
`$j \in (2,\cdots,k)$`\}下，回归模型的形式有很多种，但对于这里所要说明的F检验而言，这些不同的模型形式已经不再重要

---

## 模型整体显著性检验（F检验）的矩阵方法实现

根据回归系数显著性检验的定义，利用矩阵方法实现F检验的过程如下：

在N-CLRM假设下，采用OLS估计方法，容易证明：

对于无约束总体回归模型有

`$$\begin{align}
u_i &\sim i.i.d \ N(0,\sigma^2)\\
Y_i&\sim i.i.d \ N(\beta_1+\beta_2X_i+\cdots+\beta_kX_i,\sigma^2)\\
RSS_U&=\sum{(Y_i-\hat{Y_i})^2} \sim \chi^2(n-k) 
\end{align}$$`

对于受约束总体回归模型有

`$$\begin{align}
u_i &\sim i.i.d \ N(0,\sigma^2)\\
Y_i&\sim i.i.d \ N(\beta_1,\sigma^2)\\
RSS_R&=\sum{(Y_i-\hat{Y_i})^2} \sim \chi^2(n-1) 
\end{align}$$`

---

## 模型整体显著性检验（F检验）的矩阵方法实现

进一步地可以构造得到随机变量
`$\tilde{F}$`，它将服从如下的F分布：

`$$\begin{align}
\tilde{F}=\frac{(RSS_R-RSS_U)/(k-1)}{RSS_U/(n-k)} 
        =\frac{ESS_U/df_{ESS_U}}{RSS_U/df_{RSS_U}} 
        \sim F(df_{ESS}, df_{RSS})
\end{align}$$`

---

## 模型整体显著性检验（F检验）的矩阵方法实现

<table>
 <thead>
  <tr>
   <th style="text-align:center;"> 变异来源 </th>
   <th style="text-align:center;"> 平方和符号SS </th>
   <th style="text-align:center;"> 平方和计算公式 </th>
   <th style="text-align:center;"> 自由度df </th>
   <th style="text-align:center;"> 均方和符号MSS </th>
   <th style="text-align:center;"> 均方和计算公式 </th>
  </tr>
 </thead>
<tbody>
  <tr>
   <td style="text-align:center;"> 回归平方和 </td>
   <td style="text-align:center;"> ESS </td>
   <td style="text-align:center;"> $ \sum{\hat{y}_i^2} $ </td>
   <td style="text-align:center;"> k-1 </td>
   <td style="text-align:center;"> $MSS_{ESS}$ </td>
   <td style="text-align:center;"> $  =(\boldsymbol{\hat{\beta}'X'y}-n\bar{Y}^2)/(k-1) $ </td>
  </tr>
  <tr>
   <td style="text-align:center;"> 残差平方和 </td>
   <td style="text-align:center;"> RSS </td>
   <td style="text-align:center;"> $ \sum{e_i^2} $ </td>
   <td style="text-align:center;"> n-k </td>
   <td style="text-align:center;"> $MSS_{RSS}$ </td>
   <td style="text-align:center;"> $ =(\boldsymbol{y'y-\hat{\beta}'X'y})/(n-k) $ </td>
  </tr>
  <tr>
   <td style="text-align:center;"> 总平方和 </td>
   <td style="text-align:center;"> TSS </td>
   <td style="text-align:center;"> $ \sum{y_i^2}$ </td>
   <td style="text-align:center;"> n-1 </td>
   <td style="text-align:center;"> $MSS_{TSS}$ </td>
   <td style="text-align:center;"> $ =(\boldsymbol{y'y}-n\bar{Y}^2)/(n-1) $ </td>
  </tr>
</tbody>
</table>

---

## 模型整体显著性检验（F检验）的矩阵方法实现

基于原假设
`$H_0:\beta_2=\cdots=\beta_k=0$`（也即斜率系数全部等于0，或者说约束模型的
`$RSS_R=0$`），然后根据ANOVA分析表，我们可以计算得到一个样本F统计量（
`$F^{\ast}$`）

`$$\begin{align}
F^{\ast}&=\frac{ESS_U/df_{ESS_U}}{RSS_U/df_{RSS_U}} 
=\frac{\left(\boldsymbol{\hat{\beta}'X'y}-n\bar{Y}^2  \right)/{(k-1)}}{\left(\boldsymbol{y'y-\hat{\beta}'X'y}\right)/{(n-k)}}
\end{align}$$`

此外，我们还可以通过拟合优度
`$R^2$`，计算得到
`$F^{\ast}$`

`$$\begin{align}
F^{\ast}&=\frac{ESS_U/df_{ESS_U}}{RSS_U/df_{RSS_U}} 
=\frac{R^2_U/{(k-1)}}{\left(1-R^2_U\right)/{(n-k)}}
\end{align}$$`

---

## 模型整体显著性检验（F检验）的矩阵方法实现

若给定显著性水平
`$\alpha$`和样本数
`$(n)$`，很快可以得到F分布的查表F值，也即
`$F_{(1-\alpha)}(k-1,n-k)$`,然后比较其与样本F统计量（
`$F^{\ast}$`）的关系。

根据如下法则做出总体回归模型整体显著性检验结论：

- 如果
`$F^{\ast}>F_{(1-\alpha)}(k-1,n-k)$`，则表明总体回归模型的F检验在
`$\alpha$`水平下是**显著**的，也即显著地拒绝
`$H_0:\beta_2=\beta_3=\cdots=\beta_k=0$`，从而接受
`$H_1:\beta_j$`不全为0，
`$j \in (2,\cdots,k)$`，认为模型整体统计上是有意义的！

- 如果
`$F^{\ast} \leq F_{(1-\alpha)}(k-1,n-k)$`，则表明总体回归模型的F检验在
`$\alpha$`水平下是**不显著**的，也即不能显著地拒绝
`$H_0:\beta_2=\beta_3=\cdots=\beta_k=0$`，从而只能暂时接受
`$H_0:\beta_2=0$`，认为模型整体在统计上是无意义的！

---

# 6.5 模型预测的矩阵表达

---

layout: true
  
<div class="my-header-h2"></div>
<div class="watermark1"></div>
<div class="watermark2"></div>
<div class="watermark3"></div>

<div class="my-footer"><span>huhuaping@   <a href="#chapter06b">第06章 多元回归II：矩阵部分</a>
&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;
&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;
<a href="#forecast">6.5 模型预测的矩阵表达</a> </span></div>

---

## 样本外预测的矩阵方法实现

根据一元线性回归样本外预测的知识内容，下面将用矩阵方法实现：

- 样本外**均值预测**
`$\boldsymbol{E(Y_0|X_0)}$`

- 样本外**个值预测**
`$\boldsymbol{(Y_0|X_0)}$`。

其中，给定样本外数据
`$\boldsymbol{X_0}=[1,X_{20},X_{30},\cdots,X_{k0}]$`（矩阵）。

对于多元回归模型：

`$$\begin{align}
Y_i&=\beta_1+\beta_2X_{2i}+\beta_3X_{3i}+\cdots+\beta_kX_{ki}+u_i \\
Y_i&=\hat{\beta}_1+\hat{\beta}_2X_{2i}+\hat{\beta_3}X_{3i}+\cdots+\hat{\beta}_kX_{ki}+e_i \\
\boldsymbol{y} &= \boldsymbol{X}\boldsymbol{\beta}+\boldsymbol{u}  \\
\boldsymbol{y} &= \boldsymbol{X}\boldsymbol{\hat{\beta}}+\boldsymbol{e}  \\
\boldsymbol{\hat{y}} &= \boldsymbol{X}\boldsymbol{\hat{\beta}}\\
\hat{Y}_0 &= \boldsymbol{X_0}\boldsymbol{\hat{\beta}}
\end{align}$$`

---

## 样本外预测的矩阵方法实现：均值预测

对于样本外均值预测
`$\boldsymbol{E(Y_0|X_0)}$`，矩阵实现步骤如下：

在N-CLRM假设下，已知
`$\hat{Y}_0$`的期望和**真实方差**为：

`$$\begin{align}
E(\hat{Y}_0)&=E\boldsymbol{(X_0\hat{\beta})}
=\boldsymbol{X_0\beta}
=E\boldsymbol{(Y_0)}\\
var(\hat{Y}_0)&=E\boldsymbol{(X_0\hat{\beta}-X_0\beta)}^2 && \leftarrow \text(var. def)\\
              &=E\boldsymbol{\left( X_0(\hat{\beta}-\beta)(\hat{\beta}-\beta)'X_0' \right)} && \leftarrow \text{(trans.)}\\
              &=\boldsymbol{X_0E\left( (\hat{\beta}-\beta)(\hat{\beta}-\beta)' \right)X_0'} && \leftarrow def. \quad var(\boldsymbol{\hat{\beta}})\\
              &=\sigma^2\boldsymbol{X_0\left( X'X \right)^{-1}X_0'} && \leftarrow var(\boldsymbol{\hat{\beta}})=\sigma^2\boldsymbol{(X'X)^{-1}}
\end{align}$$`

同时，
`$\hat{Y}_0$`的**样本方差**为：

`$$\begin{align}
S^2_{\hat{Y}_0}&=\hat{\sigma}^2\boldsymbol{X_0(X'X)^{-1}X_0'}
\end{align}$$`

---

## 样本外预测的矩阵方法实现：均值预测

因此
`$\boldsymbol{\hat{Y}_0}$`服从如下正态分布：

`$$\begin{align}
\hat{Y}_0& \sim N(\mu_{\hat{Y}_0},\sigma^2_{\hat{Y}_0})\\
\hat{Y}_0& \sim N\left(E(Y_0|X_0), \sigma^2\boldsymbol{X_0(X'X)^{-1}X_0'}\right)
\end{align}$$`

因此可以构造t统计量：

`$$\begin{align}
t_{\hat{Y}_0}& =\frac{\hat{Y}_0-E(Y|X_0)}{S_{\hat{Y}_0}} 
&\sim t(n-k) 
\end{align}$$`

其中：
`$$\begin{align}
\boldsymbol{S_{\hat{Y}_0}}
&=\sqrt{\hat{\sigma}^2X_0(X'X)^{-1}X_0'} \\
\hat{\sigma}^2&=\frac{\boldsymbol{e'e}}{(n-k)} 
\end{align}$$`

---

## 样本外预测的矩阵方法实现：均值预测

给定显著性水平
`$\alpha$`的情况下，可以查表得到理论t值
`$t_{1-\alpha/2}(n-k)$`，从而可以计算得到均值预测的置信区间：

`$$\begin{align}
\hat{Y}_0-t_{1-\alpha/2}(n-k) \cdot S_{\hat{Y}_0} \leq E(Y|X_0) \leq \hat{Y}_0+t_{1-\alpha/2}(n-k) \cdot S_{\hat{Y}_0}
\end{align}$$`

其中：
`$$\begin{align}
\boldsymbol{S_{\hat{Y}_0}}
&=\sqrt{\hat{\sigma}^2X_0(X'X)^{-1}X_0'} && \leftarrow 
\hat{\sigma}^2=\frac{\boldsymbol{ee'}}{(n-k)} \\
\hat{Y}_0 &= \boldsymbol{X_0}\boldsymbol{\hat{\beta}}
\end{align}$$`

---

## 样本外预测的矩阵方法实现：个值预测

对于多元线性回归模型，样本外个值预测
`$\boldsymbol{(Y_0|X_0)}$`的矩阵实现步骤如下：

因为有：
`$e_0=Y_0-\hat{Y}_0$`

所以
`$e_0$`的期望为：

`$$\begin{align}
E(e_0)&=E(Y_0-\hat{Y}_0)\\
      &=E(\boldsymbol{X_0\beta}+u_0-\boldsymbol{X_0\hat{\beta}})\\
      &=E\left(u_0-\boldsymbol{X_0 (\hat{\beta}- \beta)} \right)\\
      &=E\left(u_0-\boldsymbol{X_0 (X'X)^{-1}X'u} \right)\\
      &=0
\end{align}$$`
]

>提示：

`$$\begin {align} 
\hat{\boldsymbol{\beta}} &=\left(\boldsymbol{X}' \boldsymbol{X}\right)^{-1} \boldsymbol{X}' \boldsymbol{y} \\
&=\left(\boldsymbol{X}' \boldsymbol{X}\right)^{-1} \boldsymbol{X}'(\boldsymbol{X} \boldsymbol{\beta}+\boldsymbol{u}) \\
&=\left(\boldsymbol{X}' \boldsymbol{X}\right)^{-1} \boldsymbol{X}' \boldsymbol{X} \boldsymbol{\beta}+\left(\boldsymbol{X}' \boldsymbol{X}\right)^{-1} \boldsymbol{X}' \boldsymbol{u} \\
&=\boldsymbol{\beta}+\left(\boldsymbol{X}' \boldsymbol{X}\right)^{-1} \boldsymbol{X}' \boldsymbol{u} \\ 
 \hat{\boldsymbol{\beta}}&-\boldsymbol{\beta} =\left(\boldsymbol{X}' \boldsymbol{X}\right)^{-1} \boldsymbol{X}' \boldsymbol{u} 
\end {align}$$`
]

---

## 样本外预测的矩阵方法实现：个值预测

同时，
`$e_0$`的**真实方差**为：

`$$\begin{align}
var(e_0)&=E(Y_0-\hat{Y}_0)^2\\
        &=E(e_0^2)\\
        &=E\left(u_0-\boldsymbol{X_0 (X'X)^{-1}X'u} \right)^2\\
        &=\sigma^2\left( 1+ \boldsymbol{X_0(X'X)^{-1}X_0'}\right)
\end{align}$$`

进一步地，
`$e_0$`服从如下正态分布：

`$$\begin{align}
e_0& \sim N(\mu_{e_0},\sigma^2_{e_0})\\
e_0& \sim N\left(0, \sigma^2\left(1+\boldsymbol{X_0(X'X)^{-1}X_0'}\right)\right)
\end{align}$$`

而且
`$e_0$`的**样本方差**为：：

`$$\begin{align}
S^2_{Y_0-\hat{Y}_0} \equiv S^2_{e_0}
&=\hat{\sigma}^2 \left( 1+X_0(X'X)^{-1}X_0' \right)  && \leftarrow \hat{\sigma}^2 =\frac{\boldsymbol{ee'}}{(n-k)} 
\end{align}$$`

---

## 样本外预测的矩阵方法实现：个值预测

因此可以构造t统计量：

`$$\begin{align}
T& =\frac{\hat{Y}_0-Y_0}{S_{e_0}} 
\sim t(n-k)
\end{align}$$`

给定显著性水平
`$\alpha$`的情况下，可以查表得到理论t值
`$t_{1-\alpha/2}(n-k)$`，从而可以计算得到均值预测的置信区间：

`$$\begin{align}
\hat{Y}_0-t_{1-\alpha/2}(n-k) \cdot S_{Y_0-\hat{Y}_0} \leq (Y_0|X_0) \leq \hat{Y}_0+t_{1-\alpha/2}(n-k) \cdot S_{Y_0-\hat{Y}_0}
\end{align}$$`

其中：

`$$\begin{align}
S_{Y_0-\hat{Y}_0} 
& =\sqrt{\hat{\sigma}^2 \left( 1+\boldsymbol(X_0(X'X)^{-1}X_0') \right) } && \leftarrow \hat{\sigma}^2 =\frac{\boldsymbol{ee'}}{(n-k)} \\
\hat{Y}_0 &= \boldsymbol{X_0}\boldsymbol{\hat{\beta}}
\end{align}$$`

---

# 6.6 矩阵方法总结（示例）

---
layout: true
  
<div class="my-header-h2"></div>
<div class="watermark1"></div>
<div class="watermark2"></div>
<div class="watermark3"></div>

<div class="my-footer"><span>huhuaping@   <a href="#chapter06b">第06章 多元回归II：矩阵部分</a>  
&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;
&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;
<a href="#case">6.6 矩阵方法总结（示例）</a>  </span></div>

---

## 矩阵方法总结：消费支出案例（数据）

<div id="htmlwidget-b7631d0629a334633b1f" style="width:100%;height:auto;" class="datatables html-widget"></div>
<script type="application/json" data-for="htmlwidget-b7631d0629a334633b1f">{"x":{"filter":"none","vertical":false,"data":[["1","2","3","4","5","6","7","8","9","10","11","12","13","14","15"],[1956,1957,1958,1959,1960,1961,1962,1963,1964,1965,1966,1967,1968,1969,1970],[1673,1688,1666,1735,1749,1756,1815,1867,1948,2048,2128,2165,2257,2316,2324],[1,1,1,1,1,1,1,1,1,1,1,1,1,1,1],[1839,1844,1831,1881,1883,1910,1969,2016,2126,2239,2336,2404,2487,2535,2595],[1,2,3,4,5,6,7,8,9,10,11,12,13,14,15]],"container":"<table class=\"display\">\n  <thead>\n    <tr>\n      <th> <\/th>\n      <th>Year<\/th>\n      <th>Y<\/th>\n      <th>one<\/th>\n      <th>X2<\/th>\n      <th>X3<\/th>\n    <\/tr>\n  <\/thead>\n<\/table>","options":{"dom":"tip","columnDefs":[{"className":"dt-center","targets":"_all"},{"visible":false,"targets":0},{"orderable":false,"targets":0}],"pageLength":5,"order":[],"autoWidth":false,"orderClasses":false,"lengthMenu":[5,10,25,50,100]}},"evals":[],"jsHooks":[]}</script>

`$$\begin {align} 
Y_{i} &=\hat{\beta}_{1}+\hat{\beta}_{2} X_{2 i}+\hat{\beta}_{3} X_{3 i}+e_{i} 
\end {align}$$`

- `$Y_i$`表示人均私人消费支出

- `$X_{2i}$`表示人均可支配收入

- `$X_{3i}$`表示时间
`$t \in 1,2,\cdots n$`

---

## 矩阵方法总结：消费支出案例（软件报告）

我们可以构建如下的回归模型：

`$$\begin{equation} \begin{alignedat}{999} &Y=&& + \hat{\beta}_{1} && + \hat{\beta}_{2} X2&& + \hat{\beta}_{3} X3&&+e_i\\ \end{alignedat} \end{equation}$$`

统计软件自动计算结果整理如下（便于后续手动计算的比较）：

`$$\begin{equation} \begin{alignedat}{999} &\widehat{Y}=&&+300.29&&+0.74X2&&+8.04X3\\ &\text{(t)}&&(3.8342)&&(15.6096)&&(2.6960)\\&\text{(se)}&&(78.3176)&&(0.0475)&&(2.9835)\\&\text{(fitness)}&& R^2=0.9976;&& \bar{R^2}=0.9972\\& && F^{\ast}=2513.52;&& p=0.0000 \end{alignedat} \end{equation}$$`

---

## 矩阵方法总结：消费支出案例（软件报告）

利用`R`软件给出更为详细的分析报告如下（便于后续手动计算的比较）：

```

Call:
lm(formula = mod_mat, data = data_PCE)

Residuals:
    Min      1Q  Median      3Q     Max 
-22.380  -6.141   3.414   6.686  22.183

Coefficients:
             Estimate Std. Error t value Pr(>|t|)    
(Intercept) 300.28626   78.31763   3.834  0.00238 ** 
X2            0.74198    0.04753  15.610 2.46e-09 ***
X3            8.04356    2.98355   2.696  0.01945 *  
---
Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Residual standard error: 12.84 on 12 degrees of freedom
Multiple R-squared:  0.9976,	Adjusted R-squared:  0.9972 
F-statistic:  2514 on 2 and 12 DF,  p-value: < 2.2e-16
```

---

## 矩阵方法总结：消费支出案例（回归系数）

$$
\boldsymbol{X}=
`\begin{bmatrix}
1&1839&1 \\
1&1844&2 \\
1&1831&3 \\
...&...&... \\
1&2595&15 \\
\end{bmatrix}`
$$

$$
\boldsymbol{y}=
`\begin{bmatrix}
1673 \\
1688 \\
1666 \\
\cdots \\
2324 \\
\end{bmatrix}`
$$

$$
\boldsymbol{X'X}=
`\begin{bmatrix}
15&31895&120 \\
31895&68922513&272144 \\
120&272144&1240 \\
\end{bmatrix}`
$$
]

$$
\boldsymbol{(X'X)^{-1}}=
`\begin{bmatrix}
37.2328&-0.0225&1.3367 \\
-0.0225&0&-8e-04 \\
1.3367&-8e-04&0.054 \\
\end{bmatrix}`
$$

$$
\boldsymbol{X'y}=
`\begin{bmatrix}
29135 \\
62905821 \\
247934 \\
\end{bmatrix}`
$$

$$
\boldsymbol{\hat{\beta}}=\boldsymbol{(X'X)^{-1}X'y}=
`\begin{bmatrix}
300.2863 \\
0.742 \\
8.0436 \\
\end{bmatrix}`
$$
]

---

## 求出回归标准误差方差

可以根据如下公式计算回归误差方差
`$\hat{\sigma}^2$`：

`$$\begin{align}
\hat{\sigma}^2&=\frac{\sum{e_i^2}}{n-k}=\frac{\boldsymbol{e'e}}{n-k} = \frac{=\mathbf{y}' \mathbf{y}-\hat{\boldsymbol{\beta}}' \mathbf{X}' \mathbf{y}}{n-k}
\end{align}$$`

$$
\boldsymbol{y'y}=
`\begin{bmatrix}
1673&1688&1666&\cdots&2324 \\
\end{bmatrix}`
`\begin{bmatrix}
1673 \\
1688 \\
1666 \\
\cdots \\
2324 \\
\end{bmatrix}`
$$

$$
\boldsymbol{\hat{\beta}'X'y}=
`\begin{bmatrix}
300.2863&0.742&8.0436 \\
\end{bmatrix}`
`\begin{bmatrix}
29135 \\
62905821 \\
247934 \\
\end{bmatrix}`
$$

---

## 求出回归标准误差方差

因此有：

`$$\begin{align}
RSS=\sum{e_i^2}= \boldsymbol{e'e}
  &=\boldsymbol{y'y- \hat{\beta}'X'y}\\
&=57420003-57418026.1446=1976.8554
\end{align}$$`

`$$\begin{align}
\hat{\sigma}^2 &= \frac{\boldsymbol{e'e}}{n-k}\\
&=\frac{1976.8554}{12}=164.7379
\end{align}$$`

---

## 求出回归系数的样本方差-协方差矩阵

根据如下公式：

可以计算得到回归系数的方差协方差矩阵为：

$$
S^2_{ij}(\boldsymbol{\hat{\beta}})=\hat{\sigma}^2\boldsymbol{(X'X)^{-1}}= 
`\begin{bmatrix}
6133.6505&-3.7079&220.2063 \\
-3.7079&0.0023&-0.1371 \\
220.2063&-0.1371&8.9015 \\
\end{bmatrix}`
$$

---

## 回归系数的显著性检验（t检验）

```r
SS_b <- matrix(diag(mat_cov_b), byrow = F)
S_b <- sqrt(SS_b)
```

回归系数的方差协方差矩阵中:

对角线元素即为回归系数的样本方差
`$S^2_{\boldsymbol{\hat{\beta}}}$`:

$$
S^2_{\boldsymbol{\hat{\beta}}}=
`\begin{bmatrix}
6133.6505 \\
0.0023 \\
8.9015 \\
\end{bmatrix}`
$$
]

则回归系数的样本标准差
`$S_{\boldsymbol{\hat{\beta}}}$`为:

$$
S_{\boldsymbol{\hat{\beta}}}=
`\begin{bmatrix}
78.3176 \\
0.0475 \\
2.9835 \\
\end{bmatrix}`
$$
]

---

## 回归系数的显著性检验（t检验）

根据原假设
`$H_0$`，可以得到：

`$$\begin{align}
\boldsymbol{t_{\hat{\beta}}^{\ast}}=\frac{\boldsymbol{\hat{\beta}}}{\boldsymbol{\sqrt{S^2_{ij}(\hat{\beta}_{kk})}}} 
=\frac{\boldsymbol{\hat{\beta}}}{S_\boldsymbol{\hat{\beta}}}
\end{align}$$`

]

计算结果为：

$$
\boldsymbol{t_{\hat{\beta}}^{\ast}}=
`\begin{bmatrix}
3.8342 \\
15.6096 \\
2.696 \\
\end{bmatrix}`
$$

]

给定
`$\alpha=0.05, k=3,n=15$`，我们可以查表得
`$t_{1-\alpha/2}(n-k)=t_{0.975}(13)=$` 2.1788。

因此表明全部回归系数的t检验的都是显著的。

---

## 平方和分解和ANOVA分析表

`$$\begin{align}
ESS==\boldsymbol{y'y-\hat{\beta}'X'y}
=1976.8554
\end{align}$$`

`$$\begin{align}
RSS=\boldsymbol{\hat{\beta}'X'y}-n\bar{Y}^2 
=1976.8554
\end{align}$$`

`$$\begin{align}
TSS=\boldsymbol{y'y}-n\bar{Y}^2
=830121.3333
\end{align}$$`

<table class="table" style="font-size: 20px; margin-left: auto; margin-right: auto;">
 <thead>
  <tr>
   <th style="text-align:center;"> 变异来源 </th>
   <th style="text-align:center;"> 平方和符号SS </th>
   <th style="text-align:center;"> 平方和计算公式 </th>
   <th style="text-align:center;"> 自由度df </th>
   <th style="text-align:center;"> 均方和符号MSS </th>
   <th style="text-align:center;"> 均方和计算公式 </th>
  </tr>
 </thead>
<tbody>
  <tr>
   <td style="text-align:center;"> 回归平方和 </td>
   <td style="text-align:center;"> ESS </td>
   <td style="text-align:center;"> $ \sum{\hat{y}_i^2} $ </td>
   <td style="text-align:center;"> 2 </td>
   <td style="text-align:center;"> $MSS_{ESS}$ </td>
   <td style="text-align:center;"> $  \boldsymbol{\hat{\beta}'X'y}-n\bar{Y}^2= $828144.4779 </td>
  </tr>
  <tr>
   <td style="text-align:center;"> 残差平方和 </td>
   <td style="text-align:center;"> RSS </td>
   <td style="text-align:center;"> $ \sum{e_i^2} $ </td>
   <td style="text-align:center;"> 12 </td>
   <td style="text-align:center;"> $MSS_{RSS}$ </td>
   <td style="text-align:center;"> $ \boldsymbol{y'y-\hat{\beta}'X'y} $=1976.8554 </td>
  </tr>
  <tr>
   <td style="text-align:center;"> 总平方和 </td>
   <td style="text-align:center;"> TSS </td>
   <td style="text-align:center;"> $ \sum{y_i^2}$ </td>
   <td style="text-align:center;"> 14 </td>
   <td style="text-align:center;"> $MSS_{TSS}$ </td>
   <td style="text-align:center;"> $ \boldsymbol{y'y}-n\bar{Y}^2 $=830121.3333 </td>
  </tr>
</tbody>
</table>

---

## 判定系数和调整判定系数

根据判定系数公式可以计算得到：

`$$\begin{align}
R^2&=\frac{ESS}{TSS}
=\frac{\boldsymbol{\hat{\beta}'X'y}-n\bar{Y}^2}{\boldsymbol{y'y}-n\bar{Y}^2} 
=\frac{828144.4779}{830121.3333}=0.9976
\end{align}$$`

根据调整判定系数公式可以计算得到：

`$$\begin{align}
\bar{R}^2&=\frac{ESS}{TSS}
=1- \frac{(\boldsymbol{y'y-\hat{\beta}'X'y})/(n-k)}{(\boldsymbol{y'y}-n\bar{Y}^2)/(n-1)}
=1-\frac{1976.8554/12}{830121.3333/14}=0.9972
\end{align}$$`

---

## 进行F检验

首先计算得到方差分析表（ANOVA）：

---

## 进行F检验

根据方差分析表ANOVA和样本F统计量计算公式，可以得到：

`$$\begin{align}
F^{\ast}=\frac{ESS_U/df_{ESS_U}}{RSS_U/df_{RSS_U}}=\frac{\left(\boldsymbol{\hat{\beta}'X'y}-n\bar{Y}^2\right)/{(k-1)}}{\left(\boldsymbol{y'y-\hat{\beta}'X'y}\right)/{(n-k)}}
=\frac{828144.4779/2}{1976.8554/12} =2513.5207
\end{align}$$`

得到显著性检验的判断结论。因为
`$F^{\ast}=$` 2513.5207 .red[**大于**] `$F_{1-\alpha}(k-1,n-k)=F_{0.95}$`(2,12)=3.8853，所以模型整体显著性的F检验结果**显著**。

---

## 进行样本外预测

给定样本外
`$\boldsymbol{X_0}$`矩阵为：

$$
\boldsymbol{X_0}=
`\begin{bmatrix}
1&2610&16 \\
\end{bmatrix}`
$$

已经求得斜率向量为：

$$
\boldsymbol{\hat{\beta}}=
`\begin{bmatrix}
300.2863 \\
0.742 \\
8.0436 \\
\end{bmatrix}`
$$

则线性拟合值为：

`$$\begin{align}
\hat{Y}_0 &= \boldsymbol{X_0}\boldsymbol{\hat{\beta}}=
2365.553
\end{align}$$`

---

## 进行样本外预测（均值预测）

已知：

$$
\boldsymbol{(X'X)^{-1}}=
`\begin{bmatrix}
37.2328&-0.0225&1.3367 \\
-0.0225&0&-8e-04 \\
1.3367&-8e-04&0.054 \\
\end{bmatrix}`
$$

所以有：

`$$\begin{align}
\boldsymbol{X_0(X'X)^{-1}X_0'}=
0.2953
\end{align}$$`

因此进一步得到：

`$$\begin{align}
\boldsymbol{S_{\hat{Y}_0}}
&=\sqrt{\hat{\sigma}^2X_0(X'X)^{-1}X_0'}=
\sqrt{164.7379*0.2953}=6.9744
\end{align}$$`

---

## 进行样本外预测（均值预测）

又因为给定
`$\alpha=0.05$`时可以查到理论t值
`$t_{1-\alpha/2}(n-k)=t_{0.975}$`(12)=2.1788

因此可以计算得到均值预测的
`$1-\alpha$`置信区间为：

`$$\begin{align}
\hat{Y}_0-t_{1-\alpha/2}(n-k) \cdot S_{\hat{Y}_0} \leq & E(Y|X_0) \leq \hat{Y}_0+t_{1-\alpha/2}(n-k) \cdot S_{\hat{Y}_0} \\
2365.5532-2.1788*6.9744\leq & E(Y|X_0) \leq2365.5532+2.1788*6.9744\\2350.3573\leq & E(Y|X_0) \leq2380.7492
\end{align}$$`

---

## 进行样本外预测（个值预测）

已知：

$$
\boldsymbol{(X'X)^{-1}}=
`\begin{bmatrix}
37.2328&-0.0225&1.3367 \\
-0.0225&0&-8e-04 \\
1.3367&-8e-04&0.054 \\
\end{bmatrix}`
$$

所以有：

`$$\begin{align}
\boldsymbol{X_0(X'X)^{-1}X_0'}=
0.2953
\end{align}$$`

因此进一步得到：

`$$\begin{align}
\boldsymbol{S_{e0}}
&=\sqrt{\hat{\sigma}^2(1+X_0(X'X)^{-1}X_0')}=
\sqrt{164.7379*(1+0.2953)}=7.0458
\end{align}$$`

---

## 进行样本外预测（个值预测）

又因为给定
`$\alpha=0.05$`时可以查到理论t值
`$t_{1-\alpha/2}(n-k)=t_{0.975}$`(12)=2.1788

因此可以计算得到均值预测的
`$1-\alpha$`置信区间为：

`$$\begin{align}
\hat{Y}_0-t_{1-\alpha/2}(n-k) \cdot S_{e0} \leq & (Y_0|X_0) \leq \hat{Y}_0+t_{1-\alpha/2}(n-k) \cdot S_{e0} \\
2365.5532-2.1788*7.0458\leq & (Y_0|X_0) \leq2365.5532+2.1788*7.0458\\2350.2019\leq & (Y_0|X_0) \leq2380.9046
\end{align}$$`

---
layout:false
background-image: url("../pic/thank-you-gif-funny-little-yellow.gif")
class: inverse,center
# 本章结束