高斯-马尔可夫定理(英语:Gauss-Markov Theorem),在统计学中陈述的是在线性回归模型中,如果线性模型满足高斯马尔可夫假定,则回归系数的“最佳线性无偏估计”(BLUE,英语:Best Linear unbiased estimator)就是普通最小二乘法估计。[1]最佳估计是指相较于其他估计量有更小方差的估计量,同时把对估计量的寻找限制在所有可能的线性无偏估计量中。此外,误差也不一定需要满足独立同分布或正态分布。
本定理主要以卡尔·弗里德里希·高斯和安德烈·马尔可夫命名,虽然高斯的贡献要远比马尔可夫的重要。高斯以独立正态分布的假设推导出了结果,而马尔可夫将假设放宽到了上述的形式。
简单(一元)线性回归模型[编辑]
对于简单(一元)线性回归模型,
![{\displaystyle y=\beta _{0}+\beta _{1}x+\varepsilon }](https://wikimedia.org/api/rest_v1/media/math/render/svg/6cb959b5bbd33712a20f8f2d298a9d9f94491b15)
其中
和
是非随机但不能观测到的参数,
是非随机且可观测到的一般变量,
是不可观测的随机变量,或称为随机误差或噪音,
是可观测的随机变量。
高斯-马尔可夫定理的假设条件是:
- 在总体模型中,各变量关系为
(线性于参数)
- 我们具有服从于上述模型的随机样本,样本容量为n(随机抽样),
- x的样本结果为非完全相同的数值(解释变量的样本有波动),
- 对于给定的解释变量,误差的期望为零,换言之
(零条件均值),
- 对于给定的解释变量,误差具有相同的方差,换言之
(同方差性)。
则对
和
的最佳线性无偏估计为,
![{\displaystyle {\hat {\beta }}_{1}={\frac {\sum {x_{i}y_{i}}-{\frac {1}{n}}\sum {x_{i}}\sum {y_{i}}}{\sum {x_{i}^{2}}-{\frac {1}{n}}(\sum {x_{i}})^{2}}}={\frac {\widehat {{\text{Cov}}\left(x,y\right)}}{{\hat {\sigma _{x}}}^{2}}}={\hat {\rho }}_{xy}{\frac {\hat {\sigma _{x}}}{\hat {\sigma _{y}}}},\quad {\hat {\beta }}_{0}={\overline {y}}-{\hat {\beta }}_{1}\,{\overline {x}}\ .}](https://wikimedia.org/api/rest_v1/media/math/render/svg/4fb4dbbc33b60f771b1bb7b97d715e3ff4b725b9)
多元线性回归模型[编辑]
对于多元线性回归模型,
, ![{\displaystyle x_{i0}=1;\quad i=1,\dots n.}](https://wikimedia.org/api/rest_v1/media/math/render/svg/5d6a52ba5302fb53d742b201cf12b1993f1e7ed5)
使用矩阵形式,线性回归模型可简化记为
,其中采用了以下记号:
(观测值向量,Vector of Responses),
(设计矩阵,Design Matrix),
(参数向量,Vector of Parameters),
(随机误差向量,Vectors of Error)。
高斯-马尔可夫定理的假设条件是:
,
(零均值),
,(同方差且不相关),其中
为n阶单位矩阵(Identity Matrix)。
则对
的最佳线性无偏估计为
![{\displaystyle {\hat {\boldsymbol {\beta }}}=(\mathbf {X} ^{T}\mathbf {X} )^{-1}\mathbf {X} ^{T}\mathbf {Y} }](https://wikimedia.org/api/rest_v1/media/math/render/svg/e4fec6025b3b69c980dd2ad327a6196a15ac6509)
首先,注意的是这里数据是
而非
,我们希望找到
对于
的线性估计量,记作
![{\displaystyle {\hat {\boldsymbol {\beta }}}=\mathbf {M} +\mathbf {N} \mathbf {Y} }](https://wikimedia.org/api/rest_v1/media/math/render/svg/513883af3e4c2656b9c00c77caa06a0260a1f200)
其中
,
,
和
分别是
,
,
和
矩阵。
根据零均值假设所得,
![{\displaystyle {\rm {E}}\left({\hat {\boldsymbol {\beta }}}\mid \mathbf {X} \right)=\mathbf {M} +\mathbf {N} {\rm {E}}\left(\mathbf {Y} \mid \mathbf {X} \right)=\mathbf {M} +\mathbf {N} \mathbf {X} {\boldsymbol {\beta }}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/2d9899bedad4dc4300d0ebdf6aeb756486c75a54)
其次,我们同时限制寻找的估计量为无偏的估计量,即要求
,因此有
(零矩阵),![{\displaystyle \mathbf {N} \mathbf {X} =\mathbf {I_{p+1}} }](https://wikimedia.org/api/rest_v1/media/math/render/svg/a7391edd8591493036a66da82df64f4d8d76fc03)
参考资料[编辑]
外部链接[编辑]