一元线性回归

对于分类型自变量与数值型因变量之间的关系，我们可以通过方差分析来研究；而对于数值型自变量和数值型因变量之间的关系，我们可以进行相关和回归分析。如果研究的是两个变量之间的关系，称为简单回归分析；如果研究的是两个以上变量之间的关系，称为多元回归分析。此外，按照关系的形态，也可以分为线性回归分析与非线性回归分析。

（5）误差项$\varepsilon$是一个服从正态分布的随机变量，且独立，即$\varepsilon \sim N(0,\sigma^2)$。一个特定的x值所对应的$\varepsilon$与其他x值对应的$\varepsilon$不相关。对于任何一个给定的x值，y都服从期望值为$\beta_0+\beta_1x$、方差为$\sigma^2$的正态分布，不同的x值，y的期望值不同，但方差相同。

回归方程

描述y的期望值如何依赖自变量x的方程称为回归方程，一元线性回归方程（误差项的期望值为0）的形式为：

$$E(y)=\beta_0+\beta_2x$$

估计的回归方程

总体回归参数$\beta_0$和$\beta_1$是未知的，需要用样本数据去估计。一元线性回归的估计的回归方程形式为：

$$\hat{y}=\hat{\beta_0}+\hat{\beta_1}x$$

参数的最小二乘估计

用最小化图中垂直方向的离差平方和来估计参数$\beta_0$和$\beta_1$，这一方法称为最小二乘法。

回归直线的拟合优度

回归直线与各观测点的接近程度称为回归直线对数据的拟合优度。

变差

y的取值的波动称为变差，它来自两个方面：一是x的取值不同；二是除x以外的其它因素。一个具体的观测值的变差为$y-\bar{y}$，它可以分解为：

$$y-\bar{y}=(y-\hat{y})+(\hat{y}-\bar{y})$$

n次观测值的总变差称为总平方和（SST）：

$$SST=\sum (y_i-\bar{y})$$

将上式平方，得

$$\sum (y_i-\bar{y})^2=\sum (y_i-\hat{y})^2+\sum (\hat{y}-\bar{y})^2+2\sum (y_i-\hat{y_i})(\hat{y_i}-\bar{y})$$

上式最后一项等于0，故

$$\sum (y_i-\bar{y})^2=\sum (y_i-\hat{y})^2+\sum (\hat{y}-\bar{y})^2$$

式中$\sum (y_i-\bar{y})^2$为总平方和（SST）；$\sum (\hat{y}-\bar{y})^2$为回归平方和（SSR），它是可以由回归直线来解释的变差部分；$\sum (y_i-\hat{y})^2$为残差平方和（SSE），它是不能由回归直线来解释的变差部分。

判定系数

回归平方和占总平方和的比例称为判定系数（$R^2$），它度量了估计的回归方程对观测数据的拟合程度。

$$R^2=\frac{SSR}{SST}=\frac{\sum (\hat{y}-\bar{y})^2}{\sum (y_i-\bar{y})^2}$$

$R^2$的取值范围是[0,1]，越接近1，拟合程度越好。

一元线性回归中，相关系数r是$R^2$的平方根，r与回归系数$\hat{\beta_1}$的正负号相同。

估计标准误差

判断系数/相关系数可以度量回归直线的拟合程度，而残差平方和（SSE）可以说明实际观测值$y_i$与回归估计值$\hat{y_i}$之间的差异程度。估计标准误差（$s_e$）是均方残差（MSE）的平方根，是度量观测点在直线周围散布状况的统计量：

$$s_e=\sqrt{MSE}=\sqrt{\frac{SSE}{n-2}}=\sqrt{\frac{\sum (y_i-\hat{y_i})^2}{n-2}}$$

估计标准误差是对误差项$\varepsilon$的标准差的估计，可以看作是排除了线性关系后，y随机波动大小的估计量。对n个观测点拟合的所有直线中，估计标准误差最小的一条是回归直线。

显著性检验

由于估计方程是根据样本数据得到的，它是否能反映变量x和y的关系，还需要检验才能证实。

1.线性关系的检验

线性关系的显著性检验是检验x与y之间的线性关系是否显著，即能否用线性模型$y=\beta_0+\beta_1x+\varepsilon$描述二者的关系。

抽样分布

回归平方和（SSR）、残差平方和（SSE）的自由度分别为1（自变量个数k）、n-2（n-k-1)，除以对应的自由度，得均方回归（MSR）、均方残差（MSE），在原假设$H_0$成立的情况下，MSR与MSE之比服从F分布：

$$F=\frac{MSR}{MSE} \sim F(1,n-2)$$

提出假设

$$H_0:\beta_1=0;H_1:\beta_1 \neq 0$$

检验统计量

$$F=\frac{MSR}{MSE}=\frac{MSR/1}{MSE/(n-2)}$$

统计决策

若$F>f_\alpha$，则拒绝$H_0$，两个变量之间具有显著的线性关系。若以P值进行判断，若小于$\alpha$，则拒绝原假设。

2.回归系数的检验

回归系数的显著性检验是检验x与y的影响是否显著，即检验一元线性回归模型$y=\beta_0+\beta_1x+\varepsilon$的回归系数$\beta_1$是否等于0，等于0则y不依赖于x。

抽样分布

由样本得到的回归方程为$\hat{y}=\hat{\beta_0}+\hat{\beta_1}x$，样本回归系数$\hat{\beta_1}$服从正态分布，数学期望为：

$$E(\hat{\beta_1})=\beta_1$$

标准差为：

$$\sigma_{\hat{\beta_1}}=\frac{\sigma}{\sqrt{\sum x_i^2-\frac{1}{n}(\sum x_i)^2}}$$

由于$\sigma$未知，用其估计量$s_e$代替，则$\hat{\beta_1}$的估计的标准差为：

$$s_{\hat{\beta_1}}=\frac{s_e}{\sqrt{\sum x_i^2-\frac{1}{n}(\sum x_i)^2}}$$

则构造出的统计量服从t分布：

$$t=\frac{\hat{\beta_1}-\beta_1}{s_{\hat{\beta_1}}} \sim t(n-2)$$

提出假设

$$H_0:\beta_1=0;H_1:\beta_1 \neq 0$$

检验统计量

在原假设成立的情况下，$\beta_1=0$，则t统计量变为：

$$t=\frac{\hat{\beta_1}}{s_{\hat{\beta_1}}}$$

统计决策

若$|t|>t_{\alpha/2}$，则拒绝$H_0$，自变量x对因变量y的影响是显著的。同样，若$P-value<\alpha$，也拒绝$H_0$。

3.两个检验的讨论

在一元线性回归中，由于自变量只有一个，上述F检验和t检验是等价的。但在多元回归分析中，这两种检验的意义是不同的，F检验用于检验总体回归关系的显著性，t检验用检验各个回归系数的显著性。

回归分析结果的评价

利用回归方程进行预测

所谓预测，就是通过自变量x的值来预测因变量y的取值。

点估计

利用估计的回归方程，求出y的一个估计值就是点估计，它分为平均值的点估计和个别值的点估计。

平均值的点估计是利用估计的回归方程，对x的一个特定值$x_0$。求出y的平均值的一个估计值$E(y_0)$。

个别值的点估计是利用估计的回归方程，对x的一个特定值$x_0$。求出y的一个个别值的估计值$\hat{y_0}$。

区间估计

利用估计的回归方程，对于x的一个特定值$x_0$，求出y的一个估计值的区间就是区间估计，它分为置信区间估计和预测区间估计。

y的平均值的置信区间估计

置信区间估计是对x的一个给定值$x_0$，求出y的平均值的估计区间，这一区间称为置信区间。

$x=x_0$时，y的平均值（期望值）为$E(y_0)$，$E(y_0)$的估计值为

$$\hat{y_0}=\hat{\beta_0}+\hat{\beta_1}x_0$$

$\hat{y_0}$的标准差的估计量为：

$$s_{\hat{y_0}}=s_e\sqrt{\frac{1}{n}+\frac{(x_0-\bar{x})^2}{\sum_{i=1}^{n}(x_i-\bar{x})^2}}$$

则对于给定的$x_0$，$E(y_0)$在$1-\alpha$置信水平下的置信区间为：

$$\hat{y_0}±t{\alpha/2}s_e\sqrt{\frac{1}{n}+\frac{(x_0-\bar{x})^2}{\sum_{i=1}^{n}(x_i-\bar{x})^2}}$$

y的个别值的预测区间估计

预测区间估计是对x的一个给定值$x_0$，求出y的一个个别值的估计区间，这一区间称为预测区间。

y的一个个别值$y_0$的标准差的估计量为：

$$s_{ind}=s_e\sqrt{1+\frac{1}{n}+\frac{(x_0-\bar{x})^2}{\sum_{i=1}^{n}(x_i-\bar{x})^2}}$$

则对于给定的$x_0$，y的一个个别值$y_0$在$1-\alpha$置信水平下的置信区间为：

$$\hat{y_0}±t{\alpha/2}s_e\sqrt{1+\frac{1}{n}+\frac{(x_0-\bar{x})^2}{\sum_{i=1}^{n}(x_i-\bar{x})^2}}$$

预测区间要比置信区间宽一点。

在利用回归方差进行预测时，不要用样本数据之外的x值去预测。如果x的取值在$x_L\sim x_U$之间，可以用处于$x_L\sim x_U$之间的x来估计$E(y)$和预测$y$，但用$x_L\sim x_U$之外的x得出的估计值和预测值就会很不理想。

残差分析

回归方程$y=\beta_0+\beta_1x+\varepsilon$的假定之一是$\varepsilon \sim N(0,\sigma^2)$，且对所有的x，误差项的标准差都相同。假定如果不成立，后面的检验、估计、预测也就无从谈起。确定关于$\varepsilon$的假定是否成立，可以进行残差分析。

残差

残差是因变量的观测值$y_i$与预测值$\hat{y_i}$之差，第i个观测值的残差为：

$$e_i=y_i-\hat{y_i}$$

残差图

可以通过分析残差图来判断对误差项$\varepsilon$的假设是否成立，残差图包括关于x的残差图、关于$\hat{y}$的残差图、标准化残差图等。关于x的残差图横轴为x的值，纵轴为残差$e_i=y_i-\hat{y_i}$。

如果对所有的x值，$\varepsilon$的方差都相等，则残差图中所有的点应落在一条水平带中间：

如果对所有x的值，$\varepsilon$的方差不同，较大的x值对应较大的残差，就违背了$\varepsilon$的方差相等的假设：

下图表明所选择的回归模型不合理，应考虑曲线回归或多元回归模型：

标准化残差

标准化残差（$z_e$）是残差除以它的标准差后得到的数值，也称为Pearson残差。第i个观察值的标准化残差为

$$z_e=\frac{e_i}{s_e}=\frac{y_i-\hat{y_i}}{s_e}$$

如果误差项$\varepsilon$服从正态分布这一假定成立，那么标准化残差的分布也应服从正态分布，在下面的标准化残差图中，大约有95%的标准化残差在$-2 \sim 2$之间，表明假定成立。

本文链接：https://www.cnblogs.com/zm-pop-pk/p/11466552.html

一元线性回归

相关关系

变量之间的关系

相关关系的描述

散点图

相关系数

相关关系的显著性检验

r的抽样分布

提出假设

检验统计量

统计决策