【回归分析】[6]--残差分析 - WMN7Q
【回归分析】[6]–残差分析
在这一节，我们讨论一下关于残差的问题。主要是为了验证四个假设。
1. 关于模型形式的假定：模型关于参数是线性的– 通过观察Y– X的散点图;
2. 关于误差的假定：a.方差服从正太分布 b.均值为0 c.方差相同 d.误差相互独立– pp图;
3. 关于预测变量的假定 : a.预测变量是非随机的 b.数据是无误差的 c.预测变量线性无关;
4. 关于观测的假定 : 影响力相同;
这一次，我们就要之前的一个例子来做解释。Mathematica数据处理(1)–安斯库母四重奏
datafrash = {{{10., 8.04}, {8., 6.95}, {13., 7.58}, {9., 8.81}, {11.,
8.33}, {14., 9.96}, {6., 7.24}, {4., 4.26}, {12., 10.84}, {7.,
4.82}, {5., 5.68}}, {{10., 9.14}, {8., 8.14}, {13., 8.74}, {9.,
8.77}, {11., 9.26}, {14., 8.1}, {6., 6.13}, {4., 3.1}, {12.,
9.13}, {7., 7.26}, {5., 4.74}}, {{10., 7.46}, {8., 6.77}, {13.,
12.74}, {9., 7.11}, {11., 7.81}, {14., 8.84}, {6., 6.08}, {4.,
5.39}, {12., 8.15}, {7., 6.42}, {5., 5.73}}, {{8., 6.58}, {8.,
5.76}, {8., 7.71}, {8., 8.84}, {8., 8.47}, {8., 7.04}, {8.,
5.25}, {19., 12.5}, {8., 5.56}, {8., 7.91}, {8., 6.89}}};
这个是数据
data = SortBy[datafrash[[#]], First] & /@ {1, 2, 3, 4};
lm = LinearModelFit[#, x, x] & /@ data
我们对四组数据一起处理
Show[ListPlot[data[[#]], ImageSize -> Medium],
Plot[lm[[#]][x], {x, 0, 20}, ImageSize -> Medium]] & /@ {1, 2, 3,4}
先画出拟合的效果图
我们可以认为
对于2–要能从残差看出y-x不成线性关系
对于3–倒数第二个点是强影响点
对于4–最后一个点称为强影响点（杠杆值大，残差小）
看一下三种残差图–残差，标准化残差，删除单个误差的残差
(*残差，标准化残差，删除单个误差的残差*)
cc = lm[[#]]["FitResiduals"] & /@ {1, 2, 3, 4};
Row[ListPlot[#, ImageSize -> Medium, Filling -> Axis] & /@lm[[#]][{"FitResiduals", "StandardizedResiduals","StudentizedResiduals"}]] & /@ {1, 2, 3, 4}
只有当残差图是杂乱的，没有规律的，才说明残差符合正态分布
可以看到除了第一个，其他三个的残差图都有一定的规律。
直观看拟合的图也是能看出问题的
接下来，我们来检验残差是否符合正太分布–pp图和qq图
Row[{ProbabilityPlot[cc[[#]], PlotLabel -> "pp图", PlotRange -> All, ImageSize -> Medium],QuantilePlot[cc[[#]], PlotLabel -> "qq图", PlotRange -> All,ImageSize -> Medium]}] & /@ {1, 2, 3, 4}
接下来要看一下 杠杆值和残差的大小，有两种方法–库克距离和Hadi‘s距离，可以看到影响力的大小
ListPlot[lm[[#]]["CookDistances"], Filling -> Axis,ImageSize -> Medium, PlotRange -> Full] & /@ {1, 2, 3, 4}
那些较大值对应的点都是有问题的点，可以看到，用库克距离成功找到了第三张图的第10个点和第四张图的第十一个点
下面我们看一下Hadi‘s距离
hat = lm[[#]]["HatDiagonal"] & /@ {1, 2, 3, 4};
cc = lm[[#]]["FitResiduals"] & /@ {1, 2, 3, 4};
degreeoffree =
lm[[#]]["ANOVATableDegreesOfFreedom"][[-3]] & /@ {1, 2, 3, 4};
SSE = lm[[#]]["ANOVATableSumsOfSquares"][[-2]] & /@ {1, 2, 3, 4};
hadi = hat[[#]]/(1 -
hat[[#]]) + ((degreeoffree[[#]] + 1)/(1 -
hat[[#]]))*((cc[[#]]^2)/(SSE[[#]] - cc[[#]]^2)) & /@ {1, 2,
3, 4};
ListPlot[hadi[[#]], Filling -> Axis, ImageSize -> Medium,
PlotRange -> All] & /@ {1, 2, 3, 4}
同样可以看到异常点。下面我们把异常点删选出来
(*找到异常点的位置*) Position[hadi, _?(# > 1 &)]
(*提取数据点*) Extract[data, %]
这样就可以找到异常点了，但是，最好的方法还是看残差图
以上，所有
2016/10/30
版权声明：本文为wmn7q原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。