4多元线性回归中的参数估计

§§5.45.4 多元线性回归中的多元线性回归中的 参数估计参数估计 多元回归模型多元回归模型 设自变量设自变量 x 1 , x 2 , , x p 是可控变量是可控变量 (p 1)，因变量，因变量Y是随机变量，它们之间是随机变量，它们之间 具有统计相关关系，若具有统计相关关系，若 Y  f (x 1 ,x 2 ,,x p ) ，，E()  0 （（5.4-15.4-1）） 则称（则称（5.4-15.4-1）式为）式为 p元回归模型。 元回归模型。 （（5.4-25.4-2）） 则称（则称（5.4-25.4-2）式为）式为 p元线性回归模型。 元线性回归模型。 Y  0  1x1  p x p ，， ~ N(0,2) （（5.4-35.4-3）） 则称（则称（5.4-35.4-3）式为）式为p元正态线性回归模元正态线性回归模 型。型。 取取E(Y)，， 称称y   0  1x1  p x p 为为 p Y  0  1x1  p x p ，，E( )  0 元线性回归（平面）方程。未知参数元线性回归（平面）方程。未知参数  j ( j  0,1,2,, p)称为回归系数。称为回归系数。 对变量对变量x 1 , x 2 , , x p ; ;Y作作n次次 （（n  p）观测，得到观测值）观测，得到观测值 ( x i1 , x i 2 , ,x ip ; Y i ), i  1, 2 , , n ，即有，即有 观测变量观测变量 观测次数观测次数 x 1 x 2 x p Y 1 1 x 11 x 12  x 1p Y 1  y 1 2 2 x 21 x 22  x 2p Y 2  y 2  n n x n1 x n2 x np Y n  y n 于是模型（于是模型（5.4-35.4-3）又化为）又化为   Y 1  β 0  β 1x11  β p x1pε1   Y 2  β0 β 1x21  β p x2pε2       Y n  β0 β 1xn1  β p xnpεn   εi~ N(0,σ2), 且相互独立且相互独立 则称（则称（5.4-45.4-4）式为）式为 p 元正态线性回归的元正态线性回归的 5.4（（ 观测值模型观测值模型。。 为表达方便，在寻求模型（为表达方便，在寻求模型（5.4-45.4-4）） 式的矩阵表示，记式的矩阵表示，记 Y 1  1 x 11 Y 1x 221  Y X      ， ，  Y n 1 x n1 x 12 x 1p  0   x 22 x 2p  1     ，，   ， ，  x n2 x np   p     1     2          n  则模型（则模型（5.4-45.4-4）又化为）又化为  Y  X  2~ N (0,I) n  (5.46) 其中其中n维正态随机变量维正态随机变量的期望向量为的期望向量为 E(ε 1 )  E(ε2)   E()    0     E(εn )  协方差矩阵为协方差矩阵为 σ2  0  D(ε)       0 0 σ2  0 0   0   σ2I    2  σ   nn  2 显然显然 Y  X~ N n (X,I) 对于对于 p 元正态线性回归分析，仍有元正态线性回归分析，仍有 以下三方面工作：以下三方面工作： ①①估估计计未未知知参参数数 2  j ( j  0,1, 2,, p), ,；； ②②对对模模型型的的假假设设检检验验和和对对参参数数  j ( j 1, 2,, p)的假设检验；的假设检验； ③在③在 x 0  (x 01 ,x 02 ,,x 0 p )处对 处对 y 0 作预作预 测。测。 多元线性回归中的参数估计多元线性回归中的参数估计 （（1 1）） j ( j  0,1, 2,, p)的最小二乘的最小二乘 估计估计 给定给定 xi1, xi2,, xip ，相应的，相应的Y i 满足模满足模 型（型（5.4-45.4-4）） ，从而，从而 2 Y i 0 1xi1  p xip i ~ N(01xi1  p xip,σ ) 以以 E(Y i )近似近似Y i 的观测值的观测值 y i 时产生的均方时产生的均方 误差为误差为 n Q()   i 2  p xip)2 i1  n (yi β0 β1xi1 β i1   如有如有使使Q(  )  minQ()，则称 ，则称 为为 的最小二乘估计。为求的最小二乘估计。为求   ，令，令   Q n  β  2(yi β0 β1xi1 β p xip)  0  0 i  Q  n 1   β  2(yi β0 β1xi1 β p xip)xi1 0 1 i1     Q n β  2(yi β0 β1xi1 β p xip)xip 0 p  i1 即即 ( nnnn  n β 0 (x i1 ) β 1 (x i2 ) β 2 (x ip ) β p   y i  i1i1i1i1 nnnnn  2   (x i1 ) β 0 (x i1 ) β 1 (x i1 x i2 ) β 2 (x i1 x ip ) β p   x i1 y i i1i1i1i1i1   nnnn  n  2 (x ip ) β 0 (x ip x i1 ) β 1 (x ip x i2 ) β 2 (x ip ) β p   x ip y i i1i1i1i1  i1 （（5.4-85.4-8）式称为正规方程组。其矩阵形）式称为正规方程组。其矩阵形 式为式为  n   n  xi1  i1  n  xi2  i1   n  xip   i1  x  x i1 n i1 i1 n n i1  i1 n 2 xi1  x i1 n i1 n  x  i1 n i2     i1 xi2   i2 xi1xi2 2  ip xi1  x  x i1 n ip xi2   xip  β0    1 i1 n      xi1xip β 1  x 11   i1   n  β2   x 12 xi2xip  