DISTRIBUCIONES DE LOS ESTIMADORES

Con el objeto de poder realizar inferencias (estimaciones por intervalo y contrastes de hipótesis) sobre los parámetros analizaremos las distribuciones que tienen los estimadores obtenidos (E.M.V coincidentes con los E.M.C.O.)

Consideramos los estimadores del M.L.G. que luego particularizaremos para el M.L.S..Llamemos al estimador del vector (parámetros) b; b.

El vector b de estimadores (M.C./M.V.) es como sabemos:

                                               b= (X'X)-1X'y

Esto es,será una función lineal del vector aleatorio n-dimensional y . Como el vector y sigue una Nn (Xb ;s2 I) la distribución de b será normal y como es un vector formado por k+1 (número de variables + 1) estimadores: la distribución de b será normal (k+1)-dimensional.

Su vector de medias vendrá dado por:

                         E(b)=E[(X'X)-1X'y ]= (X'X)-1X' E(y)=

=(X'X) -1X'E(Xb+e) = b+ E(e) = b de modo que los estimadores de los coeficientes son INSESGADOS

Su matriz de varianzas vendrá dada por:

D2(b)= D2 ((X'X) -1X'y)=D2 [(X'X)-1X'(Xb+e)]=D2 [((X'X) -1 X'X b) +(X'X) -1 X' e ]=

D2 [(X'X)-1X'e] =(X'X)-1X' D2(e) [(X'X)-1X']'=(X'X) -1X' .D2(e). X(X'X) –1 =

=s2 .[ (X'X) -1X' I X(X'X) –1 ] = s2 . (X'X) -1

de forma que b ®   Nk+1 [ b ; s2 (X'X)-1]

En el caso del M.L.S. el vector de estimadores era, como sabemos:

y la matriz (X'X)-1 era:

De modo que la distribución conjunta de los estimadores a,b será:

De donde obtenemos que :

Siendo la covarianza entre ambos estimadores:

Para estudiar la distribución del estimador de s2 , la varianza residual que en el caso general para k variables (M.L.G.) tomaba la expresión:

Sr2= 1/n · S (yi- b0- b1x1- . . . - bkxk)2 =

=1/n · (y- Xb)'( y-Xb)

Consideraremos una variable derivada de este estadístico la variable:

nSr2/ s2= (1/s2 )S (yi- b0- b1x1- . . . - bkxk)2 =(1/s2) · (y- Xb)'( y-Xb)

Tengamos en cuenta que el vector de residuos muestrales ,e=y-Xb es un vector n-dimensional que se obtiene a través de una transformación lineal de dos vectores normales (y ý b):Por tanto su distribución será normal.

No es dificil probar que tiene por vector de medias el vector 0 y por matriz de varianzas la matriz M=[ I -X(X'X)-1X] que tiene por rango k+1 y la propiedad de ser idempotente MM=M'M=M.

Tampoco es costoso ver que la relación entre el vector de residuos muestrales y el de perturbaciones aleatorias es: e=Me

De esta manera que el estadístico nSr2/ s2 puede verse como:

nSr2/ s2=(1/s2) · (y- Xb)'( y-Xb)= (1/s2 ) .e'e=(1/s2 ) e'M'Me=

=(1/s2 )e'Me=(1/s2 ) (e'e) - (1/s2 )(e'X(X'X)-1X'e)

X'e es un vector aleatorio k+1 dimensional tal que X'e®N(0,s2(X'X))

de forma que,aplicando el teorema de Cochran:

1/s2 (e'e) sigue una chi2 con n grados de libertad

y 1/s2(e'X(X'X)-1X'e) sigue una chi2 con (k+1) grados de libertad

y a partir de este resultado es facil probar que:

nSr2/s2sigue una chi2  con (n -k-1) grados de libertad

(En particular para el caso del M.L.S k=1 ,de forma que:

nSr2/s2 sigue una chi2  con (n -2) grados de libertad)

 

                Este último resultado es, no sólo importante en sí mismo sino que también tiene efectos sobre las
inferencias de los estimadores de b.

                    En efecto, como sabemos b sigue  Nk+1 [ b ; s2 (X'X)-1]

                    de modo que la distribución marginal de cada estimador de cada parámetro bj, bj será:

                     bj sigue  N [ bj ; s ajj]

                    donde ajj es la raiz cuadrada de el elemento j-j de la matriz (X'X)-1

    Como el parámetro s es desconocido es conveniente encontrar una distribución que no dependa de s .

Es fácil ver que el estadístico:

(Al valor que está dividiendo a la diferencia (bj-bj) se le llama error standard del estimador y se le suele representar por Sbj)

Lo que para el M.L.S. supone que: