Regresion Lineal

6.3.1 Formulación matemática del modelo.

El modelo de regresión más sencillo es el Modelo de Regresión Lineal Simple que estudia la relación lineal entre la variable respuesta y la variable regresora , a partir de una muestra i = 1n, que sigue el siguiente modelo:

(6.1)

Por tanto, es un modelo de regresión paramétrico de diseño fijo. En forma matricial

(6.2)

donde t = , t = , t = , t = .

Se supone que se verifican las siguientes hipótesis:

1. La función de regresión es lineal,

o, equivalentemente, E = 0, i = 1,...,n.

2. La varianza es constante (homocedasticidad),

o, equivalentemente, V ar = 2, i = 1,...,n.

3. La distribución es normal,

o, equivalentemente, i ~ N , i = 1,...,n.

4. Las observaciones Y i son independientes. Bajo las hipótesis de normalidad, esto equivale a que la Cov(Y i,Y j) = 0, si i j.

Esta hipótesis en función de los errores sería “los i son independientes”, que bajo normalidad, equivale a que Cov = 0, si i j.

6.3.2 Estimación de los parámetros del modelo.

En el modelo de regresión lineal simple hay tres parámetros que se deben estimar: los coeficientes de la recta de regresión, 0 y 1; y la varianza de la distribución normal, 2.

El cálculo de estimadores para estos parámetros puede hacerse por diferentes métodos, siendo los más utilizados el método de máxima verosimilitud y el método de mínimos cuadrados.

Método de máxima verosimilitud.

Conocida una muestra de tamaño n, , de la hipótesis de normalidad se sigue que la densidad condicionada en yi es

y, por tanto, la función de densidad conjunta de la muestra es,

Una vez tomada la muestra y, por tanto, que se conocen los valores de i = 1n, se define la función de verosimilitud asociada a la muestra como sigue

(6.3)

esta función (con variables 0, 1 y 2) mide la verosimilitud de los posibles valores de estas variables en base a la muestra recogida.

El método de máxima verosimilitud se basa en calcular los valores de 0, 1 y 2 que maximizan la función (9.3) y, por tanto, hacen máxima la probabilidad de ocurrencia de la muestra obtenida. Por ser la función de verosimilitud una función creciente, el problema es más sencillo si se toman logaritmos y se maximiza la función resultante, denominada función soporte,

Maximizando la anterior se obtienen los siguientes estimadores máximo verosímiles,

donde se ha denotado e a las medias muestrales de X e Y, respectivamente; sx2 es la varianza muestral de X y sXY es la covarianza muestral entre X e Y. Estos valores se calculan de la siguiente forma:

Método de mínimos cuadrados.

A partir de los estimadores: 0 y 1, se pueden calcular las predicciones para las observaciones muestrales, dadas por,

o, en forma matricial,

donde t = . Ahora se definen los residuos como

ei = yi - i, i = 1,2,...,n,

Residuo = Valor observado -Valor previsto,

en forma matricial,

Los estimadores por mínimos cuadrados se obtienen minimizando la suma de los cuadrados de los residuos, ésto es, minimizando la siguiente función,

(6.4)

derivando e igualando a cero se obtienen las siguientes ecuaciones, denominadas ecuaciones canónicas,

(6.5)

De donde se deducen los siguientes estimadores mínimo cuadráticos de los parámetros de la recta de regresión

Se observa que los estimadores por máxima verosimilitud y los estimadores mínimo cuadráticos de 0 y 1 son iguales. Esto es debido a la hipótesis

...