MODELO DE REGRESION LINEAL MULTIPLE

Universidad Nacional Mayor de San Marcos                                    Escuela Investigación Operativa

Facultad de Ciencias Matemáticas                                                           Curso: Modelos Econométricos

III.   Modelo de regresión lineal múltiple

En capítulos anteriores se trató el análisis de regresión simple el cual trata de relacionar una variable regresora con una variable respuesta (ambas cuantitativas).  Ahora veremos el caso más general y de mayor utilidad en la vida real, que es la regresión lineal múltiple. Por regresión lineal múltiple se entiende el análisis de regresión lineal pero ahora con más de una variable regresora.

RLM es el método explicativo de análisis multivariante más conocido. Consiste en explicar una variable, llamada variable dependiente, mediante un conjunto de variables explicativas (llamadas independientes o covariables).

¿Cuándo se debe utilizar el modelo de regresión lineal múltiple?

• Para explicar la variación de las ventas de un producto en términos de la variación de precios y en la fuerza de ventas

• Para determinar las   percepciones de los consumidores (sobre la calidad del producto) por su percepción de los precios, de la imagen de marca y del servicio postventa

3.1 Modelos de Regresión Múltiple

Disposición de los datos para regresión múltiple

Como se vio   anteriormente para una   regresión lineal   simple se contaba con pares de observaciones (xi, yi) de dos variables cuantitativas. Ahora tendremos múltiples variables regresoras, por lo que la notación será más elaborada. Llamaremos xi j el valor de la j-ésima variable de la i-ésima unidad (i=1, 2,...,n ; j=1, 2,...,k). Los datos se pueden organizar de la siguiente forma en una base:

Donde n es el tamaño muestral (n>k) y k es el número de variables regresoras.

El modelo de regresión poblacional esta dado por:

                                                        (3.1)[pic 1]

En forma abreviada se puede expresar como:

[pic 2]

Y recibe el m nombre de modelo de regresión lineal múltiple con k variables de regresión.  Los parámetros  , se conocen como coeficientes de regresión.  Este modelo describe un hiperplano en el espacio de dimensión k (formada por las variables de regresión).[pic 3][pic 4]

El parámetro  representa el cambio esperado en la respuesta Y por unidad de cambio en la en xj cuando los demás regresores se mantienen constante.[pic 5]

Los modelos que tienen una estructura mas compleja, como por ejemplo el modelo

                                                                (3.2)[pic 6]

También se pueden analizar con la técnica de regresión lineal múltiple, haciendo el siguiente cambio

[pic 7]

[pic 8]

que es un modelo de regresión lineal múltiple con tres variables de regresión.

Nota:

En general, cualquier modelo de regresión que es lineal en los parámetros ( es un modelo de regresión lineal, sin importar la forma de la superficie que se genera.[pic 9]

ESTIMACION DE LOS PARAMETROS POR MINIMOS CUADRADOS

El método de mínimos cuadrados se emplea para estimar los coeficientes de regresión del modelo lineal múltiple de la ecuación (3.1)

   o[pic 10]

[pic 11]

La función del Método de Mínimos Cuadrados es: SCE= [pic 12]

[pic 13]

El siguiente paso es minimizar la función SCE respecto a β0,  β1,β2, . . . ,βk.  Las estimaciones de mínimos cuadrados de β0,  β1,β2, . . . ,βk debe satisfacer:

[pic 14]

Después de simplificar la ecuación se tienen las ecuaciones normales de mínimos cuadrados.  La solución de las ecuaciones normales serán los estimadores por mínimos cuadrados

[pic 15]

[pic 16]

Y así sucesivamente se tiene el último

[pic 17]

Nota:

Observar que se tiene p=k+1 ecuaciones normales, uno para cada coeficiente de regresión desconocido. La solución de las ecuaciones normales puede obtenerse con cualquier método apropiado para la solución de ecuaciones lineales

Forma matricial del modelo

Al ajustar un modelo de regresión lineal múltiple es mucho más conveniente expresar las operaciones matemáticas en forma matricial. La expresión matricial del modelo de regresión múltiple es la siguiente:

[pic 18]

Donde:   =X[pic 19]

[pic 20]

En general  es un vector de observaciones de (nx1)[pic 21]

Se desea encontrar el vector de estimadores de mínimos cuadrados , que minimiza[pic 22]

[pic 23]

[pic 24]

Ajuste por mínimos cuadrados

Al igual que en regresión simple, la estrategia que seguimos para calcular el mínimo de S es:

• derivar SCE con respecto a los parámetros,

• igualar a cero cada derivada, y

• resolver el sistema de ecuaciones que resulta (y en el que las incógnitas vienen dadas por los p=k+1 parámetros que queremos estimar).

Teniendo en cuenta que:

y[pic 25][pic 26]

En términos matriciales, se tiene que:

[pic 27]

Simplificando se tiene:  [pic 28]

debe ser una matriz simétrica de orden p*p (donde p=k+1)[pic 29]

El rango de  debe de ser invertible, es decir: el rango de [pic 30][pic 31]

Entonces:  [pic 32]

Propiedades de los estimadores de Mínimos Cuadrados y estimación de [pic 33]

...