Regresión lineal múltiple

UNIDAD

2

REGRESIÓN        

        LINEAL  MÚLTIPLE

OBJETIVO  EDUCACIONAL        

Al término de esta unidad el alumno será capaz de:

• Interpretar con precisión el proceso metodológico para la construcción de un modelo de regresión lineal múltiple..

1.   Modelos de Regresión Múltiple

El modelo de regresión que involucra más de una variable regresora se llama modelo de regresión múltiple.  El modelo de regresión múltiple  más simple es de la forma

[pic 1]

Este es un modelo de regresión lineal múltiple con dos variables regresoras.  El término lineal empleado se debe a que la ecuación es una función lineal de los parámetros desconocidos [pic 2], la cual describe un plano en el espacio tridimensional [pic 3]  El parámetro [pic 4] define la ordenada al origen del plano;[pic 5]  reciben el nombre de coeficientes de regresión parciales,  porque  [pic 6] mide el cambio esperado en  por cambio unitario en x1 cuando x2 permanece constante, y [pic 7] mide el cambio esperado en y por cambio unitario en x2 cuando x1 permanece constante.

En general,  la variable dependiente o respuesta   y  puede relacionarse con  k  variables independientes.  El modelo

[pic 8]

se denomina modelo de regresión lineal múltiple con k  variables independientes.  Los parámetros [pic 9], se denominan coeficientes de regresión parciales porque ellos describen el efecto parcial de una variable independiente cuando las otras variables independientes en el modelo se mantienen constantes.

Los modelos de regresión lineal múltiple se utilizan a menudo como funciones de aproximación.  Esto es, la verdadera relación funcional entre  y  y  x1, x2, . . . , xk  se desconoce, aunque sobre ciertos intervalos de las variables independientes el modelo de regresión lineal es una aproximación adecuada.

Los modelos que son más complejos en apariencia pueden con frecuencia ser analizados mediante técnicas de regresión lineal múltiple. Por ejemplo, considérese el modelo polinomial cúbico en una variable independiente

[pic 10]

si hacemos x1=x,  x2 = x2,  y  x3 = x3 , entonces esta ecuación puede escribirse como

[pic 11]

que es un modelo de regresión lineal múltiple con tres variables regresoras. En general, cualquier modelo de regresión que es lineal en los parámetros (los valores β) es un modelo de regresión lineal, sin importar la forma de la superficie que genera.

1.   Estimación de Parámetros.

El método de mínimos cuadrados puede utilizarse para estimar los coeficientes para el modelo de regresión lineal múltiple:

[pic 12]

Suponga que se disponen n > k observaciones, y  que xij denote la i-ésima observación o el nivel de la variable xj.  Los datos aparecerán como se indica en la tabla 2.1.  Suponemos que el término del error está normal e independientemente distribuido, [pic 13]

Tabla 2.1  Datos para la Regresión Lineal Simple

Podemos escribir el modelo en términos de las observaciones como

[pic 18]

La  función de mínimos cuadrados es

[pic 19]

La función  L  se minimizará con respecto  a  [pic 20].  Los estimadores de mínimos cuadrados de  [pic 21] deberán satisfacer

[pic 22]

y

[pic 23]

Al simplificar estas ecuaciones obtenemos las ecuaciones normales de mínimos cuadrados

[pic 24]

[pic 25]

                     [pic 26]                [pic 27]                [pic 28]                [pic 29]                  [pic 30]

[pic 31]

Observamos que hay  k + 1  ecuaciones normales, una por cada uno de los coeficientes de regresión desconocidos.  La solución para las ecuaciones normales serán los estimadores de mínimos cuadrados de los coeficientes de regresión,  [pic 32].

Enfoque Matricial para la Regresión Lineal Múltiple.

El modelo de regresión lineal múltiple en términos de de las observaciones, puede escribirse en notación matricial como

[pic 33]

Donde:

    [pic 34]                [pic 35]            [pic 36];             y          [pic 37]

...