Mínimos cuadrados

Mínimos cuadrados

El resultado del ajuste de un conjunto de datos a una función cuadrática.

Mínimos cuadrados es una técnica de análisis numérico encuadrada dentro de la optimización matemática, en la que, dados un conjunto de pares ordenados: variable independiente, variable dependiente, y una familia de funciones, se intenta encontrar la función, dentro de dicha familia, que mejor se aproxime a los datos (un "mejor ajuste"), de acuerdo con el criterio de mínimo error cuadrático.

En su forma más simple, intenta minimizar la suma de cuadrados de las diferencias en las ordenadas (llamadas residuos) entre los puntos generados por la función elegida y los correspondientes valores en los datos. Específicamente, se llama mínimos cuadrados promedio (LMS) cuando el número de datos medidos es 1 y se usa el método de descenso por gradiente para minimizar el residuo cuadrado. Se puede demostrar que LMS minimiza el residuo cuadrado esperado, con el mínimo de operaciones (por iteración), pero requiere un gran número de iteraciones para converger.

Desde un punto de vista estadístico, un requisito implícito para que funcione el método de mínimos cuadrados es que los errores de cada medida estén distribuidos de forma aleatoria. El teorema de Gauss-Márkov prueba que los estimadores mínimos cuadráticos carecen de sesgo y que el muestreo de datos no tiene que ajustarse, por ejemplo, a una distribución normal. También es importante que los datos a procesar estén bien escogidos, para que permitan visibilidad en las variables que han de ser resueltas (para dar más peso a un dato en particular, véase mínimos cuadrados ponderados).

La técnica de mínimos cuadrados se usa comúnmente en el ajuste de curvas. Muchos otros problemas de optimización pueden expresarse también en forma de mínimos cuadrados, minimizando la energía o maximizando la entropía.

Formulación formal del problema bidimensional

Sea un conjunto de n puntos en el plano real, y sea una base de m funciones linealmente independiente en un espacio de funciones. Queremos encontrar una función que sea combinación lineal de las funciones base, de modo que , esto es:

Por tanto, se trata de hallar los m coeficientes que hagan que la función aproxímate dé la mejor aproximación para los puntos dados . El criterio de "mejor aproximación" puede variar, pero en general se basa en aquél que minimice una "acumulación" del error individual (en cada punto) sobre el conjunto total. En primer lugar, el error (con signo positivo o negativo) de la función en un solo punto, , se define como:

pero se intenta medir y minimizar el error en todo el conjunto de la aproximación, . En matemáticas, existen diversas formas de definir el error, sobre todo cuando éste se refiere a un conjunto de puntos (y no sólo a uno), a una función, etc. Dicho error (el error "total" sobre el conjunto de puntos considerado) suele definirse con alguna de las siguientes fórmulas:

Error Máximo:

Error Medio:

Error Cuadrático Medio:

La aproximación por mínimos cuadrados se basa en la minimización del error cuadrático medio o, equivalentemente, en la minimización del radicando de dicho error, el llamado error cuadrático, definido como:

Para alcanzar este objetivo, se utiliza el hecho que la función f debe poder describirse como una combinación lineal de una base de funciones. Los coeficientes de la combinación lineal serán los parámetros que queremos determinar. Por ejemplo, supongamos que f es una función cuadrática, lo que quiere decir que es una combinación lineal, , de las funciones , y (m=3 en este caso), y que se pretende determinar los valores de los coeficientes: , de modo que minimicen la suma (S) de los cuadrados de los residuos:

Esto explica el nombre de mínimos cuadrados. A las funciones que multiplican a los coeficientes buscados, que en este caso son: , y , se les conoce con el nombre de funciones base de la aproximación, y pueden ser funciones cualesquiera. Para ese caso general se deduce a continuación la fórmula de la mejor aproximación discreta (i.e. para un conjunto finito de puntos), lineal y según el criterio del error cuadrático medio, que es la llamada aproximación lineal por mínimos cuadrados. Es posible generar otro tipo de aproximaciones, si se toman los errores máximos o medio, por ejemplo, pero la dificultad que entraña operar con ellos, debido al valor absoluto de su expresión, hace que sean difíciles de tratar y casi no se usen.

Solución del problema de los mínimos cuadrados

La aproximación mínimo cuadrática consiste en minimizar el error cuadrático mencionado más arriba, y tiene solución general cuando se trata de un problema de aproximación lineal (lineal en sus coeficientes ) cualesquiera que sean las funciones base: antes mencionadas. Por lineal se entiende que la aproximación buscada se expresa como una combinación lineal de dichas funciones base. Para hallar esta expresión se puede seguir un camino analítico, expuesto abajo, mediante el cálculo multivariable, consistente en optimizar los coeficientes ; o bien, alternativamente, seguir un camino geométrico con el uso de el álgebra lineal, como se explica más abajo, en la llamada deducción geométrica. Para los Modelos estáticos uniecuacionales, el método de mínimos cuadrados no ha sido superado, a pesar de diversos intentos para ello, desde principios del Siglo XIX. Se puede demostrar que, en su género, es el que proporciona la mejor aproximación.

[editar]Deducción analítica de la aproximación discreta mínimo cuadrática lineal

Sea un conjunto de n pares con abscisas distintas, y sea un conjunto de m funciones linealmente independientes (en un espacio vectorial de funciones), que se llamarán funciones base. Se desea encontrar una función de dicho espacio, o sea, combinación lineal de las funciones base, tomando por ello la forma:

.

Ello equivale por tanto a hallar los m coeficientes: . En concreto, se desea que tal función sea la mejor aproximación a los n pares empleando, como criterio de "mejor", el criterio del mínimo error cuadrático medio de la función con respecto a los puntos .

El error cuadrático medio será para tal caso:

Minimizar el error cuadrático medio es equivalente a minimizar el error cuadrático, definido como el radicando del error cuadrático medio, esto es:

Así, los que minimizan también minimizan , y podrán ser calculados derivando e igualando a cero este último:

Siendo i=1,2, . . .,m

Se obtiene un sistema de m ecuaciones con m incógnitas, que recibe el

...