Adaline y su algoritmo de entrenamiento, el algoritmo de LMS

Adaline y su algoritmo de entrenamiento, el algoritmo de LMS

LMS significa mínimo cuadrado medio (least mean square)

La neurona de Adaline y este algoritmo de entrenamiento fueron desarrollados en 1959 por Bernard Widrow y su 1er alumno de doctorado Ted Hoff

2 equipos uno de 1960 y otro de 1963, son neuronas adaptativas individuales entrenables y ambos se entrenaron con el algoritmo LMS. Cada uno es una neurona Adaline única.

Tienen un arreglo de interruptores que permite la entrada de un patrón. El patrón de entrada o entradas de píxeles son dadas con 1 y -1 de acuerdo a la posición del interruptor. Es una matriz de 4x4 dando 16 interruptores. Cada interruptor está conectado a un coeficiente (perillas) que son los pesos que se ajustan manualmente. Los coeficientes se ajustan manualmente por el dispositivo simple es para aprender a clasificar patrones.

El segundo tiene los mismo interruptores de 1 y -1 con luces que indican dichos valores, y se entrena simplemente ajustando el interruptor de adaptación el cual demuestra la teoría, y se puede ver la respuesta de salida de la neurona para cada patrón de entrada. No tiene los pesos mecánicos ajustables o coeficientes o sinapsis, en este la sinapsis es electromecánicos. Es un control electrónico sobre los pesos. Los pesos son controlados automáticamente con el algoritmo LMS.

El algoritmo LMS tiene una entrada X, el cual es el patrón de la red. Cada patrón tiene un conjunto de componentes (en las Adaline mostradas serían 1 y -1 que bien podrían ser entradas analógicas). Cada entrada se va a un peso. Se hace la suma de los pesos, esto es la suma de X1 por W1, X2 por W2 hasta Xn por Wn. Hay una forma especial llamada Bias weight (peso Bias). W0 su entrada siempre es 1, con la entrada a este peso nunca cambia este coeficiente determina un Bias que se esta agregando a la suma y esto da la posibilidad de tener un Bias en la salida si se necesita.

Cuando estamos entrenando esto, alimentamos en un conjunto de patrones de entrada para cada patrón de entrada por lo que perdemos un poco de nuestra X. Para cada patrón de entrada hay una respuesta deseada, le decimos a la neurona que es lo que queremos de respuesta para esa entrada. Comparamos la respuesta deseada con la respuesta de salida, la diferencia entre ambas es una señal de error. Y el error es usado para adaptar los pesos. Si en el diagrama se tiene que los pesos son círculos con una flecha atravesada indica que es ajustable. Así que el error tiene que ver con ajustar los pesos y lo que vamos a hacer es ajustarlos para minimizar el cuadrado medio del promedio del error sobre todo el patrón de entrenamiento.

Así que tenemos todo el patrón de entrenamiento, cada patrón de entrenamiento es una X de entrada y una respuesta deseada asociada. así que tomamos el conjunto de patrones de entrada, ajustamos los pesos y el propósito es minimizar el error no solo para el patrón individual pero en todo el conjunto de patrones, en promedio queremos minimizar el error cuadrático medio.

El error es malo

Se trata de deshacerse de los errores, queremos tener 0 de error si lo podemos obtener sobre todos los conjuntos de patrones de entrenamientos. A veces se logra a veces no.

Se tiene 0 cuando todos los conjuntos de patrones de entrenamiento son linealmente independientes y el # de patrones de entrenamiento es igual o menor que el total números de pesos, total número de entradas.

Normalmente la salida iría a un elemento no linear llamado función de activación, puede ser Sharp quantizer o ahora más favorable un Sigmoid.

Para el algoritmo se hace un poco de algebra.

Se tiene una salida Y

Una salida desead d

e=d-Y donde Y=WTX

WTX es un escalar, e es escalar, Y es escalar, X es un vector, W es un vector

Para minimizar el cuadrado medio del error sobre el conjunto de patrones de entrenamiento se obtiene el cuadrado del error

e2=d2-2dXTW+ WTX XTW

MSE (means square error) cuadrado medio del error

MSE =ε = E (e2) = E (d2)-2E[2dXT]W + WT E[X XT]W

La W se deja afuera porque se van a usar los pesos sin ajustar, sin adaptar.

E=Expected value

MSE en función de los pesos es cuadrática y se puede representar como un paraboloide. Es una función de los pesos, es un paraboloide si se tienen dos formas, si se tienen más se necesitan más dimensiones en el espacio por lo que se forma un hiper-paraboloide.

...