Redes neurales vs modelos estadísticos: Simulaciones sobre tareas de predicción y clasificación

UNIVERSIDAD NACIONAL DE INGENIERÍA

FACULTAD DE INGENIERÍA INDUSTRIAL Y DE SISTEMAS

[pic 1]

Redes neurales vs modelos estadísticos: Simulaciones sobre tareas de predicción y clasificación

CURSO: TOPICOS DE INGENIERIA DE SISTEMAS - ST205V

< 06 de Julio del 2020>

Contenido

1.        DATOS GENERALES        3

2.        OBJETIVOS        3

3.        INTRODUCCIÓN        3

4.        TÉCNICAS, MODELOS, METODOLOGÍA        3

5.        APLICACIONES, EXPERIMENTOS Y RESULTADOS        5

6.        CONCLUSIONES        6

7.        APRECIACIÓN CRÍTICA        7

1. DATOS GENERALES

Título: Redes neurales vs modelos estadísticos: Simulaciones sobre tareas de predicción y clasificación

Año: 1998

Autor: Alfonso Pitarque, Juan Francisco Roy y Juan Carlos Ruiz

Origen: Psicológica

1. OBJETIVOS

• Comparar el rendimiento de las redes neuronales (Perceptron multicapa) vs modelos estadísticos (regresión múltiple, análisis discriminante y regresión logística) en tareas de predicción y clasificación, mediante la manipulación de patrones de correlación existente entre los predictores y entre los predictores con el criterio y así saber cual es mejor para cada una de las tareas.

1. INTRODUCCIÓN

Al momento de investigar en muy común encontrarnos en situaciones en los que se necesita predecir el comportamiento de una variable criterio en función de otras variables predictoras. Si la variable criterio es cuantitativa se trataría de un problema de predicción propiamente dicho, mientras que si la variable criterio es cualitativa se habla de un problema de clasificación.

De forma tradicional, para la resolución de estos problemas se usan modelos estadísticos de regresión (para predicción se usa regresión simple o múltiple y para clasificación, modelos de regresión logística). Estos modelos forman parte del llamado Modelo de Regresión General Lineal.

Desde 1986 se han ido utilizando progresivamente a las llamadas redes neuronales o modelos estadísticos como modelos de predicción y clasificación. Una red neuronal es un sistema informático que aprende de su experiencia mediante la auto modificación de sus conexiones.

Muchos autores han estado estudiando las relaciones que hay entre los modelos conexionistas y los modelos estadísticos clásicos, donde surge el problema de encontrar resultados contradictorios al querer determinar qué modelo es más eficiente al momento de dar solución a problemas concretos de predicción/clasificación. Así mientras algunas investigaciones no encuentran diferencia entre uno u otro modelo, hay otras que tienden a dar una ligera superioridad a las redes neuronales.

Ante esto, los defensores de los modelos estadísticos explican las discrepancias aduciendo una incorrecta aplicación de las técnicas estadísticas: análisis inadecuado de los supuestos teóricos en los que se basan (homogeneidad de la matriz de covarianzas, normalidad, …), utilización de matrices datos sesgadas, ausencia de preprocesamiento de los datos (outliers, missing data, ...) y transformación de variables, etc.

Por su parte los expertos en redes neuronales aducen a que, si bien estas redes son capaces de asociar cualquier patrón de entrada con cualquiera de salida, el rendimiento recae del ajuste heurístico de varios parámetros (número de unidades de entrada, salida y ocultas, si procede; funciones de activación: lineal, sigmoidal, tangencial, ...; regla de aprendizaje: Hebb, delta, retropropagación, ...; coeficientes de aprendizaje y momentum, etc.), ajuste que no siempre puede garantizar la solución deseada.

En este trabajo se intenta contrastar sistemáticamente el rendimiento de las redes neuronales vs los modelos estadísticos en tareas de predicción de una variable de criterio cuantitativa y en problemas de clasificación de una variable cualitativa (con 2 o 3 categorías de clasificación)

1. TÉCNICAS, MODELOS y METODOLOGÍAS

Cuando intentamos predecir el valor de una variable ya sea continua o discreta podemos aplicar distintos algoritmos que permitan ello en donde se encuentran los modelos de regresión, los cuales tienen ciertos supuestos a posteriori entre los cuales están:

• Relación entre los parámetros sea lineal
• Esperanza matemática de los errores de cada observación en el conjunto de datos es 0
• Normalidad de los errores E~N(0, σ2)

Además de estos supuestos se debe tener en cuenta que el rendimiento dependerá del patrón de correlaciones que mantengan los predictores entre sí, y cada predictor con el criterio: será óptimo cuando existan altas correlaciones de los predictores con el criterio, pero bajas correlaciones entre los predictores. Por contra, el rendimiento será peor a medida que aquellas correlaciones desciendan, y/o que éstas últimas aumenten (colinealidad).

1. MODELO DE REGRESIÓN

1. MODELO DE REGRESION LINEAL

[pic 2]

• W: pesos de las variables X en el modelo
• b: intercepto
• X: variables independientes
• A(x): variable dependiente

1. MODELO DE REGRESION LOGÍSTICA

[pic 3]

• P(Y=k|X=x): Probabilidad de que la variable cualitativa Y adquiera el valor de K, dado que el predictor X tiene el valor de x.
• β0, β1: coeficientes del modelo.
• X: variable independiente.

[pic 4]

1. REDES NEURONALES

Perceptrón: unidad básica de una red neuronal, que recibe un conjunto de variables X, donde cada variable X tiene un peso asociado a la neurona denotado por W. Y tiene como salida una variable dependiente Y.

...