Algoritmos basados en métricas y probabilístico-estadístico

 [pic 1][pic 2]

UNIVERSIDAD AUTÓNOMA DE GUERRERO

UNIDAD ACADÉMICA DE INGENIERÍA

INGENIERÍA EN COMPUTACIÓN

Reconocimiento de patrones

Algoritmos basados en métricas y probabilístico-estadístico

Materia: Sistemas expertos

Profesor: Antonio Alarcón Paredes

Estudiante: Juan Gerardo Epitacio Gálvez

Chilpancingo Gro. A junio del 2015.

Contenido

Introducción        

Monografía del conjunto de datos        

Datos tecnicos        

¿De qué trata?        

¿Qué es cada a tributo?        

Ejemplo de un patrón        

Descripción de los clasificadores vistos en clase.        

K-NN        

Euclidiano        

LDA (Análisis discriminante lineal)        

Pruebas del conjunto de datos en weka        

Bayes-Naive Bayes        

Functions-Logistic        

Functions-Multilayer perceptron        

Functions-Simple logistic        

Lazi-IBK-1NN        

Lazi-IBK-2NN        

Lazi-IBK-3NN        

Lazi-IBK-k-star        

Rules-part        

Trees-J48        

Conclusiones        

Introducción

El reconocimiento de patrones es una rama de la inteligencia artificial que se encarga de estudiar y crear modelos matemáticos para crear, clasificar y reconocer patrones, un patrón es un vector de n elementos que describen las características de un objeto, fenómeno o suceso conocido comúnmente como clase.

Un algoritmo de clasificación se califica en función de que tan exacto asocia un patrón con su respectiva clase.

Enfoque probabilístico-estadístico

Este es el primer enfoque que se desarrolló para la tarea de reconocimiento de patrones, se basa en la teoría de la probabilidad y la estadística, utilizando un análisis de varianzas, covarianzas, dispersión, distribución etc.

En este enfoque se considera a un patrón como un conjunto de n características numéricas que se interpretan como un vector n dimensional, además se asume que la certeza de que el vector represente a una determinada clase viene dada a través de la distribución de probabilidad asociada a las características.

Enfoque basado en métricas

En este enfoque se utilizan las métricas o llamadas también funciones de distancia. Una métrica es una función que define una distancia entre un patrón y otro. Se da, en general el nombre de distancia o disimilaridad entre los patrones i y j a una medida, indicada por d(i,j), que mide el grado de semejanza, entre los patrones. Las métricas más utilizadas en este enfoque son las del matemático alemán Hermann Minkowsky  llamadas métricas de Minkowsky.

Monografía del conjunto de datos

Datos técnicos

Nombre:                        Base de datos de Wisconsin del diagnóstico del cáncer de mama.

Patrones:                         569        

Atributos:                        30

Clases:                        2, {M=maligno, B=benigno}

¿De qué trata?

Los datos de los patrones provienen de imágenes digitales resultado de un procedimiento llamado aspiración de aguja fina, (FNA en inglés) realizado a masas fibroquísticos de mama de un paciente. Describen las características del núcleo de las células presentes en la imagen.

¿Qué es cada a tributo?

De las imágenes resultantes se extraen las siguientes 10 características por cada célula encontrada en la imagen.

1. Radio (Media de la distancia del centro a los puntos del perímetro).
2. Textura (Desviación estándar de los valores en escala de grises).
3. Perímetro
4. Área
5. Suavidad (variación local en la longitud radial)
6. Compacidad (perímetro^2 / área-1.0)
7. Concavidad (grado de porciones cóncavas del contorno)
8. Puntos cóncavos (número de porciones cóncavas del contorno)
9. Simetría
10. Dimensión fractal (“coastline approximation” – 1)

Del conjunto de células analizadas se calculan los siguientes parámetros en cada una de las 10 características dando un total de 30 características por imagen o paciente.

• El valor de la media del atributo
• Media de los tres valores más grandes de cada atributo
• Error estándar de cada característica

Ejemplo de un patrón

Los primeros 10 atributos son las medias de todas las células, en las 10 características mencionadas anteriormente, siguen las medias de los valores más grandes (10 atributos en negro) y el error estándar (los últimos 10) y por último la clase.

17.99,10.38,122.8,1001,0.1184,0.2776,0.3001,0.1471,0.2419,0.07871,1.095,0.9053,8.589,153.4,0.006399,0.04904,0.05373,0.01587,0.03003,0.006193,25.38,17.33,184.6,2019,0.1622,0.6656,0.7119,0.2654,0.4601,0.1189,M

Descripción de los clasificadores vistos en clase.

K-NN

Para clasificar un patrón, este clasificador calcula con una función de distancia del patrón a clasificar con todos el conjunto de patrones de entrenamiento, de las distancias calculadas se seleccionan las k distancias más cercanas en donde k es un numero arbitrario impar.

De las k distancias más cercanas, se obtiene la clase a la cual pertenecen los k patrones, una vez obteniéndose la clase, se suman las frecuencias con las que la clase aparecen.

El nuevo patrón es clasificado a la clase que tenga más frecuencias en el conteo.

Euclidiano

El clasificador euclidiano utiliza el concepto de centroide para realizar la clasificación de un patrón, el centroide no es nada más que un vector con la media de cada atributo de los patrones que pertenecen a la misma clase, de todo el conjunto de entrenamiento. El centroide se vuelve entonces el representante de cada clase.

Primero se calcula la distancia euclidiana del patrón a clasificar con los k centroides, se obtiene el centroide con la menor distancia, y se clasifica el nuevo patrón dentro de la clase que el centroide represente.

LDA (Análisis discriminante lineal)

Fundamentalmente este clasificador lo que hace es un proceso de discriminación o de separación, busca encontrar la función discriminante que permita separar linealmente a todas las clases.

Es una generalización del método discriminante lineal propuesto por Ronald A. Fisher, caracteriza o separa dos o más clases de objetos o eventos. La combinación resultante es utilizada como un clasificador lineal, o, más comúnmente, para la reducción de la dimensión antes de la clasificación.

Se puede observar de manera gráfica el discriminante lineal  encontrado hipotéticamente por LDA en la figura 1-b

[pic 3]

[pic 4][pic 5]

Figura 1, a) Una discriminante lineal poco representativa. B) Discriminante lineal optima, minimiza la separación entre los patrones de la misma clase y maximiza la separación entre patrones de la misma clase.

Para la clasificación LDA utiliza variables independientes continuas (patrones) y solo una variable dependiente categórica (clase).

A continuación se describe a grandes rasgos el algoritmo de clasificación LDA.

1. Calcular la probabilidad priori de cada clase (número de patrones de la clase / el número total de patrones).
2. Calcular el vector promedio de cada clase.
3. Calcular el promedio total (promedio de los vectores promedios o centroides).
4. Trasladar los datos, estableciendo como origen a µ (patrón – vector promedio total).
5. Del conjunto trasladado calcular la matriz de covarianzas para cada clase.
6. Calcular la matriz de covarianzas total.
7. Obtener la matriz inversa de S.
8. Comenzar la clasificación por cada patrón con la función discriminante dada para cada clase.

[pic 6]

En donde

S = Matriz de covarianzas total.

X= Patrón.

P= Probabilidad priori.

Pruebas del conjunto de datos en weka

Bayes-Naive Bayes

[pic 7]

Conjunto de datos completo.

[pic 8]

Hold out (Split 70%).        

[pic 9]

K-fold cross validation 10 folds.        

[pic 10]

K-fold cross validation 569 folds.

Functions-Logistic

[pic 11]

Con el conjunto de datos completo

[pic 12]

Hold out (Split 70%)

[pic 13]

K-fold cross validation 10 folds.

[pic 14]

K-fold cross validation 569 folds.

Functions-Multilayer perceptron

[pic 15]

...