Cubos De Información
karen050611 de Febrero de 2013
2.033 Palabras (9 Páginas)326 Visitas
Introducción al Análisis de Datos
Introducción
• La sociedad de la información e Internet han generado
una explosión de datos
– No hay suficiente gente que pueda analizar tal cantidad de
datos
– Potencia de computación disponible
– El desarrollo de software es un cuello de botella
•Extraer conocimiento a través de ejemplos es atractivo
– Aprendizaje de la experiencia para tomar decisiones
– Servicios comerciales, financieros, etc. tienden hacia la
personalización: adaptación al individuo
• Es muy importante la comprensibilidad de la salida
Introducción al Análisis de Datos
• Descubrimiento de patrones, relaciones y tendencias
mediante análisis de gran cantidad de datos
Extracción de conocimiento
Bases de
datos
Visualización
Estadística
Aprendizaje
automático
Extracción de
conocimiento
Introducción al Análisis de Datos
Ejemplos de aplicaciones
• Toma de decisiones
– Cuándo concedo un crédito hipotecario? por cuánto? Qué
tipo de solicitante no devolverá el crédito?
– Un cliente de tarjeta de crédito está realizando una compra,
pagará? se la han robado?
• Diagnósticos
– Determinación de enfermedades
– Fallos en procesos industriales
• Marketing y ventas
– Hábitos y fidelidad de clientes. Cuál es el perfil de los clientes
que se gastan al mes más de 100.000 pts?
– Análisis de compras. Qué productos de nuestra empresa es
el que compran los clientes junto al detergente?
– Análisis de perfil más adecuado para publicidad directa.
Introducción al Análisis de Datos
Ejemplos de aplicaciones
• Predicción
– Cuánta energía se va a consumir en los próximos días?
• Agencia tributaria
– Cuál es el perfil de los “defraudadores"?
– Se puede subdividir en grupos homogéneos y caracterizar
los diferentes tipos de contribuyentes?
– Cuáles están más alejados de cada grupo?
• Herramienta de investigación. Ej.: imágenes:
– Dada una imagen tomada por un telescopio, soy capaz de
detectar y clasificar objetos interesantes?
– Alerta de fuegos, fugas de combustible, militares, etc.?
• Mejora de procesos industriales
• ...
Introducción al Análisis de Datos
Análisis de datos en Internet
• Web Mining: análisis de páginas para extraer
automáticamente información
• e-Mining: análisis de las interacciones de los clientes
con mis páginas
• Web para extraer información
• Tipo de información que busco:
– Qué tipo de clientes tengo
– Cómo interacciona cada tipo de cliente con las páginas Web
– Qué banners son los que siguen mis clientes (publicidad)
– Descubrimiento de patrones de compra/navegación
• Herramientas de gestión automática del correo
Introducción al Análisis de Datos
Almacén de datos (data warehouse)
• Técnicas para almacenar y manejar datos provenientes
de varias fuentes de una organización como medio de
soporte a la decisión
Datos
Almacén
Interfaz
Extracción del
conocimiento
Introducción al Análisis de Datos
Data Warehouse
Almacén
de Datos
Cualquier
acceso
Fuentes
Heterogéneas
Datos Aplicaciónes
externos
Datos de
Negocio
Herramientas
Cliente/Servidor
Extracción/Filtro/Integración
Explotación
Data
Warehouse
Web
Browser
Introducción al Análisis de Datos
Data Warehouse y Data Marts
C/S
Users
Web
Internet o
Intranet
Data Mart 1
Data Mart n
C/S
Users
Web
Internet
o Intranet
Explotación
Datos
externos
Extracción/Filtro/Integración
Explotación
Data
Warehouse
Datos de
Negocio
Explotación
Introducción al Análisis de Datos
Un “cubo” es una estructura para almacenar información
que permite realizar análisis multidimensional y se basa
en métricas y dimensiones.
¿Qué es un CUBO de información?
Métrica: Medición matemática de una variable del negocio.
Qué quiero medir.
• cantidad de ventas
• unidades vendidas
• % desecho
• # productos en
almacén
• etc.
Introducción al Análisis de Datos
Dimensión. Contra qué quiero medir.
• sucursales
• zona
• clientes
• vendedores
•etc.
Un “cubo” es una estructura para almacenar información
que permite realizar análisis multidimensional y se basa
en métricas y dimensiones.
¿Qué es un CUBO de información?
Introducción al Análisis de Datos
Ventas
México
Norte Centro Sur
D.F. Morelos
BJ VC XO
Balbuena Moctezuma
Drill Down. Desglosar una métrica de lo general a lo particular
por la jerarquía de sus dimensiones
Operaciones con cubos OLAP
Introducción al Análisis de Datos
Ventas
México
Norte Centro Sur
D.F. Morelos
BJ VC XO
Balbuena Moctezuma
Drill Up. Agregar una métrica de lo particular a lo general por
la jerarquía ascendente de sus dimensiones
Operaciones con cubos OLAP
Introducción al Análisis de Datos
Slice. Obtener un sub-cubo fijando una de sus dimensiones
Tiempo= Ene.
Norte
Este
Sur
A B C
Geografía
Ventas del
Producto
Operaciones con cubos OLAP
Introducción al Análisis de Datos
Dice. Obtener un sub-cubo fijando dos o mas de sus dimensiones
Tiempo = Ene. or Feb
Geografía =Norte or Este
Obtenemos un cubo2 x 3
Tiempo = Ene. or Feb
Geografía =Norte or Este
Ventas del Producto = C or B
Obtenemos un cubo 2 x 2
Operaciones con cubos OLAP
Introducción al Análisis de Datos
El Proceso de KDD
Conocimiento
LIMPIEZA
Datos Procesados
TRANSFORMACIÓN
Datos Transformados
MINERÍA DE DATOS
Modelos
INTERPRETACIÓN Y EVALUACIÓN
Datos objetivo
SELECCIÓN
Datos
Introducción al Análisis de Datos
• Contexto de un aplicación con Análisis de Datos.
– Proceso interactivo e iterativo. Ensayo y error
Planteamiento
oportunidad,
problema, ... Proceso de
Análisis de
Datos. Modelos
Toma de
decisiones,
acciones
(más datos)
Datos/
Resulados
El Proceso de KDD
Introducción al Análisis de Datos
1. Formular el problema
2. Determinar la representación (atributos y clases)
– directamente
– hablando con expertos
– a partir de otras técnicas (filtros)
3. Identificar y recolectar datos de entrenamiento (bases de datos,
ficheros, …)
4. Preparar datos para análisis
5. Selección de modelo, construcción y entrenamiento
6. Evaluar lo aprendido
– validación cruzada, expertos
7. Integrar la base de conocimiento a la espera de nuevos datos
tras acciones
METODOLOGÍA
Introducción al Análisis de Datos
Técnica
Supervisada
No Supervisada
Clasificación
Predicción
Agrupamiento
Asociación A Priori
Numérico K-MEDIAS
Conceptual
Probabilístico
Regresión
Árboles de Predicción
Estimador de Núcleos
Tabla de Decisión
Árboles de Decisión
Reglas
Bayesiana
Basado en Ejemplares
Redes de Neuronas
TÉCNICAS MD
Introducción al Análisis de Datos
Tipos de técnicas
• Paramétricas, no paramétricas
• Grado de supervisión
– Supervisadas, no supervisadas, por refuerzo
• Tipo de información resultante
– Simbólica, subsimbólica/numérica, mixta
• Número de técnicas empleadas
– Sencillos, meta-clasificadores
• Tipo de clases
– Discretas, continuas, desconocidas
Introducción al Análisis de Datos
Estadística vs. aprendizaje automático
• Técnicas estadísticas
– asumen una determinada estructura/ distribución
– tienen que determinar los parámetros (técnicas paramétricas)
– pueden funcionar con pocos datos. Verificación de hipótesis
– basadas fundamentalmente en la estadística
• Técnicas no-paramétricas (aprendizaje automático)
– están dirigidas por los datos. Realizan un mínimo de
suposiciones
– pueden capturar cambios estructurales en los datos
– determinan los parámetros y además la estructura del
modelo
...