INFORME DEL BIG DATA Y EL COVID-19 EN CHILE

UNIVERSIDAD DE LA SERENA

FACULTAD DE INGENIERÍA

DEPARTAMENTO DE INGENIERÍA EN OBRAS CIVILES

ELECTIVO DE FORMACION PROFESIONAL

INFORME DEL BIG DATA Y EL COVID-19 EN CHILE

INTRODUCCIÓN AL BIG DATA Y ANÁLISIS DE DATOS

Alumnas

Katty Arriagada Cordero

Elena Carvajal Ahumada

Camila Guzmán Ortiz

Paulina Velásquez Marín

Académico

Docente David Gómez Schwartz

La Serena, Región de Coquimbo.

Lunes 7 de junio 2021

Índice

Introducción 3

Objetivo General 4

Objetivos Específicos 4

Marco teórico 5

Marco general y oportunidad de la propuesta de Big data 9

Tipos de datos 11

Arquitectura conceptual y mix tecnológico 17

Beneficios de la implantación de la propuesta 26

Conclusión 27

Bibliografía 28

Introducción

El uso de la tecnología del Big Data ha sido utilizado desde hace mucho tiempo para obtener ideas y así dar soluciones a problemas, pero pocos tienen conocimiento de cuál es la función y el origen de este.

El Big Data se basa en el análisis de un gran conjunto de datos, donde se recolectan, se tratan y finalmente se analizan para el beneficio de la entidad o persona que requiera los datos, una de las ventajas de este proceso es el corto tiempo que necesita para analizar un gran volumen de datos en comparación a los métodos tradicionales que existen. En otras palabras, Big Data se caracteriza por el análisis de datos en grandes volúmenes, variedad y velocidad.

El termino de Big Data se comenzó a emplear y generalizar a fin de los años 90 pero en realidad este método ha sido utilizado desde hace muchos años atrás, incluso se ha llegado a pensar que desde el paleolítico se utiliza este método. Uno de los primeros pioneros del Big Data fue el científico Alan Turing, quien durante la segunda guerra mundial lidero un grupo de inteligencia en Bletchley Park, donde su objetivo era descifrar Enigma, una de las máquinas de cifrado que empleaba el ejército nazi. Este trabajo logro acortar entre 2 y 4 años la guerra.

Con el tiempo el Big Data tuvo muchos avances y uno de los más relevantes fue en el año 1989 donde se crea el WWW e internet y a su vez se abren los primeros caminos a la generación masiva de datos.

Hoy en día el Big Data tiene un puesto importante en la sociedad ya que se ha podido emplear en diferentes áreas como en la política, en el medio ambiente, en la productividad, en la vida personal y en la salud, un claro ejemplo es el importante rol que ha cumplido en la pandemia que vive el mundo hoy en la actualidad ya que nos ha facilitado analizar los datos de todo el mundo y así buscar las medidas necesarias para poder combatir el COVID-19 de la mejor manera.

La INE Chile (Instituto Nacional de Estadísticas) ha tenido un rol importante en el análisis de datos en esta pandemia gracias al convenio firmado con el Instituto Milenio Fundamentos de los Datos. Esto ha podido facilitar la realización de actividades como la investigación científica y tecnológica referida a bases de datos, algoritmos, inteligencia artificial, Big Data, entre otras temáticas aplicadas al desarrollo y producción de estadísticas. Es por este buen desempeño que la INE Chile ingreso al Directorio del Comité de Estadísticas y Política Estadística de la OCDE donde tiene el rol de conectar los países desarrollados con los países en desarrollo, ya que al tener acceso a metodología más avanzadas las comparte y las adapta a los países en vías de desarrollo.

Objetivo General

Identificar las herramientas del Big Data para crear modelos predictivos fiables y así desarrollar nuevas habilidades para hacer frente al Covid-19 en Chile.

Objetivos Específicos

1.- Definir marco general y oportunidad de la propuesta de Big Data.

2.- Identificar los tipos de datos y fuentes a utilizar en la propuesta.

3.- Conocer la arquitectura conceptual y mix tecnológico de la solución propuesta.

4.- Establecer los beneficios de la implantación de su propuesta.

Marco teórico

Big Data, ¿Qué es?

Cuando hablamos de Big Data nos referimos a conjuntos de datos cuyo tamaño, complejidad y velocidad de crecimiento dificultan su captura, gestión, procesamiento o análisis mediante tecnologías y herramientas convencionales. Estas características se pueden resumir en lo que se llaman las 5 Vs del Big Data: Volumen, Variabilidad, Velocidad, Veracidad y Valor.

Las 5 V’s del Big Data

Fig. N°1: Las 5 V’s del Big Data

1. Variedad

Con tantas fuentes, tipos de datos y estructuras complejas, la dificultad de integración de datos aumenta. La complejidad de los datos, es principalmente la estructura en cómo están conformados los datos, se pueden encontrar datos estructurados, semi estructurados o no estructurados.

Las fuentes de datos de Big Data son muy amplias como; datos relacionales (tablas, transacciones, datos legales, etc.), datos textuales encontrados en internet, datos sectoriales recopilados por empresas especializadas, datos experimentales, etc.

2. Volumen

Como ya hemos visto, el volumen de datos es enorme, y eso complica la ejecución de un proceso de calidad de datos dentro de un tiempo razonable. Además, el volumen de los datos aumenta exponencialmente.

Es difícil recolectar, limpiar, integrar y obtener datos de alta calidad de forma rápida. Se necesita mucho tiempo para transformar los tipos no estructurados en tipos estructurados y procesar esos datos.

Se habla de volumen en cantidad de datos y en cantidad de espacio ocupado donde están los bytes, mega byte, giga byte, hasta la zeta byte.

3. Velocidad

La velocidad es algo sumamente subjetivo. Con el crecimiento del Internet de las Cosas, los datos llegan a las empresas a una velocidad sin precedentes y deben ser manejados de manera oportuna. Las etiquetas RFID, los sensores y los medidores inteligentes están impulsando la necesidad de manejar estos torrentes de datos en tiempo casi real.

4. Valor

El análisis de Big Data ayuda a las organizaciones a aprovechar sus datos y utilizarlos para identificar nuevas oportunidades. Eso, a su vez, conduce a movimientos de negocios más inteligentes, operaciones más eficientes, mayores ganancias y clientes más felices.

Las empresas con más éxito con Big Data consiguen valor de las siguientes formas:

* Reducción de coste: Las grandes tecnologías de datos, como Hadoop y el análisis basado en la nube, aportan importantes ventajas en términos de costes cuando se trata de almacenar grandes cantidades de datos, además de identificar maneras más eficientes de hacer negocios.

* Rapidez, mejor toma de decisiones: Con la velocidad de Hadoop y la analítica en memoria, combinada con la capacidad de analizar nuevas fuentes de datos, las empresas pueden analizar la información inmediatamente y tomar decisiones basadas en lo que han aprendido.

* Nuevos productos y servicios: Con la capacidad de medir las necesidades de los clientes y la satisfacción a través de análisis viene el poder de dar a los clientes lo que quieren. Con la analítica de Big Data, más empresas están creando nuevos productos para satisfacer las necesidades de los clientes.

5. Veracidad

La calidad de datos de Big Data es clave, no solo para poder obtener ventajas competitivas sino también impedir que incurramos en graves errores estratégicos y operacionales basándonos en datos erróneos con consecuencias que pueden llegar a ser muy grave.

¿Cómo funciona el Big Data?

Es necesario conocer las tres acciones claves que se involucran en Big Data:

Integrar

Big data reúne datos de muchas fuentes y aplicaciones dispares. Los mecanismos tradicionales de integración de datos, como ETL, por sus siglas en inglés: (extraer, transformar y cargar) generalmente no están a la altura de esta tarea; para lo cual se requieren nuevas estrategias y tecnologías para analizar grandes conjuntos de datos en capacidades que van desde los terabytes o incluso peta bytes.

En la fase de la integración, se ingresan los datos para posteriormente procesarlos y asegurarse de que estén formateados y disponibles de manera adecuada para que los analistas del negocio puedan comenzar a utilizarlos.

Gestionar

Big data requiere almacenamiento, esto implica que, si es necesario analizar información de diversas fuentes, implicaría el tener espacio suficiente para almacenar todos esos datos. Tal vez esta es la acción más compleja de entender y de encontrar la solución más adecuada para la organización.

Tener una alternativa local para la gestión de la información a utilizar en Big Data podría ser muy costosa para la organización. Actualmente muchas empresas han empezado a migrar el almacenamiento de cierta información en la nube. Ya que es posible almacenar los datos en la forma que se desee y lo más importante realizar ciertas acciones de procesamiento o motores de procesamiento necesarios directamente en la

...