REDES NEURONALES RECURRENTES

REDES NEURONALES RECURRENTES

ANDREA PAOLA ALZATE RAMIREZ

INGENIERIA EN SISTEMAS

ALDEMAR HERNÁNDEZ GALLEGO

INTELIGENCIA ARTIFICIAL

INSTITUCIÓN UNIVERSITARIA SALAZAR Y HERRERA

INGENIERÍA

MEDELLÍN

2018

INTRODUCCIÓN

Las Redes Neuronales son un campo muy importante dentro de la Inteligencia Artificial. Inspirándose en el comportamiento conocido del cerebro humano (principalmente el referido a las neuronas y sus conexiones), trata de crear modelos artificiales que solucionen problemas difíciles de resolver mediante técnicas algorítmicas convencionales.

Los procesos para entrenar una máquina no son tan diferentes de los que tienen lugar cuando los humanos aprenden. De hecho, los científicos se inspiraron en el cerebro humano para crear redes neuronales: cuando intentamos hacer que un concepto complejo sea comprensible, una forma inmediata / natural es tratar de recordar la forma en que originalmente absorbimos el concepto, lo que nos hizo entenderlo o lo que hicimos. Solía hacerlo más fácil.

La misma lógica debe aplicarse al enfrentar la tarea de tratar de enseñar a una máquina a aprender: debemos enseñar a la máquina a usar ejemplos pasados ​​para ayudarlo a comprender mejor un concepto o usar técnicas de aprendizaje de refuerzo para asegurar que la máquina aprenda. Siguiendo esta línea, tiene sentido reducir el proceso de enseñanza a una unidad de aprendizaje y tratar de emular su comportamiento.

Los problemas de predicción de series temporales son complejos para el modelado predictivo. A diferencia de modelos predictivos de regresión, las series temporales también añaden la complejidad de una dependencia de secuencia entre las variables de entrada. Un poderoso tipo de red neuronal diseñada para manejar secuencias la dependencia se llama Redes Neuronales Recurrentes. Las redes de memoria larga-corto plazo por sus siglas LSTM es un tipo de red neuronal recurrente que se utiliza en el aprendizaje profundo debido a sus grandes arquitecturas las cuales pueden ser entrenadas con éxito.

REDES NEURONALES RECURRENTES

Las redes neuronales recurrentes son redes que presentan uno o más ciclos en el grafo de nido por las interconexiones de sus unidades de procesamiento.

Las redes recurrentes, son redes neuronales con conexiones recurrentes, estas conexiones permiten generar memorias sobre las entradas, estas redes permite escalar a secuencias suficiente mente largas, se puede predecir una serie del tamaño que se desee, cosa que no sucede en la mayor parte de redes.

Una de las ventajas de esta red, es que usa el mismo modelo, la misma estructura y el mismo ante parámetro para cada de la secuencia temporal, algo que es muy importante.

Por ejemplo en esta frase: “Me gustaría comprar una camiseta mañana” o “Mañana me gustaría comprar una camiseta”

Si entrenamos una red multilearning pecentro para este caso, se tendría que entrenar con unos pesos diferentes para cada palabra de la secuencia y si quisiéramos saber que vamos a comprar y cuando, cambiaria mucho la cosa de esta frase desordenada, cuando su significado es el mismo; sin embargo en una red recurrente podemos aprovechar de que estamos usando los mismos parámetros para cada elemento de la secuencia, cosa que da muchas ventajas.

La existencia de estos ciclos les permite trabajar de forma innata con secuencias temporales. Las redes recurrentes son sistemas dinámicos no lineales capaces de descubrir regularidades temporales en las secuencias procesadas y pueden aplicarse, por lo tanto, a multitud de tareas de procesamientos de este tipo de secuencia.

Características Principales: Al permitir conexiones recurrentes aumenta el número de pesos o de parámetros ajustables de la red, aumentando la capacidad de representación y se complica el aprendizaje

Las actividades no dependen solo de las actividades de la capa anterior sino también de la activación de cualquiera otra neurona conectada a ella e incluso de su propia activación.

Datos secuenciales, redes neuronales recurrentes y BackPropagation a través del tiempo

Las secuencias son una forma muy natural de representar la realidad: desde la vista y el oído hasta el comportamiento y el lenguaje, pero también tipos de datos más artificiales como, por ejemplo, la información bursátil. Al aplicar el aprendizaje supervisado a esto, la idea es tratar de predecir el futuro teniendo en cuenta el pasado reciente.

Para lograr esto, tenemos que adaptar la estructura de nuestras redes neuronales. Entonces, la idea es agregar una dimensión a la imagen y dejar que las capas crezcan vertical y horizontalmente. Por lo tanto, nuestras redes, que ahora se llamarán Redes Neuronales Recurrentes (RNN), tendrán dos profundidades, como en la siguiente imagen:

[pic 1]

En el término correcto de la igualdad (olvide el izquierdo por ahora), cada subíndice debe representar un paso de tiempo y, como puede ver, hay entradas (Xs) y salidas (hs). Los datos de entrada responden a secuencias, x_ {1 \ cdots t} = (x_1, x_2, \ cdots, x_t) pero cada una x_iactúa como entrada en un paso de tiempo. Por lo tanto, x_ {1 \ cdots t} se puede usar una secuencia como entrada para predecir el siguiente en la secuencia: el paso Xde tiempo t + 1. Ahora, si nos fijamos en la imagen, para cada paso de tiempo yoel respectivo x_itiene una salida h_i = \ hat {x} _ {i + 1}, destinada a predecir Xen el paso de tiempo i + 1. Por lo tanto, la salida real que estamos buscando es h_t = \ hat {x} _ {t + 1}. Pero ¿qué pasa con el As? Aquí es donde tiene lugar toda la acción, ya que se supone que representan una (o quizás más) capas en el mismo sentido que en una red neuronal regular.

...