Aprendizaje de Máquinas

Aprendizaje de Maquinas

2018

Contenido

Deep Learning        3

Deep Learning        4

Redes Neuronales        7

Perceptron: 50’        7

Matrices        20

Aprendizaje de neuronas        28

Descenso de gradiente (estocástico)        28

Generalización        33

Entrenamiento        33

Capacidad        36

Receta entrenar        38

Regularizacion        38

Factores que cambian capacidad (hiperparámetros)        39

Regularización        40

Métodos de regularización        40

Penalizacion en los tamaños de los parámetros        40

Redes Convolucionales        44

Tamaño del filtro        46

Stride        46

Padding        47

Imagen rgb        48

Redes Recurrentes        51

Nomenclatura de dibujo (Simple RNN)        58

Problema de red recurrente: banishing grading        61

Red bidireccional        62

Mas de moda: red Seq-to-Seq        64

GRU        66

LSTM: Long Short-Term Memory        68

Dibujo        70

Deep Learning

Inteligencia artificial: una rama de la ciencia de la computación que trata de replicar comportamiento inteligente con una maquina (programa), en robotica se mueve, IA importa replicar comportamiento inteligente de manera automática

Inteligencia artificial es una rama muy grande

Antes: reconocimiento de patrones, basado en reglas del experto

Con los datos apareció machine learning: generar comportamiento inteligente no basado necesariamente en codificar reglas para emular el comportamiento

Lo que se tiene son características un vector de características (experto q lo hace q entiende cuales son las características de dicho dato),  

“esta película es excelente si tiene poco cerebro o quieres perder el tiempo”

Hay un si, condicional y el poco sebrero y perder tiempo es mala

Aunque es complicado porque el tema da para discutir

Mchine learning trata de extraer características de un texto cualquier que a un experte le permita decidir si es positivo o negativo

Luego tengo un montón de textos vectores datos y etiquetados si es positivo o negativo

Hacer programa para ver las características y como ellas influyen para precedir el comportamiento no hacer reglas,  

Simplemente pedir el vector de caract y luego usar los datos para aprender un modelo y clasificar

Dentro de machine hay un pedasito chico que se llama Deep learning

Deep Learning

Desde los datos el programa va a decidir cuales son las mejores características que permiten clasificar de buena forma

La gracias es que ya no necesito un experto, necesito datos.

Problema: las características no tiene porque tener una interpretación humana, eficiente

Tecnicas Deep learning se inventaron el año 50 (el corazón), ahora igual se han invetado cosas, en los 50 no había forma de conseguir esos datos

Deep learning es robusto al ruido en relación a otros

[pic 1] 

Red neuronal partio como Deep learning, pero ahora se usan arquitecturas complejas q se llaman redes neuronales pero no se ve bien los enlaces entre neuronas

De una imagen se hace un primer muestreo de propiedades cruda, que se va refinando.

Foto: primera capa, representar los border, esquina, colores  

2da capa: líneas

3era capa: triangulos

4ta: ejemplo: gato

Mas capas funciona mejor,

Mayor cantidad de capas (ingeniero es el que decide la arquitectura)

Ejemplo interesante: texto en franses → que significa la frase

Otro que hace lo mismo desde el ingles

Luego podría tratar dar vuelta el modelo

Frances → representación → traducción en ingles

Entropía de un dato es mayor q en el vector característica, se pierde características

Pero eso no se usa para resolver un problema general se usa para resolver un problema especifico que interesa a mi

Funciona bien → entrenar modelo y usar la representación y llevarla a otro lado  Y si esa representación la entreno Google, no necesito todo el poder

Python keras R para red neuronal

Hoy algunas tienes 160 capas, recuperrentes miles de capas

Hay un resultado teorico que  dice:

XSOR  

Bits: true o false

Y como output: XOR de ellos

Si hay cantidad par 1 impar de 1

Y lo único que puedo computar son operaciones logicas

Si quiero hacer esto y pongo restricción de capas: árbol de compuertas logicas primer and primero or

Voy haciendo en parelelo  

El tamaño de esa capa tiene que ser GIGANTE

N bits en un paso es proporcional en 2 𝑎 𝑙𝑎 𝑛 

Si quiere hacerlo solo con capas hago:

Log (n) capas que es chico

Hay problemas para pocas capas necesito  

Lenguaje: línea dice que aprendemos con prueba error y ejemplos

Línea q dice q tenemos algo cableado que nos permite tener idiomas

Chomsky cree que tenemos cableado gramática que nos permite parsear texto

Redes Neuronales

Perceptron: 50’  

Cuando Turing se preguntaba

Motivado por el modelo de la neurona: cabeza y cola

[pic 2]

cargas positivas, umbral y lanza la señal por el axon a las dendritas. Dendritas tienen cierta capacidad unas dejan pasar mas señales interesante que otra

[pic 3] 

𝑢 = 𝑤1𝑥1 + 𝑤2𝑥2 + ⋯ + 𝑤𝑛𝑥𝑛 

𝑦 = 𝑓(𝑛) 

Yo buscaría que se comporte algo asi:

[pic 4] 

Esto seria la función de activación

Supongo que esta función esta centrada en el 0 para eso hago byas: NO BYPASS BYAS

[pic 5] 

Esto hace que la activación se centre: (Es necesario que la función sea continua)

*función de lovit se usaba función de clasificación logística que ya no se usa tanto,

Antes tb se usaba el escalon pero no sirve para entrenar

[pic 6] 

Pero la que usa es la mostrada anterior la sigmoide:  

1

𝜎 = 1[pic 7] + 𝑒−𝑢 

[pic 8] 

Pero la que se usa es la tangentehiperbolica

𝑒𝑢 − 𝑒−𝑢

𝜎 = 𝑒[pic 9]𝑢 + 𝑒−𝑢 

[pic 10] 

                  {         u             , u>0

...