Problemas Sesion 7

 Modelado y Simulación de Sistemas Complejos

Máster en Ingeniería Matemática UC3M Curso 2012

Lino Gustavo Garza Gaona

Problemas Sesión 7

1.         [Teórico]. Muestre que entre todas las funciones de densidad de probabilidad continuas f definidas en R sujetas a las condiciones

xf (x)dx = m,(x − m)2 f (x)dx = σ2 ,

R        R

la distribución normal maximiza la entropía, definida como

S ( f ) = −kf (x) log f (x)dx,

R

donde k es una constante que depende de la unidad de entropía. ¿Qué clase de condiciones auxiliares deben imponerse de modo que a priori, una función de densidad de probabilidad f maximize la entropía? Considere el caso

a

f (x) = .

π(a2 + x2)

Solución.

Para que maximize la entropía y cumpla las condiciones dadas, la funcón de probabilidad que buscamos debe ser solución de la ecuación

d        kf (x) log f (x)dx + λ1f (x)dx + λ2xf (x)dx + λ3(x − m)2 f (x)dx= 0,

df

R         RRR

donde λ1,λ2 y λ3 son los multiplicadores de Lagrange a ser determinados de las condiciones requeridas. Al tomar la derivada nos queda k(log f (x) + 1) + λ1 + λ2 x + λ3(x − m)2 = 0. Esto nos dice que la función f (x) debe ser proporcional a e−λ2 x − λ3(x − m)2 , y dado que debe satisfacer

Esta es la función de densidad de probabilidad de la distribución normal, luego, su entropía es

S ( f ) = −kf (x) log f (x)dx,

R

e−(x−m)2/2σ2

= −k φ(x) log √ dx, R 2πσ2

(x − m)2 √ = −k φ(x)−− log 2πσ2dx,

R 2πσ2

σ21

= k+ log 2πσ2,

2σ22

= k1 + 1 log 2πσ2,

22

= k1 log 2πeσ2.

2

Se verifica que la entropía es máxima para la distribución normal; basta considerar cualquier otra fun ción de densidad de probabilidad con la misma media y desviación estandar para comprobar que su entropía será menor.

Para que una f dada maximize la entropía debe verificar

k(log f (x) + 1) + λ1 + λ2F2(x) + ··· + λnFn(x) = 0,

donde λ1,λ2,...,λn son los multiplicadores de Lagrange. a

Para la función que nos dan, f (x) = , la ecuación a satisfacer es

π(a2 + x2)

2

k(log f (x) + 1) + λ1 − k log(a+ x2) + λ2F2(x) + ··· + λnFn(x) = 0.

Como la distribución que nos dan es Cauchy, todos sus momentos son infinitos, por lo que necesitamos

2

que λ1 cancele todos los términos constantes y que F2(x) sea proporcional a log(a+ x2), así que estas serían las condiciones que deberíamos imponer a priori.

...