Ejercicios Teoria de la Información

Ejercicios 2.1

Ejercicio 1

Respecto al experimento descrito en el Ejercicio 1.3.5, sea Ea = "se eligió la urna A" y Fg = "se dibujó una bola verde". Escribir explícitamente:

a) I(Ea, Fg);

b) I(Ea | Fg);

c) I(Fg | Ea).

1. I(Ea, Fg)

[pic 1]

1. I(Ea|Fg)

[pic 2]

1. I(Fg|Ea)

[pic 3]

Ejercicio 2

Supongamos que E es un evento en algún espacio de probabilidad, y P(E) > 0. Mostrar que I(E, E) = I(E), y que I(E | E) = 0.

I(E) = log 1/P(E)

Ley idempotente

I(E)=-logP(E)

I(E|E) = -log (P(E ∩ E))/P(E)

I(E|E)=-log 1=0

I(E|E) log (P(E ∩E)/P(E)*P(E))

= logP(E)/P(E)*P(E)

=log 1/P(E)

=-logP(E)=I(E)

Ejercicio 3

Supongamos que E y F son eventos en algún espacio de probabilidad. Mostrar que I(E, F) = 0 si y solo si E y F son independientes. Mostrar que I(E, F) = I(E)− I(E | F), si P(E)P(F) > 0. Mostrar que I(E, F) ≤ min(I(E), I(F)). Mostrar que I(E, F) = I(F) si y solo si E está esencialmente contenido en F, es decir, P(E \ F) = 0.

Solución: P (A / B) = P (A / B ’) = P (A) o P (B / A) = P (B / A ’) = P (B) y Los eventos son independientes si la ocurrencia de uno no resulta en ningún cambio en la ocurrencia de otro evento. El impacto es que la ocurrencia de un evento no impacta la ocurrencia del otro. y los diagramas de Venn no se superponen como resultado tenemos la siguiente fórmula

P (AB) = P (A) * P (B)

Show that I(E, F) = I(E)− I(E | F), if P(E)P(F) > 0. ***

I(E,F) = - Log P(E) - (Log (P(E ∩ F))/P(F))

Utilizamos propiedades logaritmicas

Ln(m/n) = Ln(m) - Ln(n)

Ordenando los terminos

Log((P(E ∩ F))/P(F)) - Log P(E)

Donde (m) es: (P(E ∩ F))/P(F)

Y (n) es:

 P(E) Log(m/n) = Log (P(E ∩ F))/P(E) * P(F)

Muestran que I(E, F) ≤ min(I(E), I(F)).

Muestran que I(E, F) = I(F) solo sí E es esencialmente contenida en F,

significando que, P(E \ F) = 0.

Ejercicio 4

Rellenar la prueba del Lema 2.1.1.

Aplica operaciones basicas a:

f(x)=x−1−lnx

para ver que ocurre con

f(x) ≥ 0 on (0,∞),

Con la igualdad cuando: x=1

F(1) = 1-1- Log(1)

F(1) = (1-1)- (log(1))

F(1)= 0

Ejercicio 5

Supongamos que p1,..., pn, q1,...,qn son números positivos y ∑ i pi = 1 = i qi . Mostrar que ∑m i=1 pi log(1/qi) ≤ ∑m i=1 pi log(1/pi) con igualdad si y solo si pi = qi,i = 1,...,n. [Sugerencia: mira la prueba del Teorema 2.1.2.]

[pic 4]

[pic 5]

[pic 6]

[pic 7]

Ejercicio 6

Mostrar que si f y g son funciones monótonas no crecientes de valor real sobre un intervalo real I que coinciden en un subconjunto denso de I, y g es continuo, entonces f = g en I. Dar un ejemplo para demostrar que la conclusión no es válida si se omite la suposición de que g es continuo.

Sea D = {x∈I: f (x) = g (x)}.

Toma cualquier a∈I.

Tome cn∈D creciente y dn∈D decreciente con cn → ay dn → a.

Por continuidad, g (cn) → g (a) y g (dn) → g (a).

Como f no es creciente, tenemos g (cn) = f (cn) ≥f (a) yf (a) ≥f (dn) = g (dn) para todo n.

Tomando límites obtenemos g (a) ≥f (a) ≥g (a), entonces f (a) = g (a)

Como ejemplo tomamos:

[pic 8]

Tenga en cuenta que f y g concuerdan y son continuas en el intervalo abierto I = (0,1), excepto en x = 1/2, donde ambas funciones son discontinuas y f (1/2) ≠ g (1/2).

Ejercicio 2.2

Ejercicio 1

Tienes dos dados justos, uno rojo, otro verde. Los ruedas una vez. Podemos hacer un espacio de probabilidad refiriéndose a este experimento de varias maneras diferentes. Vamos:

S1 ={"i apareció en el dado rojo, j en el verde" ;i, j ∈ {1,...,6}},

S2 ={"i apareció en uno de los dados, y j en el otro" ; i, j ∈ {1,...,6}},

S3 = {"la suma de los números que aparecen en los dados era k"; k ∈ {2,...,12}},

S4 = {"números pares en ambos dados", "par en el rojo, impar en el verde", "par en el verde, impar en el rojo", "números impares en ambos dados"}.

¿Qué pares de estos conjuntos de resultados tienen la propiedad de que ninguno de los dos es una amalgama del otro?

S2 y S4; S3 y S4

Ejercicio 2

Supongamos que E y F son sistemas de eventos en un espacio de probabilidad finito.

a) Probar que cada uno de E,F es una amalgama de E ∧F. [Así pues, E ∧F es más fino que cada uno deE,F.]

b) Supongamos que cada uno de E,F es una amalgama de un sistema de eventos G. Demostrar que E ∧ F es una amalgama de G. [Así que E ∧ F es el sistema de eventos más grueso, entre los que son más finos que cada uno de E,F.] Aquí hay una sugerencia para (b): Supongamos que E, F y G son eventos en E,F y G, respectivamente, y P(G ∩ E ∩ F) > 0. Entonces P(G ∩ E), P(G ∩ F) > 0. Por la suposición de que E,F son amalgamaciones de G y un argumento en la prueba del Teorema 2.2.9, se deduce que G está esencialmente contenida en E, y en F. Así que…

[pic 9]

Ejercicio 3

Dos dados justos, uno rojo, uno verde, se tiran una vez. Sea E = [E1,..., E6], donde Ei = "i apareció en el dado rojo", y F = [F2,..., F12], donde Fj = "la suma de los números que subió en los dos dados fue j". Escriba I(E,F) explícitamente, en un formulario que permita el cálculo una vez que se especifica una base para "log".

[pic 10]

Ejercicio 4

Respecto al experimento descrito en el Ejercicio 1.3.5, sea EU = "urna U fue elegida", U ∈ {A, B,C}, Fr = "se dibujó una bola roja", Fg = "se dibujó una bola verde", E = [EA, EB, EC], y F = [Fr, Fg]. Escriba I(E,F) explícitamente, en una forma que permita el cálculo, dada una base para "log".

...