Ejercicios Teoria de la Información

Ejercicios 2.1

Ejercicio 1

Respecto al experimento descrito en el Ejercicio 1.3.5, sea Ea = "se eligió la urna A" y Fg = "se dibujó una bola verde". Escribir explícitamente:

a) I(Ea, Fg);

b) I(Ea | Fg);

c) I(Fg | Ea).

1. I(Ea, Fg)

[pic 1]

1. I(Ea|Fg)

[pic 2]

1. I(Fg|Ea)

[pic 3]

Ejercicio 2

Supongamos que E es un evento en algún espacio de probabilidad, y P(E) > 0. Mostrar que I(E, E) = I(E), y que I(E | E) = 0.

I(E) = log 1/P(E)

Ley idempotente

I(E)=-logP(E)

I(E|E) = -log (P(E ∩ E))/P(E)

I(E|E)=-log 1=0

I(E|E) log (P(E ∩E)/P(E)*P(E))

= logP(E)/P(E)*P(E)

=log 1/P(E)

=-logP(E)=I(E)

Ejercicio 3

Supongamos que E y F son eventos en algún espacio de probabilidad. Mostrar que I(E, F) = 0 si y solo si E y F son independientes. Mostrar que I(E, F) = I(E)− I(E | F), si P(E)P(F) > 0. Mostrar que I(E, F) ≤ min(I(E), I(F)). Mostrar que I(E, F) = I(F) si y solo si E está esencialmente contenido en F, es decir, P(E \ F) = 0.

Solución: P (A / B) = P (A / B ’) = P (A) o P (B / A) = P (B / A ’) = P (B) y Los eventos son independientes si la ocurrencia de uno no resulta en ningún cambio en la ocurrencia de otro evento. El impacto es que la ocurrencia de un evento no impacta la ocurrencia del otro. y los diagramas de Venn no se superponen como resultado tenemos la siguiente fórmula

P (AB) = P (A) * P (B)

Show that I(E, F) = I(E)− I(E | F), if P(E)P(F) > 0. ***

I(E,F) = - Log P(E) - (Log (P(E ∩ F))/P(F))

Utilizamos propiedades logaritmicas

Ln(m/n) = Ln(m) - Ln(n)

Ordenando los terminos

Log((P(E ∩ F))/P(F)) - Log P(E)

Donde (m) es: (P(E ∩ F))/P(F)

Y (n) es:

 P(E) Log(m/n) = Log (P(E ∩ F))/P(E) * P(F)

Muestran que I(E, F) ≤ min(I(E), I(F)).

Muestran que I(E, F) = I(F) solo sí E es esencialmente contenida en F,

significando que, P(E \ F) = 0.

Ejercicio 4

Rellenar la prueba del Lema 2.1.1.

Aplica operaciones basicas a:

f(x)=x−1−lnx

para ver que ocurre con

f(x) ≥ 0 on (0,∞),

Con la igualdad cuando: x=1

F(1) = 1-1- Log(1)

F(1) = (1-1)- (log(1))

F(1)= 0

Ejercicio 5

Supongamos que p1,..., pn, q1,...,qn son números positivos y ∑ i pi = 1 = i qi . Mostrar que ∑m i=1 pi log(1/qi) ≤ ∑m i=1 pi log(1/pi) con igualdad si y solo si pi = qi,i = 1,...,n. [Sugerencia: mira la prueba del Teorema 2.1.2.]

[pic 4]

[pic 5]

[pic 6]

[pic 7]

Ejercicio 6

Mostrar que si f y g son funciones monótonas no crecientes de valor real sobre un intervalo real I que coinciden en un subconjunto denso de I, y g es continuo, entonces f = g en I. Dar un ejemplo para demostrar que la conclusión no es válida si se omite la suposición de que g es continuo.

Sea D = {x∈I: f (x) = g (x)}.

Toma cualquier a∈I.

Tome cn∈D creciente y dn∈D decreciente con cn → ay dn → a.

Por continuidad, g (cn) → g (a) y g (dn) → g (a).

Como f no es creciente, tenemos g (cn) = f (cn) ≥f (a) yf (a) ≥f (dn) = g (dn) para todo n.

Tomando límites obtenemos g (a) ≥f (a) ≥g (a), entonces f (a) = g (a)

Como ejemplo tomamos:

[pic 8]

Tenga en cuenta que f y g concuerdan y son continuas en el intervalo abierto I = (0,1), excepto en x = 1/2, donde ambas funciones son discontinuas y f (1/2) ≠ g (1/2).

Ejercicio 2.2

Ejercicio 1

Tienes dos dados justos, uno rojo, otro verde. Los ruedas una vez. Podemos hacer un espacio de probabilidad refiriéndose a este experimento de varias maneras diferentes. Vamos:

S1 ={"i apareció en el dado rojo, j en el verde" ;i, j ∈ {1,...,6}},

S2 ={"i apareció en uno de los dados, y j en el otro" ; i, j ∈ {1,...,6}},

S3 = {"la suma de los números que aparecen en los dados era k"; k ∈ {2,...,12}},

S4 = {"números pares en ambos dados", "par en el rojo, impar en el verde", "par en el verde, impar en el rojo", "números impares en ambos dados"}.

¿Qué pares de estos conjuntos de resultados tienen la propiedad de que ninguno de los dos es una amalgama del otro?

S2 y S4; S3 y S4

Ejercicio 2

Supongamos que E y F son sistemas de eventos en un espacio de probabilidad finito.

a) Probar que cada uno de E,F es una amalgama de E ∧F. [Así pues, E ∧F es más fino que cada uno deE,F.]

b) Supongamos que cada uno de E,F es una amalgama de un sistema de eventos G. Demostrar que E ∧ F es una amalgama de G. [Así que E ∧ F es el sistema de eventos más grueso, entre los que son más finos que cada uno de E,F.] Aquí hay una sugerencia para (b): Supongamos que E, F y G son eventos en E,F y G, respectivamente, y P(G ∩ E ∩ F) > 0. Entonces P(G ∩ E), P(G ∩ F) > 0. Por la suposición de que E,F son amalgamaciones de G y un argumento en la prueba del Teorema 2.2.9, se deduce que G está esencialmente contenida en E, y en F. Así que…

[pic 9]

Ejercicio 3

Dos dados justos, uno rojo, uno verde, se tiran una vez. Sea E = [E1,..., E6], donde Ei = "i apareció en el dado rojo", y F = [F2,..., F12], donde Fj = "la suma de los números que subió en los dos dados fue j". Escriba I(E,F) explícitamente, en un formulario que permita el cálculo una vez que se especifica una base para "log".

[pic 10]

Ejercicio 4

Respecto al experimento descrito en el Ejercicio 1.3.5, sea EU = "urna U fue elegida", U ∈ {A, B,C}, Fr = "se dibujó una bola roja", Fg = "se dibujó una bola verde", E = [EA, EB, EC], y F = [Fr, Fg]. Escriba I(E,F) explícitamente, en una forma que permita el cálculo, dada una base para "log".

[pic 11]

Ejercicio 5

1. Supongamos que E1,..., Ek , F1,..., Fr son eventos en un espacio de probabilidad finito (S, P) que satisface (i) E1,..., Ek son por pares mutuamente excluyentes; ii) F1,..., Fr son mutuamente excluyentes por pares; y (iii) para cada i ∈ {1,...,k}, j ∈ {1,...,r}, Ei y Fj son independientes. Mostrar que k i=1 Ei y r j=1 Fj son independientes.

Solución: Si E 1,. . . , Ek son por pares mutuamente excluyentes (lo que significa que Ei y E j son mutuamente excluyentes cuando 1 ≤ i

[pic 12]

b) Supongamos que E, E, F y F son sistemas de eventos en algún espacio de probabilidad finito, y E y F son amalgamaciones de E y F, respectivamente.

Mostrar que si E y F son estadísticamente independientes, entonces también lo son E y F. [Usted hizo el trabajo duro en parte (a).

Solución: Si F 1,. . . , Fk son por pares mutuamente excluyentes (lo que significa que Fi y F j son mutuamente excluyentes cuando 1 ≤ i

[pic 13]

c) Al final de la sección 1.4 se afirma que "cuando dos etapas [de un experimento en varias etapas] sean independientes, dos acontecimientos cualesquiera cuyas descripciones se refieran únicamente a esas etapas, respectivamente, serán independientes". Explique cómo esta afirmación es un caso especial del resultado de 6(a), anterior

[pic 14]

Ejercicio 6

Caracterizar sucintamente los sistemas de eventos E tales que I(, ) = 0. [pic 15][pic 16]

[pic 17]

Si y solo si  contiene un evento de probabilidad uno, con el otro eventos, si los hay, en ℰ necesariamente de probabilidad cero.[pic 18]

...