Codificación y teoría de la información
Enviado por Leonardo Rincon • 13 de Abril de 2019 • Apuntes • 1.522 Palabras (7 Páginas) • 134 Visitas
Cuestionario (La información y sus fuentes. Codificación sin ruido)
- ¿Cuáles son los esquemas de codificación instantáneos más eficientes, y por qué?
Los esquemas de codificación de Huffman son los más eficientes entre todos los esquemas de codificación instantáneos, porque tienen la longitud promedio de las palabras claves más pequeña.
- ¿Qué nos permite determinar la entropía (qué nos provee de una fuente S)?
La entropía provee un límite más bajo en la longitud promedio de las palabras claves de cualquier esquema de codificación instantáneo, la entropía de la fuente intenta medir de forma precisa la cantidad de información de la fuente.
- ¿Qué relación existe entre la probabilidad de ocurrencia de un símbolo de origen y la cantidad de información obtenida por su ocurrencia?
A menor probabilidad de que un símbolo de origen ocurra, más información obtenemos de la ocurrencia de ese símbolo, y a mayor probabilidad de que un símbolo de origen ocurra, menos información obtenemos de la ocurrencia de ese símbolo.
- ¿Qué es una fuente de información de memoria nula? Y como puede escribirse completamente.
Es una fuente sencilla en la que los símbolos son estadísticamente independientes, y puede escribirse completamente mediante el alfabeto fuente S y la probabilidad con que los símbolos se presentan: .[pic 1]
- Sea E un suceso que puede presentar con probabilidad P(E). Cuando E tiene lugar, señale la fórmula que mide la cantidad de información obtenida por la ocurrencia de E.
[pic 2]
La elección de la base de logaritmo que interviene en la definición equivale a elegir una determinada unidad ya que:
[pic 3]
- Demostrar que [pic 4]
Demostración:
Sea: Por definición de logaritmo.[pic 5][pic 6][pic 7]
Partiendo de: : Reemplazando.[pic 8]
Propiedad de logaritmo.[pic 9]
Reemplazando y.[pic 10]
Despejando [pic 11][pic 12]
- Escriba las fórmulas de la cantidad de información I(E) en las bases: 2, e, 10 y r, señalando sus unidades respectivas.
En el logaritmo de base 2 la unidad de información se denomina bit:
[pic 13]
En el logaritmo natural de base e la unidad de información se denomina nats:
[pic 14]
En el logaritmo de base 10 la unidad de información se denomina Hartley:
[pic 15]
Para el logaritmo de base r la unidad de información está dada por:
[pic 16]
- Compare la cantidad de información de I(E) de base 10 y de la base e con el de la base 2, escriba la igualdad que se deduce.
Si [pic 17]
Si [pic 18]
- La imagen mostrada por un monitor de PC está compuesta por pixeles en una resolución de 1024 columnas por 768 filas. Sabiendo que cada pixel puede tomar cualquiera de los 256 colores igualmente probables, ¿Cuál es la cantidad de información obtenida en una imagen de es PC?
La imagen posee entonces:
[pic 19]
Como cada pixel puede tomar cualquiera de los 256 colores:
[pic 20]
La probabilidad de una imagen cualquiera es:
[pic 21]
Y la cantidad de información es:
[pic 22]
[pic 23]
[pic 24]
[pic 25]
[pic 26]
- Defina entropía H(S) de la fuente de memoria nula, y escriba su fórmula matemática.
La entropía H(S) es una magnitud que define la cantidad media de información por símbolo de la fuente. Su fórmula matemática es:
[pic 27]
- Considere la fuente con , , calcule la entropía de S, es decir H(S).[pic 28][pic 29][pic 30]
[pic 31]
[pic 32]
[pic 33]
- Si medimos I() en unidades de orden r H(S) está dado por: [pic 34]
[pic 35]
Pruebe que: [pic 36]
De:
[pic 37]
Se deduce:
[pic 38]
- Trace las curvas y , en un mismo plano, observe que la curva se mantiene siempre por debajo de la recta , por tanto podemos escribir la inecuación: .[pic 39][pic 40][pic 41][pic 42][pic 43]
Demuestre que [pic 44]
[pic 45]
[pic 46]
Multiplicado por -1[pic 47]
Propiedad de los logaritmos[pic 48]
Propiedad del exponente negativo.[pic 49]
- Sean y dos conjuntos de probabilidades, es decir y ∀i , j y sea . Pruebe que:[pic 50][pic 51][pic 52][pic 53][pic 54]
- [pic 55]
Haciendo uso de:
[pic 56]
Se tiene:
[pic 57]
Aplicando:
[pic 58]
A cada término de la suma en el miembro de la derecha de:
[pic 59]
Se tiene:[pic 60][pic 61]
[pic 62]
Como:
[pic 63]
[pic 64]
- la igualdad se cumple cuando [pic 65][pic 66]
[pic 67]
[pic 68]
[pic 69]
[pic 70]
Por consiguiente:
[pic 71]
La igualdad se cumple cuando [pic 72]
- Supongamos que una fuente de memoria nula, definida por el alfabeto y sus probabilidades . La entropía H(S) viene dada por:[pic 73][pic 74]
. Pruebe que .[pic 75][pic 76]
Así pues H(S) es siempre menor o igual que y la igualdad se cumple cuando .[pic 77][pic 78][pic 79]
Consideremos la expresión:
[pic 80]
[pic 81]
[pic 82]
[pic 83]
[pic 84]
[pic 85]
[pic 86]
[pic 87]
[pic 88]
...