Resumen De La Teoría De La Información De Shannon

México D.F. a 4 de mayo del 2013

Alumno: Daniel Chabolla Gutiérrez

Resumen de la teoría de la Información de Shannon

Es la teoría relacionada con las leyes matemáticas que rige la transmisión y el procesamiento de la información.

Más concretamente, la teoría de la información se ocupa de la medición de la información y de la representación de la misma (como, por ejemplo, su codificación) y de la capacidad de los sistemas de comunicación para transmitir y procesar información.

La codificación puede referirse tanto a la transformación de voz o imagen en señales eléctricas o electromagnéticas, como al cifrado de mensajes para asegurar su privacidad.

La teoría de la información fue desarrollada inicialmente, en 1948, por el ingeniero electrónico estadounidense Claude E. Shannon, en su artículo, A Mathematical Theory of Communication (Teoría matemática de la comunicación).

La necesidad de una base teórica para la tecnología de la comunicación surgió del aumento de la complejidad y de la masificación de las vías de comunicación, tales como el teléfono, las redes de teletipo y los sistemas de comunicación por radio.

La teoría de la información también abarca todas las restantes formas de transmisión y almacenamiento de información, incluyendo la televisión y los impulsos eléctricos que se transmiten en las computadoras y en la grabación óptica de datos e imágenes.

El término información se refiere a los mensajes transmitidos, de forma más general, la teoría de la información ha sido aplicada en campos tan diversos como la cibernética, la criptografía, la lingüística, la psicología y la estadística.

El tipo de sistema de comunicación más estudiado consta de varios componentes:

1. Fuente de información que produce un mensaje o información que será transmitida.

2. Transmisor que convierte el mensaje en señales electrónicas o electromagnéticas, ,

3. Canal o Medio que sirve para transmitir señales electrónicas o electromagnéticas convertidas por el Transmisor.

4. Receptor, transforma de nuevo la señal recibida en el mensaje original.

5. Destinatario, como por ejemplo una persona escuchando el mensaje.

Dos de las principales preocupaciones en la teoría de la información son la reducción de errores por interferencias en los sistemas de comunicación, y el uso más eficiente de la capacidad total del canal.

Un concepto fundamental en la teoría de la información es que la cantidad de información contenida en un mensaje es un valor matemático bien definido y medible. El término cantidad no se refiere a la cuantía de datos, sino a la probabilidad de que un mensaje, dentro de un conjunto de mensajes posibles, sea recibido.

En lo que se refiere a la cantidad de información, el valor más alto se le asigna al mensaje que menos probabilidades tiene de ser recibido. Si se sabe con certeza que un mensaje va a ser recibido, su cantidad de información es 0.

Para relacionar la cantidad de información (I) con la probabilidad, Shannon presentó la siguiente fórmula:

I = log21/p

Donde p es la probabilidad del mensaje que se transmite y log2 es el logaritmo de 1/p en base 2. (log2 de un número dado X es el exponente Y al que tiene que ser elevado el número 2 para obtener dicho número X. Por ejemplo, log2 de 8 = 3, porque 23 = 8).

La cantidad de información de un mensaje puede ser entendida como el número de símbolos posibles que representan el mensaje.

En la mayoría de las aplicaciones prácticas, hay que elegir entre mensajes que tienen diferentes probabilidades de ser enviados.

El término entropía ha sido tomado prestado de la termodinámica, para designar la cantidad de información media de estos mensajes. La entropía puede ser

...