Análisis de Textos, Codificación de Fuente y Canal

^[1] 

Análisis de Textos, Codificación de Fuente y Canal.

D. J. Bravo, Estudiante, Especialización Redes de Comunicación,  UNIVALLE

Resumen—La Teoría de la información y la Comunicaciones ha desempeñado un papel fundamental en los avances tecnológicos de la  época. Conceptos como entropía, desarrollos de códigos de compresión de datos en fuente y códigos de canal para la detección y corrección de errores han permitido el avance y uso eficiente de las comunicaciones y abierto nuevos campos de investigación y desarrollo

Temas claves—Entropía, Probabilidad, Eficiencia de código, Codificación de Fuente y Canal.

1. Introducción

E

L desarrollo de las comunicaciones tienes sus fundamentos en muchos años de investigación, personas que ha realizado grandes estudios teóricos  sentando los pilares para continuar y aplicar al desarrollo, tal es del estudio de la Teoría de la información con sus bases en los trabajos de Claude Shannon en 1948 en su publicación “Una Teoría Matemática de la Comunicación (A Mathematical Theory of Communication)”.

La introducción de conceptos como Entropía para determinar la cantidad de información en un mensaje o señal y relacionada directamente con la probabilidad de los símbolos de la fuente. Los diferentes métodos de codificación aplicados en cada etapa de la transmisión de información, con objetivos claros como hacer eficiente el uso del canal y recuperar la información sin errores.

1. entropia  y codificacion

La teoría de la información indica cual es el límite de compresión de datos – la entropía – y, la capacidad de canal cual es el límite de transmisión en un canal de comunicación de información, mostrando la relación entre la información y las comunicaciones.

La teoría de la información da respuesta a tres preguntas:

1.  C                omo medir  la información.
2.  La Capacidad máxima del canal de comunicación para transmitir si errores.
3.  La codificación para comprimir sin errores y con eficiencia.

MEDIDA DE LA INFORMACION.

Relacionada con la probabilidad de símbolos de una fuente para elegir entre ellos.

Cada mensaje podrá tener asociada una probabilidad, de forma tal que cuanto mayor sea la posibilidad de que ese mensaje sea cierto, menor será la información para el usuario.

I(a) = Log 1/P(a)

Dependiendo de la base del logaritmo le corresponde una unidad: Log base 2: bits, Log base 10, Hartley; Log base e, Nat.

ENTROPIA:

Se denomina fuente de memoria nula a aquella en que los símbolos que emite son estadísticamente independientes.

Suponemos Variable aleatoria es una función I (X) donde para cada valor le corresponde uno que una fuente de memoria nula puede emitir distintos símbolos, cada uno de ellos con una probabilidad asociada.

Valor de probabilidad P (X)

I(X) = Log 2 (1/ P(X)) =- Log2 P(X)

Por lo tanto la entropía de una fuente nula será:

[pic 1]

En consecuencia podemos afirmar que para una fuente discreta, cuyos símbolos son estadísticamente independientes, la entropía  permite describir la fuente información promedio producida por ella. Por ello la información medio se denomina entropía de la fuente.

Esto es un concepto muy útil dado que los sistemas de comunicaciones no se diseñan para transmitir un mensaje en particular, sino que deben contemplar todos

Aquellos posibles.

CODIFICACION DE FUENTE

Servicios multimedia, redes sociales, transacciones comerciales y de negocios, Bases de Datos, Aplicaciones, Redes descentralizadas, conectividad a alta velocidad, Redes sociales , BIG DATA….Internet of Things

La gestión de estas cantidades de datos se centra en la captura, el almacenamiento, búsqueda, compartición, análisis y visualización; en otras palabras, la solución a estos problemas es la comprensión de datos:

[pic 2]

Figura.1 Comprensión de Datos

• Complejidad computacional para reducir Ancho de Banda y requerimientos de almacenamiento.
• Algoritmos para búsqueda de datos redundantes y eliminarlo… Minimizar tamaño.
• Restauración de los datos comprimidos a su forma original, después de su transmisión y/o almacenamiento.

Deferencia entre compresión con perdida y sin perdida

Sin Pérdidas:

• Preservan toda la información de los datos y puede
• ser reconstruidos sin errores.
• Ratas de compresión modestas (2:1 a 8:1)
• Trata de eliminar redundancias en la información
• Obligatorios para las  transmisiones o almacenamiento.
• donde un bit erróneo puede causar un desastre  - Bancos.

Con Pérdidas:

• No ofrecen una perfecta reproducción pero pueden comprimir datos tan poco como el 1% de la longitud sin codificar.
• La información recuperada se aproxima a la original pero es suficiente en muchas aplicaciones (imagen-Audio).
• Algoritmos del tipo lossy, que omiten algo de información pero que disminuyen considerablemente el tamaño del archivo  original, el cual es el caso de los archivos MP3, MPG, jpeg, etc.

CODIFICACON DE CANAL

El objetivo de la codificación de de canal es realizar la detección y corrección de errores, para una transmisión de información sobre un canal de comunicación o en un medio de grabación, por efectos del  ruido y distorsiones introducido.

El método básicamente consiste en transformar secuencias binarias en secuencias que incluyen redundancias estructuradas para detectar y corregir errores.

...