La Entropia

1.-ENTROPÍA

En el ámbito de la teoría de la información la entropía mide la incertidumbre de una fuente de información.

La entropía también se puede considerar como la cantidad de información promedio que contienen los símbolos usados. Los símbolos con menor probabilidad son los que aportan mayor información; por ejemplo, si se considera como sistema de símbolos a las palabras en un texto, palabras frecuentes como "que", "el", "a" aportan poca información, mientras que palabras menos frecuentes como "corren", "niño", "perro" aportan más información. Si de un texto dado borramos un "que", seguramente no afectará a la comprensión y se sobreentenderá, no siendo así si borramos la palabra "niño" del mismo texto original. Cuando todos los símbolos son igualmente probables (distribución de probabilidad plana), todos aportan información relevante y la entropía es máxima.

2.- “La teoría de la información fue desarrollada por Claude E. Shannon para encontrar los límites fundamentales en la compresión y almacenamiento confiable y comunicación de datos. ... se ha ampliado para encontrar aplicaciones en muchas otras áreas, incluyendo inferencia estadística, procesamiento del lenguaje natural, criptografía, otras redes diferentes a las redes de comunicación –como en neurobiología, la evolución y función de códigos moleculares, selección de modelos en ecología, física térmica, computación cuántica, detección de plagiarismo y otras formas de análisis de datos.

3.- La entropía de ShannonLa entropía definida por Shannon , referida a la teoría de la información, hace referencia a la cantidad media de información que contiene una variable aleatoria (psicológica) o, en particular, una fuente transmisión binaria. La información que aporta un determinado valor, xi, de una variable aleatoria discreta X, se define como:

I(xi) = log2(1/p(xi)) cuya unidad es el bit si se utiliza el logaritmo en base 2 (por ejemplo, cuando se emplea el logaritmo neperiano o natural se habla de nats). La entropía o información media de la variable aleatoria discreta, X, se determina como la información media del conjunto de valores discretos que puede adoptar (también medida en bits):

H(x) = Σip(xi) •log2(1/p(xi))

Además de su definición y estudio, Shannon demostró analíticamente que la entropía es el límite máximo al que se puede comprimir una fuente sin ninguna pérdida de información.

4.-entropia de máxima: el principio de máxima entropía es un principio que establece que la distribución de probabilidad menos sesgada que se le puede atribuir a un sistema estadístico es aquella en la que dadas unas ciertas condiciones fijas maximiza la entropía, esto es, aquella en la que la desinformación es máxima. Esto viene a decir que en una situación de desconocimiento de información la distribución estadística menos sesgada será aquella en que menos información extrínseca al problema contenga. El anterior principio implica que dada la entropía como una función de la distribución de probabilidad y las j condiciones intrínsecas al problema, la distribución menos sesgada para los N microestados cumplirá que:

\delta S=0\qquad

con las condiciones

\qquad f_i(P_1,...,P_N) \qquad i=1,...,j

Empleando los multiplicadores de Lagrange la función a minimizar sería:

\ \delta(S+\sum_i \lambda_i f_i(P_1,...,P_N))=0

5.-entropia termodinamica: En termodinámica, la entropía (simbolizada como S) es una magnitud física que, mediante cálculo, permite determinar la parte de la energía que no puede utilizarse para producir trabajo. Es una función de estado de carácter extensivo y su valor, en un sistema aislado, crece en el transcurso de un proceso que se dé de forma natural. La entropía describe lo irreversible de los sistemas termodinámicos. La palabra entropía procede del griego (ἐντροπία) y significa evolución o transformación.

8.-La entropía de formación de un compuesto químico se establece midiendo la que conforma a cada uno de sus elementos constituyentes. A mayor entropía de formación, más favorable será su formación.

9.-entropia simbolizada: En termodinámica, la entropía (simbolizada como S) es una magnitud física que, mediante cálculo, permite determinar la parte de la energía que no puede utilizarse para producir trabajo. Es una función de estado de carácter extensivo y su valor, en un sistema aislado, crece en el transcurso de un proceso que se dé de forma natural. La entropía describe lo irreversible de los sistemas termodinámicos. La palabra entropía procede del griego (ἐντροπία) y significa evolución o transformación.

10.- símbolos y ecuaciones de la entropía:

...