Entropía,información y computación

1. INTRODUCCIÓN

En este artículo, reviso las conexiones entre la entropía,información y computación. El advenimiento del mercado masivo la tecnología informática significa que los estudiantes ahora están cómodos capaz con la noción de que la información es física y cuantitativa medible tativamente Los estudiantes están familiarizados con la idea de que cantidades definidas de información pueden almacenarse en forma digital en discos duros y otros medios de almacenamiento y en dinámica memoria. Por lo tanto, la información puede proporcionar un manejo útil para comenzando estudiantes de física estadística que luchan por subestimar soportar el significado de entropía. 

Una discusión de la relación el envío entre información y entropía también les da a los estudiantes perspectiva interdisciplinaria al mostrar que los conceptos se centran El seguimiento a la física estadística también aparece en campos tales como electri ingeniería cal, informática y estadística.

La historia de la relación entre entropía, información, y el cálculo se remonta a la primera mitad del siglo XX siglo con el análisis de Szilard de Maxwell's Demon 1 y El trabajo de Shannon sobre teoría de la comunicación. 2 Jaynes 3 y Brillouin 4 buscó colocar la mecánica estadística en un informe

Fundación teórica de la matemática. La definición de información de Shannon mation es probabilístico y se aplica a conjuntos de mensajes, tal como la definición habitual de entropía se aplica a estadística Conjuntos de microestados. Una definición de la información.

contenido de objetos individuales fue desarrollado independientemente por Solomonoff, 5 Kolmogorov, 6 y Chaitin 7,8 y se muestra a estar íntimamente relacionado con la definición probabilística de Shannon.

En base a esta equivalencia, Bennett 9 y Zurek 10,11 avanzaron la noción de que la entropía de microestados individuales de fisiología Se pueden definir sistemas de calibración. Este punto de vista se adopta en

este artículo.

Los desarrollos anteriores generalmente no se tratan en libros de física estadística estadísticos. Una excepción es Baier-

texto de lein, 13 que presenta el tema de la mecánica estadística ics a nivel elemental utilizando la teoría de la información de Shannon como base Una carta de recursos reciente en esta publicación 12 provide una bibliografía sobre teoría de la información en física.

 II ¿Qué es la información?

El contenido de información, medido en bits, de un documento de texto

ment, grabación de audio o archivo de datos es el número de unidades y los ceros necesarios para almacenar el texto, el sonido o los datos utilizando la mayoría codificación digital eficiente. Como ejemplo, considere una tabla de datos climáticos Por simplicidad, supongamos que hemos grabado solo si ha llovido o no en un día determinado. Un cero

significa "sin lluvia" y uno significa "algo de lluvia". Primero, supongamos que tenemos un  

Seattle Simplificamos el ejemplo asumiendo que todos los días

es independiente de los días anteriores y hay un problema del 50%

capacidad de que lloverá todos los días. Los datos meteorológicos que

haber registrado también podría haber venido de lanzamientos de monedas y

8000 días de clima requerirán 8000 unos y ceros. UNA

registro típico podría verse como

0011101100101110001100110000111101101011110100000

10010001101000 ...

Decimos que el contenido de información del conjunto de datos es 8000

bits, 1 bit por día. En la jerga informática, 8 bits son 1 byte, así que necesitaría 1 kilobyte de espacio en un disco duro para almacenar el

datos. Un punto crucial es que porque los datos son aleatorios y sin patrón, es casi seguro que no hay forma de comprimir a menos de 1 kilobyte.

A continuación, considere el clima muy diferente de Tucson, Arizona Supongamos nuevamente que cada día es independiente, pero que llueve solo 1 día de 31 en promedio. Un típico

el registro podría verse como

000000000000000000000000100000000000000000000000

000000000000000 ...

Usando la misma codificación que antes, necesitaríamos lo mismo 1 kilobyte por 8000 días de clima. Sin embargo, un típico

el registro estará dominado por ceros, y hay más compacto formas de almacenar los datos de Tucson aprovechando

El conocimiento de que la lluvia es rara. Aquí hay un enfoque. Dividir el registro en intervalos de 31 días y para cada intervalo indica en binario en qué días, si alguno, llovió. El código binario es como sigue: la palabra 11111 marca el final de cada 31 días intervalo, la palabra 00001 significa lluvia el primer día de la inter

val, 00010 significa lluvia el día dos, 00011 significa lluvia el día 3, y así sucesivamente, hasta 11110, lo que significa lluvia el día 31. Un registro meteorológico arbitrario se puede almacenar de esta manera. Porque habrá divisores de 8000/31 meses y aproximadamente 8000/31 días lluviosos, necesitaremos aproximadamente (8000/31) 52 bits o 0.32 bits por día Esta cantidad es mucho mejor que 1 bit por día, aunque no es la compresión óptima. Como ya veremos, la mejor compresión es de aproximadamente 0.21 bits / día.

Para resumir, decimos que el contenido de información de un record es el número de bits (unos o ceros) necesarios para codificar

el registro de la manera más eficiente posible. Esta definición está formalizado por la teoría de la información algorítmica 8 y lo haremos referirse a la información medida de esta manera como información algorítmica

contenido de mation. Una secuencia arbitraria s de ceros y unos tiene un contenido de información algorítmica K ( s ) que está definido ser el tamaño, en bits, del programa de computadora más pequeño que se puede ejecutar para imprimir la secuencia. La noción de programa se usa ampliamente aquí para incluir tanto las instrucciones para computadora y el archivo de datos. Por lo tanto, en el clima anterior ex-amplio también deberíamos haber incluido el espacio ocupado por el instrucciones. Para el ejemplo de Seattle, estas instrucciones son muy simples porque los datos no fueron comprimidos. por

...