Termodinámica de máxima entropía

La termodinámica de máxima entropía, también llamado modelo de máxima entropía o teoria MaxEnt es una línea de pensamiento en física que mira al punto de equilibrio termodinámico y la mecánica estadística como procesos de inferencia. Más específicamente, la MaxEnt aplica técnicas de inferencia basadas en la teoría de la información de Shannon, la probabilidad bayesiana y el principio de máxima entropía. Estas técnicas son pertinentes para situaciones que requieren la extrapolacion de datos incompletos o insuficientes (por ejemplo, la reconstrucción de imágenes, el procesamiento de ciertas señales, los análisis espectrales y problemas inversos). La termodinámica MaxEnt comenzó con dos trabajos de Edwin T. Jaynes publicados en el Physical Review en 1957.^[1]​^[2]​

Entropía máxima de Shannon

La parte central de la tesis MaxEnt es el principio de máxima entropía. Exige para la definición de su modelo que exista una parte específica y ciertos datos específicos relacionados con el modelo. Selecciona una distribución de probabilidad preferida para representar dicho modelo. Los datos así presentados apuntan a una "información comprobable"^[3]​^[4]​ relacionada con la distribución de probabilidad, por ejemplo valores de expectativas particulares, sin que sean en sí mismos suficientes para determinarlo de manera exclusiva. El principio establece que se debe preferir la distribución que maximiza la entropía de información de Shannon.

Algoritmo de Gibbs

En 1878, Josiah Willard Gibbs presentó un algoritmo para establecer conjuntos estadísticos capaces de predecir las propiedades de sistemas termodinámicos en equilibrio.

${\displaystyle S_{I}=-\sum p_{i}\ln p_{i}}$

El algoritmo es la piedra angular del análisis mecánico-estadístico de las propiedades termodinámicas de los sistemas en equilibrio. Se establece así una conexión directa entre tres grupos de variables; el equilibrio termodinámico de entropía STh, la función de estado de presión, volumen, temperatura, etc.; y la entropía de información para la distribución predicha con la máxima incertidumbre, condicionado sólo a los valores esperados de esas variables:

${\displaystyle S_{Th}(P,V,T,...)_{(eqm)}=k_{B}\,S_{I}(P,V,T,...)}$

k_B, la constante de Boltzmann, no tiene significado físico fundamental en la ecuación, pero es necesaria para mantener la coherencia con la definición histórica de entropía hecha por Clausius en 1865. Sin embargo, la escuela a favor de la tesis MaxEnt argumenta que este enfoque es una técnica general de la inferencia estadística, con aplicaciones mucho mayores. Se puede, por lo tanto, también ser utilizado para predecir una distribución de «trayectorias» Γ "durante un período determinado de tiempo" mediante la maximización de:

${\displaystyle S_{I}=-\sum p_{\Gamma }\ln p_{\Gamma }}$

Esta "entropía de la información" no tiene necesariamente una correspondencia simple con la entropía termodinámica. Pero puede ser usada para predecir características de sistemas termodinámicos de no equilibrio a medida que estos evolucionan con el tiempo.

Para los escenarios del no equilibrio, cuando las aproximación suponen un estado de equilibrio termodinámico local enfocado en una máxima entropía, las relaciones recíprocas de Onsager y las relaciones de Green-Kubo caen en desacuerdo directo. El enfoque también crea un marco teórico para el estudio de algunos casos muy especiales de escenarios o situaciones lejos del equilibrio, por lo que la derivación de la producción de fluctuación de entropía se vuelve un teorema sencillo. Para los procesos de no equilibrio, como lo es para las descripciones macroscópicas, una definición general de la entropía para cálculos mecánicos estadísticos microscópicos también es deficiente.

Por las razones expuestas en el artículo entropía diferencial, la simple definición de la entropía de Shannon deja de ser directamente aplicable para las variables aleatorias con funciones de distribución de probabilidad continuas. En su lugar la cantidad apropiada para maximizar es la "información de entropía relativa,"

${\displaystyle H_{c}=-\int p(x)\log {\frac {p(x)}{m(x)}}\,dx.}$

H_c es el negativo de la divergencia de Kullback-Leibler, o información de la discriminación, de m(x) a partir de p(x), donde m (x) es una medida invariante previa para la variable (s). La entropía relativa Hc es siempre menor que cero, y puede ser vista como (el negativo de) el número de bits de incertidumbre perdida por el enfoque sobre p(x) en lugar de m(x). A diferencia de la entropía de Shannon, la entropía relativa Hc tiene la ventaja de permanecer finito y bien definido para x cuando es continua, e invariante bajo transformaciones de coordenadas 1-a-1. Las dos expresiones coinciden para las distribuciones de probabilidades discretas, si se hace el planteamiento de que m(x_i) es uniforme, es decir, el principio de igualdad da prioridad a la probabilidad, que es la base de la termodinámica estadística.

Referencias

Bibliografía de las referencias citadas

• Bajkova, A.T. (1992). «The generalization of maximum entropy method for reconstruction of complex functions». Astronomical and Astrophysical Transactions 1 (4): 313-320. Bibcode:1991A&AT....1..313B. doi:10.1080/10556799208230532. 
• Dewar, R.C. (2003). «Information theory explanation of the fluctuation theorem, maximum entropy production and self-organized criticality in non-equilibrium stationary states». J. Phys. A: Math. Gen. 36 (3): 631-41. Bibcode:2003JPhA...36..631D. arXiv:cond-mat/0005382. doi:10.1088/0305-4470/36/3/303. 
• — (2005). «Maximum entropy production and the fluctuation theorem». J. Phys. A: Math. Gen. 38 (21): L371-81. Bibcode:2005JPhA...38L.371D. doi:10.1088/0305-4470/38/21/L01. 
• Grinstein, G., Linsker, R. (2007). «Comments on a derivation and application of the 'maximum entropy production' principle». J. Phys. A: Math. Theor. 40 (31): 9717-20. Bibcode:2007JPhA...40.9717G. doi:10.1088/1751-8113/40/31/N01.  Shows invalidity of Dewar's derivations (a) of maximum entropy production (MaxEP) from fluctuation theorem for far-from-equilibrium systems, and (b) of a claimed link between MaxEP and self-organized criticality.
• Grandy, W. T., 1987. Foundations of Statistical Mechanics. Vol 1: Equilibrium Theory; Vol. 2: Nonequilibrium Phenomena. Dordrecht: D. Reidel. Vol. 1: ISBN 90-277-2489-X. Vol. 2: ISBN 90-277-2649-3.
• — (2004). «Three papers in nonequilibrium statistical mechanics». Found. Phys. 34 (1): 21, 771. Bibcode:2004FoPh...34...21G. arXiv:cond-mat/0303291. doi:10.1023/B:FOOP.0000012008.36856.c1. 
• Gull, S.F. (1991). «Some misconceptions about entropy». En Buck, B.; Macaulay, V.A., eds. Maximum Entropy in Action. Oxford University Press. ISBN 0-19-853963-0. Archivado desde el original el 8 de julio de 2016. Consultado el 21 de septiembre de 2016. 
• Jaynes, 1979
• Extensive archive of further papers by E.T. Jaynes on probability and physics. Many are collected in Rosenkrantz, R.D., ed. (1983). E.T. Jaynes — Papers on probability, statistics and statistical physics. Dordrecht, Netherlands: D. Reidel. ISBN 90-277-1448-7. 
• Lorenz, R. (2003). «Full steam ahead — probably» (PDF). Science 299 (5608): 837-8. doi:10.1126/science.1081280. 
• Rau, Jochen (1998). «Statistical Mechanics in a Nutshell». arXiv:physics/9805024

 [physics.ed-ph].