Teoría de La Información - Charla UNAC

Introduction (i) Entropa de informacin
(ii) Entropa de bloque
(iii) dispersin (iv) resonancia (v) Complejidad (vi) Resumen
Entropia de Shannon y el concepto de

complejidad
H.Nowak
Facultad de Fsica, UNMSM
noviembre 4, 2013
Entropia de Shannon y el concepto de complejidad
Introduccin
Programa
(i) Entropa de informacin
(ii) Entropa de bloques
(iii) Energa de bloques y relacin de dispersin
(iv) Principio de resonancia
(v) El concepto de complejidad
(vi) Resumen

Entropa de informacin
Sistema de muchas particulas, posiciones y momentos
descritos por variables estocasticas.

Stot : entropa total del sistema

Sc : entropa de calor
S entropa de ordenamiento o de estructura: Entropa de
informacin
Desacople de Sc de S es posible (no hay equlibrio entre ellos).
S puede crecer = prdida de informacin
S puede decrecer = creacin de informacin.

Ejemplos:
Ferromagnetismo:
no se puede separar entropa.

copos de nieve
Para T por debajo de Tc se desacopla S de Sc .

Genoma de ADN


Reduccin a cadena binaria (A,T)=0, (C,G)=1.

Cadenas binarias estadsticamente independiente

(a) estado inicial: sistema aislado con N1 = N2 =
Pi =
N
2
N!
(N/2)!(N/2)!
Con frmula de Stirling para M 1, ln (M!) M ln (M 1) =

Si = kB ln Pi = kB N ln 2
Del estado inicial con N1 = N2 = N/2 al estado final con N1 6= N2 con
formacin de correlaciones = complex process
(b) estado final:
Pf =
N!
;
N1 !N2 !
N = N1 + N2 =
Entropa: Sf kB N(n1 ln n1 + n2 ln n2 ) ; ni =
Ni
N
; n1 + n2 = 1 Sf Si 0

N1 = N2 = N/2
Secuencia aleatoria:
01110010101011110011000111.... S = kB N ln 2
Secuencia ordenada:
0101010101010101010101...... S = kB N ln 2
En la entropa no se distingue el rden.
La entropa en esta forma indica que el sistema puede tomar todos los
estados con la misma probabilidad y esto es generalmente el caso si el
sistema esta en contacto con un reservorio trmico, es decir con temperatura
T.
Como se puede distinguir estados mas ordenados entonces?

Entropa de bloque
Hn =
(n)
pi
(n)
log pi .
i
(n)
pi
(n)
Ni
(n)
Ni
; (estimador)
M
= nmero de bloques con configuracin i = nk , k = 2.
Ejemplo1:
El alfabeto tiene k = 2 smbolos; bloques con n = 2 smbolos,
longitud de la secuencia N:
configuraciones: (00),(01),(10),(11)
Secuencia aleatoria con N1 = N2 = N/2:
01110010101011110011000111....
/01/11/00/10/10/11/11/00/11/00/01/11/......
(2)
(2)
(2)
(2)
p1 = p2 = p3 = p4 =
1
4
H2 = 2 ln 2

Secuencia ordenada con N1 = N2 = N/2:

0101010101010101010101......
/01/01/01/01/01/01/01/01/01/01/01/....
(2)
(2)
(2)
(2)
p1 = p3 = p4 = 0; p2 = 1
H2 = 0

Algunas conclusiones y generalizaciones:

(1) Distribuciones aleatorias binarias (Distribucion de
Bernoulli):
(n)
probabilidades independientes: pi
= p0i (1 p0)(ni)
= n
Hn = nH1 = p0 ln(p0) p1 ln(p1)
Hn,max = n ln(2) con p0 = p1 = 0.5 (no hay correlacin e
informacin)
Entropa de bloque por smbolo (entropa asociada):
hn,av =
Hn
n
(2) Distribuciones ordenadas:

Hn es mnimo (0) mxima correlacin e informacin
(n)
(3) Modelos de pi para orden parcial: desconocidos o

difciles.
(4) Hn valor medio de numero de preguntas si-no para la
realizacin de la configuracin i desinformacin.

Vemos que:
(i) La distribucin aleatoria tiene la mxima entropa asociada y
queda constante dentro del efecto del tamao finito. La
secuencia tiene un alto valor de desinformacin.
(ii) La secuencia peridica tiene el valor mas bajo de entropa
(para perodo n es cero), El valor de desinformacin de la
secuencia es cero pero la informacin es redundante.

(iii) Los genomas como secuencias naturales estn situados

entre rden y desorden (Redundancia y desinformacin). La
informacin estructural est caracterizado por correlaciones
de largo alcance.
(iv) Con muy pocas excepciones las secuencias genmicas
estan ms cerca a las distribuciones aleatorias que a
distribuciones ordenadas.

Energa de bloques y relacin de dispersin
En =
(n)
(n)
pi Ei
i
(n)
Los Ei son las energas de las diferentes configuraciones de

los n-bloques independientes.
.

relacin de dispersin (generalizada) En (Hn ):

En analoga con las relaciones de energa momento E(p)
llamamos En (Hn ) relacin de dispersin generalizada o
simplemente relacin de dispersin.
Para los genomas se calcula para diferentes n
Hn =
(n)
pi
(n)
log pi
con el estimador
(n)
pi
(n)
Ni
M
y la energa
P (n) (n)
En = i pi Ei .
Para simbolos independientes vale:

Hn = nH1 = n[p0 ln(p0) + p1 ln(p1)]
En = nE1 + (1 n1 )4
E1 = p0e0 + p1e1
p0 =
E1 e1
e0 e1 ;
p1 =
e0 E1
e0 e1
Verificaremos estas relaciones experimentalmente para 56

virus y 21 bacterias genomas para n = 1, 2, 6, 10

Figure : en,av versus hn,av for n = 1, 2, 3 for 56 virus genomes

(closed squares) and 21 bacterium genomes (open circles).

Figure : en,av versus hn,av for n = 6 for 56 virus genomes (closed

squares) and 21 bacterium genomes (open circles) and for
n = 10 for 21 bacterium genomes (closed circles).

Principio de resonancia
principio de resonancia
Dos o mas subsistemas dinmicos acoplados que tienen el
mismo o csi el mismo sitio en su correspondiente relacin de
dispersin interactuan resonntemente. El acople causa una
desdoblamiento mximo entre estados bonding y
antibonding con la oportunidad de ocupar el estado bonding si
la energa puede disiparse.

(H.Nowak and P.Haeussler, Physica A 39 (2013), 4688-4700)

Ejemplos interaccin virus-virus:
label
(1)
(2)
(3)
(4)
(5)
virus I, NC-number
mouse mammary, 001503
mimivirus, 014649
parainf. virus 5, 006430
hepatitis B, 003977
fowlpox, 002188
virus II, NC-number

Mason-Pfizer, 001550
sputnik virophage, 011132
vesic. stomatitis, 001560
hepatitis delta, 001653
reticuloendoth., 006934
Table : 5 virus-virus interactions. The labels (column 1) are

exclusively used in the next figure.

Figure : (a) E2 (H2 ) for virus and bacterium genomes for

H2 > 1.15(open circles). The values of the 5 virus-virus interactions are
labeled. (b) Common E2 (H2 ) region for the 5 virus-virus interactions.
The values in the two parenthesis give the two genome length and
relative errors of block entropy- and energy for the corresponding virus.

Ejemplos interaccin virus-bacterias:

label
(1)
(2)
(3)
(4)
(5)
bacterium, NC-number
e.coli K12,000913.2
e.coli K12,000913.2
e.coli K12,000913.2
lactoc.lact. KF147,013656.1
lactoc.lact. KF147,013656.1
virus, NC-number
phage lambda,001416.1
newcas. disease B1,002617.1
phage T4,000866.4
lactoc. phage c2,001706.1
lactoc. phage sk1,001835.1
Table : 5 virus-bacterium interactions. The labels (column 1) are

exclusively used in the next figure.

Figure : (a) E2 (H2 ) for all virus and bacteria with H2 > 2.75. The
values of the 5 virus-bacterium interactions are marked. (b) Common
E2 (H2 ) region for the 5 virus-bacterium interactions. The values in the 2
parenthesis give the genome length and the relative errors of block
entropy- and energy for the corresponding virus and bacterium.

El concepto de complejidad
Every few months seems to produce another paper proposing

yet another measure of complexity, generally a quantity which
cant be computed for anything youd actually care to know
about, if at all. These quantities are almost never related to any
other variable, so they form no part of any theory telling us
when or how things get complex, and are usually just
quantification for quantifications own sweet sake.

complejidad en la fsica
ejemplos de modelos simples con cero complejidad:
cristal perfecto: completamente ordenado, la distribucin de
probabilidad es centrado alrededor de pocos estados de alta
simetra, una mnima cantidad de preguntas necesarias para
su descripcin, contenido de informacin es mximo,
entropa es mnima (cero).
gas ideal: completamente desordenado, todos los estados
son accesibles con la misma probabilidad. La cantidad de
preguntas para un estado especifico es maximo, contenido de
informacin es cero, entropa es mxima.

Ambos casos extremos definimos con complejidad cero y se

espera que en la regin intermedia una complejidad diferente
de cero, donde una maxima cantidad de estados se distinguen
de una manera u otra del resto, por ejemplo en la formacin
de estructuras parciales o locales.

Un concepto de complejidad para cadenas binarias

aleatorias (series de Bernoulli):
Primer concepto (J.Pipek, I.Varga, Phys.Rev.A 46, 3148, 1992)
(n)
Con la probabilidad pi de encontrar la configuracin i,

definimos la razn de participacin de configuraciones
Pn =
nc
X
(n)
[pi ]2
1

1
= < p(n) >
i=1
que es el valor esperado de las configuraciones en la

cadena y vale
1 Pn nc;
Pn (p0 = 0) = Pn (p0 = 1) = 1; Pn (p0 = 0.5) = nc = 2n ;
El logaritmo del valor medio de las configuraciones, la entropa

de extensin (entropa de Reny) es
Hnext = ln (Pn ) = n ln (P1 )
En diferencia con la entropa de Shannon da informacin sobre
los posibles estados accesibles. La diferencia entre ambos, la
entropa estructural

Hnstr = Hn ln (Pn ) = n H1 ln (P1 )
podra usarse como una medida de complejidad.


Los 2 maximos para p0 0.13 y p0 0.87 son los mismos

para todos los bloques y describen el mximo exceso de
posibles configuraciones sobre el valor medio. mxima
complejidad, mxima riqueza en formacin de estructuras.
Un concepto de complejidad general:

Condensador: dE = UdQ con Capacitancia C de
almacenamiento de carga
Q = CU
dE = vdp con Capacitancia m de almacenamiento de momento
p = mv
Con la relacin de Gibbs dE = TdS, con T = dE
dS , definimos la
capacitancia de almacenamiento de entropa
S = CT

= S = S
C
T
| dE
dS |
describe la complejidad de un sistema:
figura 1
figura 2
figura 3

mide la razn de entropa S por T para una temperatura

C
T dada.
A bajo T solamente los mas bajos niveles de energa estan
ocupados y S es cero (figura 1).
Al aumentar T la probabilidad de transicin a niveles de
energa mas altos aumenta. Cuando kB T llega al tamao del la
diferencia de los niveles, existe un gran cambio en S para un
pequeo cambio en la energa y por consiguiente en T . La
comlejidad es maxima (figura 2). El alto valor de la complejidad
ocurre cuando se forman diferentes estructuras con casi la
misma energa, pero S aumenta fuertemente.
Para alto T todos los niveles estan igualmente populados y
existen pequeos cambios en S para cambios en T (figura 3).

en cadenas binarias aleatorias

caso de la complejidad C
Con la relacin de Gibbs para la entropa de informacin
dE
dE = dH con = dH
se define la capacitancia de recibir o
entregar informacin o simplemente capacitancia de
informacin por bloque n
n |n | = C
1 |1 |
Hn = C
con
1 = H1 | ln (p1) ln (p0) |
C
e0 e1

Igualmente como H1str ,

1 (p0 = 0) = C
1 (p0 = 1) = 0; C
1 (p0 = 0.5) = 0
C
Los dos mximos estan ligeramente corridos con respecto a

H1str , p0max = 0.14, 0.86, y son tambin iguales para todos los
bloques. Describen la mxima capacitancia de informacin.
Otros ejemplos de complejidad:

(i) Paramagnetismo de spin= 12 en campo magnetico B
Energa interna U y entropa S:
U = N tanh (); = B B

S = NkB ln 2 + ln [(cosh )] tanh ()
Usando u =
U
N
ys=
S
N
y sustituyendo u en s:
u
1
u
1
u
1
u
1
s = s(u) = kB [ (1 ) ln ( (1 )) (1+ ) ln ( (1 + ))]
2

2

2

2


se requiere T :
Para calcular C
T =
du
2
1
u
1
u
=
[ln ( (1 )) ln ( (1 + ))]
ds
kB
2

2

Con s y T se calcula c =
s
T
en funcin de u.
Se puede compara los resultados del paramagnetismo con la

cadena binaria de ADN. La energia de bloques En es
En =
(n)
(n)
pi Ei
= n(p0e0 + p1e1 ) + (1
1
)4
n
y la entropa de bloques
X (n)
(n)
Hn =
pi log pi = nH1 = n[p0 ln(p0) + p1 ln(p1)]
i

Para n = 1 y con e0 = y e1 = resulta

E1 = u = p0e0 + p1e1 = (1 2p0)
u
1
u
1
(1 ); p1 = (1 + )
2

2

s = kB (p0 ln p0 p1 ln p1)
p0 =
T =
c =
du
2
=
ds
kB (ln p0 ln p1)
kB2
(p0 ln p0 p1 ln p1)(ln p0 ln p1)
2

Este resultado tiene la misma dependencia de p0 y p1 que la

complejidad de la cadena binaria aleatoria y por consiguente el
valor de p0 0.135 (p1 0.865) es el mismo para el
paramagnetismo como para la cadena binaria aleatoria.
1 = H1 = H1 ln p0 ln p1 .
C
|1 |
2
El resultado del paramagnetismo es generalmente
tridimensional. La cadena es unidimensional y el resultado de
la complejidad vale para bloques de diferente tamao. Se
puede generalizar el resultado de la cadena binaria a m
dimensiones y resulta
nm = nm C1
C
Para ver el efecto de la maxima complejidad en el

paramagnetismo, calculamos el calor especifico. Con =
vale
U
CB = (
)B,N = NkB ()2 [sech()]2
T
El calor especifico por spin y en los variables p0 y p1
cB =
1
kB T
CB
= kB 4 p0 p1 (ln p0 ln p1)2
N

y CB en funcin del porcentaje del

Mostramos el calculo de C
spin minoritario.
El maximo en en calor especifico cB se conoce como anomala

de Schottky. Como CB describe el cambio de la energa
interna u con el cambio de la temperatura T , en diferencia con
la complejidad que describe s/T para T dado, se espera que el
maximo cambio de cB resulta por debajo del maximo en s/T .
(ii) complejidad en la aleacin Alx Fe1x sin tratamiento

termico

(iii) Superconductor BCS-mean field

H=
+
k ck,
ck, +
k,
1X
+ +
ck, ck0 , ck0 ,
Vk,k0 ck,
N 0
k,k

Vk,k0 =
V0 , | k,k0 | 4,
0,
resto
HBCS =
+
Ek k,
k,
k,
con la relacin de dispersin

q
Ek = k2 + |4k |2 , k = k
y

4k = 4k =
4, | k | 4,
0, resto

Ecuacin del gap:

4k =
1X
4k0
Vk,k0
(1 2nF (Ek0 ))
N 0
2Ek0
k
con la distribucin de Fermi-Dirac

nF (Ek ) = nF (k ) =
1
1 + eE(k )
Para la temperatura critica en funcin del gap resulta

4
= 1.764
kB Tc

En la base de las particulas independientes del BCS vale para

la entropa
X
[nF (k ) log nF (k ) + (1 nF (k )) log (1 nF (k ))]
S = 2kB
k
La complejidad es
C=
S
= kB S
T
Reemplazando con nF (k )
C = 2kB2
C(k )
con la complejidad por estado propio

ih
1 h
C(k ) =
log (1 nF (k )) log nF (k ) nF (k ) log nF (k )
E(k )
i
+(1 nF (k )) log (1 nF (k ))
Alrededor de kF (eF ) k es pequeo y 4k 4,

s
2
) = E(k ) = 1 + k
E(k
4
42
nF (k ) =
4C(k ) =
1
)
1 + e4E(k
ih
1 h
log (1 nF (k )) log nF (k ) nF (k ) log nF (k )
)
E(k
i
+(1 nF (k )) log (1 nF (k ))

4C(k ) es maximo para

(i) k = 0 k = kF , E(kF ) = 4, nF =
(ii) 4 =
4
kB Tc
1
1+e4
1.84 nF 0.136
Resumen
(1) Separacin de entropas en S(H) y Sc , no estan en
equlbrio.
(2) Entropa de Hn bloques permite ver correlaciones.
(3) Se define una energa de bloques y la relacin de
disperson En (Hn ).
(4) En (Hn ) permite encontrar y analizar estados resonantes
entre subsistemas.

(5) Se define dos funciones que describen complejidad, Hstr y

La segunda es general y tambien aplicable a sistemas
C.
donde no se puede separar las entropas. Dos ejemplos de
tiene la maxima complejidad
sistemas binarias muestran que C
en aproximadamente 14% (86%) de las dos componentes.
(6) Las dos definiciones de complejidad aplicados a cadenas
binarias aleatorias (iid). Muestran aproximadamente los
mismos extremos universales. Los genomas analizados
tienen todos valores de concentracin p0 < 0.14. Efectos
de correlacin no cambian esta situacin.

(7) Un ejemplo de la complejidad en aleaciones binarias que

no estan en equilbrio con un reservorio de calor muestra la
maxima complejidad en 14% de la componente minoritaria.
(8) Ejemplo de paramagnetismo muestra una maxima
complejidad para 14% de la concentracin minoritaria del spin
y una transicin de fase para-ferromagnetica para esta
concentracin (o cerca, vease anomala de Schottky).
(9) Modelo-BCS de superconductividad muestra maxima
complejidad alrededor de F con 14% de las parejas de Cooper
(Bogolones) y una transicin de fase con temperatura critica
4
.
kB TC = 1.84


Teoría de La Información - Charla UNAC

Uploaded by

Document Information

Original Title

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Teoría de La Información - Charla UNAC

Uploaded by

Copyright:

Available Formats

Introduction (i) Entropa de informacin

(ii) Entropa de bloque

(iii) dispersin (iv) resonancia (v) Complejidad (vi) Resumen

Entropia de Shannon y el concepto de

Facultad de Fsica, UNMSM

Introduction (i) Entropa de informacin

(ii) Entropa de bloque

(iii) dispersin (iv) resonancia (v) Complejidad (vi) Resumen

Facultad de Fsica, UNMSM

Introduction (i) Entropa de informacin

(ii) Entropa de bloque

(iii) dispersin (iv) resonancia (v) Complejidad (vi) Resumen

Facultad de Fsica, UNMSM

Introduction (i) Entropa de informacin

(ii) Entropa de bloque

(iii) dispersin (iv) resonancia (v) Complejidad (vi) Resumen

Stot : entropa total del sistema

Facultad de Fsica, UNMSM

Introduction (i) Entropa de informacin

(ii) Entropa de bloque

(iii) dispersin (iv) resonancia (v) Complejidad (vi) Resumen

no se puede separar entropa.

Introduction (i) Entropa de informacin

(ii) Entropa de bloque

(iii) dispersin (iv) resonancia (v) Complejidad (vi) Resumen

Para T por debajo de Tc se desacopla S de Sc .

Facultad de Fsica, UNMSM

Introduction (i) Entropa de informacin

(ii) Entropa de bloque

(iii) dispersin (iv) resonancia (v) Complejidad (vi) Resumen

Facultad de Fsica, UNMSM

Introduction (i) Entropa de informacin

(ii) Entropa de bloque

(iii) dispersin (iv) resonancia (v) Complejidad (vi) Resumen

Facultad de Fsica, UNMSM

Introduction (i) Entropa de informacin

(ii) Entropa de bloque

(iii) dispersin (iv) resonancia (v) Complejidad (vi) Resumen

Reduccin a cadena binaria (A,T)=0, (C,G)=1.

Introduction (i) Entropa de informacin

(ii) Entropa de bloque

(iii) dispersin (iv) resonancia (v) Complejidad (vi) Resumen

Cadenas binarias estadsticamente independiente

Con frmula de Stirling para M  1, ln (M!) M ln (M 1) =

Facultad de Fsica, UNMSM

Introduction (i) Entropa de informacin

(ii) Entropa de bloque

(iii) dispersin (iv) resonancia (v) Complejidad (vi) Resumen

Como se puede distinguir estados mas ordenados entonces?

Facultad de Fsica, UNMSM

Introduction (i) Entropa de informacin

(ii) Entropa de bloque

(iii) dispersin (iv) resonancia (v) Complejidad (vi) Resumen

Entropia de Shannon y el concepto de complejidad

Facultad de Fsica, UNMSM

Introduction (i) Entropa de informacin

(ii) Entropa de bloque

(iii) dispersin (iv) resonancia (v) Complejidad (vi) Resumen

Facultad de Fsica, UNMSM

Introduction (i) Entropa de informacin

(ii) Entropa de bloque

(iii) dispersin (iv) resonancia (v) Complejidad (vi) Resumen

Secuencia ordenada con N1 = N2 = N/2:

Con frmula de Stirling para M 1, ln (M!) M ln (M 1) =