Curso: Psicologa de la Comunicacin I Departamento de Psicologa Social

Teora de la Informacin
Tambin llamada Teora Matemtica de la Comunicacin se la considera como el primer modelo cientfico acerca de los procesos de comunicacin

Teora de la Informacin

Guido Demicheli Montecinos Profesor Titular Escuela de Psicologa Magster en Comunicacin Doctor en Psicologa Social

El planteamiento original fue hecho por Claude Shannon en 1948 a travs de un artculo publicado en el Bell System Technical Journal titulado: A Mathematical Theory of Communication y reeditado al ao siguiente en conjunto con Warren Weaver en la Universidad de Illinois (1949).

Antecedentes y origen
Entre los antecedentes de este modelo se encuentran los trabajos de: - Andrei Markov (1907) teora de probabilidad procesos estocsticos (componentes aleatorios) cadena de Markov - Ralph Hartley (1927) primera formulacin de leyes matemticas relacionadas con la transmisin de informacin antecesor de Shannon teorema de Shannon - Harthley - Alan Turing (1936) desarroll una mquina capaz de tratar con informacin.

Foco de inters

El inters principal de este modelo es tcnico lo relacionado con la capacidad y fidelidad para transmitir informacin que posee los distintos sistemas de comunicacin. Lo que importa es: cunta informacin trasmite la fuente ?. La Teora de la Informacin trata acerca de la cantidad de informacin que trasmite una fuente a un receptor. El problema del significado no juega ningn rol.

Sistema General de Comunicacin

(Shannon y Weaver, 1949)

Componentes del Modelo

Seal enviada

Seal recibida

FUENTE

TRANSMISOR

CANAL

RECEPTOR

DESTINATARIO

Mensaje

Fuente de Ruido

Mensaje

Fuente de informacin: selecciona el mensaje de un conjunto de mensajes posibles. Transmisor: transforma o codifica esta informacin en una forma apropiada al canal. Canal: medio a travs del cual las seales son transmitidas al punto de recepcin. Fuente de ruido: conjunto de distorsiones o adiciones no deseadas por la fuente de informacin y que afectan a la seal. Pueden consistir en distorsiones de imagen, sonido, transmisin, etc. Receptor: decodifica la seal transformndola en el mensaje original o en una aproximacin de ste.

Informacin
En este modelo informacin es definida como el grado de libertad que tiene una fuente para elegir un mensaje determinado entre un conjunto de mensajes posibles

Informacin
Las alternativas se refieren a cualquier conjunto de signos construido para comunicarse (nmeros, letras, palabras), suponiendo que ambos extremos del canal de comunicacin (fuente-receptor) manejan el mismo cdigo o conjunto de signos La funcin de la fuente es seleccionar sucesivamente aquellas seales que constituyen el mensaje y trasmitirlas al receptor usando un determinado canal.

concepto estadstico

Cada eleccin est asociada a una probabilidad, siendo algunos mensajes ms probables que otros. Un propsito central en la Teora de la Informacin, es lograr establecer la cantidad de informacin que proporciona un mensaje Dicha cantidad es posible de calcular segn sea la probabilidad de envo o uso que sta tiene en la construccin de un mensaje

Frmula para Medir la Informacin

Prediga tres letras siguientes en estas series:

1 2

A B X Y C D X Y E F N W N X N Y N P Q P Q R Q R S R S T S T U C D O P E F Q R C D O P E F Q R C D F H H J J A D G J M O R B B D D F C B A F E D I H G L K

I (xi e ij) = f p (xi) + f p (yj / xi)

I: (x e y) cantidad de informacin proporcionada por los mensajes x e y f: funcin p (xi): probabilidad de xi p (yj/xi): probabilidad de yj , dado que xi ha sido seleccionado

3 4 5 6 7 8 9

A Z B Y C X D W E V F B J D A B N L L A B J K I S T

Principios fundamentales Teora de la Informacin

Incertidumbre

Principios fundamentales Teora de la Informacin

Incertidumbre

El concepto de informacin supone la existencia de duda o incertidumbre existencia de diferentes alternativas entre las que se puede seleccionar, elegir o discriminar.

Las elecciones sucesivas constituyen sumatorias en que cada eleccin agrega informacin

La cantidad de informacin que aporta un mensaje se encuentra en una relacin directamente proporcional con la cantidad de incertidumbre que es capaz de reducir.

Si se escogen dos mensaje (X e Y), la cantidad de informacin proporcionada por ambos ser igual a la cantidad de informacin proporcionada por X ms la cantidad de informacin proporcionada por Y, dado que X ya ha sido seleccionada.

Mientras ms probable sea un mensaje menor informacin proporcionar

Es la probabilidad que tiene un mensaje de ser enviado y no su contenido lo que determina su valor informativo; slo resultar importante en la medida en que afecte su probabilidad de aparicin.

Existen distintos tipos de eleccin: - sencillas: elegir entre un nmero de opciones acotadas - complejas: elecciones sucesivas a partir de smbolos elementales de un amplio espectro (palabras) como en el lenguaje humano y donde la eleccin de los componentes del mensaje depende de las elecciones anteriores procesos

estocsticos

Principios fundamentales Teora de la Informacin

Incertidumbre (Bits)

Principios fundamentales Teora de la Informacin

Incertidumbre (Bits)

La manera ms prctica y precisa de definir informacin aquello que reduce la incertidumbre Qu es un bit de informacin ? representa la incertidumbre que existe cuando hay 2 eventos alternativos igualmente probables la mayor incertidumbre que puede existir con 2 alternativas 50% de probabilidad c/u Las preguntas deben reducir bits de incertidumbre Una pregunta que tiene ms probabilidades de contestarse s que no, reduce la incertidumbre a menos de un bit poco eficiente Cuntas preguntas se necesitan para adivinar cualquier nmero hasta 1.000.000 ?

Corresponde a la cantidad de informacin proporcionada por cada eleccin entre dos alternativas posibles dgito binario o bit. La eleccin existente al tener un bit de informacin puede esquematizarse de la siguiente manera:
1/2 b 1/2

La frmula general para calcular el contenido de informacin que aporta la eleccin de un mensaje entre N mensajes de igual probabilidad es: Log2N

Principios fundamentales Teora de la Informacin

Contenido de informacin

Principios fundamentales Teora de la Informacin

Contenido de informacin

Puede considerarse como una medida del grado en que un evento es inesperado grado de incertidumbre Para establecer estas medidas se requiere lo que en teora de probabilidades se llama una muestra de

Apenas se sabe cul de las alternativas se ha realizado, puede asignarse una medida de contenido de informacin que se establece en bits mediante la frmula: I= -log2 P
Esta probabilidad va desde 0 cuando hay una sola clase de evento que puede ocurrir a cuando se trata de un evento probalsticamente imposible

intervalo

Ingenieros lo llaman un conjunto situacin en la que se puede enumerar qu clase de eventos pueden ocurrir y cul es la probabilidad de c/u, pero no hay forma de saber cul de ellos ocurrir

Ley o principio: cuanto ms probable el evento, menor contenido de informacin

Principios fundamentales Teora de la Informacin

Contenido de informacin

Principios fundamentales Teora de la Informacin

Contenido de informacin

Ejemplo: slabas sin sentido en medio de una conversacin En trminos cotidianos relato era muy informativo hasta que aparecieron las slabas sin sentido (porque no dicen nada) En trminos tcnicos (basndose en la probabilidad matemtica) es al revs las slabas sin sentido tienen mayor contenido de informacin porque son inesperadas en el curso de cualquier conversacin

Ejemplo: si un perro muerde a una persona no es noticia, pero si una persona mordiese a un perro s lo sera Ejemplo: los peridicos no publican que ha salido el sol cada da, pues segn la experiencia ese evento tiene probabilidad 1, pero un eclipse s porque su ocurrencia es muy poco frecuente

Principios fundamentales Teora de la Informacin

Tasa de transmisin de la informacin

Principios fundamentales Teora de la Informacin

Tasa de transmisin de la informacin

Busca evaluar la calidad de la informacin trasmitida el % de sta que llega al receptor en forma ntida Se necesitan al menos 2 muestras de intervalo (A-B) para aplicarla 2 situaciones en las cuales puedan ocurrir varios eventos alternativos y con un canal de informacin que las une, con o sin conexin fsica T representa la cantidad promedio en la cual la incertidumbre acerca de lo que ocurre en una situacin, se reduce por conocimiento de lo que ocurre en la otra

T es una medida del grado de correspondencia entre los eventos de las dos situaciones es una magnitud de correlacin comparable a Chi cuadrado que se puede formular de la siguiente manera:
T = U (A) U (A/B)

U (A/B) = incertidumbre condicional (residual) la que se tiene en A cuando se sabe que un evento X est ocurriendo en B

U (A) = incertidumbre inicial en A

Principios fundamentales Teora de la Informacin

Tasa de transmisin de la informacin

Principios fundamentales Teora de la Informacin

Tasa de transmisin de la informacin

Si la incertidumbre residual es tan alta como la inicial la informacin trasmitida ha sido 0 la incertidumbre de A no ha podido reducirse por la informacin (conocimiento) acerca de lo que ocurre en B. Si la transmisin es perfecta la incertidumbre residual es = 0 la informacin trasmitida se iguala con la incertidumbre inicial = valor mximo que puede asumir

En comunicaciones telefnicas que funcionan bien se puede obtener una perfecta transmisin de la informacin se puede tener certidumbre de lo dicho al otro lado, pero sta puede disminuir depende de la calidad tcnica de la comunicacin la incertidumbre residual por lo general se ubica en algn punto entre la incertidumbre inicial y 0 Saber lo que est sucediendo en B mejora el conocimiento de A, pero hay muchos casos en que no se puede esperar la eliminacin completa de la incertidumbre por ejemplo, Sporting Club

Principios fundamentales Teora de la Informacin

Redundancia

Principios fundamentales Teora de la Informacin

Redundancia

Dado que los mensajes se construyen en base a procesos estocsticos siempre poseen un cierto grado de redundancia las posibilidades dentro de un mensaje se repiten, y (adems) de una cierta manera predecible.
Mientras mayor sea la redundancia de un mensaje, menor ser su incertidumbre y menor la cantidad de informacin que contenga.

Homeostato de Ashby 4 subsistemas auto-regulados idnticos e interconectados cualquier perturbacin en uno de ellos afecta y se ve afectado por los dems Aunque es un aparato muy simple = 390.625 combinaciones de valores conductas adaptativas posibles frente a cambios externos / internos Busca por ensayo y error (al azar) entre esas combinaciones la que permita recuperar/mantener estabilidad; bsqueda puede durar segundos u horas En los seres humanos sera des-adaptativo los sistemas vivos operan con cierto grado de conservacin de la adaptacin en el ser humano adulto dicha conducta se expresa ms plenamente despus de 15-20 aos

La redundancia favorece la prediccin y desfavorece la economa

Principios fundamentales Teora de la Informacin

Redundancia

Principios fundamentales Teora de la Informacin

Redundancia

En el homeostato de Ashby cualquiera de las 390.625 combinaciones tiene en todo momentola probabilidad de ser activada por la interaccin de los 4 subsistemas La realizacin de ciertas configuraciones NO tiene efecto sobre la activacin de las secuencias siguientes Cadena de hechos cuyos elementos tienen siempre probabilidad de presentarse = se comporta al azar

Un sistema que se comporta al azar no permite sacar conclusiones ni hacer predicciones respecto de sus conducta futura = NO trasmite informacin Un sistema que puede acumular adaptaciones previas para uso futuro hace que ciertas configuraciones se vuelvan repetitivas ms probables que otras Ese tipo de cadenas de eventos se denomina

procesos estocsticos

Principios fundamentales Teora de la Informacin

Redundancia

Principios fundamentales Teora de la Informacin

Redundancia

Los procesos estocsticos tienen que ver con leyes relativas a frecuencias de hechos, cualquiera sea su tipo (nmeros en la ruleta, valores de las acciones, secuencias de notas musicales, trazado de un electro-encefalograma, etc.). El lenguaje humano y los idiomas son una manifestacin clara de procesos estocsticos los mensajes lingsticos no se constituyen en base a alternativas de igual probabilidad, sino mediante elecciones sucesivas entre opciones de probabilidad variable y dependiente

En el lenguaje humano una letra y una palabra condicionan siempre la siguiente segn se avanza en la formacin de una palabra u oracin, el rango de posibles letras o palabras posibles de seleccionar va disminuyendo, mientras la probabilidad de otras va

aumentando

Tanto la incertidumbre como el contenido de la informacin de las letras o palabras posteriores son menores que en el caso de las anteriores Era un da soleado cuando un ... artculo, conjuncin, verbo, pronombre, preposicin, adjetivo, sustantivo ?

Funciones de la Redundancia

Permite que si se pierde una fraccin de un mensaje sea posible completarlo de una forma muy aproximada al original CMPLT EST FRS

Permite combatir el ruido Facilita la decodificacin de los mensajes