Professional Documents
Culture Documents
Matemtico:
Mixture of Experts
Mixture Models
Son modelos que mezclan otros modelos
probabilsticos con ciertas distribuciones de
probabilidad (gaussianas, Bernoulli, etc..)
Sirven para resumir varios datos no importando
que tan distintos sean. (eso del mismo tipo todos)
Estn basados en teora probabilstica, tal como
mtodos de mxima verosimilitud e inferencia
bayesiana.
Entre los modelos que se ocupan son
tpicamente de distribuciones que son simples y
relativamente bien entendidas.
Mixture Models,
Funcionamiento
Tarea:
medir altura de una gran cantidad de adultos.
Mixture Models,
Funcionamiento
Mixture Models,
Funcionamiento
Mixture Experts
Este tipo de modelo, tiene como subproceso distribuciones
de pbb condicional, a diferencia de Mixture Models.
Idea: es que teniendo datos de la forma ( x(t), y(t) ) con
t=1,,T
Donde
x(t): es un vector de entrada o variables explicativas e
y(t): es un vector de respuesta para x(t).
Es predecir los valores y(t) a partir de x(t), y luego probar
con nuevos valores de x(t) para predecir nuevos y(t) que
no conocemos.
El procedimiento es el que sigue:
varianza.
As tenemos que :
arquitectura de una ME
consiste en n mdulos
referidos como experts
networks.
Estas networks aproximan
los datos dentro de cada
regin de el espacio de
entrada: la expert network
asigna su entrada( el vector
de entrada ) a una salida .
supone que la
diferencia de expert
networks son adecuadas
en diferentes regiones del
espacio de entrada.
Adems tenemos el
gating network que
identifica para la entrada
la mezcla de expert o
simplemente el expert
cuya salida es mas
probable para aproximar
la correspondiente salida
salidas de la gating
network son un conjunto de
coeficientes escalares que
pesa en la contribucin de
los diversos experts.
Para cada estos coeficientes
son obligados a ser no
negativos y sumar en total 1.
La salida total de la
arquitectura, esta dada por:
que es una
combinacin convexa de las
salidas experts para cada
El Modelo: Posibles
aplicaciones
Problema de regresin:
Clasificacin de varios grupos.
Problemas de reconocimiento de patrones:
Problemas de reconocimiento de voz (http://
www.bcs.rochester.edu/people/robbie/pengjacobstanne
r.jasa96.pdf
)
(http://
www.bcs.rochester.edu/people/robbie/jacobs.j.n.h.nc9
1.pdf
)
Bibliografa