Analisis Discriminante

Anlisis Discriminante, (2013) H. Hevia, M. E. Valenzuela pag 1.
Prohibida su reproduccin
ANALISIS DISCRIMINANTE
En el anlisis discriminante se busca un
conjunto de variables que mejor identifique la
categora o grupo a la que pertenece un
individuo
1
.
Con esta finalidad, se construye un ndice Z
tomando como base una cierta combinacin
lineal de las variables predictoras.
Este ndice, o funcin discriminante, se utiliza
para asignar puntajes a los individuos: los
denominados puntajes discriminantes. Estos
puntajes permiten identificar la categora a la
que pertenece un individuo.
(X
1
, X
2
, X
3
, ... , X
m
)
_ _
Perfil Categora
1
Por tanto, debe existir en la situacin problemtica, un atributo
respecto al cual interesa clasificar a los individuos.
Funcin
discriminante
Si hay exactamente dos categoras de inters, el
anlisis discriminante se denomina bigrupal. Si
hay ms de dos categoras, se denomina
multigrupal.
Ejemplo 1
Determinar las caractersticas que
diferencian a los clientes de un banco, en
buenos y malos usuarios de crditos.
Posibles variables predictoras:
Edad, grupo familiar, ingreso por ao,
patrimonio, propiedades, deuda actual,
antigedad en su actual trabajo (y/o anterior).
Muestra:
Dos grupos de clientes, uno formado por buenos
usuarios de crditos y el otro por malos
usuarios.
Ejemplo 2
Determinar las principales caractersticas
que explican el comportamiento de
estudiantes universitarios de primer ao,
respecto a permanencia en su carrera.
Puntajes en las pruebas de admisin, notas de la
enseanza media, intensidad y variedad de sus
actividades extraprogramticas.
Muestra:
Dos grupos de estudiantes, uno formado por
estudiantes que terminan sus estudios y otro
formado por estudiantes que los abandonan en
los primeros aos.
Ejemplo 3
Explicar diferencias entre sucursales cuyas
ventas son altas, medias o bajas. Predecir
ventas en una nueva sucursal.
Nivel medio de ingreso del sector, nmero de
sucursales de la competencia, nmero de
sucursales propias, densidad de la poblacin.
Muestra:
Tres grupos de sucursales que presentan ventas
altas, medias, y bajas, respectivamente.
Ejemplos 1 y 2 son posibles aplicaciones de
anlisis discriminante bigrupal, mientras que
Ejemplo 3 es una posible aplicacin del anlisis
discriminante multigrupal.
Anlisis discriminante bigrupal
La funcin discriminante tiene la forma
siguiente:
Z = k
1
X
1
+ k
2
X
2
+ + k
m
X
m
(+cte)

Los pesos discriminantes se estiman:

i) maximizando las diferencias entre los
puntajes discriminantes de los individuos
que pertenecen a diferentes categoras y,
simultneamente,
ii) minimizando la diferencia entre los
puntajes discriminantes de los individuos
pertenecientes a una misma categora.
Pesos discriminantes
Puntaje
discriminante
La efectividad que posee el ndice Z para
discriminar entre individuos de diferentes
grupos, depende de la capacidad que tienen los
descriptores, como un todo, de separar a los dos
grupos de individuos.
Por ejemplo, en la situacin siguiente ninguno
de los descriptores posee la capacidad de
distinguir entre individuos de los diferentes
grupos. Sin embargo, el nuevo eje trazado s
permite una diferenciacin total entre estos
individuos.
0 2 4 6 8 10 12
0
2
4
6
8
10
12
Las proyecciones
sobre esta recta
permiten distinguir
las categoras de
los individuos
X
1
X
2
Observar que el diagrama de dispersin de la
muestra est conformado por dos agrupaciones
de puntos (con un posible traslape), cada una
conglomerada en torno a su propio centroide.
(Se denomina gran centroide al centroide que
determinan ambas nubes de puntos,
consideradas como un todo.)
Geomtricamente, las estimaciones de los pesos
discriminantes se buscan proyectando cada
punto del diagrama de dispersin sobre una
recta. Aquella recta que mejor separa y,
simultneamente, concentra las proyecciones de
los dos grupos de puntos, es la que se elige para
calcular los puntajes discriminantes.
Estas estimaciones de los pesos discriminantes
se realizan utilizando una muestra de individuos
previamente clasificados.
Por tanto, en la matriz de datos, tambin debe
existir (adems de las columnas
correspondientes a las variables predictoras) una
columna que especifique la categora a la cual
pertenece cada individuo de la muestra.
Ya que hay exactamente dos categoras de
individuos, digamos A y B, esa columna puede
interpretarse como la correspondiente a una
variable binaria (a dummy variable). Esto, en el
caso del anlisis discriminante bigrupal.
Ejemplo (Evaluacin de cereales)
Se desea determinar si la cantidad de protena y
de vitamina D contenida en cereales para el
desayuno, influye en la evaluacin que dan los
consumidores a estos productos.
Para ello, se ha pedido a 10 individuos clasificar
un respectivo cereal en dos categoras: cereales
que no gustan (A) y cereales que gustan (B).
Los resultados aparecen en la tabla siguiente, en
donde:
X
1
: gramos de protena en 2 onzas de cereal
X
2
: porcentaje de vit. D en 2 onzas de cereal
Diez cereales evaluados por el consumidor
Prot. Vit. D
Cereal Grupo
X1 X2
1
A
2 4
2
A
3 2
3
A
4 5
4
A
5 4
5
A
6 7
Med.
4 4,4
D Est.
1,6 1,8
6
B
7 6
7
B
8 4
8
B
9 7
9
B
10 6
10
B
11 9
Med.
9 6,4
D Est.
1,6 1,8
G media
6,5 5,4
D Est.
3,03 2,01
Las mayores
diferencias observadas
entre medias, pueden
estar asociadas a
aquellas variables que
poseen un mayor poder
separador:
5 x x A 1 B 1
2 x x A 2 B 2
Diagrama de dispersin
X
1
: gramos de protena en 2 onzas.
X
2
: porcentaje de vit. D en 2 onzas.
0 2 4 6 8 10 12
0
2
4
6
8
10
12
x
1
x
2
A (no gustan)
B (gustan)
Puntajes Descriminantes
Z = 0,837 X
1
0,335 X
2
3,632
Cereal X
1
X
2
Z
1 2 4 -3.297
2 3 2 -1.791
3 4 5 -1.958
4 5 4 -0.787
5 6 7 -0.954
Media 4 4,4 -1.757
6 7 6 0.218
7 8 4 1.724
8 9 7 1.557
9 10 6 2.728
10 11 9 2.561
Media 9 6,4 1.757
Gran
media
6,5 5,4 0.000
0 2 4 6 8 10 12
0
2
4
6
8
10
12
-3,297
-1,958
-1,791
-1,757 0,218
-0,954 1,557
-0,787 1,724
1,757
2,561
2,728
0.000
Eje discriminante
Observaciones
1. La bsqueda de los pesos discriminantes se
realiza maximizando el siguiente cuociente:

2 2
2 2
1 1
( ) ( )
( ) ( )
A B
A B
A B
n n
A B
A B
n Z Z n Z Z
C
Z Z Z Z

_
n
A
= nmero de individuos de A en la muestra
n
B
= nmero de individuos de B en la muestra
Variabilidad atribuible a las
diferencias entre grupos (SCB)
Variabilidad conjunta dentro
de los grupos (SCW)
2. Se puede demostrar que
SCT = SCW + SCB.
2 2 2
1 1 1
2 2
( ) ( ) ( )
( ) ( )
A B
n n n
A B
A B
A B
A B
Z Z Z Z Z Z
n Z Z n Z Z

2. El valor mximo de C se denomina valor
propio de la funcin discriminante.
3. El puntaje discriminante Z = k
1
X
1
+ k
2
X
2
es
proporcional a la distancia entre el origen y la
SCW SCT
SCB
proyeccin del punto (X
1
, X
2
) sobre el eje
central que pasa por (k
1
, k
2
).

Por tanto:
determinar la funcin discriminante ptima es
equivalente a encontrar el eje que concentra las
proyecciones en torno a su respectivo centroide
(proyectado) y que, simultneamente, separa
estos centroides (proyectados) al mximo.
4. La constante que se agrega en la
construccin del puntaje discriminante Z
permite asignar puntaje 0 al gran centroide.
Nota
La muestra de cereales podra discriminarse
utilizando slo la variable X
1
. Esto
corresponde a utilizar como eje discriminante
un eje paralelo a X
1
. La funcin discriminante
que se obtiene es Z = 0,632X
1
4,111.
Z = 0,837 X
1
0,335 X
2
3,632
Z = 0,632 X
1
4,111
C 3,860 3,125
El criterio discriminante
Una vez construida la funcin discriminante,
formulamos un criterio que permita clasificar
individuos en base a sus puntajes
discriminantes.
Con este propsito, se define un puntaje crtico
que determina cuales valores de Z
corresponden a individuos del grupo A y
cuales a individuos del grupo B.
Z
A
= 1,757 Z
B
= 1,757

_

_
Puntaje
crtico
Puntajes de
individuos
clasificados en
el grupo A
Puntajes de
individuos
clasificados en
el grupo B
Criterio del punto medio
Se elige como punto crtico el promedio de los
puntajes de los centroides.
El criterio del punto medio es eficiente siempre
que:
1) Sea igualmente probable que un nuevo
individuo pertenezca al grupo A o al
B.
2) El costo de clasificar errneamente a un
individuo de A sea igual al costo de
clasificar errneamente a un individuo
de B.
Si alguno de estos supuestos no se satisface, el
punto crtico debiera desplazarse en forma
conveniente.
Una vez construido el modelo, podemos
aplicarlo a la muestra base (utilizada para su
construccin) con la finalidad de determinar el
valor predictivo del modelo. Usualmente, los
resultados se resumen en la llamada matriz de
clasificacin.
Clasificacin dada
por el modelo
A B
Grupo A 5 0
Grupo B 0 5
Observacin
Si las probabilidades de pertenencia de un
individuo a los grupos no son iguales, el punto
crtico debe desplazarse en direccin al puntaje
discriminante del centroide del grupo de menor
probabilidad.
En particular, si las probabilidades de
pertenencia a cada grupo se extraen de los
tamaos de las submuestras, entonces el punto
crtico que se elige es
B A
B
A
A
B
crtico n n
Z n Z n
Z


Pruebas de significancia estadstica del
modelo
Para medir el poder separador de cada variable,
se utiliza el estadstico U (o lambda de Wilks)
de la variable X.

U =
n
1
2
n
1
n
1
2
B
2
A
) X (X
) X (X ) X (X
A B
B A

_
El estadstico U es igual al porcentaje de
variabilidad del descriptor X que no es
atribuible a la variabilidad entre grupos (el
porcentaje de error).
Variabilidad conjunta
dentro de los grupos
(SC
W
)
Variabilidad total (SC
T
)
La interpretacin del estadstico U es que un
valor cercano a 0 indica alto poder de
discriminacin de la variable X, mientras que
un valor igual a 1 significa que la variable no
tiene poder de discriminacin entre los grupos.
Tambin es posible obtener, para cada variable
predictora X, un estadstico F procedente de
un ANOVA. La hiptesis nula asociada a este
estadstico es:
H
0
: (X
A
) = (X
B
)
En el ejemplo de los cereales:
U F P
X
1
0,242 25,00 0,001
X
2
0,725 3,03 0,120
Una medida multivariada del poder separador
de la funcin discriminante se basa en el
estadstico U o lambda de Wilks
2
, esta vez
aplicado a los puntajes discriminantes.
U =
n
1
2
n
1
n
1
2
B
2
A
) Z (Z
) Z (Z ) Z (Z
A B
B A
Para determinar la significancia estadstica del
lambda de Wilks, se transforma U en un
estadstico que sigue una distribucin
aproximadamente
2
(con gl = 2). La hiptesis
nula de la prueba es:
H
0
: Los centroides poblacionales de los dos
grupos son iguales
3
2
Se puede demostrar que
1 C
1
U
3
Los centroides se localizan en un espacio cuya distancia toma
en cuenta las diferentes varianzas y correlaciones existentes
entre los descriptores (distancia de Mahalanobis).
La proporcin p de individuos de la muestra
que han sido correctamente clasificados,
tambin puede considerarse como una medida
de la eficiencia de la funcin discriminante.
(En el ejemplo, p = 1)
Si comparamos esta proporcin p con el
porcentaje resultante de una clasificacin
aleatoria (bajo igual probabilidad de los
grupos), obtenemos una prueba de significacin
estadstica del modelo.
(El estadstico de prueba unilateral es:
p - 0,5
z = n
0,5
,
cuya distribucin es la normal estandarizada.)
La importancia de las variables
Las diferencias entre las medias de los puntajes
de las variables son la primera indicacin de
cuales son aquellas variables que distinguen
entre los grupos.
La magnitud de los pesos discriminantes es otra
indicacin de la importancia de las variables en
separar a los grupos.
Para obtener una jerarquizacin de las variables
predictoras utilizando los pesos discriminantes,
estos pesos deben ser estandarizados. As se
toma en cuenta las diferencias que existen
debido a unidades de medida diferentes y a
varianzas de distinto orden.
Un mtodo de estandarizacin (1) consiste en
multiplicar cada peso discriminante por la
correspondiente desviacin estndar de la
variable. De este modo, se obtiene una medida
del cambio en el puntaje discriminante cada vez
que la variable predictora cambia en una
desviacin estndar.
Otro mtodo de estandarizacin (2) consiste en
multiplicar cada peso discriminante por la
correspondiente desviacin estndar conjunta
dentro de los grupos
4
, denotada por s
x
(w)
.
s
x
(w)
(XX
A
)
2
(XX
B
)
2
1
n
B
1
n
A
n 2
Esta segunda estandarizacin es entregada por
SPSS.
4
El cuadrado de esta desviacin se denomina intravarianza.
En el ejemplo de los cereales,
X
A
X
B Peso D.
(k)
Peso D.
est. (1)
Peso D.
est. (2)
X
1
5 0,837 2,536 1,323
X
2
2
0,335 0,673 0,608
k*s
X
k*s
x
(w)
s
X
s
x
(w)
X
1
3,03 1,581
X
2
2,01 1,817
Aunque la variable X
1
encierra gran parte del
poder discriminador de la funcin, no parece
conveniente simplificar el modelo eliminando la
variable X
2
.
Primero, porque existe un cierto poder
discriminador en X
2
( = 0,725).
Segundo, porque dada la alta correlacin que
exhiben las dos variables predictoras (r
X1 X2
=
0,75), la variable X
2
acta como supresora de
cierta variabilidad de X
1
, lo que permite a esta
ltima variable aumentar su poder de
discriminacin.
El efecto supresor de X
2
sobre X
1
queda
evidenciado en el signo del peso discriminante
de X
2
.
Observaciones finales
1. Dos supuestos fundamentan al anlisis
discriminante:
i) Igualdad de las matrices de covarianza
de los grupos
ii) Distribucin normal multivariada en los
grupos
2. Si los mismos datos utilizados en la
construccin de la funcin discriminante son
usados para examinar la potencia predictiva de
esta funcin, se produce un sesgo hacia arriba
en el porcentaje de individuos correctamente
clasificados.
Una manera simple de remover este sesgo es
partir la muestra en una muestra de anlisis y
en una muestra de reserva, usando esta ltima
para medir el porcentaje p de individuos
correctamente clasificados.
Ms observaciones
1. La relacin entre los puntajes de los
centroides y del gran centroide es:
A B
A B
A B
n Z n Z
Z
n n
,
Esta relacin permite demostrar que:
C
n
A
n
B
n
A
n
B
(ZA ZB)
2
(Z
A
ZA)
2
(Z
B
ZB)
2
1
n
B
1
n
A
2. Note que si n
A
= n
B
, entonces
2
A B Z Z
Z


3. Otra medida combinada del poder
discriminador de la variable X es
I
x
k(X
A
X
B
) .
Con esta medida es posible calcular el ndice
R
x
, que permite medir la importancia relativa
que tiene cada variable en la discriminacin.
R
x
I
x
I
x
En el ejemplo,
I
x
R
x
X
1
4,185 0,862
X
2
0,670 0,138
4,855 1
Discriminant
Analysis Case Processing Summary
Unweighted Cases N Percent
Valid 10 100.0
Excluded Missing or out-of-range
group codes
0 .0
At least one missing
discriminating variable
0 .0
Both missing or out-of-range
group codes and at least
one missing discriminating
variable
0 .0
Total 0 .0
Total 10 100.0
Tests of Equality of Group Means
Wilks' Lambda F df1 df2 Sig.
prot .242 25.000 1 8 .001
vitd .725 3.030 1 8 .120
Analysis 1
Summary of Canonical Discriminant Functions
Eigenvalues
Functio
n Eigenvalue % of Variance Cumulative %
Canonical
Correlation
1 3.860
a
100.0 100.0 .891
a. First 1 canonical discriminant functions were used in the analysis.
Wilks' Lambda
Test of
Functio
n(s) Wilks' Lambda Chi-square df Sig.
1 .206 11.068 2 .004
Standardized
Canonical
Discriminant Function
Coefficients
Function
1
prot 1.323
vitd -.608
Structure Matrix
Function
1
prot .900
vitd .313
Pooled within-groups
correlations between
discriminating variables
and standardized
canonical discriminant
functions
Variables ordered by
absolute size of
correlation within
function.
Canonical Discriminant
Function Coefficients
Function
1
prot .837
vitd -.335
(Constant) -3.632
Unstandardized coefficients
Functions at Group
Centroids
group
Function
1
no gusta -1.757
gusta 1.757
Unstandardized canonical
discriminant functions
evaluated at group means
Classification Statistics
Prior Probabilities for Groups
group Prior
Cases Used in Analysis
Unweighted Weighted
no gusta .500 5 5.000
gusta .500 5 5.000
Total 1.000 10 10.000
Classification Results
a
group
Predicted Group Membership
no gusta gusta Total
Original Count no gusta 5 0 5
gusta 0 5 5
% no gusta 100.0 .0 100.0
gusta .0 100.0 100.0
a. 100.0% of original grouped cases correctly classified.

Analisis Discriminante

Uploaded by

Document Information

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Analisis Discriminante

Uploaded by

Copyright:

Available Formats

Anlisis Discriminante, (2013) H. Hevia, M. E. Valenzuela pag 1.

Los pesos discriminantes se estiman:

Anlisis Discriminante, (2013) H. Hevia, M. E. Valenzuela pag 22.

Anlisis Discriminante, (2013) H. Hevia, M. E. Valenzuela pag 32.

You might also like