Estadsticas Kappa y coeficientes de Kendall

En este tema
Qu es kappa?
Comparacin de kappa de Fleiss y kappa de Cohen
Qu es el coeficiente de concordancia de Kendall (KCC)?
Qu es el coeficiente de correlacin de Kendall?
Debo utilizar una estadstica de kappa o uno de los coeficientes de
Kendall?
Qu es kappa?
Kappa mide el grado de concordancia de las evaluaciones nominales u
ordinales realizadas por mltiples evaluadores cuando se evalan las
mismas muestras.
Por ejemplo, 45 pacientes son evaluados por dos doctores diferentes por
una enfermedad particular. Con qu frecuencia coincidirn los
diagnsticos de los doctores de la condicin de los pacientes (positivo o
negativo)? La calificacin que hacen los inspectores de los defectos en las
pantallas de TV es otro ejemplo de evaluaciones nominales. Concuerdan
consistentemente en su clasificacin de burbujas, vacos y sucio?
Interpretacin de los valores de kappa
Los valores de kappa van de -1 a +1. Mientras ms alto sea el valor de
kappa, ms fuerte ser la concordancia.
Cuando:
Kappa = 1, existe concordancia perfecta.
Kappa = 0, la concordancia es la misma que se esperara en virtud
de las probabilidades.
Kappa < 0, la concordancia es ms dbil que lo esperado en virtud
de las probabilidades; esto ocurre raras veces.
Comnmente, se requiere un valor de kappa de por lo menos 0.70, pero se
prefieren valores de kappa cercanos a 0.90.
Cuando tenga calificaciones ordinales, tales como calificaciones de
severidad de defectos en una escala del 1 al 5, los coeficientes de Kendall,
los cuales toman en consideracin el orden, suelen ser una estadstica ms
apropiada para evaluar asociaciones que el uso de kappa solamente.
Comparacin de kappa de Fleiss y kappa de Cohen
Minitab puede calcular kappa de Fleiss y kappa de Cohen. Kappa de
Cohen evala el grado de concordancia cuando hay dos evaluadores
con un ensayo individual o un calificador con dos ensayos. En Anlisis de
concordancia de atributos, Minitab calcula kappa de Fleiss por opcin
predeterminada y ofrece la opcin de calcular kappa de Cohen cuando
sea apropiado.
NOTA
Usted puede calcular kappa de Cohen solamente si se cumple una de las
dos condiciones siguientes:
Dos evaluadores pueden evaluar cada uno un ensayo sobre cada
muestra.
Un evaluador evala dos ensayos sobre cada muestra.
Kappa de Fleiss y kappa de Cohen utilizan mtodos diferentes para estimar
la probabilidad de que ocurra una concordancia en virtud de las
probabilidades. Kappa de Fleiss supone que los evaluadores se
seleccionan aleatoriamente de un grupo de evaluadores disponibles.
Kappa de Cohen supone que los evaluadores se seleccionan
especficamente y son fijos. Por lo tanto, kappa de Fleiss y kappa de Cohen
estiman la probabilidad de concordancia de manera diferente.
Qu es el coeficiente de concordancia de Kendall (KCC)?
El coeficiente de concordancia de Kendall indica el grado de asociacin
de las evaluaciones ordinales hechas por mltiples evaluadores cuando
evalan las mismas muestras. El coeficiente de Kendall comnmente se
utiliza en el anlisis de concordancia por atributos.
Interpretacin de los valores del coeficiente de concordancia de Kendall
Los valores del coeficiente de Kendall pueden variar entre 0 y 1. Los valores
de Kendall oscilan entre 0 y +1. Mientras mayor sea el valor del coeficiente
de Kendall, ms fuerte ser la asociacin. Comnmente, los coeficientes
de Kendall de 0.9 o ms se consideran muy buenos.
Un coeficiente de Kendall alto o significativo significa que los evaluadores
estn aplicando bsicamente el mismo estndar cuando evalan las
muestras.
Qu es el coeficiente de correlacin de Kendall?
Si usted provee una calificacin conocida para cada muestra, Minitab
tambin calcula los coeficientes de correlacin de Kendall. Los
coeficientes de correlacin se especifican para cada evaluador con el fin
de identificar la concordancia de cada evaluador con el estndar
conocido y un coeficiente general para representar todos los evaluadores
con los estndares. El coeficiente de correlacin ayuda a determinar si un
evaluador es consistente pero inexacto.
Interpretacin del coeficiente de correlacin de Kendall
Los valores del coeficiente de Kendall pueden oscilar entre -1 y 1. Un valor
positivo indica una asociacin positiva. Un valor negativo indica una
asociacin negativa. Mientras ms alta sea la magnitud, ms fuerte ser la
asociacin.
Utilice el coeficiente de correlacin de Kendall y sus valores p para elegir
entre dos hiptesis opuestas, basndose en sus datos de muestra:
H0: No existe asociacin entre las calificaciones de todos los
evaluadores y el estndar conocido.
H1: Las calificaciones de todos los evaluadores se asocian con el
estndar conocido.
El valor p provee la probabilidad de obtener su muestra, con su coeficiente
de correlacin de Kendall particular, si la hiptesis nula (H0) es verdadera. Si
el valor p es menor o igual a un nivel predeterminado de significancia
(nivel ), usted rechaza la hiptesis nula y da crdito a la alternativa.
Debo utilizar una estadstica de kappa o uno de los coeficientes de
Kendall?
Cuando sus clasificaciones sean nominales (verdadero/falso,
bueno/malo, crujiente/crocante/blando), utilice kappa.
Cuando sus clasificaciones sean ordinales (calificaciones realizadas
en una escala), adems de las estadsticas Kappa, utilice el
coeficiente de concordancia de Kendall.
 Cuando sus clasificaciones sean ordinales y usted tenga un estndar
conocido para cada ensayo, adems de las estadsticas kappa,
utilice el coeficiente de correlacin de Kendall.
Las estadsticas Kappa representan concordancia absoluta entre
calificaciones, mientras que los coeficientes de Kendall miden las
asociaciones entre calificaciones. Por lo tanto, los estadsticos kappa tratan
todas las clasificaciones incorrectas de igual manera, pero los coeficientes
de Kendall no las tratan de la misma manera. Por ejemplo, los coeficientes
de Kendall consideran que las consecuencias de clasificar incorrectamente
un objeto perfecto (calificacin = 5) como malo (calificacin = 1) son ms
graves que clasificarlo incorrectamente como muy bueno (calificacin = 4).

Qu es un anlisis de concordancia de atributos (tambin

llamado estudio R&R del sistema de medicin de atributos)?
Utilice los anlisis de concordancia de atributos para evaluar la
concordancia de calificaciones nominales subjetivas o calificaciones
ordinales subjetivas realizadas por mltiples evaluadores y para determinar
cul es la probabilidad de que su sistema de medicin clasifique
errneamente una parte.
Datos nominales
Son variables categricas que tienen mltiples niveles de una caracterstica
sin un orden natural, por ejemplo, para un estudio de textura de alimentos,
crujiente, blando y crocante.
Datos ordinales
Son variables categricas que tienen tres o ms niveles de una caracterstica
con un orden natural, como completamente en desacuerdo, en
desacuerdo, neutral, de acuerdo y completamente de acuerdo.
Utilice el anlisis de concordancia de atributos para responder a preguntas
como:
El evaluador est de acuerdo consigo mismo en todos los ensayos?
El evaluador est de acuerdo con el estndar conocido en todos los
ensayos?
Todos los evaluadores estn de acuerdo consigo mismos (por cada
evaluador) y con los otros (entre evaluadores) en todos los ensayos?
Todos los evaluadores estn de acuerdo consigo mismos, con otros y con
el estndar?
Por ejemplo, 5 evaluadores inspeccionan visualmente telas para detectar
defectos. Debido a que los defectos de telas son difciles de definir, debe
confiar en los evaluadores que comparan muestras de tela con los
estndares. Su sistema de medicin no ser aceptable si la calificacin de
la calidad de la tela depende del evaluador que la est evaluando. Para
evaluar si los evaluadores estn teniendo un buen desempeo, usted
planifica un anlisis de concordancia de atributos para estudiar la
concordancia entre 5 evaluadores que estn evaluando 10 piezas de tela,
con 3 calificaciones cada uno. Cada muestra de tela tiene un estndar
correspondiente.
Si hay una concordancia considerable entre los evaluadores, existe la
posibilidad, aunque no la garanta, de que las calificaciones sean precisas.
Si no hay concordancia entre los evaluadores, no puede depender de las
clasificaciones.
NOTA
El Anlisis de concordancia de atributos es diferente de Estudio del sistema
de medicin de atributos (mtodo analtico), el cual es un mtodo para
examinar el sesgo y la repetibilidad de un sistema de medicin de atributos.

Grficas de anlisis de concordancia de atributos

Minitab incluye las siguientes grficas de anlisis de concordancia de
atributos:
Grfica de concordancia de evaluaciones por cada evaluador
Utilice la grfica de concordancia de evaluaciones por cada evaluador
para ver la consistencia de las calificaciones de cada operador. Si tiene
mltiples ensayos, Minitab grafica el porcentaje de concordancia de las
evaluaciones por cada evaluador.
Grfica de concordancia de las evaluaciones del evaluador vs. el valor
estndar
Utilice la grfica de concordancia de las evaluaciones del evaluador vs. el
valor estndar para ver la exactitud de las calificaciones de cada operador.
Si tiene un valor estndar conocido para cada parte, entonces se grafica el
porcentaje de coincidencias entre el evaluador y el valor estndar.