ESTAOISTICA ESPAO^A

Nm. 88, 1980, p^gs. 115 a 128

Anlisis de robustez del test F al faliar algunas

de las hiptesis que permiten la inferencia en el
modelo lineal
por JAVIER CALATRAVA REQUEI^fA
INIA GRIDA-10, Crdoba
por RAFAELA DlOS PA^OMARES
ETSIA ( Unlversidad de Crdoba)

RESUMEN

El objeto del presente trabajo es el de analizar la robustez del test F al

fallar algunas de las hiptesis que permiten la inferencia en el modelo
iineal.

Se han estudiado los efectos, sobre los resultados del test, del fallo de
la no-norrnalidad ^(distribuciones uniformes) y de la homogeneidad de las
varian^as, considerando, asimismo, otras variaciones en la naturaleza del
conjunto de datos experimentales. Para ello se han utilizado tcnicas Mon-
tecarlo de Simulacin, obteniendo conclusiones sobre el grado de sensiti-
vidad^ del test F en los casos considerados.
Asimismo, se exponen algunas ideas tendentes a sealar futuras lineas
de investigacin sobre el tema.

Palabras clave: Test F, robustez, hiptesis modelo lineal.

EI anlisis de robustez de estimadores puntuales, o de tests estadsticos, al fallar una

o varias de las hiptesis realizadas sobre el modelo, ha sido, durante mucho tiempo,
uno de los problemas rns interesantes con los que han debido enfrentarse estadsticos y
matemticos en cuanto a su solucin terica, y experimentadores en todos los campos
^ I ESTADISTICA ESPAULA

cientficos (fundamentalmente en el agro-biolgico), por lo que a las consecuencias

prcticas del no cumplimiento de hiptesis se refiere.

Las tcnicas Montecarlo, basadas en la generacin de nmeros pseudoaleatorios,

que permiten simular series de valores provenientes de variables aleatorias con deter-
minadas distribuciones de frecuencia, han solucionado el problema de forma bastante
satisfactoria.

Ya en 1931, PEARSON, plantea el dilema de la resolucin del Analisis de la Varianza

en el posible caso de observaciones que no provengan de una ley aleatoria normal. Ms
tarde, DAVtD y JoHNSOtv (1951) analizan la funcin de potencia del test F en dicho caso,
intentando as resalver el problema planteado por PEARSOtv (1931), siendo dicho tipo de
anlisis Ileva,do a cabo posteriormente por SRtvASTAVA (1958) para el test de Student.

Respecto a la hiptes is de homogeneidad de las varianzas, la respuesta del test F a

su no cumplimiento fue analizada por HoRSivELL (1953) y posteriormente, empleando ya
tcnicas de muestreo simulado, por BRADLEY (19f^4). Dicho irab^jo de BRADLEY, junto
con el llevado a cabo por el mismo autor en 193 (ver referencias), relativo a la
robustez de tests paramtricos de tipo general referentes a una muestra, forman el
primer anlisis global existente sobre la robustez de los distintos tests estadsticos. En
BRADLEY (1964) se desarrolla el mtodo comnmente empleado de transformacin de
datas en experimentacin para corregir la heterogeneidad de varianzas.

1Vis recientemente, y empleando ya de forma sistemtica tcnicas Montecarlo con

,^eneracin de nmeros pseudoaleatorios, se han realizado algunos estudios sobre robus-
tez de estimaciones y contrastes, tratando varios de ellos el test F de forma siempre
p^areial, dada la dificultad de asumir en un salo estudio ei no cumplimiento de todo el
cor>junto de hiptesis del rnodela lineal y los efeetos de interaccin de dicho incumpli-
miento de hiptesis. De los distintos trab^,jos, ser3alaremos aqui, como bastante gen^-
rico, el llevado a cabo por poNAL.soN (196 y 1968} quien, empleando tcnicas Monte-
carlo, analiza el comportamiento del test F respecto a la no-normalidad de las observa-
ciones, simulando observa^ciones artificiales provenientes de distribuciones exponen-
ciales y lognormales, considerando asimismo el caso de no homogeneidad de las varian-
zas, y estudiando la relacin entre dicho comportarniento y la correlacin existente
entre el numera,dor y el denominador del ratio F, aspecto que, habiendo sido apuntado
por PEARSON (1931) en el primer estudio sobre robustez de tests estadsticos, ya citado,
haba venido siendo ignorado en la literatura estadstica.

La existencia de diversos trab^os de Simulacin, tendentes al anlisis de la robustez

del test F, no slo no invalida el inters de posteriores estudios, sino que 1o incrernenta,
pues como se desprende de los traba^jos de BRAI3LEY (193 y 1964), y se explicita
concretamente en ei de DorrALSON (1968), es muy arriesgado generalizar a partir de los
 R08USTEZ DEL TEST F' AL FALLAR ALGCINAS NIPOTES1S I^7

resultados de unos estudios realizados con unos tipos determinadas de distribucianes y

b^jo un conjunto prefyado de condiciones experimentales, y ser necesaria el realizar
anlisis especficos para cada caso particular.

Basado en esta necesidad, el presente trabajo trata de estudiar la eficacia del test F
considerando el fallo simultneo de distintas hiptesis del madelo lineal, y baja diferen-
tes condiciones.

La idea inicial con la que se comenz este anlisis fue, exclusivamente, la de

estudiar dicha eficacia b^o la na-normalidad de las observaciones expresada en valores
extremos de la Kurtosis de las distribuciones (de Uniforme a Doble expanencial).
Posteriarmente, al aadir nuevas variantes al problema, se restringi, por operatividad,
el estudio del efecto de la no-normalidad slo para valores bajos de la Kurtosis
(uniforme), dejando para una segunda parte de este estudio la realizacin de un anlisis
similar para valores elevados (doble exponencial).

Las condiciones en las que se realiza el presente anlisis pueden resumirse como
sigue:

a) Hiptesis nula de igualdad de medias verdadera o falsa, alternativamente, consi-

derando diferentes valores de las mismas en el primer caso.
b) En los casos de hiptesis nula falsa, se han considerado diversas diferencias
entre medias.
c} Igualdad o desigualdad de las varianzas.
d) En el caso de desigualdad de varianzas y medias se han considerad^ varianzas
inversa y directamente proporcionales a las medias.

e) Diferentes coeficientes de variacin.

,f) Uniformidad o normalidad en la distribucin de las observaciones y errores

experimentales, dejando para un traba^jo posterior, comca se ha indicado, la cansideracin
del contraste normaJ-doble expanencial.

Para llevar a cabo el anlisis se han generado, en principio, 1G0 veces tres muestras
de 10 elementos provenientes de distribuciones normales y uniformes, con medias
iguales entre s e iguales sucesivamente a 12, 12,5, 13, 13,5, 14, I4,5, 15, y con
desviaciones tpicas iguales entre s, e iguales sucesivamente a cr = 5, 10 y 15 por 100
de las medias.

La variable retenida ha sido el nmero de veces, de entre las 100 repeticiones de

la experiencia, que el test F ha dado signiticacin de diferencia entre medias, para
= 0,01 y 0,05, respectivamente.
1IS ESTAU^STIC:A ESPAIYOLA

L,c^s resultados pueden verse en la tabla [, donde en la parte superior de cada celda
se encuentra el valor correspondiente a^c = O,OI y en la inferior a^c = 0,05.

Se ha repetido despus todo lo anterior, pero considerando adems desviaciones

4 2
tlpicas desiguales en cada generacin, siendo a, ^ a y 3 a, respectivamente,

y los resultados obtenidos se expresan en la tabla II.

Del anlisis de ambas tablas se sigue que las diferencias entre los valores de ^c
admitidos (U,O1 y O,OS) y los simulados, son debidas exctusivamente al muestreo en
todos los casos, si queremos realizar la inferencia con un 99 por 100 de probabilidad, y
en casi todos, si slo exigimos el 95 por t00 (en las tablas I y li se indica ccan un
asterisco aquellos valores que difieren significativamente para 9S por l00 de su corres-
pondiente terico). Como puede verse, slo en un caso dicha diferencia aparece en el
par de valores obtenidos, correspondiendo a = 13,5, varianzas iguales y distribucin
nvrmal.

TABLA 1

RESPUESTAS SIMULADAS DEL TEST F PARA MEDAS Y VARIANZAS IGUALES Y

OBSERVACIONES NORMALES Y UNiFORMES, CONSIDERANDfJ
DISTINTOS VALORES DE Y CV =^

(^c = 0,01 y 0,05 en la parte superior e inferior de cada casilla, respectivamente}

Tipc^ de
NORMALES UNIFORMES
distribucin

Valores de N CV CV CV CV CV CV
l S^0 1 O%O S % 1 S%O 1 O% S%

I^ o 0 o a a 3
S S S 3 4 8

1 Z,S 0 1 1 0 2 2
S 8 S S 4 4

13 1 1 1 0 1 1
8 4 S 3 S S

13.5 1 4* 0 1 l i
4 10* S 4 ? 7

14 4* 0 0 0 2 2
10 S 3 3 7 7

14.5 0 0 0 0 2 2
S S S 3 4 4

1S 1 2 1 2 0 1
S 6 4 8 S S
 ROBUSTEZ DE[. TEST F Al. F,ALLAR ALCUNAS HIPOTESIS 119

TweLw II

RESPUESTAS SIMULADAS DEL TEST F PARA MEDIAS IGUALES Y VARIAN2AS

DIFERENTES CON O$SERVACIONES NORMALES Y L,INIFORMES, CONSIDERANDO
DISTINTOS VALORES DE N Y CV = a
u
(ac = 0,01 y O,OS en la parte superor e inferior de cada casilla, respectivamente)

Tipa de
distr^bucibn NORMALES UNIFORMES

Valores de N CV CV CV CV CV CV _
i S% 10 % S% 1 S Ja 10 %o' S%a

12 2 1 1 4 2 1
9 S 4 ^9 9 4

12,50 2 1 1 2 1 1
9 S 6 4 4

13 1 S 1 3 2 2
S 9 S 9 S S

13,50 S* 1 0 0 0 0
9 1 S b 2 2

14 1 Z 0 4* 2 2
1 9 3 9 S S

14,50 2 0 2 4* 3 3
9 3 9 9 10* 6

1S 1 0 1 2 1 2
S 4 8 ? 4 9

La simple observacin de la posicin que ocupa dicho caso en las tablas, asY como el
hecho de que cumple las hiptesis, nos indica que se trata de un fenmeno de azar,
encontrndonos en el S por 100 de los casos que escapan a la inferencia.

Puede afirmarse que el test F es muy robusto^, cuando la hiptesis nula es cierta,
aunque se trate de distribuciones uniformes con b^ja Kurtosis, las varianzas sean
distintas y cambien sensiblemente los coeficientes de variacin de las distribuciones
para distintos valores de {esta afirmacin es vlida para muestras de tamao n= 10, o
valores aproximados).

Para valores sensiblemente inferiores a l0 (n = 4) se han simulado al azar alguno de

los casos estudiados y la robustez del test permanece, en general, si bien haba que
repetir todo el anlisis para los distintos valores de n para poder inferir al respecto con
cierto rigor. Evidentemente, para n> 10 la robustez del test debe en principio afir-
marse .
 ESTADISTICA ESPAOL,^ ^

Para analizar fa robustez en el caso de hiptesis alternativa cierta [caso mucho

menos estudiado que el anterior como afirma DoNALSON (19b8)), se han realizado l00
^enerawciones de tres scries de I O observaciones con mcdias 1 S 1^ , siendo e ,
respectivamente, 4.5, 1, 1,5, 2, 2,5 y 3, correspondiente en porcent^je de 1S a 3,33,
6,b6, 10, 3,33, 16,66 y 20, respectivamente, Las generaciones se han realizado simu-
lando distribuciones normales y uniformes alternativamente. Repitiendo las anteriores
variantes se han considerado, asimismo, tres casos distintos, a saber:

a} Heterogeneidad de las varianzas, ordinalmente proporcionales de forma directa

a las medias: Desviaciones tipicas iguales a c^", ^ a" y? cs"' en cadageneracin, orde-
3 3
nadas proporcionalmente al valor de las medias ( los cs' son distintos al ser distintas las
medias).
b) Heterogeneidad de las varianzas, ordinalmente proporcionales de forma inversa a
4 2
las medias: I3esviaciones tpicas igual a a', ^ a", 3 a"' en cada generacin, ordena-

das inversarnente al valor de as medias.

c) Homogeneidad de las varianzas. Desviacin tpica c^ = porcentaje correspon-
diente del CV aplicado a l5 (media de las tres medias).

^ En los tres casos se han considerado las tres variaciones en las desviaciones tpicas
respectivamente a= S, 10 y IS por l00 de sus medias correspondientes en cada caso.

Los resultados pueden verse en las tablas 1 II, I V y V, donde, como anteriormente,
la variable retenida ha sido el nmero de veces que el test ha detectado diferencia
significativa para x= 0,01 y x= 0,05 ( parte superior e inferior de cada casilla}.

Vemos que los factores que fundamentalmente afectan los resultados son, lgica-
mente, los valores de a (separacin entre medias} y CV (coeficiente de variacin). No
siendo significativamente diferentes los resultados obtenidos generando normales o
uniformes, ni aprecindose efecto por el hecho de ser la heterogeneidad de las varianzas
directa o inversamente proporcional a las medias, existiendo diferencia entre ambos
casos y los resultados obtenidos en el caso de varianzas homogneas, en el que, a
igualdad de otras condiciones, el test es mucho ms potente que en los dos casos de
heterogeneidad considerados.
En las bguras I, II y IIi se han representado para x= 0,01 las curvas de potencia
del test respecto a la separacin entre medias expresada en porcentaje de la media que
hemos considerado base ( = l S) para la operatividad de las simulaciones.

Vemos que el test es ms patente para mayor separacin entre medias y menor
coeficiente de variacin, y que la diferencia de resultados, entre el caso de homogenei-
 Rnfl USTEZ DEL TEST F AL FALLAR ALGUNAS H tPOTESIS 121

TABLA iii

RESPUESTAS SIMULADAS DEL TEST F PARA HIPOTESIS ALTERNATIVA

CIERTA; HOMOGENEIDAD DE VARIANZAS Y OBSERVACIONES NORMALES
Y UNIFORMES, COi^SIDERANDO DISTINTOS VAL(3RES I3E ^ Y CV =^

( = 0,01 y O,OS en la pnrte superior e inferior de cada casilla, respectivarnente)

Tipo de
NORMALES UNIF1tMES
distribucisn

Valures de O CV CV CV CV CV CV
IS% 10%- S% 1S^lo 10% S%

O,S 1 ? 27 6 18 37
7 24 S6 S 30 S1

^- l,0 11 S3 94 l0 47 91
25 77 99 19 67 100

l, S 20 94 00 1S 94 100
37 99 100 43 97 100

2,0 58 10^0 00 41 100 i00

78 l00 100 ?3 100 100

2,5 8^0 100 100 73 100 100

96 100 100 92 100 100

^ 3,0 96 100 100 94 100 100

97 100 l00 99 100 100

dad y heterogeneidad de las varianzas, aparece patente para pequeas diferencias entre
medias, y pequeos coefcientes de variacin.

As por ejemplo:

e
Para o = 1,5, ^100 = 10 ). La potencia del test es segn las casos;

Heterogeneidad H.
Distribucin CV Humugeneidad
directa ^nversa

Normal . . . . , . . . . . S% 1,00 0.8#3 0.85

10 ,^0 0,94 0,41 U,46
1 S l0 0,20 0,10 0,05
Uniforme ....... ,^0
S ^ 1,00 0,85 0,91
10 % 0,94 0,33 0,4b
l S Io 0,1 S 0,07 0,09

Para valores menores de A las diferen^ias entre valores del CV y homogeneidad-

heterogeneidad se agrandan y para valores mayores desaparecen.
122 E STADISTICA ESPAI^OL,A

TAH^A IV

RESFUESTAS SIMULADAS DEL TEST F PARA HIPOTESIS ALTERNATIVA

CIERTA. HETEROGENEIDtAD DIRECTA DE VARIANZAS Y OBSERVACIONES
NORMALES Y UNIFORI^^^ES, CONSIDERANDO DISTINTOS VALORES DE
a
^u Y CV = --
N
(x - O,OI y O,OS en !a parte superior e inferior de cada casilla, respectivamenie)

^1'ip dc UNIFORMES
NORMALES
distribucin

va^f^^ d^ d cv cv cv cv cv cv
is ^o ^o % s ^^ rs ^a Iv % s ^o
^- 0,5 2 5 11 5 2 7
6 l4 25 I1 15 18

*^ 1,0 S 22 4b 10 11 43
l 31 73 22 35 73

1,5 10 41 8K 7 33 85
24 63 99 21 2 98

-*- 2,0 8 75 100 13 82 100

25 9Q 1()} 35 94 100

^ 2,S 28 89 100 25 97 100

49 l00 l00 48 100 100

3, U 39 104 l 00 49 100 100

7U l00 l00 66 100 l0U

Resumienda las conclusiones:

l. Si la hiptesis nula es cierta, el test es muy robusto frente a la consideracin de

no-normalidad (uniformidad de las distribuciones) o de heterogeneidad de las varianzas,
independientemente de la dimensin de las medias y su coeficierite de variacin.

2. Si la hiptesis alternativa es cierta, la potencia del test se ve afectada por la

diferencia entre medias, el coeficiente de variacin y la heterogeneidad de varianzas,
pero no por la uniformidad de las distribuciones.

E1 test es muy robusto para ,grandes diferencias entre medias y pequeos coefcien-
tes de variacin.

Se da la crcunstancia que, cumplindose las hiptesis, el test falla frecuentemente

para valores del coeficiente de variacin grandes (10 por lOQ de la media). Asimismo,
para diferencias de medias de1 orden del 6 por 100, o inferiores, el test falla con
frecuencia en cualquier caso. Esto nos parece enormemente importante en el momento
de utilizacin prctica del test en experimentacin.
 ROBUSTEZ DEL. TEST F AL FALLAR ALGUNAS NlP'OTESIS 123

TwBLA V

RESPUESTAS SIMULADAS DEL TEST F PARA HIFOTESIS ALTERNATIVA

CIERTA: HETEROGENEIDAD INVERSA DE VARIANZA Y OBSERVACIONES
NORMALES Y UNIFiC)RMES, CONSIDERANDO DISTINTOS VALORES DE
AYCV= ^

(a = 0,01 y O,OS en la po^rte superior e inferior de cada casilla, respectivamente)

Tipo de NORMALES UNIFORMES

Distnbucin
CV CV CV CV CV CV
V alore s de A 15/'0 l0% S% 1S% 10% S^o

0,5 1 6 10 4 8 9
8 12 19 12 12 22

1,0 S 12 44 1 9 33
1S 29 67 9 21 9

1,S 5 4b 8S 9 4b 91
23 68 96 23 70 99

2,0 1S 78 98 2S 79 100
29 92 99 44 95 100

2,5 21 95 100 23 97 100

43 100 100 48 1{IO 100

3,0 34 99 100 44 99 100

b0 99 100 b3 100 100

A la vista de los resultados anteriores, consideramos interesante como lineas de

investigacin sobre el tema: la realizacibn del anlisis anterir para distintos valores de
las muestras, y el estudio de la no-normalidad hacia valores elevados de la Kurtosis en
la distribucin de las observaciones (doble exponencial). Esto nos proporcionar un
espectro bastante completo de su robustez.

Para la generacin de variables aleatorias y realizacin sucesiva del test se ha

preparado un programa en BASIC para el microordenador H-F 9830 A del Centro de
Clculo de la E. T. S. I. A. de la Universidad de Crdoba. Para la generacin de
variables uniformes se ha utilizado una subrutina congruencial multiplicativa anexa al
i= 12
sistema, y para las normales, la subruiina ^ U(0, t)- 6 para la N(0,1), siendo por tanta
;_ ^
;=^z
un valor de la N (, a) = a ^ V(0, l} - 6 + .
i= 1
 ESTADISTICA ESPAULA

0. 9 ^

0.8 ^

0.7 -^

0,6 ,.^

0.5 -^

0. 4 -^

0.3 ^

0.2 -1

0.^ -^

- T-
^o

Figura I '

Curva de potencia del test respecto a 1 U!) ^ en e! caso de heterogeneidad directa de

N
varianuts.
N-n = Curva cornespondient^e a distribuciones normales con coeficiente de variacin n por cien.
U-n = Idem para distribuciones uniformes.
 RC}^USTEZ DEL TEST F AL FALLAR ALCiUNAS HIPOTES^S

.0

0.9

o.a

o.s

0.5

0.4

0,3

0.2

0.1

-1 _ ^._
10 20

Figura 2

Curva de pr^tencia del test respecto a 11U0 ^^` en el caso de homogeneidad de varianzas

varian zas
N-n = Curva corr+esponicntc a distrb^uciones normalas con coeficiente de variacin n por cien.
U-n = Idem para distribuciones uniformes.
126 ESTADiSTFCA ESPAOGA

1.0 ^

0.9 -^

0. 8 ~

0.? -^^

0.6 ^

0.5 -^^

0.4 ^

0.3 -^

0.2 ^

0.1-

Figura 3

Curva de potencia del test respecto a 10^0 ^ en et caso de homogeneidad de varianzas

N-n = Curva correspondiente a distribucines normales con co+eticiente de variacitn n por cien.
U-n = Idem p^ara distribuciones un^formes.
 RO^B USTEZ DEL TEST F AL FALLAR ALGUNAS NIPOTESIS 127

BIBLIGGRAFIA

BRADLEY, J. V.: A Sampling Study of the Central limit theorem and the Robustness of One-Sample
Paramctric Test, en Studies in Research Methodology IV AMRL Tech^tica! Doc u^nent Report.
C^hio (U. S. A.) (1963).

BRwDLEY, J. V.: The Central Limit Effect fr a Variety of Populations and the Robustness of 2,
and F, en Studies in Researrh Mtthodo!gy ^i Technical Document Report. Ohio (U. S. A.)
C1 9^4).
Dwv^o, F. N., y.JONNSON, N. L.: The Effect of Nonnormality on the Power Function of the
F-test in the analysis of Variance . Biometrlka, 38, pp. 43-57 { 1951).

DONAI.S4N: Power of the F-test for Non-normal Distributions and Unequal Error Variances.
RA1VD Ccrrporation Report. Santa Mnica (Califarnia), 196.

DONALSON, T. S.: Rbustness of the F-test io errors of both Kinds and the correlation between
the numerator and denominator of the F-ratio. .^ourn. Arrieric. Stat. Assoc. June, pp, 660-676
(1968).
HORSNE[,L, G.: The Effect of Unequa! Group variances of the F-test for the Homogeneity of
Groups Means. Biornetrika, 40, pp. 128-36 (1953).

PEARSON, E. S.: The Analysis of variance in cases of Non-normal Variations. Biometrika, 28,
pp. 114-33 (1931).

SRivwsTwvw, A. B. L.: Effect of Nonnomarlity on the Power Function of t-Test^^ . Biometrika, 45,
pp. 421-430 (1958).

SUMMARY

The aim of the present work is to anatyse the robustness of the F-test when sorne of
t ^e hipotheses for inference are not true. The effects of departure from the hypotheses
of normally distributed ta uniforrn populations, and equal to unequal variances, are
studied, considering some variations in the nature of the set of experimental data.
For doing the analysis, Montecarlo Simulation Thechniques has been used.
Conclusions have been taken related with the insensitivity of the test investigated
to the underlying assumptions and variations.
Finally, some ideas concerning future research on the field have been commented.

Key wurds: F, test, robustness, linear model assumptions.

AMS. 1970. Subject classification: GOE05.