10/1/2013

Classical Test Theory & Item Response Theory

DIRECII N CONSTRUCIA SCALELOR

CTT CLASSICAL TEST THEORY - Fiecare item reprezint o estimare a constructului echivalent cu fiecare alt item al unui test/chestionar

IRT Latent Traits Models Fiecare Item reprezint o estimare diferit a variabilei latente pe care tinde s o msoare

10/1/2013

Strategii de Construcie a Instrumentelor

1. INTUITIV / RAIONAL Douglas Jackson (CTT) 2. EMPIRIC Harrison Gough (CTT) 3. ANALIZ FACTORIAL (CTT) 4. ITEM RESPONSE THEORY (IRT)

EXEMPLU EQi

10/1/2013

Construcie metodologie
La nceputul anilor 1980, a fost propus o strategie comprehensiv de cercetare pentru a examina factori variai considerai a fi componente conceptuale ale acestui construct complex. Abordarea general a implicat cteva etape majore: I. mprirea logic n clustere de variabile i identificarea factorilor cheie presupui a determina funcionarea eficient, nsoit de succes i de o stare de sntate emoional pozitiv; aceast mprire se face pe baza experienei clinice i a literaturii din domeniul sntii mentale, II. Definirea operaional a acestor factori, III. Construirea unui inventar menit s examineze aceti factori, IV. Evaluarea calitii inventarului rezultat, pe baza examinrii structurii factoriale, a validitii i fidelitii inventarului.

Construcie metodologie
Autorul a revzut multe teorii i studii care s-au concentrat asupra variabilelor considerate a fi legate de funcionarea emoional normal, optim sau, dimpotriv, de cea patologic. Aceast trecere n revist a fost o modalitate de a aborda cele mai multe dintre variabilele cheie, relevante pentru funcionarea emoional eficient. Aceasta este lista iniial de componente: Asertivitate, Autoactualizare, Relaionare interpersonal, Rezolvarea de probleme, Flexibilitate, Respect de sine, Independen, Responsabilitate social, Evaluarea realitii, Tolerana la stres.

10/1/2013

Construcie metodologie
n timpul perioadei de 12 ani care a trecut pn la publicarea versiunii curente a EQ-i au fost adugate patru componente factoriale suplimentare ale inteligenei emoionale. 4 noi componente: Controlul impulsurilor; Contiina emoional de sine; Empatia; Optimism.

Construcie metodologie
Etapa a II a: Definiii operaionale Definitii constitutive un concept este definit prin alte concepte; Definitii operationale specificarea operatiilor pentru a evalua si masura constructul - reprezinta un caz particular al constructului (Kerlinger, Lee, 2000).

Etapele I i II au oferit fundamentele teoretice n concordan cu care a fost construit EQ-i. Aceste dou etape au stabilit cadrul conceptual al inventarului.

10/1/2013

Construcie metodologie
Etapa a-III-a Selecia Itemilor Trei psihologi clinicieni i doi psihiatri au creat un numr de itemi pe baza definiiilor dezvoltate anterior pentru factorii selectai de autor. A doua surs de generare a itemilor s-a bazat pe experiena clinic a autorului i pe sondarea literaturii n domeniul sntii mentale. Initial item pool: 1000. Item Selection: Primul pas a implicat reducerea i selecia itemilor din fiecare dintre domeniile factoriale, pe baza unor consideraii conceptuale, logice i lingvistice, Al doilea pas a implicat analiza itemilor pentru a elimina itemii mai slabi, naintea pilotrii inventarului.

Construcie metodologie
Procesul de selecie a itemilor a produs un numr de 15-20 de itemi pe subscal. Examinare din punctul de vedere al sintaxei, al gramaticii, al ortografiei i al gradului de comprehensibilitate. Autorul a editat apoi itemii pe baza feedbackului de la cei opt corectori. Faza final a seleciei itemilor a implicat rularea unei analize de item, dup pilotarea primei versiuni a EQ-i. Aceast abordare, de combinare a metodelor statistice cu consideraiile de ordin conceptual i semantic reprezint un aspect major al strategiei totale de cercetare pe care s-a bazat dezvoltarea EQ-i. Itemii reinui au fost n general itemii care au corelat cel mai puternic cu subscalele lor, n timp ce itemii eliminai au fost n general itemii care au demonstrat cea mai redus corelaie cu subscalele lor.

10/1/2013

Construcie metodologie
Au fost efectuate numeroase analize de item n apte ri, cu scopul de a aloca ntre apte i nou itemi fiecrei subscale din versiunea final a EQ-i. Acest acord fin al relaiilor item-scal a continuat pn cnd a fost obinut cea mai bun potrivire, statistic i conceptual, a itemilor din fiecare scal. Ultimul item (133) nu este scorat pe nici o subscal. El a fost proiectat pentru a fi o continuare a instruciunilor (Rspund la fiecare item din acest inventar deschis i onest). Mai mult, un rspuns de mai puin dect Uneori (adic Rar, sau Foarte rar sau niciodat) justific invalidarea profilului i cerina ctre respondent de a completa din nou ntregul inventar de la nceput.

Construcie metodologie
Construirea formatului de rspuns Versiunea final a EQ-i are un format de rspuns bazat pe o scal de autoevaluare n cinci puncte. Acest format de rspuns ofer cinci valori ordonate, desemnate s indice tria subiectiv a rspunsurilor individului. Dei un format simplu, cu trei alegeri, ofer o categorie de mijloc neutr, la care s se apeleze atunci cnd este necesar, avnd astfel un avantaj asupra formatului dihotomic, acesta nu permite nici el suficient flexibilitate n transmiterea gravitii unei evaluri sau a gradului de adeziune. Atunci cnd sunt pui n faa acestor posibiliti de alegere nguste, un numr de respondeni (n special cei indecii, suspicioi sau care nu se implic) pot s aleag categoria din mijloc i pot astfel oferi foarte puine informaii valoroase despre ei. Mai multe gradaii n jurul punctului de mijloc nu prezint doar un numr mai mare de posibiliti de rspuns i evit extremele (Moser & Kalton, 1971), ci este de asemenea mai adecvat i pentru multe proceduri statistice.

10/1/2013

Construcie metodologie
Reprezentrile semantice Dup luarea n considerare a mai multor reprezentri semantice pentru cele cinci valori ordonate, autorul a decis utilizarea urmtorului format: 1=Foarte rar sau niciodat adevrat, 2=Rareori adevrat, 3=Uneori adevrat, 4=Adesea adevrat, 5=Foarte des adevrat sau ntotdeauna adevrat. Dei exist anumite limitri implicate de aceste frazri, cauzate n special de implicaiile temporale ale unor cuvinte cum ar fi adesea i rareori, acestea au fost preferate altor termeni luai n considerare. De exemplu, autorul a considerat c acord i dezacord sunt nc mai specifici i limitai din cauza implicaiilor lor atitudinale i cognitive, datorate semnificaiilor lor emoionale, experieniale i comportamentale.

CRITERII FORMULARE ITEMI

CONINUTUL ITEMILOR: De exemplu, Extraversia poate fi analizat din mai multe perspective: COMPORTAMENTAL COGNITIV MOTIVAIONAL AFECTIV FIZIOLOGIC

Un set de itemi corect formulat trebuie s acopere toate aceste perspective EXERCIIU UCF CARDS

10/1/2013

CRITERII FORMULARE ITEMI

NUMRUL ITEMILOR De obicei fidelitatea unui test creste odata cu numarul de itemi Spearman-Brown prophecy (demonstratia clasica: Guilford, 1954) true variance increases more rapidly than error variance rnn = n rtt / (1+ (n-1) rtt )

CRITERII FORMULARE ITEMI

NUMRUL ITEMILOR Depinde foarte mult de constructul msurat Constructele extinse: Extraversie, Psychological Well-Being necesit un numr ridicat de itemi Constructele nguste: TYPE A Behavior nu necesit formularea unui numr ridicat de itemi

10/1/2013

CRITERII FORMULARE ITEMI

CLARITATEA FORMULRII: Evitarea jargonului psihologic Evitarea dublei negri (double negatives) implic efort cognitiv: I NEVER FAIL TO DO MY HOMEWORK vs. I ALWAYS DO MY HOMEWORK Evitarea itemilor care au coninuturi diferite (double barreled) Nu mi place s obin note mici la teste i, de aceea, evit a le spune prinilor ce note iau la coal ITEMI POZITIVI VS. NEGATIVI Se recomand includerea acestora n numr egal deoarece reduc acquiesence bias

Analiza Factoriala
Aspecte Introductive

10/1/2013

Analiza Factoriala
Istoric: Charles Spearman (1904) a fost cel care a pionierat aceasta tehnica statistica, aplicand-o chiar in domeniul psihologiei (fiind creditat cu inventarea analizei factoriale). Spearman a descoperit ca notele obtinute de elevi la materii diferite tind sa coreleze conducand la concluzia ca exista un factor general de performanta Raymond Cattell dezvolta aplicarea analizei factoriale in domeniul inteligentei (gf & gc) si in domeniul personalitatii (16 PF). Definitie: Analiza factoriala reprezinta o metoda statistica utilizata pentru descrierea variabilitatii in cadrul variabilelor observate intr-un numar relativ restrans de variabile. (Costello, Osborne, 2005).

Analiza Factoriala
Exemplul 1 1 factor Scala 1 5 Pers/Scor A B C D E F X Item 1 1 4 2 1 5 4 2 Item 2 2 5 2 1 5 3 1 Item 3 1 4 3 2 4 5 2 Item x 1 4 2 2 5 5 1

10

10/1/2013

Analiza Factoriala
Exemplul 2. 2 factori Pers/Scor A B C D E F X Item 1 1 1 4 5 5 2 2 Item 2 2 2 4 4 5 2 1 Item 3 4 4 1 1 2 5 5 Item x 4 5 2 1 2 5 2

Analiza Factoriala
F A doua scopuri majore: a. reducerea datelor de exemplu in cazul NEO PI R este mult mai facila interpretarea factorilor si ulterior a fatetelor decat interpretarea celor 30 de fatete. b. explorarea structurilor teoretice inteligenta este un construct unitar (un singur factor) sau unul multifactorial. Exista doua tipuri principale de Analiza Factoriala: a. Analiza Factoriala Exploratorie (Exploratory Factorial Analysis - EFA) are ca obiectiv investigarea (explorarea) structurii factoriale, fara a impune un model sau o structura prestabilita. b. Analiza Factoriala Confirmatorie (Confirmatory Factorial Analysis CFA) are ca obiectiv validarea structurii factoriale testand ipoteza: intre variabilele observate si structura lor subiacenta exista o legatura.

11

10/1/2013

Analiza Factoriala
Survey 2004-2005 baza PsycInfo au fost publicate peste 1700 de studii care foloseau metode factor analitice (Costello & Osborne, 2005). Rotatii scopul aplicarii rotatiilor este acela de a clarifica structura datelor. Exista doua tipuri principale de rotatii: Oblice (pleaca de la premisa ca variabilele sunt intercorelate) Promax, Oblimin. - Ortogonale (pleaca de la premisa ca variabilele sunt independente) Varimax, Quartimax, Equamax. Extractie Analiza Componentelor Principale, Maximum Likelihood, Principal Axis Factoring (daca datele nu se distribuie dupa curba normala se aplica PCA).

Analiza Factoriala
Esantionul (Costello & Osborne, 2005). Cota Sub/Item % din Studii % Cumulativ

12

10/1/2013

Analiza Factoriala

Numarul de Factori decizia subiectiva a cercetatorului, dar trebuie sa tina cont de: Teorie; Criteriul lui Kaiser (Eigen Values peste 1); Scree Plot (metoda considerata a fi cea mai obiectiva).

Item Response Theory

ITEM DIFFICULTY

13

10/1/2013

Item Difficulty
Item difficulty is used to choose items of a suitable difficulty level

Percentage Passing: The difficulty of an item is usually expressed in the percentage of persons who answer it correctly

Tests are usually arranged with items in order of difficulty, beginning with easier items

What are the ranges for item difficulty?

Item difficulty (p) ranges from 0 to 1.0 A zero means that no one got the item right, while a 1.0 means that everyone got the item right The closer an item gets to 0 or to 1.0, the less information it contributes about test takers

14

10/1/2013

What levels of item difficulty are desirable in a test?

It is best to chose items close to p=.5, however if the items within a test are highly intercorrelated (the test is more homogeneous), then there should be a wider range of item difficulties (but they should average 0.5)

Relating Item Difficulty to Testing Purpose

The level of item difficulty required depends, in part, on the purpose of the test For screening tests, the item difficulty should be close to the desired selection ratio For example, if you want to select the upper 30% of the cases, then p=.30 If the purpose is to test for mastery, then p is set higherprobably around .80 or .90

15

10/1/2013

Distractor Analysis
Distractor analysis looks at a proportion of examinees who choose a certain distractor in multiple choice tests This analysis tells you what types of mistakes are being made In looking at a discrimination index for distractors, you want to get a negative value. It is desirable to have a negative correlation between people who scored high and also chose that distractor

Item Response Theory (IRT)

Also called Latent Trait Theory, Item Characteristic Curve (ICC) Theory

16

10/1/2013

INTRO
IRT gives information about how an item functions within a test It takes ability levels into account Published information about item analysis can help test users in their evaluation of these tests Using item analysis, test developers can improve the reliability of their instruments

INTRO
Item-test regression: combines item difficulty and item discrimination in the same graph This allows us to visualize how effectively an item functions

17

10/1/2013

Item test regression for items 7 (BLUE) and 13 (WHITE)

1 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0 1 2 3 4 5 6 7 8 9 10

Basic Features of IRT

Item performance is related to the estimated amount of the respondents latent trait (this is a statistical conceptnot a psychological one)

Item characteristic curves (ICCs) are plotted from mathematically derived functions. Different IRT models use different assumptions

18

10/1/2013

Examples of ICCs
ICCs for 3 items The item discrimination parameter indicates the slope of the curve A more gradual slope (item 3green) has a lower discriminative value
1 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0

How does the ICC relate to item bias?

A set of items is judged unbiased if the ICCs for every item are the same for both groups. This is because irrelevant sources of variance (as opposed to item bias) will affect both groups the same way Unequal ICCs give evidence of item bias

19

10/1/2013

Advantages and Disadvantages

ICC scaling allows for test-free measurement: you can compare people on a trait even if they answered different test items However, a large sample (approx. 1000) is needed to estimate the item parameters

20