M.

Popa Aplicaii SPSS (Analiza de itemi)

Analiza de itemi cu SPSS

Introducere n analiza de itemi.

Msurarea caracteristicilor psihologice se bazeaz n mod obinuit pe teste, care sunt formate din mai multe ntrebri sau sarcini (denumite generic itemi). Rspunsul subiecilor la fiecare item sunt punctate, dup care se calculeaz rezultatul la testul respectiv, sub forma unui scor numeric. Pe tot acest parcurs, conduita subiectului (subiectiv sau obiectiv) este fixat prin numere. Pentru ca rezultatul final s fie unul adecvat, adic s exprime corect starea subiectului n raport cu caracteristica psihologic msurat, este esenial s ne asigurm c aceste numere au caliti reale de msurare. n caz contrar, riscm s facem evaluri lipsite de orice fundament. Analiza de itemi reprezint o colecie de proceduri statistice care permit investigarea calitilor de msurare a testelor psihologice. Principiile analizei de itemi se aplic att instrumentelor care msoar atribute ale personalitii, ct i celor care vizeaz aspecte de performan (abiliti, aptitudini). Analiza de itemi se prezint sub dou aspecte principale: - calitativ, analiza de itemi se refer la modul n care sunt elaborai itemii (ntrebrile sau sarcinile de lucru) i are n vedere aspecte de formulare lingvistic sau stilistic (de exemplu, evitarea dublei negaii); - cantitativ, analiza de itemi se refer la proprietile statistice ale rspunsurilor la itemi. n cazul unui chestionar psihologic sau a unui test de performan, este posibil ca unii dintre itemii care le compun s nu funcioneze aa cum ne-am dorit: pot crea confuzii, pot fi interpretai greit, pot fi prea uori sau prea dificili, etc. Motivele care pot genera astfel de situaii sunt variate: formulare confuz (de exemplu, prin utilizarea negaiei); alte informaii care acompaniaz itemul (grafice, imagini, diagrame, etc.) pot fi neclare sau greite; nu exist un rspuns corect evident, situaie n care una dintre variantele greite (distractor) este considerat corect; exist itemi care se refer la un alt coninut (atribut) dect cel vizat de restul itemilor; exist un efect discret de incompatibilitate al unor itemi n raport cu caracteristicile subiecilor investigai (legat de sex, grup etnic, vrst, etc.) Pn la un punct, aceste neajunsuri pot fi, fie prevenite, fie eliminate, mai ales cnd sunt evidente, prin analiza calitativ, intuitiv. Precizia operaiei poate fi ns mult mbuntit dac se apeleaz la un set de prelucrri statistice special destinate analizei de itemi. Aceste proceduri contribuie la ameliorarea calitilor psihometrice ale unui instrument de evaluare psihologic, prin identificarea itemilor improprii (greii sau redundani) care ar trebui eliminai sau modificai.. Toate aceste proceduri sunt denumite generic analiza de itemi. n funcie de obiectivele urmrite, procedurile clasice ale analizei de itemi, care sunt cele mai frecvent utilizate, sunt urmtoarele: 1. evaluarea indicelui de dificultate a itemilor; 2. evaluarea capacitii de discriminare a itemilor. 3. evaluarea consistenei interne a instrumentului; Premisa fundamental de la care pornete analiza clasic a testelor psihologice este aceea c scorul testului este compus dintr-o valoare adevrat (care exprim corect atributul vizat) i o cantitate de eroare (care vizeaz altceva). n cazul unui test bine fcut, 1/15
Actualizat la: 07.04.2009/08:40:50

M. Popa Analiza de itemi

eroarea se distribuie normal pe ansamblul testului, nu este corelat cu scorul adevrat i are media egal cu zero.

1. Evaluarea dificultii itemilor

Multe dintre testele dezvoltate de psihologi vizeaz caracteristici psihice exprimate n termeni de performan, n scopul clasificrii pentru selecie sau evalurii comparative (aptitudini i abiliti diverse). n cazul acestui tip de scale, este de interes major evaluarea capacitii de discriminare a fiecrui item. Unul dintre indicatorii utilizai n acest scop este indicele de dificultate, care semnific procentul de rspunsuri corecte al fiecrui item. Pentru testele de personalitate, conceptul de corect sau greit se nlocuiete cu orientarea rspunsului spre semnificaia scalei sau mpotriva acesteia (marcnd prezena sau absena trsturii vizate). Orice item la care se obin numai rspunsuri corecte, sau la care nimeni nu rspunde corect, este lipsit de relevan deoarece nu produce nici o difereniere ntre subieci. Dac presupunem existena unei relaii perfecte dintre abilitatea subiectului (cea msurat prin test) i succesul la un item, atunci un indice de dificultate de 50% va diferenia ntre subiecii care se plaseaz n prima jumtate a scalei i cei care se plaseaz n doua jumtate a scalei de performan. n acelai timp, dac toi itemii unei scale ar avea un indice de dificultate de 50%, atunci, prin aplicarea scalei, s-ar discrimina doar dou categorii de subieci, fapt care nu este de natur s conduc la rezultate suficient de sensibile n evaluarea subiecilor. n general, se consider c o scal este suficient de discriminativ atunci cnd este compus din itemi al cror indice de dificultate este moderat (30%-40%). ntr-un mod similar se pune problema i n cazul ntrebrilor la teste de personalitate, la care rspunsurile sunt interpretate n funcie de prezena sau absena trsturii psihice vizate. Atunci cnd itemii sunt selectai pe baza indicelui de dificultate mai trebuie luai n considerare doi factori suplimentari: a. Dei un indice mediu de dificultate de 50% este suficient pentru a maximiza variana total a scorului, aceast valoare trebuie s fie mai mare n cazul n care avem de a face cu rspunsuri la un test cu alegeri multiple. Aceasta deoarece trebuie s lum n considerare faptul c o parte a rspunsurilor corecte pot fi ghicite, date la ntmplare. b. Dac dorim ca scala s fie discriminativ i spre extremele ei, atunci vor trebui inclui i itemi al cror indice de dificultate s se afle n apropierea extremelor, adic mai mici sau mai mari de 50%. n general, este considerat recomandabil un indice de dificultate mediu pe scal cuprins ntre 30%-70% (sau, exprimat sub form zecimal, ntre 0.3 i 0.7)

Modul de calcul al indicelui de dificultate

Aa cum l-am descris mai sus, indicele de dificultate se calculeaz ca procent de rspunsuri corecte pentru fiecare item. Pentru evaluarea dificultii itemilor cu SPSS se va utiliza procedura Frequency din meniul Statistics. Mai jos avem imaginea analizei de frecvene pentru un item oarecare, i_01, al unui test cu 22 de itemi, unde valoarea 0 nseamn rspuns greit iar valoarea 1, rspuns corect1. Indicele de dificultate se citete pe coloana Percent, dac variabila nu are valori lips, i pe coloana Valid Percent, dac exist valori lips. n cazul nostru, indicele de dificultate al itemului 01 este de 81.8% (0.81) cazul nostru.
1

Se utilizeaz datele din fiierul didactic alfa_tema.sav

2/15
Actualizat la: 07.04.2009

M. Popa Analiza de itemi

2. Evaluarea capacitii de discriminare a itemilor

Procentajul rspunsurilor corecte (indicele de dificultate) nu este o condiie suficient pentru a judeca calitatea unui item. La fel de important este ca numrul rspunsurilor corecte s fie n legtur cu nivelul abilitii (sau trsturii, dac este un test de personalitate) pe care intenionm s o msurm cu acel instrument. Acest aspect este surprins de indicele de discriminare. Dac cei care rspund corect (sau n spiritul trsturii, pentru un test de personalitate), la un anumit item, au un nivel ridicat al abilitii (trsturii), n timp ce cei care rspund greit au nivel sczut, sau dac ambele grupuri au acelai nivel al abilitii (trsturii), atunci este clar c itemul respectiv este, fie formulat greit, fie msoar altceva dect se presupune c msoar. Un item care dispune de capacitate de discriminare are un procentaj al rspunsurilor corecte mai mare pentru subiecii care obin rezultate mai mari la nivelul ntregii scale (care msoar abilitatea), i un procentaj mai mic pentru subiecii care obin o valoare mai mic pentru scala respectiv. n absena unui criteriu extern de validare a rspunsului, scorul total, obinut prin nsumarea rspunsurilor corecte, este utilizat drept criteriu de discriminare. Pentru calcularea indicelui de discriminare se procedeaz n felul urmtor: se calculeaz scorul total; se formeaz dou grupuri distincte, fiecare reprezentnd un anumit procent din subiecii evaluai, aflai la extremele distribuiei. Procentul selectat este arbitrar. Cu ct este mai mic, cu att indicele de discriminare este mai mare dar, n acelai timp, mai puin sigur. De aceea, se recomand un selectarea unui procent cuprins ntre 25% i 33%, care reprezint un compromis rezonabil. odat grupurile selecionate, se poate calcula un indice de discriminare, simbolizat cu "D", dup urmtoarea formul:

D=
unde:

U L nU nL

U=numrul subiecilor din grupul superior (Upper group) care au rspuns corect la un item nU=numrul subiecilor din grupul superior L=numrul subiecilor din grupul inferior (Lower group) care au rspuns corect la un item nL=numrul subiecilor din grupul inferior

Dac numrul subiecilor din cele dou grupuri extreme este egal, atunci D=(U-L)/n.
O valoare pozitiv va indica faptul c itemul discrimineaz corect, n concordan cu constructul psihologic msurat. Cu ct mai mare este diferena, cu att mai mare este capacitatea itemului de discriminare ntre subiecii buni i cei slabi sub aspectul acelui construct. Pe de alt parte, o valoare negativ sugereaz o discriminare negativ ntre grupurile extreme, fapt care este o dovad puternic a unei probleme n construcia acelui

3/15
Actualizat la: 07.04.2009

M. Popa Analiza de itemi

item. Ebel (1965) sugereaz eliminarea sau revizuirea complet itemilor a cror indice de discriminare este mai mic de 0.20 i revizuirea itemilor al cror indice este ntre 0.20 i 0.30. Un indice de discriminare bun se plaseaz ntre 0.30-0.39, iar unul foarte bun, peste 0.40. Dei uor de calculat i utilizat, indicele D sufer de un mare neajuns: prin compararea a doar dou grupuri extreme, selectate arbitrar din ansamblul subiecilor testai, o parte din informaie este ignorat, deoarece subiecii care fac parte din grupul de performan intermediar nu sunt luai n considerare. Soluia acestei probleme ar putea fi aceea de a mpri ansamblul valorilor scalei n mai multe subgrupuri, n funcie de numrul subiecilor i de fineea dorit a analizei. n acest fel, indicele de dificultate al fiecrui item ar putea fi analizat prin raportare la fiecare subgrup valoric. n mod ideal, indicele de dificultate (procentul rspunsurilor corecte) al unui item bine calibrat trebuie s fie mai mic pentru subiecii din grupul valoric inferior i s creasc progresiv, pe msur ce este calculat pentru grupurile cu performane mai mari la scorul global (Peladeau, 1995).

Modul de calcul al indicelui de discriminare cu SPSS

Programul SPSS nu dispune de o procedur specific pentru analiza de discriminare a itemilor. Cu toate acestea, dispune de suficiente posibiliti pentru realizarea acestui tip de analiz. Vom prezenta mai jos un exemplu pentru itemul i_01, al crui nivel de dificultate a fost calculat anterior. n acest scop, am procedat astfel: a) Calculm scorul global al scalei, compus din 22 de itemi, din care face parte itemul i_01, utiliznd procedura Transform/Compute, aa cum se vede mai jos:

b) Analizm variabila "scor" astfel obinut cu procedurile Explore i Frequencies, din meniul Statistics, fixnd arbitrar dou grupe extreme de performan, compuse fiecare din aproximativ 30% dintre subiecii examinai cu respectivul instrument, astfel: grupul inferior, valorile 7-13 (NL=7) grupul superior, valorile 18-22 (NU=11)

4/15
Actualizat la: 07.04.2009

M. Popa Analiza de itemi

scor Frequency 1 1 1 2 2 2 1 1 4 3 2 1 1 22 Percent 4,5 4,5 4,5 9,1 9,1 9,1 4,5 4,5 18,2 13,6 9,1 4,5 4,5 100,0 Valid Percent 4,5 4,5 4,5 9,1 9,1 9,1 4,5 4,5 18,2 13,6 9,1 4,5 4,5 100,0 Cumulative Percent 4,5 9,1 13,6 22,7 31,8 40,9 45,5 50,0 68,2 81,8 90,9 95,5 100,0

Valid

7,00 9,00 10,00 12,00 13,00 15,00 16,00 17,00 18,00 19,00 20,00 21,00 22,00 Total

c) Am creat o variabil nou, n care am definit apartenena subiecilor la grupurile definite mai sus, pe care le-am codificat astfel, cu procedura Tranform/Recode/Into Different Variables: "1", grupul inferior "2", grupul median "3", grupul superior

i apoi, dup acionarea butonului Old and ew Values: declarm valorile aa cum se vede n caseta de mai jos

5/15
Actualizat la: 07.04.2009

M. Popa Analiza de itemi

n urma acestei operaii am obinut variabila "grup", ale crei valori, 1,2 sau 3, marcheaz apartenena subiecilor la unul dintre cele trei grupe valorice. d) Declarm mprirea fiierului cu date n trei categorii de subieci, cu procedura Data/Split File, aa cum se vede n imaginea de mai jos.

Efectul acestei aciuni este acela c, orice prelucrare vom face cu SPSS n continuare, aceasta va fi efectuat separat pentru fiecare din cele trei categorii separate prin valorile variabilei "grup". e) n fine, acum se poate rula procedura Frequencies din meniul Statistics, pentru variabila i_01. Datorit efectului de mprire a bazei de date prin comanda Split file, rezultatul va fi structurat pentru fiecare subgrup valoric n parte, aa cum se vede n imaginea de mai jos:
i_01 grup 1,00 Frequency 3 4 7 4 1 10 11 Percent 42,9 57,1 100,0 100,0 9,1 90,9 100,0 Valid Percent 42,9 57,1 100,0 100,0 9,1 90,9 100,0 Cumulative Percent 42,9 100,0 100,0 9,1 100,0

Valid

2,00 3,00

Valid Valid

0 1 Total 1 0 1 Total

6/15
Actualizat la: 07.04.2009

M. Popa Analiza de itemi

Tabelul din imagine prezint frecvena rspunsurilor corecte, citit pe coloana Percent (sau pe coloana Valid Percent, dac exist valori lips). Aa cum se observ, indicele de dificultate pentru grupul valoric inferior este mai mic (57.1%) dect pentru grupul superior (90.9%). Aplicnd manual formula, obinem indicele de discriminare cutat:

D=

10 4 = +0.33 11 7

Rezultatul arat c itemul i_01 are un indice pozitiv de discriminare de 0.33 care, n conformitate cu criteriile lui Ebel, indic o capacitate bun de discriminare. Chiar dac obinem i unii indici de discriminare mai mici, dac dorim s avem o scal care are putere de discriminare i la extremele sale, acetia pot fi pstrai. ot: Se observ c se poate ajunge la o valoare similar, exprimat n procente, prin simpla diferen a celor doi indici de dificultate "D=90.9-57.1=33.7) Mai departe, ar trebui efectuat procedura Frequencies pentru toi cei 22 de itemi ai testului i extragerea concluziilor care se impun.

3. Consistena intern (Cronbach alfa)

Avnd un instrument psihologic format din itemi diferii, o problem fundamental care se pune este msura n care aceti itemi sunt unidimesionali, adic msoar una i aceeai realitate psihologic. Numai dac aceast condiie este ndeplinit se poate construi un scor unic (denumit n continuare scal). Dac avem n vedere un chestionar de personalitate sau o scal de atitudine de tip Lickert, atunci ne ateptm c acest instrument este destinat msurrii unui anumit aspect sau atribut psihic i, n mod ideal, numai aceluia. Cu alte cuvinte, ntrebrile unui chestionar, la fel ca i cele ale unui test de performan, ar trebui s fie astfel formulate nct s se refere la o singur realitate psihic, vizat prin obiectivul instrumentului. Dac aceast condiie este ntrunit, atunci itemii ar trebui s aib o variabilitate comun, adic o anumit relaie unii cu alii, pe de o parte, dar i o relaie cu scorul global al scalei, pe de alt parte. Aceast calitate a unui test se numete consisten intern i este ntrunit atunci cnd fiecare dintre itemii care l compun este relevant n raport cu dimensiunea psihic vizat de instrument. Corelaia dintre un anumit item i scorul global, calculat fr acel item, poate fi considerat un indicator a relaiei mai sus amintite. O alt faet a consistenei unui instrument psihologic este fidelitatea sa, care poate fi exprimat prin stabilitatea scorului global atunci cnd acelai instrument, sau o form alternativ a acestuia, este aplicat acelorai subieci. Fr a fi singura procedur statistic utilizabil n astfel de situaii, coeficientul Cronbach alfa () este de departe cel mai cunoscut dintre toate, fiind utilizat ca un indicator al preciziei de msurare a unui test, al consistenei interne i fidelitii unui instrument psihologic. El nu este un test statistic, ci un indice sau coeficient care msoar caracteristica de consisten intern a unui instrument psihologic compus din mai muli itemi care sunt nsumai ntr-un scor unic. Formula de calcul se bazeaz pe media coeficienilor de corelaie dintre itemi i numrul itemilor:

=
unde:

1+ (

rm 1)* rm

N=numrul itemilor rm=media coeficienilor de corelaie dintre itemi

7/15
Actualizat la: 07.04.2009

M. Popa Analiza de itemi

Principalul motiv pentru care am introdus aici formula lui Cronbach este pentru a scoate n eviden faptul c valoarea sa poate fi crescut pe dou ci: - fie prin creterea similaritii dintre itemi, care conduce la coeficieni mai mari de corelaie interitemi; - fie prin creterea numrului de itemi. Indicele Cronbach alfa este, de asemenea, un indicator al preciziei scalei i poate fi vzut prin prisma valorii teoretice maxime pe care o poate lua o corelaie cu aceast scal. Altfel spus, corelaia dintre dou variabile psihologice nu va putea fi niciodat mai mare dect consistena intern a fiecreia dintre cele dou variabile investigate, dat de indicele Cronbach alfa. Din acest motiv, atunci cnd studiem relaia dintre anumite variabile psihologice trebuie s ne punem problema preciziei cu care acestea au fost msurate, deoarece mrimea corelaiei posibile dintre ele este fixat de precizia msurrii fiecreia. Valoarea Cronbach alfa tinde sa fie cu att mai mare cu ct numrul itemilor scalei este mai mare. Ca urmare, putem fi tentai s utilizm chestionare cu un numr mai mare de ntrebri. Acest lucru poate genera cel puin dou probleme pe care trebuie s le lum n considerare: din motive practice, testele mai scurte sunt de dorit, date fiind reducerea costurilor de realizare i a duratei de aplicare; n cazul testelor mai lungi, pot exista ntrebri care, chiar dac au o corelaie pozitiv cu scala, contribuie la reducerea indicelui Cronbach alfa sau au o contribuie minor la consistena general a scalei. n practic, autorul unui chestionar este interesat s reduc numrul itemilor fr a afecta consistena intern a scalei. n acest scop, "valoarea lui alfa Cronbach n cazul eliminrii itemului" (Alpha if item deleted) este un indicator foarte util. Eliminnd succesiv itemii a cror prezen contribuie la reducerea valorii Cronbach alfa, sau au o contribuie redus la acesta, se poate ajunge la un numr suficient de mic de itemi n condiiile obinerii unei valori mai mari pentru Cronbach alfa. Procedura de analiz a consistenei interne are un caracter recursiv, cu evaluri succesive ale relaiilor dintre itemi, dintre itemi i scorul global, i cu operarea seleciei itemilor n funcie de relaia lor cu acesta. Criteriul de baz pentru aceast operaie este valoarea indicelui Cronbach alfa, care are o plaj de variaie ntre 0 i 1. O scal, pentru a fi considerat consistent, trebuie s ating o valoare a indicelui Cronbach alfa ct mai aproape de 1, nivelul de 0.70 fiind acceptat, prin convenie, ca prag minim. Oricum pentru un instrument consistent valoarea lui Cronbach alfa nu poate fi mai mic de 0.60, iar o valoare ct mai mare este ntotdeauna de dorit. Unii autori consider drept acceptabil o valoare de 0.5 a indicelui Cronbach alfa n cazul scalelor cu un numr mic de itemi (10-15), n timp ce pentru scalele mai mari de 50 de itemi reclam valori ale lui Cronbach alfa de cel puin de 0.80. Facem precizarea c atunci cnd ne referim la scorul global al unei scale avem n vedere nsumarea rspunsurilor fiecrui item care contribuie la construcia acestuia. n cazul n care testul respectiv este compus din mai multe scale (trsturi de personalitate, de exemplu), indicele Cronbach alfa se calculeaz, desigur, n mod distinct pentru fiecare scal n parte. Acesta nu se calculeaz ns n situaiile n care itemii unui instrument nu sunt utilizai pentru construcia unui scor global, ci sunt analizai de sine stttor (de exemplu, in cazul ntrebrilor unui interviu).

Analiza de consisten intern cu SPSS

Procedura de analiz se lanseaz din meniul Statistics-Scale-Reliability Analysis..., care deschide urmtoarea caset de dialog:

8/15
Actualizat la: 07.04.2009

M. Popa Analiza de itemi

Variabilele2 care conin valorile itemilor de analizat vor fi trecute n lista Items. Atenie, variabilele trebuie s conin valori care exprim semnificaia rspunsului n raport cu scala global i nu rspunsul efectiv al subiectului. De exemplu, dac variantele de rspuns sunt codificate cu 1, respectiv 2, pot exista ntrebri pentru care varianta 1 aduce un punct la scala iar varianta 2 aduce zero puncte la scal. ntr-o asemenea situaie, pentru analiza de itemi valorile codificate de rspuns vor fi transformate n valori corespunztoare (0 i 1). n acelai mod se va opera i pentru itemii care au mai multe variante de rspuns, cum este cazul scalelor de tip Lickert. Codurile convenionale ale variantelor de rspuns vor fi transformate n valori, n funcie de semnificaia contribuiei lor la construirea scorului global. n lista Model se poate alege unul dintre urmtoarele modele de analiz: Alfa. Calculeaz Cronbach alfa care pentru date dihotomice este echivalent cu coeficientul Kuder-Richardson 20 (KR20) Split-half. Pentru corelaia dintre forme paralele, coeficientul de fidelitate Guttman, coeficientul Spearman-Brown, coeficientul alfa pentru fiecare jumtate. Modele Gutman. Coeficienii lambda, de la 1 la 6 Modele paralele i strict paralele. Testele pentru gradul de coresponden (goodness-of-fit), variana comun i alte caracteristici ale raporturilor dintre itemi. Pentru analiza de consisten intern se alege modelul Alfa. n continuare, se fac setri de analiz prin deschiderea casetei Statistics:

Se utilizeaz fiierul didactic saq_10_itemi.sav

9/15
Actualizat la: 07.04.2009

M. Popa Analiza de itemi

n zona Descriptives se vor bifa opiunile: o Item (analiza fiecrui item separat); o Scale (analiza scorului global) o Scale if item deleted (analiza scorului fr contribuia unui anumit item) n zona Inter-item se va bifa Corelations, pentru a obine matricea de corelaii dintre itemi. Summaries permite calcularea unor indicatori descriptivi pentru fiecare dintre itemii analizai (media, variana, covariana, corelaii)

n practic, bifarea opiunilor marcate pe caseta din imaginea de mai sus ofer informaiile cele mai importante pentru analiza itemilor unui test. Celelalte opiuni sunt explicitate n Help-ul casetei i pot fi utilizate pentru o analiz mai rafinat a datelor. n continuare, vom analiza un set de 10 itemi ipotetici, alei doar n scop didactic. Pentru o scal real acest numr ar fi cu totul insuficient. Ca regul general, numrul itemilor din faza de dezvoltare a unui astfel de instrument ar trebui s aib cel puin dublul numrului de itemi pe care l preconizm la final. Acest lucru se impune deoarece analiza de itemi este un proces selectiv care are drept scop alegerea itemilor adecvai pentru constituirea unei scale cu cel mai ridicat nivel de consisten intern posibil. Rularea procedurii, cu setrile de mai sus ne ofer mai multe categorii de informaii: Un tabel cu indicatori descriptivi, media i abaterea standard a itemilor. Analiza valorilor permite evidenierea tendinei centrale i a mprtierii rspunsurilor pentru fiecare item n parte:

Matricea corelaiilor dintre itemi.

10/15
Actualizat la: 07.04.2009

M. Popa Analiza de itemi

Corelaiile itemilor ofer o imagine a gradului de asociere dintre acetia. Valorile sunt utile, pe de o parte, pentru a sesiza itemii care tind s aib relaii negative cu ceilali, fiind un semn al unei posibile probleme de construire respectivilor itemi. Din tabelul alturat rezult c itemii i_02 i i_03 tind s se asocieze negativ cu majoritatea celorlali itemi. Pe de alt parte, valori extrem de ridicate ale unor corelaii, aproape de 1, ar putea sugera c itemii respectivi prezint un grad de similitudine care nu justific utilizarea lor n aceeai scal (ar putea fi, de exemplu itemi formulai extrem de asemntor). Un set de indicatori statistici descriptivi la nivelul ntregii scale:

n fine, cea mai important dintre categoriile de informaii, tabelul relaiilor dintre itemi i scorul global. Dou dintre coloanele tabelului au o importan particular: Corected Item-Total Correlation (corelaia dintre item i scorul global) i Alpha if Item Deleted (valoarea lui Cronbach alfa, dac respectivul item ar fi eliminat).

Dac privim coloana Corected Item-Total Correlation observm c doi dintre itemi (i_03 i i_09) au corelaii negative cu scorul global. Cu alte cuvinte, ei nu aduc informaie util n raport cu atributul msurat ci, dimpotriv, merg ntr-o alt direcie dect acesta. n primul rnd trebuie s verificm dac valorile itemilor respectivi au fost corect codificate. Dac da, atunci singura soluie posibil este eliminarea itemilor n cauz. Observm, de asemenea, c itemul i_02 are o corelaie extrem de mic cu scorul global (0.015). Contribuia sa la scorul global este nerelevant. Cu alte cuvinte, nici nu stric, dar nici nu ajut.

11/15
Actualizat la: 07.04.2009

M. Popa Analiza de itemi

Pe ultima linie a imaginii gsim valoare lui Cronbach alfa, care este 0.4576, o valoare care este modest n raport cu nivelul minim necesar (0.70), dar care poate fi crescut prin eliminarea itemilor nepotrivii, n primul rnd a celor care coreleaz negativ cu scorul global.3 Urmtoarea faz este reluarea prelucrrii, cu eliminarea itemilor negativi. n general, nu este recomandabil eliminarea mai multor itemi simultan, dar itemii negativi pot fi scoi fr reineri. Iat care este rezultatul obinut dup reluarea analizei cu eliminarea itemilor 3 i 9:

Ca urmare a noii iteraii se observ c itemul i_02, care anterior avea o corelaie pozitiv, dar extrem de mic, a dobndit o corelaie negativ cu scala. n consecin, va fi eliminat. n principiu, chiar i itemii pozitivi, care au corelaii cu scala mai mici de 0.1, nu trebuie pstrai, pentru simplul motiv c nu contribuie la constructul psihologic vizat, fiind doar consumatoare de timp n aplicarea instrumentului. De altfel, se i observ c prin eliminarea acestui singur item, valoarea lui Cronbach alfa ar crete la 0.75. Se face din nou prelucrarea fr itemul i_02 i se obine urmtoarea configuraie de rezultate:

Rezultatul arat o valoare Cronbach alfa de 0.75. n plus, dac privim coloana Alfa if Item Deleted, vedem c prin eliminarea oricrui item nu am obine o valoare mai ridicat
3

Dei programele statistice calculeaz Cronbach alfa cu patru zecimale, el se raporteaz n mod obinuit cu dou zecimale.

12/15
Actualizat la: 07.04.2009

M. Popa Analiza de itemi

dect aceasta. n acest moment analiza poate fi oprit, itemii selecionai putnd fi constituii ntr-un instrument de msurare psihologic. n concluzie, cu ocazia iteraiilor succesive se vor elimina, in ordine: itemii care au o corelaie negativ cu scorul global itemii cu corelaii mici, nerelevante Cu ct avem mai muli itemi n aceast faz, cu att avem posibilitatea s pstrm itemi care coreleaz mai intens cu scala i, deci, s atingem un nivel mai ridicat de consisten intern. Este de la sine neles c, n cazul n care construim un instrument ale crui ntrebri se adreseaz unor scale diferite, consistena intern se va evalua separat pentru setul de ntrebri corespunztor fiecrei scale. O scal consistent intern ne ofer garania c itemii instrumentului nostru merg mpreun, msoar acelai construct psihologic. Atenie, ns, acest lucru nu ne permite nc s afirmm c msoar exact ceea ce n-am propus s msoare. Aceast problem va fi rezolvat ulterior, prin studii de validare.

Evaluarea numrului de itemi necesari pentru o scal

n procesul de construcie al unei scale de msurare psihologic pot apare unele dificulti, pe care statistica ne ajut s le surmontm. De exemplu, ne putem afla n situaia n care itemii elaborai nu ating nivelul minim acceptabil de consisten intern i trebuie s adugm noi itemi. Ct de muli itemi ar trebui s mai elaborm pentru a atinge un indice Cronbach alfa acceptabil? Numrul itemilor necesari pentru a completa o scal care nu a atins valoarea acceptabil a indicelui Cronbach alfa, poate fi estimat cu ajutorul formulei Spearman-Brown:

k=
unde:

k * (1 x ) x * (1 k )

x este valoarea curent a lui Cronbach alfa k este nivelul dorit al lui Cronbach alfa k este factorul de multiplicare a scalei pentru a se obine k ntr-un mod similar, se poate estima valoarea lui Cronbach alfa (k) care ar fi atins pornind de la un anumit nivel calculat al acestuia x i un anumit factor de multiplicare al numrului de itemi (k):

k =

k * x 1 + (( k 1) * x )

Exemplu: Avem o scal cu 20 de itemi i x=0.50 Ci itemi ar trebui adugai pentru a atinge un nivel de 0.70?

k=

k * (1 x ) .70 * (1 .50) = = 2.33 x * (1 k ) .50 * (1 .70)

Deci, pentru a atinge un de 0.70 va trebui s avem o scal de 20*2.3347 itemi, ceea ce nseamn c ne vor mai trebui 27 de itemi pe lng cei 20 deja existeni (estimare

13/15
Actualizat la: 07.04.2009

M. Popa Analiza de itemi

valabil pentru situaia n care noii itemi ar avea aceeai corelaie inter-itemi cu cei deja existeni). Pentru acelai caz, cu ct ar crete dac am aduga 30 de itemi: k=(nr. itemi iniiali+nr. itemi noi)/nr. itemi noi=(20+30)/20=2.5

k =

k * x 2.5 * .50 = = 0.71 1 + (( k 1) * x ) 1 + (( 2.5 1) * .50)

Desigur, se presupune c noii itemi adugai vor fi la fel de buni ca i cei deja utilizai. De aceea este posibil ca rezultatul formulei s fie o estimare uor optimist, dar nu mai puin util.

Cteva reguli de baz pentru dezvoltarea itemilor

1. Itemii a cror corelaie cu scala (scorul global) este negativ, sunt eliminai (dup ce se verific n prealabil dac au fost valorizai corect). 2. Itemii a cror corelaie cu scala (scorul global) este mai mic de 0.15, ar trebui probabil revizuii, deoarece nu sunt ncrcai n suficient msur cu atributul vizat de test, sau de subscala cruia i aparine. n orice caz, itemii cu corelaii sub 0.1 nu sunt utilizabili. n principiu, un test este cu att mai bun cu ct itemii sunt mai omogeni. 3. n cazul itemilor cu variante de rspuns, variantele greite (distractori) care nu sunt alese de nici un subiect, ar trebui reformulate sau eliminate, deoarece nu contribuie la discriminarea ntre subiecii cu performan slab i cei cu performan bun. Faptul c variantele greite nu sunt alese cu aceeai frecven nu reprezint, ns, o problem. De asemenea, un item la care majoritatea rspunsurilor sunt greite nu trebuie n mod necesar eliminat, dar o analiz atent a acestuia se impune. 4. Corectitudinea unui item la care frecvena de alegere a unei variante distractor este mai mare dect a variantei corecte, trebuie analizat cu atenie, mai ales atunci cnd corelaia cu scorul global este pozitiv. 5. Itemii la care se obin (aproape) numai rspunsuri corecte sunt inutili i ar trebui eliminai sau nlocuii.

Utilizarea analizei de itemi

Coeficientul de consisten intern se calculeaz numai pentru instrumente compuse din itemi care sunt utilizai prin construirea unui scor unic. Chestionarele compuse din ntrebri ale cror rspunsuri sunt utilizate ca atare, fr nsumarea lor ntr-un scor unic, nu reclam analiz de consisten intern. Procedurile analizei de itemi sunt indispensabile pentru asigurarea calitii instrumentelor de evaluare n psihologie. Situaiile n care este necesar utilizarea lor sunt urmtoarele: n faza de construcie a unui test psihologic, fie de personalitate, fie de performan. Analiza de itemi este, n acest caz, o condiie obligatorie pentru acceptarea acestuia ca instrument de msur n psihologie. La adaptarea unui test psihologic, prin traducerea dintr-o limb strin. ntr-o astfel de situaie, chiar dac versiunea original beneficiaz de documentaia complet din punct de vedere psihometric, traducerea itemilor poate aduce

14/15
Actualizat la: 07.04.2009

M. Popa Analiza de itemi

modificri substaniale care s modifice comportamentul statistic al acestora n noul mediu cultural. Atunci cnd se obine un test aflat n uz, dar despre care nu exist o documentaie adecvat sub aspectul caracteristicilor psihometrice. Atunci cnd se schimb destinaia (populaia) pe care este utilizat un test, chiar dac exist o documentaie complet cu privire la caracteristicile psihometrice ale acestuia pentru utilizarea anterioar. Dup trecerea unei perioade ndelungate (de ordinul anilor) de la efectuarea analizei de itemi, pentru evaluarea diminurii poteniale a caracteristicilor sale psihometrice. Acest lucru se poate ntmpla, de exemplu, ca urmare a modificrii lente a unor caracteristici ale populaiei pe care este aplicat.

Aa cum am vzut, atunci cnd corelaiile inter-itemi sunt ridicate acest lucru evideniaz faptul c acetia msoar acelai construct psihologic, cu alte cuvinte, au o component unidimensional. O valoare sczut a lui Cronbach alfa poate sugera ns faptul c itemii sunt multidimensionali, adic se grupeaz pe dou sau mai multe dimensiuni, aa cum, de exemplu, itemii chestionarului Cattell 16 PF se grupeaz pe un numr de 16 dimensiuni (factori) distinci. n situaii de acest gen, coeficientul de consisten intern (), calculat pe toi itemii chestionarului, va avea o valoare mic, dar calculat pe grupe de itemi, va avea o valoare mare. Problema este cum identificm grupele de itemi atunci cnd nu tim dac acetia sunt sau nu multidimensionali? Soluia se afl n aplicarea unei analize factoriale4 pe valorile itemilor, care ne va spune n ce msur acetia tind s se grupeze, i care sunt itemii afereni fiecrui grup (dimensiune). n final, dac se accept gruparea itemilor n conformitate cu rezultatele analizei factoriale, se va calcula coeficientul Cronbach alfa pentru fiecare grup de itemi separat. Exist i situaii n care analiza de itemi nu este adecvat. De exemplu, atunci cnd o scal este utilizat pentru evaluarea cunotinelor cu privire la un anumit subiect sau tem educaional, pentru alte scopuri dect cele de selecie sau discriminare, unele dintre tehnicile de analiza de itemi nu sunt adecvate pentru selectarea itemilor. Acest lucru este adevrat deoarece ne aflm ntr-o situaie de nvare i dorim s evalum performana elevilor ca urmare a unui proces de instruire, i nu ca trstur inerent a fiecruia. Dac aplicm un test nainte de parcurgerea materiei respective vom obine un procentaj foarte sczut de rspunsuri corecte i o corelaie item-total aproape de zero, fapt care reflect necunoaterea de ctre elevi a materiei respective (rspunsuri greite, rspunsuri la ntmplare, etc.). n acest caz soluia nu const n eliminarea sau refacerea itemilor, ci n instruirea elevilor. Dac aplicm testul respectiv dup parcurgerea perioadei de instruire, vom obine procentaje mari de rspunsuri corecte, ceea ce ar fi interpretabil drept redus capacitate discriminativ a itemilor. n realitate, eliminarea acestor itemi ar fi de asemenea o eroare, deoarece am elimina tocmai itemii care pun n eviden succesul nvrii, ceea ce este exact obiectivul msurrii. n astfel de situaii, utilizarea indicelui de consisten intern Cronbach alfa este inadecvat. Cu toate acestea, analiza de itemi poate fi utilizat ca modalitate de identificare a itemilor greit formulai, a celor nerelevani sau, pur i simplu, pentru a scoate n eviden erorile tipice pe care le fac subiecii la anumite ntrebri. Tema de seminar Suport teoretic: cursul de analiz de itemi Sarcina de lucru: Efectuarea unei analize de itemi, pe o baza de date care va fi distribuit la seminar.

Procedur statistic de grupare a variabilelor. Prezentarea ei face obiectul cursurilor avansate de statistic.

15/15
Actualizat la: 07.04.2009