PSIHOMETRIJA

FF UNS


PSIHOMETRIJA

Okvirni spisak tema za 2. kolokvijum (maj 2005.)


Pouzdanost


Pouzdanost testa i
retesta

Koeficijent stabilnosti. Na istom uzorku, nakon nekog vremena. Pitanje dužine perioda. Uslovi: individualni pravi
skorovi se tokom vremena ne smeju promeniti, uslovi primene testa se ne smeju promeniti, test poseduje zadovoljavajuću jednodimenzionalnost, Dobar je za testove brzine i u drugim slučajevima kada se interna konzistencija ne može primeniti: suđenje ocenjivača, projektivni testovi (bez ajtema) i sl.

Pouzdanost alternativnih formi


Različiti nazivi: alt. forme, paralelne forme, ekvivalentne forme. Alterantivne forme drugog tipa su
iz iste banke, ili istog fonda ajtema – na njima se određuje pouzdanost ovog tipa (ne na prvim). Na istom uzorku istovremeno ili u kratkom vremenu (max 2 sedmice). Niža je od pouzdanosti interne konzistencije. Mane i pogodnosti alt. formi

Pouzdanost između ocjenjivača


Nekada se naziva objektivnost (Bukvić), a nekada repreducibilnost merenja. Naziva se i pouzdanost
klasifikacije, jer procenjivači obično imaju zadatak da klasifikuju objekte u neke klase. Kod procenjivača je poseban problem NIVO (strog i blag), a ona se ne otkriva r-koeficijentom. Zato se za pouzdanost između procenjivača koriste intraklasni koeficijent ili Cohenov kapa koeficijent.

Pouzdanost interne konzistencije

Nekada se naziva metoda analize stavki. Dve osnovne jednačine kao odnos varijansi. OSNOVNI PROBLEM: kako odrediti sigma T ili sigma E? Iz toga je razvijen veliki broj različitih pokazatelja.

Koeficijent alfa


Ima koeficijent m/(m-1), dakle zavisi od dužine testa. Ne sadrži uopšte korelaciju stavki, nego samo varijanse. Ako se varijable standardizuju, izraz se pojednostavljuje. Zahteva min. tau-ekvivalentni skup indikatora (jednake kovarijanse, ali različite varijanse). U tom slučaju će biti jednak stvarnoj pouzdanosti, inače će biti
manji. Zahteva aditivnost pravih skorova i normalno distrubirane skorove.

Spearman Brown

r_tt = mr^* / (1 + (m-1)r^*). r^* je prosečna korelacija koja može da se računa na različite načine. Kada je m=2, onda je to izvorna SPLIT-HALF formula. Zahteva paralelni skup indikatora (kada se primeni ova formula).

Kuder Richardson 20

To je alfa kada su ajtemi binarni.

Model uzorkovanja iz domena

r_j. = r_jk
= r_jT²

r_jT je indeks pouzdanosti, korelacija indikatora i pravog skora. Najbolja procena pouzdanosti je prosečna korelacija tog testa sa svim ostalim testovima u domenu - r_j..

Pouzdanost u teoriji generalizabilnosti


ANOVA tabela za jednofacetni nacrt i ocena komponenti varijanse. Koeficijent pouzdanosti koji se ovde naziva koeficijentom generalizaiblnosti se izračunava kao intraklasni koeficijent. Za najjednostavniji slučaj i za relativne odluke (nije od značaja uticaj posmatrača na ajtemski skor - strog ili popustljiv posmatrač):

Izbor intraklasnog koeficijenta zavisi od toga da li su facete fiksne, slučajne ili mešovite, da li ugnježđene ili ukrštene i da li su odluke relativne ili apsolutne. Naravno, što više faceta ima, ima i više
interakcija, ali se one obično razvstavaju u var. greške.

Ostali koeficijenti pouzdanosti u KTT

Ima ih mnogo. Razlikujuse, u osnovi, po tome kako se ocenjuje tačna ili pogrešna varijansa. U modelu
AGK, prava varijansa je varijansa prve GK. U Guttmanovom modelu se za ocenuvarijanse greške može uzeti matrica V², a kao procena pravevarijanse varijansa prve GK u imaž prostoru.

Odnos i poređenje koeficijenata pouzdanosti

Opšti princip: S–B<(ostali koeficijenti), a razlike su to veće što skup ajtema više odstupa od modela paralelnih
indikatora. Ako je test-retest pouzdanost znatno niža od pouzdanosti interne
konzitencije ili alternativnih formi, onda možemo razmišljati da je atribut koji merimo sličan stanju, a ne
crti. Ako je pouzdanost interne konzitencije i testa-retesta u redu, a alternativnih formi niska, onda alternativne forme verovatno ne mere istu stvar.

Standardna greška merenja

SGM = sigma_j sqrt(1 – r_jT²) = sigma_j sqrt(1 – r_tt)

To je, u suštini, regresiona greška ocene. Da bi se formirao interval poverenja, pravilno je da se ova standardna greška primeni na ocenjeni pravi skor. Zato će intervali biti asimetrični oko sirovih skorova.
Indeks pouzdanosti - r_jT=r_tt^1/2. Iz njega se može oceniti pravi skor T = r_jTz_j ako se primeni na
standardne skorove. Indeks pouzdanosti vrlo liči na koeficijent validnost, korelaciju indikatora sa predmetom merenja. Međutim, pravi skor još uvek ne mora da bude ono što mi želimo da merimo, dakle r_jT nije dokaz
validnosti.

Standardna greška u TAO

Standardna greška proporcije je SG_ij = sqrt( 1 / ( p_ij (1-p_ij)). To je najelementarnija standardna greška odgovora jednog ispitanika na jedan binarni ajtem. Međutim, SG_ij nisu aditivne. Zato je Fišer smislio informativnost jednostavno kao I = 1/SG_ij².
Informativnosti su aditivne i zato ih je jednostavno izračunati za čitav test ili za sve ispitanike, pa onda inverznom operacijom dobiti SGM.

Prihvatljive vrednosti koeficijenta pouzdanosti

Donja granica alfe je 0,7.To je 50% zajedničke varijanse 2 paralelna indikatora, odnosno 50% preklapanja sa pravim skorom. Kao separacija, to je separacioni odnos G=1,5, što znači da bi mogao da razlikuje dva stratuma: niske i visoke. Pouzdanosti iznad 0,90 se mogu smatrati visokim, jer je tu koleno ako se nacrta funkcija informativnosti.

Određivanje pouzdanosti testova brzine

Korekciju za atenuaciju – korelacije potiču samo od pravih skorova.

Pouzdanost u Rašovom modelu

Raschova separacija je u osnovi alfa koeficijent, dobijen iz odnosa prave i ukupne varijanse, ali se interpretira kao sposobnost da se razlikuju stratumi ispitanika.

Nova pravila merenja, posebno drugo pravilo

Valjanost

Sadržinska, kriterijumska, konstruktivna. APA: stepen u kome podaci i teorija potkrepljuju
interpretaciju testnih skorova, McDonald: test je validan onoliko koliko meri atribut za koji se koristi i na populaciji na kojoj se koristi. Nema jedinstvenog pokazatelja (osim, donekle, kriterijumska valjanost), trajan i složen proces

Konstruktivna

Hipotetička, simptomatska, faktorska, unutrašnja ili interna, konvergentna i diskriminativna, ŠTA TEST MERI, Provera psih. teorija, Bihejviorizam, konstrukti, odricanje mentalističkih pojmova i introspekcije. Danas se na testne skorove gleda ili a) kao na zbir ajtemskih odgovora koji treba da obavi neki posao ili b) kao na
indikator neke osobine koja stoji iza izmerenog ponašanja. Šta su konstrukti. Nomološka mreža. Načini
određivanja: Korelacije sa drugim varijablama, Razlike između grupa ispitanika,
Studija interne strukture testa (ajtem analiza, analiza grupa ajtema, analiza homogenosti...), Studija promena između administracija testa (povezano sa test-retest stabilnošću, uvođenje novih dejstava, uputstava itd),
Studija procesa (mišljenje naglas, kvalitativna analiza), Faktorska analiza

Kriterijumska

Varijante naziva, pragmatska valjanost, empirijska valjanost, statistička valjanost, Da li test predviđa aktivnost ili svojstvo, odnosno da li umesto nje možemo da koristimo test. Vremenski odnosi testa i
kriterijuma. Kriterijum: Emergentna varijabla. Na bilo kom nivou merenja, jednodimenzionalni i višedimenzionalni (kompozitni), Teorijski i stvarni, Školske ocene, Uvek sadrži neku redukciju, ekstrakciju ili apstrakciju Uspešnost
u radu - kvantitet i kvalitet, značaj inteligencije (danas se misli da je koeficijent validnosti oko 0,20, Po Cohenovoj podjeli, od 0,24 je srednji). Više koristi za identifikaciju neuspješnih. Katel, potrebno je više od
prosjeka, IQ=108.

Koeficijenti validnosti

Zavise od broja i prirode testnih i kriterijumskih varijabli, mogu da se svedu na jednu dimenziju. Korekcija za atenuaciju i koeficijenti validnosti.

Selekcija i klasifikacija, Dijagrami selekcije, Metod višestrukog odsecanja, metod selekcionih jednačina i metod profila, Pristrasnost, kvote ili ključevi, Klasifikacija - profesionalna orijentacija, često je kombinovana, u velikim
organizacijama i masovnim prijemima. Obavlja se ili putem klasifikacionih jednačina ili metodom profila. Problem prosečnosti, problem apsolutno kontraindiciranih osobina. Inkrementalna valjanost: u regresionu selekcionu
jednačinu dodaju se oni testovi koji imaju najvišu semiparcijalnu korelaciju, odnosno najviše doprinose povećanju R

Sadržinska valjanost

Da li su stavke reprezentativne za domen. Kako se određuje, kada se određuje. Namenjena testovima postignuća, konasrukcija validnog testa postignuća. Da li se može kvantifikovati (teško).

Pojavna (očigledna, face): da izgleda kao da meri ono što treba da meri. Prividna: da laici ne znaju šta meri.

Ugrožavanje validnosti merenja. “da” ljudi, “ne” ljudi, “ne znam” ljudi, nepažljivost, zbunjenost,
testovna mudrost, testovna anksioznost, pogađanje... Ajtemski kontekst, Halo efekt, Socijalna poželjnost. Skale validnost: skale frekvencije, skale inkonzistencije, dupli ajtemi, broj odgovora ne znam...

Konvergentna i diskriminativna
valjanost, MOMM matrica

Konvergentna: da testovi koji mere slične konstrukte koreliraju. Diskriminativna: da testovi koji mere različite konstruke ne koreliraju. MOMM matrica: operacionalizacija nomološke mreže. Ukršta kontrukte
(osobine) i metode da bi se utvrdilo da li metode merenja utiču na rezultate merenja

Ostala merna svojstva

Težina: u KTT aritmetička sredina ajtemskih odgovora - statistik, u TAO parametar

Diskriminativnost: u KTT ajtem-total korelacija – statistik, u TAO parametar

Jednodimenzionalnost: prosečna korelacija ne, faktorska analiza, TAO modeli (misfit), konfirmativna
faktorska analiza...

Pogađanje: KTT – pretpostavka jednakih verovatnoća – Abotova formula. 3P TAO modeli imaju parametar. Kako smanjiti: PVI, ajtemi sa dopunjavanjem, davanje dovoljno vremena, stvaranje pravilne atmosfere...

Jednakost merenja

Šta ugrožava poređenja rezultata sa testova? Problem validnosti, problem različite dužine, problem različite težine, nejednake distribucije težina ajtema, različiti nivoi osobine u uzorcima, problem linearne skale, različiti načini skorovanja, različiti uslovi primene, različite SGM

Konstrukcija alternativnih formi: veći fond ajtema, uparivanje po težini, pa diskriminativnosti

Jednačenje: Grafički, jednačenje pravih skorova - teta, glkomp, imaž..., linearno jednačenje -linearna transformacija, ekcipercentilno jednačenje: prema jednakim percentil rangovima. Tehnike preklapanja ajtema ili ispitanika putem zajedničkog sidra.

DIF: referentna i fokusna grupa, uniformni – samo različite težine, neuniformni – razlika u diskiminativnosti. Mantel-Henselov koeficijent iz KTT i razlika između 2 KKS u TAO.

Ukupni skor

Ukupni, aditivni ili kumulativni - što više rešenih zadataka, što više istih ponašanja - viša mera osobine. Klasifikacioni – profili, Ipsativni - gde ima najviše, a gde najniže postignuće (za interesovanja, vrednosti, motive). Ukupni ili sumacioni, prosti ili ponderisani. Test mora biti jednodimenzionalan, ako je višedimenzionalan, onda obično profili ili višedimenzionalni TAO... Problem nivoa merenja. TAO mere poseduju svojstvo invarijantnosti, intervalne su (u Raschovom modelu), specifično objektivne.

Kompozitni - kombinovani skorovi: a) kada su sastavljeni od testleta, b) kada su sastavljeni od podtestova koji mere facete osobine, c) kada su sastavljeni od podtestova u različitim formatima i d) kada je reč o bateriji

Šta mogu biti ponderi?
Optimalni i neoptimalni. Optimalni: regresioni, faktorski, kanonički, diskriminacioni, jer su optimalni s obzirom na neki cilj. Neoptimalni: apriorno (recimo da TZ nosi 30% bodova), „empirijski” (koefic. validnosti, pouzdanosti...)

Autoponderisanje:
testovi sa većom varijansom više doprinose varijansi kompozita. Pošto je varijansa propocionalna AS, a veću AS imaju duži testovi, duži testovi više doprinose ukupnom skoru čak i ako je kompozit neponderisani (osim ako se ne standardizuju).

Testleti: lokalno zavisne grupe ajtema koje se skoruju zajedno.

Profili. Analiza profila: otkrivanje sličnosti profila. Profili sadrže tri osnovne informacije: nivo, raspršenje i oblik.

Konstrukcija testa


Ajtem analiza. Faktorska ajtem analiza: koeficijenti, utvrđivanje pravog broja faktora (jednodimenzionalnost), izbor rotacije (ortogonalna ili kosougla). FA više reda.

Norme i normiranje.
Vrste normi: opšte norme i lokalne norme (uzrasne, razredne, polne...). Kada se koriste opšte, a kad lokalne.

Standardne norme, IQ, T, C, Stenajn, Fraktilne

Zadavanje testa.

Moralna pitanja

Dobrobit klijenta, dobrobit profesije, pridržavanje zakona, nadzor i kontrola. Osnovno pravilo: stručnost, kvalifikovanost i kompetencija.

Ko može biti korisnik testa. Legalni i legitimni testovi. Prava ispitanika: da zna svrhu testiranja, da zna svoje nalaze, da niko drugi ne zna nalaze, da se ne stigmatizira.


NS. 20.4.05. SF