Psykologisen testin käyttökelpoisuuden arviointi

Perusajatus: Dokumentaatiossa (esim. käyttäjä- ja tekniset käsikirjat, normitaulukot yms.) on esitetty loogisesti ja selkeästi mitä testi on suunniteltu mittaamaan ja miksi se on rakennettu niin kuin se on.

1. Kehitystyö: Onko testin käyttötarkoitus ja sen tarkoitettu kohderyhmä kuvattu selkeästi? Onko testidokumentaatiossa kuvattu testien teoreettinen viitekehys tai keskeiset käsitteet, testiosioiden alkuperä, ärsykemateriaalin kehittämisprosessi, pilotointi, vertailututkimukset ja kehittämisprosessin aikana tehdyt muutokset?
2. Käännös / adaptaatiotyö: Onko testidokumentaatiossa kuvattu mahdollinen suomalaisen version testikäännös ja/tai adaptaatioprosessi?
3. Standardointi: Onko testidokumentaatiossa kuvattu selkeästi ja yksityiskohtaisesti standardointiotoksen koko ja koostumus sekä standardointiprosessi?
4. Normit: Onko testidokumentaatiossa kuvattu selkeästi ja yksityiskohtaisesti normiryhmien koot, normitustapa, normien lähteet, normien edustavuus, arviointiolosuhteet yms.
   • Nyrkkisääntönä on, että normiryhmän riittävä koko on klassisessa normituksessa vähintään 200 henkilöä ja vähintään 300 henkilöä kun testitulosten pohjalta tehdään ns. ei-triviaaleja päätöksiä (esim. henkilövalintaa). Yli 1000 henkilön normiryhmiä voidaan pitää koonsa puolesta erinomaisina (kts. EFPA:n arviointi kohta 9.1.3)
   • Erityisen tärkeää on arvioida, miten hyvin normiryhmä vastaa mahdollisesti testillä tutkittavia henkilöitä. Hieman kärjistettynä esimerkiksi pelkästään lapsille standardoitua testiä ei ole perusteltua käyttää aikuisten tutkimiseen.
5. Reliabiliteetti: Reliabiliteetilla viitataan testitulosten johdonmukaisuuteen testausprosessia toistettaessa – eli siihen että testi antaa suurin piirtein samanlaisen tuloksen eri testauskertojen välillä, mikäli myös testillä mitattavan kohteen voidaan olettaa pysyvän samanlaisena testikertojen välillä. Asian voin esittää myös tilastotieteellisesti siten, että reliabiliteetilla tarkoitetaan sitä kuinka vapaita testitulokset ovat mittausvirheen varianssista.
   • Onko dokumentaatiossa kuvattu hyvin reliabiliteetti ja mittauksen keskivirhe (standard error of measurement, SEM) sekä kuvattu kattavasti erilaisia sisäisen yhtenäisyyden (internal consistency), ajallisen pysyvyyden ja/tai pisteyttäjien/arvioijien välisiä reliabiliteettimittareita ja niihin liittyviä keskivirheitä sekä selitetty niiden merkitys? Onko testitulosten yleistettävyyttä arvioitu?
   • Nyrkkisääntönä on, että reliabiliteettikertoimien pitäisi olla vähintään suurempia kuin 0.6 tai 0.7 tehtäessä ei-triviaaleja päätöksiä. Minimikoko vaihtelee kuitenkin käytetyn reliabiliteettimittarin mukaan. Suosittelemme tutustumaan EFPA:n arviointimallin kohtaan 10, josta löytyy tarkempia lisätietoja aiheesta.
6. Validiteetti: Validiteetilla viitataan siihen, missä määrin tutkimustieto ja teoria tukevat testitulosten pohjalta tehtyjä tulkintoja testin käyttötarkoitusta varten – eli sitä, palveleeko testi käyttötarkoitustaan ja voidaanko sen pohjalta tehdä haluttuja johtopäätöksiä? Toisin sanoen: mittaako testi sitä, mitä sillä pyritään mittaamaan. Validiteettimittareita on useita erilaisia eikä kaikkia mahdollisia mittareita tarvitse olla mainittuna. Tärkeää on pystyä arvioimaan olemassa olevien tietojen pohjalta testin kokonaisvaliditeettia.
   • Rakennevaliditeetti (mittaako testi niitä asioita, mitä se pyrkii mittamaan vai jotain aivan muuta?): Onko testidokumentaatiossa kuvattu hyvin testin rakennevaliditeetti sekä viitattu useampaan selkeästi ja totuudenmukaisesti kuvattuun tutkimusjulkaisuun
   • Kriteerivaliditeetti (ovatko testitulokset tutkitusti yhteydessä haluttuihin tosielämän muuttujiin, esimerkiksi työssä suoriutumiseen?): Onko testidokumentaatiossa kuvattu hyvin testin kriteerivaliditeetti ja viitattu viitattu useampaan selkeästi ja totuudenmukaisesti kuvattuun tutkimusjulkaisuun?
   • Tarkemmat ohjeet eri validiteettien arviointiin on kuvattu EFPA:n arviointimallin kohdassa 11.
7. Tietokoneella automaattisesti luodut raportit: Onko testidokumentaatiossa kuvattu selkeästi ja yksityiskohtaisesti automaattisesti luotujen raporttien formaatti, kattavuus, reliabiliteetti ja validiteetti?

1. Testin esittämisohjeet: Onko testin esittämisohjeet selitetty selkeästi ja yksityiskohtaisesti askel askeleelta? Annetaanko hyviä, yksityiskohtaisia neuvoja ongelmatilanteisiin ja vastauksia tutkittavilta tuleviin mahdollisiin kysymyksiin?
2. Testin pisteytysohjeet: Onko testin pisteytysohjeet esitetty selkeästi ja yksityiskohtaisesti, onko pisteytysvirheiden riskit ennakoitu ohjeistuksessa? Jos pisteytys tehdään automaattisesti, onko esitetty näyttöä siitä, että pisteytys toimii oikein?
3. Testinormien käyttöohjeet: Onko testin eri normitaulukoiden käyttämisen ohjeet esitetty selkeästi ja yksityiskohtaisesti? Onko normien käyttöön liittyvät virheet ennakoitu ohjeistuksessa? Jos normivertailu tehdään automaattisesti, onko esitetty näyttöä siitä, että pisteet muunnetaan oikein ja oikeaa normiryhmää käyttäen?
4. Tulkinta ja raportointiohjeet: Onko dokumentaatiossa mainittu, millaista ammattitaitoa ja osaamista testitulosten tulkinta vaatii? Onko eri pisteiden tulkinta ohjeistettu yksityiskohtaisesti, huomioiden normatiiviset mittarit sekä käsitellen eri skaalojen välisiä suhteita yksityiskohtaisten esimerkkien ja esimerkkitapausten kautta? Onko ohjeissa käsitelty epäjohdonmukaisen vastaamisen, vastaustyylien, vääristelyn, yms. huomioimista?
5. Palauteohjeet: Onko testipalautteen antamisesta annettu yksityiskohtaiset ohjeet, mukaan lukien automaattisesti luotujen raporttien käyttö (mikäli saatavilla)
6. Ohjeet liittyen hyviin käytäntöihin, oikeudenmukaisuuteen ja vääristymiin: Onko esitetty yksityiskohtaista tietoa sukupuoleen ja etnisyyteen liittyviä vääristymiä käsittelevistä tutkimuksista sekä niihin perustuvia varoituksia liittyen testin käyttöön ja validiteettien yleistettävyyteen?
7. Käyttöön liittyvät rajoitukset: Onko kuvattu selkeästi ketä voidaan ja ketä ei pitäisi arvioida kyseistä testiä käyttämällä, mukaan lukien hyvät perustelut rajoitteille (esimerkiksi vamman tyyppi, kielitaidon taso)
8. Ohjelmisto ja tekninen tuki: Tietokone- tai Internetpohjaisen testauksen tapauksessa: Onko tarvittava tieto selaimeen liittyvistä vaatimuksista, tietokoneohjelmiston asentamisesta ja käyttämisestä riittävä (sisältäen mahdolliset virhetilanteet ja eri käyttöjärjestelmät)? Onko teknisen tuen saatavuus selkeästi kuvattu?
9. Viitteet ja tukimateriaalit: Onko materiaaleissa kuvattu yksityiskohtaisia viittauksia relevanttiin tieteelliseen tutkimukseen sekä viittauksia muuhun relevanttiin testimateriaaliin?

Psykologinen tutkimusprosessi alkaa määrittämällä mahdollisimman tarkkaan ne syyt, miksi tutkittavaa henkilöä (tai henkilöitä) arvioidaan – eli mitä psykologisella tutkimuksella halutaan selvittää. Tämän pohjalta tulee arvioida, mitä tietoa tulee kerätä ja mitä työkaluja käyttämällä kyseisen tiedon kerääminen onnistuu parhaiten. Tämä vaatii usein psykologilta sovellusalakohtaista ammattitaitoa sekä yhteistyötä tutkimusta pyytävän tahon kanssa, jotta voidaan selvittää kyseisen tahon tiedon tarve. Testilautakunta muistuttaa myös, että psykologin tulee ensin varmistua tutkimusta pyytävän tahon oikeudesta saada pyytämänsä tieto ennen kuin psykologiseen tutkimukseen voidaan ryhtyä. Hyvin perustellusta syystä tutkimuksessa saatetaan päätyä käyttämään testiä, jota ei ole suoraan tarkoitettu kyseiseen tarkoitukseen tai joka on tarkoitettu erilaiselle tutkittavien ryhmälle. Tällöin testin käytössä ja testitulosten tulkinnassa on noudatettava erityistä varovaisuutta.

Psykologisessa tutkimuksessa käytettävien psykologisten testimenetelmien valinta voidaan tehdä yksilöllisesti jokaisen tutkittavan henkilön kohdalla tai samaa testipatteristoa voidaan käyttää useammalle tutkittavalle tutkimuksen luonteesta riippuen (vrt. yksilön neuropsykologinen tutkimus vs. rekrytointitilanteet, joissa hakijoita tulisi kohdella mahdollisimman tasavertaisesti). Tutkimuksen edetessä voi olla tarkoituksenmukaista muokata alkuperäistä suunnitelmaa esimerkiksi käyttämällä lisätestejä, mikäli se on alustavien tutkimustulosten pohjalta perusteltavissa ja tutkimuksen kontekstin kannalta sopivaa.

Mikäli testeistä on olemassa eri versioita, on usein perusteltua valita testin uusin versio, koska sen eteen on todennäköisesti tehty testin ominaisuuksia parantavaa jatkokehitystyötä. Joissain tapauksissa voi kuitenkin olla syytä käyttää myös testin vanhempaa versiota, esimerkiksi tehtäessä pitkittäistutkimusta tai hyödynnettäessä aiemman version sisältämiä tarkoituksenmukaisia osatestejä, joita uudemmassa versiossa ei ole. Pääasia on, että testivalinnat ovat hyvin perusteltavissa. Testien valinnassa voi myös hyödyntää soveltuvin osin Psykologiliiton ohjeistusta Henkilöarviointi työelämässä – ohjeistus hyviksi käytännöiksi, jonka osiossa 6. käsitellään testimenetelmiä ja niiden rajoitteita henkilöarvioinnin näkökulmasta. Kyseistä ohjeistusta voidaan hyödyntää suuntaviivoina myös muissa testien käyttökonteksteissa.

Tutkimuskysymyksen lisäksi on tärkeä tunnistaa tutkittavan henkilön ominaisuudet suhteessa tutkimuksessa tehtäviin testivalintoihin. Tällaisia ominaisuuksia ovat esimerkiksi ikä ja kulttuuritausta. Samoin testivalintoihin vaikuttavat tutkittavan henkilön mahdolliset muut tarpeet ja kyvyt kuten lukutaito, näkö, kuulo ja motoriikka. Tällaiset tekijät määrittävät, missä määrin tutkittavan kanssa on tarkoituksenmukaista käyttää tiettyjä testejä.

Kunkin testin validiteetin ja reliabiliteetin lisäksi on tärkeää tuntea alkuperäisen standardointiotoksen demografiset piirteet. Psykologin tulisi valita testi, jonka normiryhmät ovat demografisesti (esimerkiksi ikä, sukupuoli, kulttuuri) ja kliinisesti tarkoituksenmukaisia tutkittavan henkilön kohdalla. Toisin sanoen tulee pyrkiä siihen, että tutkittavan testituloksia vertaillaan sellaisiin henkilöihin, joihin tulosten vertailu on tutkittavan kannalta järkevää. Yhdelle ryhmälle luotu testi ei välttämättä sovellu toisen ryhmän tutkimiseen. Esimerkiksi kansainvälisissä tai monikulttuurisissa sovellustapauksissa on tärkeää varmistaa, että testeillä arvioitavat käsitteet ovat yhteneväiset eri kulttuurisissa konteksteissa. Tästä voit lukea lisää testilautakunnan ohjeistuksesta monikulttuurisuuden huomioimiseksi psykologisessa arvioinnissa.