Psykologisen testin käyttökelpoisuuden arviointi

Testin käyttökelpoisuuden arviointi perustuu pääasiassa testikäsikirjassa esitettyihin tietoihin. Käsikirjan lisäksi voidaan kiinnittää huomiota testimateriaalien ja tutkimuslomakkeiden asianmukaisuuteen. Käsikirjasta pitää käydä ilmi seuraavia tietoja:

• Testin käyttötarkoitus
  Jokainen käyttökelpoinen testi on suunniteltu johonkin tiettyyn tarkoitukseen. Testin käsikirjasta on käytävä ilmi, mikä on kyseisen testin suunniteltu käyttötarkoitus ja kohderyhmä. Jos testiä aiotaan käyttää muuhun tarkoitukseen tai erilaiselle tutkittavien ryhmälle, on noudatettava erityistä varovaisuutta testin käytössä ja tulosten tulkinnassa.
• Käyttäjän kompetenssivaatimus
  Kaikkien testien käyttö vaatii jonkinlaista osaamista, ja tämä osaamisvaatimus vaihtelee varsin paljon. Testin käyttäjä ei välttämättä osaa itse arvioida testin käytön ja tulosten tulkinnan vaativuutta. Siksi testin käsikirjassa tulisi olla maininta siitä, millaista osaamista ja ammattitaitoa testin tekeminen ja tulosten tulkinta vaatii.
• Viitekehyksen esittely
  Psykologisen testin taustalla on aina jokin teoreettinen viitekehys, malli tai teoria. Viitekehys määrittää käytettyjen käsitteiden ja termien sisältöjä, joten ilman viitekehyksen esittelyä testin sisältöä ja ominaisuuksia on mahdotonta selvittää. Jos taustalla oleva viitekehys on yleisesti tunnettu, ei esittelyn tarvitse olla laaja. Vähemmän tunnettu viitekehys vaatii laajemman tarkastelun, johon pitää sisältyä viitekehyksen perusteita käsittelevien tutkimusten selosteita. Ns. eklektisten testien kohdalla käsitteiden määrittely on myös välttämätöntä.
• Operationalisointi: konstruktimääritykset, metodimääritykset
  Tässä kohdassa testin käyttäjälle selvitetään, kuinka testi on laadittu ja kuinka teoreettisesta viitekehyksestä on päädytty juuri tässä testissä käytettyihin konkreettisiin ratkaisuihin. Käytetyt arviointitekniikat on pystyttävä perustelemaan tarvittaessa tutkimustiedon avulla. Tämä kohta jää usein vajavaiseksi, jolloin testin käyttäjälle jää epäselväksi, tukeeko taustalla olevan viitekehyksen tutkimustieto todella tämän testin tulkintaa.
• Kehityshistoria: alkuvaiheet, pilottitutkimukset
  Yleensä testin kehittämisessä tehdään useita pilottitutkimuksia, joiden avulla testiä kehitetään, korjataan ja muokataan. Nämä testin kehittämisen vaiheet on kuvattava ja tehdyt ratkaisut perusteltava tarvittaessa tehtyjen tutkimusten selosteilla.
• Standardointitutkimus: Normatiivisen testin taustalla oleva varsinainen standardointitutkimus on kuvattava yksityiskohtaisesti niin, että testin käyttäjä pystyy tämän kuvauksen nojalla muodostamaan todenmukaisen kuvan testin ominaisuuksista. Yleensä ainakin seuraavat kohdat kuuluvat tähän kohtaan:
  • Näyte: koko, edustavuus, ominaisuudet
  • Osioanalyysit: jakaumat, interkorrelaatiot, erottelukyky, ICC
  • Summamuuttuja-analyysit: skaalat, skaalojen muodostamisen perustelut, skaalojen vertailukelpoisuus
  • Rakenneanalyysit: summien korrelaatiot, faktorianalyysit, vertailu taustan viitekehykseen
  • Taustamuuttujien yhteys testituloksiin
  • Reliabiliteetti/keskivirhe asianmukaisia analyyseja käyttäen
  • Validiteetti, on arvioitava ainakin testin sisältöön perustuvaa näyttöä, sisäiseen rakenteeseen perustuvaa näyttöä ja muiden muuttujien suhteisiin perustuvaa näyttöä
  • Yleistarkastelu, jossa selvitetään käytön rajoituksia suhteessa testin aiottuun käyttötarkoitukseen ja arvioidaan näytettä
  • Muunnostaulukot ja niiden laatimisen periaatteet

• Tietokoneavusteisten testien kohdalla
  Testin toiminta-algoritmi eli ohjelman toiminnan perusteet, on esitettävä testin käsikirjassa. Tähän sisältyy esimerkiksi osioiden esittämistekniikka ja vaihtoehtoisten osiovalintojen tekniikka. Lisäksi tulosskaalojen laadintaperiaatteen on käytävä ilmi käsikirjasta. Jos tuloksia esitetään kielellisesti ns. raporttimuodossa, on käsikirjasta käytävä ilmi se mekanismi, jolla vastauspisteistä muodostuu raportin teksti.
• Esitys- ja pisteytysohjeet
  Testin esitys- ja pisteytysohjeet on esitettävä käsikirjassa riittävällä tarkkuudella. Tämä tarkoittaa sitä, että jokainen testin käyttäjä pystyy ohjeiden perusteella tekemään testin oikein ja laskemaan tuloksen virheettömästi.
• Tulkintaohjeet
  Testitulos on aina vasta dataa, josta varsinainen tieto jalostetaan tulkinnan avulla. Käsikirjassa on oltava riittävän yksityiskohtaiset ohjeet tulosten asianmukaista tulkintaa varten. Jos testituloksen tulkinta vaatii laajempaa aiheeseen perehtymistä – esimerkiksi erillistä koulutusta tai työnohjausta – kuin käsikirjassa on mahdollista esittää, on tästä mainittava käsikirjassa erikseen.
• Kirjallisuusviitteet
  Käsikirjassa on viitattava tutkimuksiin ja muihin lähteisiin tieteelliseen tutkimukseen verrattavalla tavalla.