Tietokoneavusteisten menetelmien käyttö psykologisessa tutkimuksessa

Testilautakunnan ohje

Tarkistettu ja päivitetty 12.12.2019.

1. Johdanto

Tämän ohjeistuksen tarkoituksena on lisätä psykologien tietämystä hyvistä käytänteistä tietokoneavusteisten tutkimus- ja kuntoutusmenetelmien valinnassa, käytössä, tulosten käsittelyssä ja tiedonhallinnassa. Tämä suositus rajoittuu menetelmien käyttäjän näkökulmaan. Menetelmän tai sovelluksen kehittäjän näkökulmaa ei käsitellä.

Tietokonesovellusten ja muiden teknisesti automatisoitua tietojenkäsittelyä suorittavien laitteiden käyttö psykologien työssä on lisääntynyt. Tämä asettaa haasteita testauskäytännöille. Laitteiden ja sovellusten nopea kehitys on saattanut useita eri menetelmiä sekä yksilö- että ryhmätutkimuksen että kuntoutuksen välineiksi psykologien käyttöön.

Pääsääntö tietokoneavusteisten testien käytössä on, että noudatetaan samoja perusperiaatteita kuin testien tavanomaisessa käytössä psykologisten tutkimusten yhteydessä. Näitä periaatteita ja ohjeita on löydettävissä mm. Psykologiliitto ry:n ja Testilautakunnan sivuilta (www.psyli.fi). Hyviä kansainvälisiä ohjeita löytyy mm. International Test Commissionin (ITC) ja European Federation of Psychologists’ Associations (EFPA) sivuilta (www.intestcom.org ja www.efpa.eu).

Tässä suosituksessa keskitytään siihen mihin erityisiin asioihin tietokoneavusteisten menetelmien käytössä on otettava huomioon verrattuna kynä-paperi –menetelmien käyttöön.

2. Tietokoneavusteisen tutkimuksen edut

Tietokoneavusteisuus tarjoaa useita etuja perinteisiin kynä-paperi –ja haastattelutyyppisiin testeihin nähden. Ensimmäinen etu tulee automatisoidusta tulosten laskemisesta, mikä vähentää myös testaajan mekaaniseen laskusuoritukseen tarvittavaa työaikaa. Automatisoitu pistelaskenta mahdollistaa myös psykologin itsensä laskemia monimuotoisempien laskentamallien käytön tuloksen arvioinnissa. Myös monen kynä-paperitestin tulokset on nykyisen mahdollista laskea automaattisesti (mm. Weschlerin WAIS- ja WMS-testien uusimmat versiot).

Toinen etu syntyy mahdollisuudesta rakentaa uusia testityyppejä. Tietotekniikka ja erilaiset sovellukset mahdollistavat mm. reaktioaikojen luotettavamman mittaamisen, sekä erilaisia mahdollisuuksia liikkuvan kuvan tai simuloitujen ympäristöjen käyttöön. Tietokoneavusteisuus mahdollistaa myös erilaisten mittausteknologioiden yhdistämisen (mm. samanaikainen ja synkronoitu testiärsykkeiden esittäminen).

Kolmas etu syntyy mahdollisuudesta standardoituun reaaliaikaiseen testiärsykkeiden muokkaukseen, eli niin sanottuun adaptiiviseen testaukseen. Adaptiivisella testauksella tarkoitetaan testaus- ta, jossa osioiden valinta mukautuu yksilön edellisten suoritusten mukaan. Adaptiivinen testaus mahdollistaa esimerkiksi suoritustestin vaikeustason reaaliaikaisen muokkauksen yksilön taitotasoa vastaavaksi tai joidenkin mitattavien suoritusulottuvuuksien tarkemman analyysin.

Neljäs etu syntyy etäyhteyden kautta toteutetun testauksen tuomasta säästöstä matkustamiskustannuksissa ja –ajassa. Säästö koskee sekä yksittäisestä testausta että mahdollisuutta tarjota psykologin arviointipalvelua laajemmalle asiakaskunnalle tai pidempien maantieteellisten etäisyyksien päähän.

3. Tietokoneavusteisen tutkimuksen riskit

Tietokoneavusteisen tutkimuksen keskeisin riski liittyy testaustilanteen kontrollointiin. Ensiksikin ihmisten välisessä vuorovaikutuksessa testaajalla on mahdollisuus havainnoida ja osittain myös kontrolloida vuorovaikutuksellisilla keinoilla tilannetekijöitä, jotka voivat vaikuttaa suoriutumiseen, kuten testattavan jännittyneisyys, väsymys, keskittymättömyys.

Toinen kontrollointiin liittyvä tekijä on testaustilanteen valvontaan liittyvät pulmat, jotka ovat erityisen suuria etätestauksissa. Tätä käsitellään tarkemmin kohdassa tutkimustilanteen hallinta.

Tietokoneavusteisen tutkimuksen toteutuksessa voi olla vaikeasti ratkaistavia välinesuojaan liittyviä kysymyksiä, kuten esimerkiksi verkkovälitteisten kyselylomakkeiden kopiointimahdollisuus. Lisäksi sähköiseen tietojen välittämiseen ja tallentamiseen liittyy omia tietosuojakysymyksiä.

4. Menetelmän valinta

Menetelmän arviointi
Tietokoneavusteisen menetelmän hankinnassa kannattaa noudattaa pääosin samoja periaatteita kuin muitakin testejä hankittaessa. Keskeisiä kriteerejä ovat testin soveltuvuus käyttötarkoitukseen, riittävät psykometriset ominaisuudet sekä se, että osaa käyttää hankkimaansa menetelmää.

Vaikka itse arviointimenetelmä olisikin tietokoneavusteisesti toteutettu, on siitä oltava saatavilla riittävä kirjallinen dokumentaatio (testikäsikirja). Tähän dokumentaatioon on hyvä perehtyä jo ennen testin hankintaa. Olennaisimmat yksityiskohdat dokumentaatiossa ovat

• testin taustateoria
• operationalisaatio eli miten teoria näyttäytyy testiärsykkeissä, testirakenteessa sekäpisteytyksessä
• testistä oleva tutkimustieto
• standardointitutkimusseloste (standardoinnin läpinäkyvyys ja toistettavuus)
• kerätyt otokset ja niiden soveltuvuus suunniteltuun käyttötarkoitukseen
• standardoinnin toteutus
• pisteytyksen muodostaminen
• tulkinnan perusteet
• millaisia ovat olleet käytetyt tekniset ratkaisut standardointiaineistojen keruussa. On hyvä huomioida, että useimmat tietokoneavusteiset testit pohjautuvat ulkomaisiin, erityisesti yhdysvaltalaisiin, tutkimuksiin. Ilman kotimaisin aineistoin varmennettua tutkimustietoa, ei ole lainkaan varmaa, että testi, testin standardointiaineistot ja pisteytys olisi sovellettavissa käyttöön suomalaisessa kulttuurissa.
  

Tekniset kysymykset menetelmän valinnassa
Tietokoneavusteisten testien kohdalla on aina otettava huomioon myös niiden asettamat vaatimukset laitteistoon ja käyttöjärjestelmiin liittyen. On myös huomioitava menetelmän kehittäjän tai myyjän tarjoama käyttäjätuki sekä päivityskäytännöt. Hankinnassa on hyvä ottaa huomioon useiden ohjelmien nopea päivityssykli ja mahdollisten lisenssien nopea vanhemeninen.

Etätestauksessa on otettava huomioon myös tutkittavalla käytössä olevat laitteet ja osaaminen niiden sekä testauksessa käytettävien ohjelmistojen tai sovellusten osalta. On hyvä myös selvittää etukäteen, missä määrin mm. erilaiset vammat tai muista syistä johtuvat erityistarpeet on huomioitava etätestauksessa.

5. Tutkimustilanteen hallinta

Hallinnan tasot
Psykologi voi hallita psykologisen tutkimuksen tilannetta eri tavoin:

Valvottu: Psykologi (tai tutkimusavustaja) on fyysisesti samassa tilassa vastaajan kanssa. Psyko- logi tietää kuka vastaa, milloin vastaa ja missä vastaa.

Ohjattu: Psykologi on jatkuvassa yhteydessä vastaajaan esimerkiksi puhelimessa. Psykologi tie- tää kuka vastaa, mutta ei voi olla varma onko paikalla muitakin vastaajia. Psykologi tietää milloin vastaaja vastaa. Psykologi ei tiedä missä vastaaja vastaa.

Kontrolloitu: Psykologi pyrkii varmistamaan kuka vastaa antamalla vastaajalle yksilöllisen käyt- täjätunnuksen ja salasanan. Psykologi ei kuitenkaan voi olla varma onko paikalla muitakin vas- taajia. Psykologi ei voi kontrolloida sitä milloin vastaaja vastaa ja missä vastaa.

Avoin: Psykologi ei voi varmistaa kuka vastaa, milloin vastaa ja missä vastaa. Esimerkiksi tutkit- tava vastaa avoimella nettisivulla kyselyyn, jossa ei vaadita mitään kirjautumista eikä tunnuksia.

Useimpia tietokoneavusteisia menetelmiä voi käyttää kaikilla tavoilla. Myös eri tasojen kombi- naatiot ovat mahdollisia. Tietokoneen kameran käyttö arviointitilanteessa mahdollistaa paremman kontrollin.

6. Tutkittavan velvollisuudet ja oikeudet

Tietokoneavusteiseen testaustilanteeseen liittyy joitakin tutkittavan oikeuksiin ja velvollisuuksiin kuuluvia erityispiirteitä, joista psykologin on tärkeä tiedottaa tutkittavaa.

Oikeuksista

• Tutkittava on oikeutettu saamaan ennen testauksen aloittamista tietoa siitä, miksi tutkimus tehdään, kenelle tulos raportoidaan ja mihin tuloksia käytetään.
• Tutkittavalla on oikeus tietää tutkimukseen osallistumisen vapaaehtoisuudesta ja oikeus keskeyttää osallistuminen halutessaan.
• Tutkittava on oikeutettu selkeään ohjeistukseen siitä, miten tutkimustilanteessa on tarkoitus menetellä (testi-instruktiot, testiin käytettävissä oleva aika, harjoitus- tai esimerkkitehtävät ennen varsinaista testiä, miten tallentaa tiedot, onko aiempiin osioihin mahdollista palata ja muokata vastauksiaan, miten siirrytään seuraavaan tehtävään, ohjeet käytetäänkö hiirtä, nuolinäppäimiä, numeronäppäimiä, tms.).
• Tutkittava on oikeutettu ohjeistukseen, miten menetellä mahdollisessa ongelmatilanteessa (tietokoneyhteys katkeaa, ohjelma jumittaa tms.).

• Tutkimustilanteen tapahtuessa muualla kuin valvotuissa olosuhteissa, tutkittavalla on oikeus tekniseen tukeen (esim. chat-toiminto tai puhelinnumero, johon voi ottaa yhteyttä, jos tutkimustilanteessa ilmenee teknisiä ongelmia).
• Valvotuissa olosuhteissa tutkittavalla on oikeus testiympäristöön, joka mahdollistaa tutkimukseen keskittymisen ilman häiriötekijöitä tai luottamuksellisuuden vaarantumista.
• Tutkittavalla on oikeus siihen, että hänestä kerättyä tietoa käsitellään sekä tulkitaan ammattitaitoisesti ja että tietoja tallennetaan luottamuksellisuus ja salassapito huomioiden, voimassa olevaa lainsäädäntöä noudattaen.
• Jos tutkittavalla on tietokoneavusteisessa tutkimustilanteessa toimimiseen vaikuttava vamma tai muu lääketieteellinen haitta, on joissakin tutkimustilanteissa mahdollista tehdä modifikaatioita haitan vaikutuksen vähentämiseksi (esim. näytön kirjasinkoon suurentaminen, käytettävissä olevan ajan pidentäminen).
• Tutkittavalla on oikeus saada tietoonsa, miten hän voi halutessaan saada palautetta tutkimuksen tuloksista, jos palauteoikeus kuuluu tutkimusprosessiin.
  
  Velvollisuuksista
  

• Tutkittava valmistautuu vahvistamaan henkilöllisyytensä tutkimustilanteessa sovitulla tavalla, kuten henkilökortilla, valvomattomassa tilanteessa sovitulla salasanalla tai vastaavalla tunnistautumiskeinolla). Tutkittava ei saa jakaa tutkimustarkoitukseen saamiaan salasanoja tai koodeja muille.
• Valvomattomassa tilanteessa tutkimukseen osallistuja huolehtii testiolosuhteiden häiriintymättömyydestä ja luottamuksellisuudesta (ei ulkopuolisia henkilöitä paikalla, mahdollisuus työskennellä keskeytyksettä, jne.).
• Etätutkimustilanteessa tutkittava varmistaa käyttämänsä tietokonejärjestelmän yhteensopivuudesta tutkimuksessa käytettävän ohjelmiston kanssa. (Tutkittavalle informoitava ennen osallistumista, minkälainen laitteisto ja yhteys tarvitaan.)
• Jos tietokoneen ja etäyhteyden käyttö on vierasta, on tutkittavan tärkeä informoida tästä, jotta tarvittava opastus voidaan tarjota.
• Tutkittavan velvollisuus on toimia tutkimustilanteessa annettujen ohjeistusten mukaisesti.
• Tutkittava suorittaa testit itse eikä turvaudu toisten apuun tai pyri käyttämään muita ei- sallittuja informaatiolähteitä. Tutkittava ymmärtää, että varmistusmielessä tehdään uusintatestauksia valvotuissa olosuhteissa ja myös muilla keinoin valvotaan mahdollista vilppiä tietokoneavusteisessa tutkimuksessa.
• Tutkittava ei saa kopioida tutkimustilanteessa käytettyjä testejä tai osia niistä eikä muuten vaarantaa psykologisten menetelmien välinesuojaa.
• Jos tutkimustilanteessa on läsnä samaan aikaan useampia tutkittavia, on tutkittavan kunnioitettava luottamuksellisuutta ja toimittava siten, ettei aiheuta tahallista häiriötä muiden osallistujien suoriutumiselle.
• Tutkittava informoi tutkimuksen järjestäjää mahdollisista tietoteknisistä tai muista häiriöistä, jotka ovat ilmenneet tutkimustilanteen aikana.
• Tutkittava informoi psykologia etukäteen mahdollisista haittatekijöistä, jotka saattavat vaikuttaa hänen suoriutumiseensa tutkimustilanteessa, jotta psykologi voi ottaa ne tarvittaessa huomioon tutkimustilanteen järjestelyissä ja tulosten tulkinnassa.
  

Yhdenvertaisuus
Valtaosalle väestöstä tietotekniset laitteet ovat jokapäiväisiä työvälineitä, mutta edelleen osalle mm. vanhimpia ikäryhmiä laitteet ovat jääneet vieraaksi. Kuten aina testaustilanteessa, tilanteen ja sisältöjen tuttuus vaikuttaa tuloksiin. Tietokoneavusteisuudessa tietoteknisten laitteiden käyttötottumus muodostaa yhden lisäulottuvuuden, joka on huomioitava tuloksia arvioitaessa.

On syytä selvittää tutkittavan taidot ja kokeneisuus käyttää tarvittavia välineitä ennen testausta. Lisäksi tutkittavalle täytyy antaa riittävästi mahdollisuuksia harjoitella testauksessa käytettävää laitteistoa sen varmistamiseksi, että käyttötottumuksen vaikutus tuloksiin olisi mahdollisimman pieni.

Osalla tutkittavista on erityistarpeita, jotka vaikuttavat tietokoneiden käyttömahdollisuuksiin testauksessa. Esimerkiksi motorisista häiriöistä kärsivien testisuoritusta voi heikentää se, että vastaamisessa käytetään näppäimistöä tai hiirtä. Näissä tapauksissa on harkittava erillisten lisälaitteiden, kuten suurempikokoisten painonappien, käyttöä.

Psykologin on hyvä jo ennen testin hankintaa perehtyä tutkimustietoon kyseisen testin soveltuvuudesta erilaisten erityisryhmien tutkimukseen.

Henkilöllisyyden varmentamisen ja apukeinojen käytön kontrollikeinoja

Varsinkin etätestauksessa ja myös muissa testaustilanteissa, joissa testaaja tai testaajan avustaja ei ole jatkuvasta läsnä, on ongelmana testaustilanteen kontrolloinnin ja valvonnan puute. Testaa- ja ei voi olla täysin varma, että etätestaustilanteessa testattava olisi yksin tai ettei hän käyttäisi joitain apuvälineitä. Erityisen pulmallisia ovat testaukset, joissa tavoitteena on selvittää esimerkiksi henkilön kyvykkyyttä tai soveltuvuutta johonkin positioon, koska niissä testattavan hyvä suoriutuminen parantaa hänen mahdollisuuksiaan muihin testattaviin nähden.

Kuvayhteys testauspaikkaan parantaa valvontaa. Mikäli tämä ei ole mahdollista tai riittävää, testattavalta voidaan vaatia kirjallista ehtojen hyväksymistä ennen etätestausta. Ehdoissa kielletään avun pyytäminen/käyttäminen testitilanteessa, varoitetaan tulevasta uusintatestauksesta ja valintatilanteessa automaattisesta hylkäämisestä, jos ehtoja rikotaan. Huijausmahdollisuuksia voidaan yrittää kontrolloida myös valvotulla uusintatestauksella etätestauksen jälkeen. Uusintatestauksessa voidaan varmistaa testi tulosten yhteneväisyys (etätestaus – uusintatestaus). Uusintatestauksen mahdollisuudesta tulisi varoittaa jo ennakkoon.

Tutkittavan henkilöllisyys on varmistettava jollakin soveltuvalla tunnistautumisen keinolla (ns. vahva tunnistautuminen esim. pankkitunnuksia käyttäen, käyttäjätunnuksella ja salasanalla (etätestaus) tai virallisella henkilötodistuksella (valvottu testaus).

7. Tulosten käsittely

Tulosten käsittely voidaan jakaa neljään vaiheeseen: pisteytys, tulkinta, päätöksenteko ja palaute.

Yksi tietokoneavusteisten testien eduista on automatisoitu pisteytys ja usein myös automatisoitu pisteytyksen esitys vakiomuotoisena raporttina. Arvioijan on kuitenkin tiedettävä, mistä pisteet tulevat, miten asteikkopisteet ja yhdistelmäpisteet (summapisteet, faktorit) muodostuvat. Testaajalla pitää olla mahdollisuus analysoida testituloksia yksittäisten osioiden tasolla.

Useimmissa tietokoneavusteisissa testeissä esitetään yksi ärsyke tai tehtävä kerrallaan. Toisin kuin joissain kynä-paperi-tehtävissä tai lomakkeissa testattava ei yleensä kykene palaamaan takaisinpäin aikaisempiin tehtäviin korjatakseen tai muuttaakseen vastaustaan. On syytä keskustella testattavan kanssa testisuorituksen jälkeen hänen kokemuksistaan testistä ja arvioistaan omista vastauksistaan ja tarvittaessa huomioitava nämä tulkintavaiheessa.

Tulkinnassa on huomioitavat tutkittavan tietoteknisten välineiden käyttötaidot sekä suhtautuminen tällaisten laitteiden käyttöön. Kokemattomampi käyttäjä on epävarmempi, jopa pelokas mikä usein heijastuu suoriutumiseen.

Testausohjelmat generoivat usein valmiin raportin, jossa osassa on myös alustavaa tulkinnallista tietoa. Tämäkin tieto edellyttää aina tutkimuksen tekijän omaehtoista tulkintaa ja kaikkea tieto- konetestin tuottamaa tietoa täytyy pitää vain osana yksilöstä päätöksentekoa varten kerätystä laa- jemmasta tiedosta.

Suomen lainsäädäntö ei salli automatisoitua päätöksentekoa. Päätöksenteolla täytyy aina olla yksilöitävä henkilö, joka on vastuussa tulosten tulkinnasta. Psykologin tutkimuksessa yksilöä koskeva päätöksenteko edellyttää aina vuorovaikutusta arvioitavan kanssa. Tämä on erityisen tärkeää, jos tutkimukset on pääosin toteutettu etätestauksina.

Tietokoneen generoimia raportteja ei myöskään saa käyttää sellaisenaan palautteena testattavalle. Palautteen saantioikeus on sama kuin muissakin testauksissa. Palaute on annettava ymmärrettävässä muodossa.

8. Tiedonhallinta

Tietokoneavusteisessa testauksessa tulee huomioida, että testaukseen liittyvää tietoa tallentuu pysyvästi tai väliaikaisesti useampaan paikkaan, joista osa on teknisistä syistä testaajan ulottumattomissa. Näitä paikkoja ovat esimerkiksi testattavan tietokoneen selainohjelman välimuisti ja palvelimien varmuuskopiot. Seuraavassa keskitytään sellaisiin tiedonhallinnan kohtiin, joihin testaaja voi vaikuttaa.

Käytännössä tulisi varmistaa, että selainohjelma käyttää suojattua yhteyttä sekä itse testauksessa että testitulosten tarkastelussa. Selainohjelmasta tulisi käyttää viimeisintä versiota ja varmistaa, että tietokoneen käyttöjärjestelmä on päivitetty asianmukaisesti. Sähköpostia ei lähtökohtaisesti pidä käyttää testitulosten tai henkilötietojen välittämiseen.

Testituloksia koskevana yleisenä ohjeena on, että testitulosten tietoturvallisessa säilyttämisessä ja hävittämisessä tulee noudattaa kyseiseen tutkimukseen sovellettavaa lakia, oli kyseessä sitten perinteinen tai tietokoneavusteinen testaus. Esimerkiksi terveydenhuoltoon liittyvässä tutkimuksessa testitulokset tulee säilyttää tiedostoina tai tulostettuna 12 vuoden ajan. Henkilöarviointiin liittyvässä tutkimuksessa testitulosten säilytysajaksi suositellaan 10 vuotta.

Työryhmä: Aleksi Levo, Anita Rintala-Rasmus, Pekka Räsänen, päivitystä 12.12.2019 Annamaria Wikström