APOA-hanke – Raporttien tulkinta vaikeaa – tunnetko niiden taustat?

Opintojen etenemisen seurannasta mietitään välinettä myös muiden kuin opintojakson opettajan käyttöön. Henkilö ei välttämättä tunne tarkasti opintojaksojen tehtäviä ja oppimisalustojen rakennetta. Miten eri raportit palvelevat seurantaa? Kuinka havainnollisia raportit ovat? Miten tietoja on tulkittava?

Opettajatuutori seurasi aloittavan opiskelijaryhmän opintojen etenemistä. Opintojakson oppimisalustat olivat Moodlessa (kuva 1). Opintojen etenemisen seuranta oli päällä vain yhdeksän opintopisteen verran koko 15 opintopisteen opintojaksolla. Opintojakso kesti kahdeksan viikkoa ja mukana oli neljä opettajaa.

Opintojen etenemisen seurantaan valittiin seuraavat raportit:

• Moodlen arviointikirja
• Moodlen Aktiviteettien suoritus -raportti
• Intelliboardin Learner Success and Progress -raportti
• Intelliboardin Engaged/NotEngaged Tools by Course Details -raportti.

Raporttien ominaisuuksia

Raporttien tarkastelussa nousi esiin asioita, joista opettajatuutori ei ollut tietoinen, mutta jotka vaikuttivat raporttien tulkintaan. Moodle-alustalla saattoivat olla mukana edellisen toteutuksen opiskelijat tai oppimistehtävät. Osa opintojen etenemiseen laskettavista suorituksista oli arvioitavia, osa ei. Joillakin tehtävistä oli määräajat, toisilla ei. Tarkasteltavan opiskelijaryhmän tietojen tulkintaa tehtäessä, nousi esiin asioita, jotka vaikuttivat raporttien tietojen tulkintaan ja käytettävyyteen. (Taulukko 1.)

Moodlen raportit

Arviointikirjassa näkyvät vain alustan arvioitavat tehtävät (kuva 2). Siinä oli mahdollista rajata mukaan vain tarkasteltavan ryhmän opiskelijat, mutta aiemmalle ryhmälle annetut tehtävät tulivat raporttiin mukaan. Jokaisen Moodle-alustan arviointikirja pitää avata ja tutkia erikseen, niiden tietoja ei saa yhteen. Arviointikirjan tiedoista saa kuitenkin nopeasti yleiskuvan yhden alustan tilanteesta.

Aktiviteettien suoritus -raportissa näkyvät kaikki tehtävät ja suoritteet, joihin alustalla on määritelty suoritusten seuranta päälle. Suoritusten seuranta voi tarkoittaa esimerkiksi, että opiskelija palauttaa jotain tai hän merkitsee itse tehtävän tehdyksi. Raportissa pystyy rajaamaan tarkasteltavan opiskelijaryhmän. Sen sijaan kaikkien ryhmien tehtävät tulevat mukaan, jos tehtäviä ei ole kohdistettu tietylle ryhmälle. Exceliin vietynä tiedot eivät ole havainnollisia, koska siellä on merkintä sekä suoritetun että kesken olevan (ei vielä edes aloitettu) tehtävän kohdalla. (Kuva 3.) Moodlessa oleva graafinen raportti on selkeä. Siitä näkee nopealla silmäyksellä opiskelijoiden tilanteen suhteessa muihin. Eri alustoilta ei saa yhteenvetoa, vaan on tarkasteltava jokaisen alustan tiedot kerrallaan.

IntelliBoardin raportit

Learner Success and Progress -raportti näyttää tietoja opiskelijan vierailuista oppimisalustalla; monestiko opiskelija on alustalla vieraillut sekä paljonko hän on alustalla viettänyt aikaa. Sieltä löytyy myös suoritettujen tehtävien määrä, montako prosenttia suoritettu hyväksytysti (grade) ja graafi, missä vaiheessa opintojakson suoritus on muihin nähden. (Kuva 4.) Raporttiin on mahdollista ottaa mukaan kaikki seurannassa olevat Moodle-alustat. Raporttiin tulevat mukaan kuitenkin kaikki ryhmät. Raporttiin on mahdollista tehdä aikarajaus, jonka aikana alustalle kirjautuneet opiskelijat otetaan mukaan. Tätä voidaan käyttää rajaamaan pois edellisten toteutusten opiskelijat, jos toteutukset eivät ole ajallisesti päällekkäisiä.

IntelliBoardista katsottuna raportti on selkeä. Tiedot on esitetty numeroilla, kirjaimilla ja erilaisina kuvioina. Tietoja voidaan järjestellä eri sarakkeiden mukaan nousevaan tai laskevaan järjestykseen. Kun tiedot viedään Exceliin, raportti ei ole yhtä havainnollinen.

Engaged/NotEngaged Tools by Course Details -raportti kertoo, onko opiskelija vieraillut alustalla vai ei, ja onko hän suorittanut aktiviteetteja (kuva 5). Jälkimmäisin tieto on mahdollinen vain, jos opiskelijat liitetään oppimisalustalle esimerkiksi opettajan toimesta. Raporttiin ei voi tehdä ryhmäkohtaista rajausta. Samaan raporttiin voi poimia mukaan useamman alustan tiedot. Raporttiin voi tehdä samanlaisen aikarajauksen kuin edellisessäkin raportissa. Kiinnostavia sarakkeita ovat ei kirjautunut alustalle sekä kirjautunut, mutta ei palauttanut tehtäviä kyseisen aikajakson kuluessa.

Ristiriitaiselta vaikuttavia tietoja

Raporttien tiedot vaikuttivat ristiriitaisilta, jos tulkintaa tekee henkilö, joka ei tunne kaikkia taustatietoja.  Seuraavassa kuvankaappaukset saman opiskelijan tiedoista sekä opettajatuutorin tekemä tietojen tulkinta.

Arviointikirjan (kuva 6) tietojen tulkinta: Opiskelija on tehnyt seitsemän tehtävää ja kolme on vielä tekemättä. Tilanne näyttää siis hyvältä. Kuvasta on jätetty pois tehtävät, jotka ovat edelliselle opiskelijaryhmälle. Ne erottuivat tässä tapauksessa selvästi.

Aktiviteettien suoritus -raportin (kuva 7) tulkinta: Opiskelija on tehnyt kaikki tehtävät. Tehtävien nimeämisestä voi päätellä, mitkä tehtävät ovat kevään 2020 ryhmälle.

Learner Success and Progress -raportin (kuva 8) tulkinta: Opiskelija on huomattavasti jäljessä keskimääräisestä etenemisestä (progress). Hän on palauttanut yhdeksän tehtävää ja kokonaissuoritus on 7 %. Hän on vieraillut alustalla 163 kertaa ja viipynyt siellä 5 tuntia 24 minuuttia. Kokonaissuoritusta ja opiskelijan keskimääräistä etenemistä tulkittaessa tulee olla tietoinen, että oppimisalustalla on mukana muita opiskelijaryhmiä ja heidän tehtäviään. Kaikissa edellä mainituissa raporteissa on asioita, jotka tulkintaa tekevän on tiedettävä, jos aikoo tehdä oikeat johtopäätökset opiskelijan tilanteesta.

Oppimistehtävät ovat erilaisia

Oppimistehtävät voivat olla arvioitavia, jolloin tehtävä voidaan katsoa hyväksytyksi, kun se täyttää tietyt arviointikriteerit. Oppimistehtävän suorittamiseksi voi kuitenkin riittää, että opiskelija on palauttanut jotain, hän merkitsee itse tehtävän tehdyksi tai kirjoittaa keskustelualueelle kommentin.

Arviointikirjan (kuva 9) tulkinta: Opiskelija on tehnyt opiskelijana ammattikorkeakoulussa -testin. Toinen tehtävä on tekemättä. Arviointikirjassa näkyvät vain arvioitavat tehtävät. Tässä tilanteessa paremman käsitykset saa aktiviteettien suoritus -raportista.

Aktiviteettien suoritus -raportin (kuva 10) tulkinta: Opiskelija on palauttanut ajallaan kaikki tehtävät, joiden palautuspäivä on jo mennyt. Osa tehtävistä, joiden palautuspäivä on opintojakson lopussa, on palauttamatta.

Oppimistehtävin suorittamis- ja hyväksymiskriteerien tuntemus on tärkeää, kun arvioidaan opiskelijan opintojen etenemistä. Muulle kuin opintojakson opettajalle tämä on haasteellista ja liian suorien johtopäätösten tekemistä on parasta välttää.

Yhteenveto

Oppimisalustojen tuntemus on tärkeää opintojen etenemisen seurantaan liittyviä raportteja tulkitessa. Aktiviteettien suoritus -raportti vaikutti turvallisimmalta valinnalta opettajatuutorin käyttöön. Tosin senkin tulkintaan vaikutti oleellisesti se, miten oppimisalustalla eri toteutukset ja niiden tehtävät oli määritelty.

Moodlen raporteissa ei voi yhdistellä eri alustojen tietoja, joten kokonaisvaltainen opintojen seuranta on työlästä. IntelliBoardin raportteihin voi yhdistellä useamman oppimisalustan tietoja samaan raporttiin. Niistä saa siis paremman kokonaiskuvan samoja opintoja suorittavan opiskelijaryhmän tilanteesta. Tosin sielläkin tulkintaa tekevän on suoritettava tietojen yhdistely. Raportit voi kuitenkin lajitella eri tekijöiden mukaan, siis myös opiskelijoiden mukaan. Tällöin yhden opiskelijan seurantatiedot eri alustoilta saadaan peräkkäin.

Tulkintojen tekeminen on haastavaa, jos ei tunne oppimisalustoja, joilta tiedot on kerätty. Kovin pitkälle meneviä johtopäätöksiä ei voi tehdä ilman, että tuntee taustat.

 

Viinikka Sinikka, lehtori, tietojenkäsittely
Oulun ammattikorkeakoulu

 

APOA, Oppimisanalytiikka – avain parempaan oppimiseen AMKeissa

 

Pysyvä osoite: http://urn.fi/urn:nbn:fi-fe2020061543166