APOA-hanke – Oppimisen analytiikkaa – Intelliboardin Learner Success and Progress

Intelliboardin oppisen analytiikkaratkaisu Moodlessa tarjoaa opettajan avuksi erilaisia raportteja ja visualisoi oppimisympäristön tapahtumia. Intelliboardin työkalujen tuomaa lisäarvoa tarkasteltiin CampusOnline non-stop toteutuksella. Verkkototeutuksella oli paljon osallistujia, joten tarvittiin analytiikkanäkymä auttamaan ison opiskelijamassan ohjaamisen hallitsemisessa.

Valtakunnallinen CampusOnline on Suomen ammattikorkeakoulujen yhteinen digitaalinen opintotarjontaportaali, joka kokoaa yhteen yli 20 ammattikorkeakoulun verkko-opintojaksot [1]. Tässä esimerkissä käytetty verkkototeutus on niin sanottu non-stop-opintojakso, joka on tarjolla lukukausirajat ylittäen vuoden ympäri. Nykyinen toteutus alkoi syyskuussa 2019, etenee läpi kesän ja päättyy elokuun 2020 lopussa. Näyttää siltä, että toteutuksella tulee olemaan lähemmäs 1 000 opiskelijaa.

Toteutuksen suunnittelussa huomioitiin eAMK-hankkeessa syntyneet verkkototeutusten laatukriteerit [2]. Oppimisanalytiikan kannalta laatukriteereissä mainitaan suunnittelun ja tuotannon vaiheessa, että ”verkkoalustan analyysityökalut ovat käytettävissä opiskelijoiden edistymisen ja ohjaamisen tukemiseksi”. Toteutuksen aikana ”verkkoalustan analyysityökaluja hyödynnetään opiskelijoiden edistymisen seuraamisen, etenemisen kannustamisen ja ohjaamisen tukena”.

Tämän tilannetiedon pystyy rakentamaan Moodlen omillakin työkaluilla. Moodlen omilla työkaluilla näkee etenemisen seurannan visuaalisesti ja myös ne kohdat, jotka ovat jostain syystä vielä tekemättä. Tällainen tieto auttaa seuraamaan edistymistä ja kohdistamaan oikea-aikaisen intervention opiskelijan tukemiseksi. On tärkeää luoda myös opiskelijoille visuaalinen näkymä, jolla he itse havainnoivat etenemistään. [3] (Kuva 1.)

Opintojakson pedagoginen muotoilu

Toteutuksen rakenne muotoiltiin niin, että oppimispolku tehtiin näkyväksi aktiviteetteihin kiinnitetyn seurannan avulla. Tietoa esimerkiksi opiskelijoiden edistymisestä tai sitoutumisesta saadaan, kun huomioidaan Moodlessa seuraavat asiat [4]:

• Kurssipohjan päätasolla on riittävä määrä seurattavia oppimistapahtumia.
• Suoritusten seuranta on päällä (Completion tracking).
• Suoritusten seuranta on päällä halutuissa aktiviteeteissa.
• Mitkä aktiviteetit (esimerkiksi tehtävän palautukset) arvioidaan ja minkälaista asteikkoa niissä käytetään?
• Kurssin suoritus on päällä (Course completion).

Opiskelijan oppimisen oppimistapahtumien kautta oli tavoitteena saada tietoa etenemisestä. Nämä oppimistapahtumat muodostivat polun etappien ja datapisteiden avulla. Näiden määrityksellä oli keskeinen merkitys sille, että opiskelija hahmotti ”virstanpylväät” ja hänelle rakentui kartta, jota seuraamalla pysyy hyvin suunnassa eikä edes kompassia välttämättä tarvita. (Kuva 2.)

Pedagogista muotoilua tehtiin visuaalisemmaksi käyttämällä esimerkiksi PowerPoint-diaa. Diaan hahmoteltiin kuva, johon on merkattu muun muassa tehtävät sekä analytiikan huomioiminen. Tällaisen kuvan avulla oli helpompi hahmottaa kokonaisuutta ja sen avulla käytiin keskustelua myös kollegoiden kanssa. Muotoilu ei ollut kerralla valmis, vaan se päivittyi prosessimaisesti.

Intelliboardin raportit antavat paljon erilaista tietoa kursseista Moodlessa. Muotoiluvaiheessa mietittiin myös eri raporttinäkymien hyödyntämistä sekä sitä, miten opintojakson eteneminen visualisoinnilla hahmottuu opiskelijalle. Opiskelijalle oli tarjolla oma näkymä, jolla sai yleissilmäyksen opintojaksosta. (Kuva 3.)

Kun suunnittelu- ja muotoiluvaiheessa on huomioitu perusasiat kuntoon, muodostuu opiskelijalle näkymä kuvion 3 mukaisesti 1) opintojaksonsa edistymisestä ja 2) yksittäisten oppimistehtävien tilanteesta. Kuvion 3 Grade-sarakkeesta opiskelija näkee myös, onko tehtävä arvioitu ja montako prosenttia maksimipistemäärästä hän on saanut. Mikäli tehtävissä ei ole mukana esimerkiksi suoritusten seurantaa, ei opiskelijan näkymässä ole mitään oleellista informaatiota. Näkymä voi tällöin olla jopa harhaanjohtava.

Learner Success and Progress

Intelliboardin tarjoamilla näkymillä tarkasteltiin pääasiassa 1) miten opiskelijat etenevät ja 2) milloin on palautteen ja arvioinnin aika. Moodlen työkaluilla näkee etenemisen ja senkin, milloin opiskelija on palauttanut vaaditut oppimistehtävät. Intelliboardin työkaluista tällä toteutuksella eniten käyttöä näytti olevan Learner Success and Progress -raportilla (kuva 4). Raportissa näkyy muun muassa kurssin alkamispäivä, opiskelijan kurssille liittymispäivä sekä vierailut ja käytetty aika. Näkymiä voi suodattaa eri tarpeiden mukaan ja sarakkeiden otsikoita napsauttamalla saa näkymän haluttuun järjestykseen. Napauttamalla esimerkiksi Scorea, voi järjestää opiskelijat näkymään saatujen pisteiden mukaan. Jos haluaisi esimerkiksi tarkastella kuinka monella opiskelijalla Score on alle sata prosenttia ja Status on Completed, voi sarakkeiden otsikoita napsauttamalla järjestää tiedon haluttuun järjestykseen. Raportin tiedot voi myös viedä Export-valikon kautta Excel-, pdf- tai csv-tiedostoksi. [5]

Completed Activities ja Score – Tehtyjen tehtävien määrä ja pisteet

Verkkototeutuksella on yhdeksän seurattavaa oppimistapahtumaa eli näissä on päällä suoritusten seuranta. Kuvion 4 Completed Activities -sarakkeessa näkyy montako aktiviteettia (tehtävää) opiskelija on palauttanut. Opiskelija 8 on esimerkiksi palauttanut jo seitsemän tehtävää, mutta Score (pisteet) näyttävät vielä nollaa. Tämä johtuu siitä, että oppimistehtävät tällä kurssipohjalla on luotu tehtäväaktiviteetilla ja niissä on käytössä arviointiasteikkona pisteet. Yhdestä tehtävästä saa yhden pisteen eli hyväksytty tehtävä on yksi (1) piste. Opiskelijalle tehtävä näkyy tehtynä, kun hän on palauttanut tehtävän (kuvio 3). Arvioinnin ei tässä vaiheessa tarvitse olla valmis. Näin opiskelijan oma havainnointi etenemisestä on helpompaa.

Kuviosta 4 näkee, että tässä vaiheessa ”Opiskelijan 8” tehtäviä ei ole vielä käyty läpi. ”Opiskelija 6” on palauttanut kahdeksan tehtävää eli vain lopputehtävä puuttuu. Pisteistä kasassa on jo 44 % tarkoittaen sitä, että tehtävistä on tarkistettu ja arvioitu hyväksytysti neljä. Mikäli tehtävissä olisi automaattisesti tarkastettavia tehtäviä, kuten tentin monivalintatehtäviä, lähtisi Score-sarakkeessa pisteet automaattisesti lisääntymään sitä mukaan, kun opiskelija tehtäviä tekee ja saa niistä pisteitä. Score-sarakkeessa näytetään pistemäärä prosentteina eli kuinka monta prosenttia koko kurssialueen maksimipistemäärästä opiskelija on jo saavuttanut. Tämä opintojakso arvioidaan asteikolla hyväksytty/hylätty ja kaikki tehtävät pitää olla hyväksytysti tehtynä, joten Score sarake näyttää tässä esimerkissä ajantasaista tietoa siitä, onko tehtävät jo hyväksytty. Mikäli sarakkeessa näkyy opiskelijan kohdalla 100 % ,tarkoittaa tämä sitä, että kaikki on valmista eli myös loppupalaute on tässä tapauksessa annettu.

Status – onko kaikki vaadittava jo tehty?

Kuvion 4 Status-sarake kertoo, milloin opiskelija on palauttanut kaikki vaaditut tehtävät. Kun kaikki vaadittava on tehty, näkyy sarakkeessa Complited On ja päivämäärä. Mikäli joku vaadittu tehtäväpalautus puuttuu, näkyy sarakkeessa Incomplited. ”Opiskelija 1” on esimerkiksi palauttanut kaikki vaaditut tehtävät 18.4.2020. Tämän tiedon avulla voi varmistaa myös sen, että arviointiprosessi on aloitettu. Completed tai Incompleted tieto saadaan näkymään, koska Moodlen kurssipohjalle on määritelty päälle kurssin suoritus (Course completion). Ilman tätä asetusta tätä tietoa ei kerrota.

Progress – edistyminen

Kuvion 4 Progress-sarakkeessa näkyy opiskelijan eteneminen kurssilla. Tähän vaikuttaa erityisesti se, onko arviointi aloitettu eli onko opiskelija esimerkiksi saanut pisteitä tehtävistään. Harmaa alue ruudulla tarkoittaa opiskelijan nykyistä arvosanaa. Katkoviiva osoittaa kaikkien oppijoiden keskimääräisen arvosanan. Tällä opintojaksototeutuksella tämä näkymä ei ollut käytössä. Mikäli tätä haluaisi hyödyntää voisi arviointikirjaan määrittää, millä määrällä pisteitä saa minkäkin arvosanan. Nyt Grade-sarakkeesta huomaa, että kaikki opiskelijat, jotka tekevät kaikki suoritukset hyväksytyksi saavat arvosanaksi A. Moodlessa tätä tarkoittaa sitä, että 93-100 % pisteistä antaa arvosanan A. Tämän asetuksen ja kirjaimen muuttaminen numeroksi onnistuu Moodlen arviointikirjan asetusten kautta.

Visits ja Time Spent – käyntimäärät

Learner Success and Progress -raportista näkee myös kurssipohjalla käyntien määrän (Visits) ja kurssipohjalla käytetyn ajan (Time Spent). Tämän opintojaksototeutuksen kannalta tällä tiedolla ei ole kovinkaan paljon käyttöarvoa, koska tekeminen ja tekninen dokumentointi tapahtuu pääasiassa muualla kuin Moodlessa. Toki tämä on kaikille sama tilanne ja tätäkin tietoa tulee tarkasteltua.

Pohdintaa raportin hyödyntämisestä

Tämä CampusOnline non-stop toteutus on vielä kesken ja oppimisanalytiikan pilotointi jatkuu elokuun 2020 loppuun asti. Moodlesta kerättävän tiedon pohjalta pyritään ymmärtämään CampusOnline opintojaksototeutuksella syntynyttä oppimista sekä itse toteutusta oppimisympäristön kehittämisen näkökulmasta.

Tässä vaiheessa on tukeuduttu muutamiin Intelliboard-raporttinäkymiin, joista on ollut hyötyä arkityössä. Arjessa opettajalle voi riittää hyvinkin yksinkertainen analytiikkanäkymä. Opintojakson toteutusta täytyy suunnitella ja muotoilla, jotta analytiikkatyökaluista saa esimerkiksi visualisoinnin avulla tarvitsemansa tiedon. Tämän blogikirjoituksen pedagogisen muotoilun yhteydessä mainitut vinkit kannattaa ainakin huomioida. Samalla, kun työkalut auttavat opettajaa esimerkiksi ohjaustyössä, muodostuu toivottavasti myös opiskelijalle parempi mahdollisuus hahmottaa etenemistä ja oppimista opintojaksoilla.

 

Kurttila Jukka, lehtori, tietojenkäsittely
Oulun ammattikorkeakoulu

 

Lähteet

[1] CampusOnline. 2020. Hakupäivä 8.5.2020. https://campusonline.fi/

[2] eAMK. 2020. Verkkototeutusten laatukriteerit. Hakupäivä 4.5.2020. https://www.eamk.fi/fi/campusonline/laatukriteerit/

[3] Kurttila, J. & Aalto, M. 2020. Oppimisprosessin seuraaminen ja visualisointi. Teoksessa S. Hartikainen, M. Koskinen & S. Aksovaara (toim.) Kohti oppimista tukevaa oppimisanalytiikkaa ammattikorkeakouluissa. Hakupäivä 6.5.2020. http://urn.fi/URN:ISBN:978-951-830-547-0

[4] Kurttila, J. 2019. Oppimisanalytiikkadatan hyödyntäminen digiohjaaja cMOOCilla. Hakupäivä 4.5.2020. https://blogi.oamk.fi/2019/12/12/oppimisanalytiikkadatan-hyodyntaminen-digiohjaaja-cmoocilla/

[5] Intelliboard. 2020. Learner Success and Progress. Hakupäivä 8.5.2020. https://support.intelliboard.net/hc/en-us/articles/206878953-Learner-Success-Progress-Success-Report-

 

APOA, Oppimisanalytiikka – avain parempaan oppimiseen AMKeissa

 

Pysyvä osoite: http://urn.fi/urn:nbn:fi-fe2020061844941