APOA-hanke – Digistarttipaketin kuvaileva, ennustava ja ohjaileva oppimisanalytiikka

Tässä blogitekstissä käsitellään digistarttipaketin oppimisanalytiikkaa. Digistarttipakettia käytetään opintojaksoesimerkkinä siitä, millaista opintojen ohjauksen ja kurssin pedagogisen jatkokehittämisen kannalta hyödyllistä tietoa oppimisanalytiikalla voidaan saada. Digistarttipaketin oppimisanalytiikkaa tarkastellaan ja pohditaan hyödyntäen kuvailevan, ennustavan ja ohjailevan analysoinnin näkökulmia. Lopussa esitetään pohdintaa jatkokehittämisen kannalta.

Oppimisanalytiikka (Learning Analytics) ymmärretään tässä yhteydessä sisältävän mittaamista, keräämistä, analysointia ja datan raportointia oppijoista erilaisissa oppimistilanteissa ja oppimisalustoilla. Oppimisanalytiikalla pyritään ymmärtämään ja optimoimaan oppimista ja oppimisympäristöjä, joissa opiskelu tapahtuu. Oppimisanalytiikan avulla voidaan analysoida koulutuksiin liittyvää tietoa sekä tietoa oppijoista ja opettajien oppimisalustoille luomista aktiviteeteistä. Tältä pohjalta voidaan myös hahmottaa malleja opiskelijoiden käyttäytymisestä ja tuottaa käyttökelpoista tietoa oppimisen parantamiseksi sekä opiskeluun liittyvien pedagogisten ratkaisujen kehittämiseksi. [1] [2] On myös huomautettu, että oppimisanalytiikkadatan kerääminen itsessään ei tue tai paranna oppimista eikä oppimisanalytiikka tule korvaamaan esimerkiksi opintojen ohjausta, mutta oppimisanalytiikan avulla voidaan lisätä uusia työkaluja oppimis- ja ohjausprosessien tehostamiseen [3].

Digistarttipaketti – mitä, missä, milloin?

Digistarttipaketti (kuva 1) tuotettiin syksyllä 2019 eAMK-hankkeessa sujuvoittamaan uusien ammattikorkeakoulussa aloittavien opiskelijoiden opintojen aloitusta ja erityisesti tukemaan digikyvykkyyttä Oulun ammattikorkeakoulun (Oamk) digitaalisissa oppimisympäristöissä. Digistarttipakettia pilotoitiin ensimmäisen kerran vuoden 2020 opintonsa aloittaneiden amk-opiskelijoiden kanssa. Seuraavan kerran digistarttipaketti käynnistyy syyslukukaudella 2020.

Opiskelijat saivat tunnukset digistarttipaketin Moodle-alustalle (kuva 1) ja ohjeet digistarttipaketin aloittamiseksi opiskelijaksi hyväksymiskirjeen mukana.

Kuvaileva analytiikka digistarttipaketissa

Kuvailevan analytiikan avulla kuvaillaan esimerkiksi opintojaksolta kerättyä historiadataa. Opintojaksoista voidaan saada tietoa esimerkiksi opiskelijamääristä, suoritusajoista ja opintoihin liittyvistä valinnoista opintojaksoilla.

Digistarttipaketin kuvailevan datan keräyksen perusteella saatiin tietoa opiskelijoiden aloista ja opiskelijamääristä. Osallistujat selvitettiin koulutusaloittain käyttäjähallinnasta tutkinto-ohjelmittain perustettujen ryhmien perusteella. Osallistujia oli seuraavasti (n):

• Sosiaali- ja terveysala: terveydenhoitotyö (26), hoitotyö (71), sosiaaliala (39)
• Liiketalous: tietojenkäsittely (48), liiketalous (84), liiketalous (ylempi amk) (1)
• Luonnonvara-ala: maaseutuelinkeinot (29)
• Tekniikka: autoala (12), hitsausala (17), tieto- ja viestintätekniikka (634), talotekniikka (ylempi amk)(8)
• Tutkinto-ohjelmien opiskelijoiden lisäksi mukana oli koulutushanke “Highway to code” osallistujia (36)

Kaikki muu kuvaileva analytiikka digistarttipaketissa muodostettiin Intelliboardin Instructor dashboardista (“Ohjaajan kojelauta”) löytyvän datan pohjalta. Opiskelijoiden ilmoittautumisajankohdat otettiin esille Learner Success and Progress -toiminnolla. Sen avulla voitiin selata yksittäisten opiskelijoiden kurssin aloittamispäiviä. Ensimmäiset opiskelijat kirjautuivat mukaan joulukuussa 2019. Maaliskuun 2020 alkuun mennessä digistarttipakettiin oli ilmoittautunut 435 opiskelijaa. Maaliskuun alussa 223 opiskelijaa oli suorittanut kurssin loppuun ja 212:lla oli kurssi kesken.

Yksittäisen opiskelijan näkymästä selaamisen sijasta vielä kattavamman kuvan kurssin aloittamisen yhteydestä kurssin suorittamiseen otettiin näkyviin Export-toiminnolla. Tämän avulla oli mahdollista saada yhteenvetona ajankohtaan yhdistetyt diagrammikuvat kaikkien opiskelijoiden kurssille liittymisestä (kuva 2), kurssille liittyminen niiden kohdalla, jotka eivät olleet saaneet kurssia valmiiksi (kuva 3) sekä kurssille liittymisen niiden kohdalla, jotka saivat kurssin valmiiksi (kuva 4).

Kuvaesitys vaatii JavaScriptin.

Kuvista 2, 3 ja 4 voidaan havaita, että vaikka kurssi avattiin kaikille jo joulukuun toinen päivä, ylivoimaisesti vilkkainta ilmoittautuminen oli ensimmäisen opiskeluviikon alkaessa tammikuun alussa. Jakaumia vertailemalla voidaan myös nähdä suuntana, että kurssin valmiiksi saaneet olivat liittyneet hieman aktiivisemmin kurssille jo heti kurssin avauduttua ennen varsinaista opiskelujen aloittamista.

Learner Success and Progress näyttää myös opiskelijan etenemisen kurssilla ja se voidaan suodattaa muun muassa arvosanan mukaan. Tätä raporttia voidaan käyttää huomaamaan kurssilta putoamisvaarassa olevat opiskelijat. Learner Success and Progress -toiminnon kautta nähdään myös yksittäisten opiskelijoiden käyttämä aika kurssilla. Tämä luku on suuntaa antava, mutta antaa  viitteitä siitä, onko aihetta käyty vain kurkkaamassa ja miten keskimääräisesti käytetty aika on linjassa verrattuna muiden kurssia suorittaneiden käyttämän ajan kanssa. Opiskelijan keskimääräinen kurssin suoritusaika digistartissa Moodlessa oli 1 tunti ja 23 minuuttia. Tämä luku ei kuitenkaan kerro aikaa, jonka opiskelijat käyttivät tehtävien tekemiseen Moodlen ulkopuolella. Kaikki tehtävänannot olivat Moodlen kurssipohjalla, mutta suurin osa niistä tehtiin kuitenkin muissa ympäristöissä. Esimerkiksi Teamsin käyttöä harjoiteltaessa tehtävät tuli toteuttaa Teamsissä. Näin ollen Moodlessa opiskeltu aika on siis ainoastaan suuntaa antava ja kertoo vain sen osan opiskeluajasta, mitä Moodlessa opiskeluun on käytetty.

Kun tarkastellaan digistarttipaketin etenemistä (kuva 5) nähdään, että kurssi sisälsi seuraavat asteikollisesti arvioidut aktiviteetit (Graded Activities -asteikko asetettiin digistartissa siten, että 1=hyväksytty, 0=hylätty), jotka opiskelijan tuli opiskella itsenäisesti:

• Zoom – testaa tietosi
• Kertaa Students-tunnukseen liittyvät asiat
• VPN-yhteyden luominen
• Tietoturva ja salasanojen kalastelu
• Liity Teamsiin
• Kertaa varmuuskopiointiin liittyvät asiat

Näistä aktiviteeteista opiskelijoiden määrällistä sitoutumista (kerrat, jolloin aktiviteetti avattu) mittaavan Learning Engagement -datan mukaan kolme opiskelijoita eniten sitouttavinta tehtävää olivat:

• kertaa students -tunnukseen liittyvät asiat (86 %)
• VPN-yhteyden luominen (83 %)
• tietoturva ja salasanojen kalastelu (81 %)

Myös muut osiot sitouttivat opiskelijoita yli keskitason:

• liity Teamsiin (74 %)
• kertaa varmuuskopiointiin liittyvät asiat (71 %)
• Zoom ‒ testaa tietosi (63 %)

Seuraavat kurssisisällöt, joissa arviointiasteikko ei ollut käytössä sitouttivat vähemmän, seuraavasti:

• langattomat verkot (53 %)
• VPN (49 %)
• tietoturva ja tietosuoja Oamkissa (44 %)
• Exam (23 %)
• käyttäjätunnus (7 %)
• salasana (12 %)
• Skype for Business peruskäyttö (27 %)

Kun taas tutkitaan ajallista sitoutumista, eniten kurssilla aikaa käytettiin Langattomat verkot ja VPN yhteys -osioon.  Tähän käytettiin aikaa kaikkien opiskelijoiden ajat yhteenlaskettuna yhteensä yli 30 tuntia. Seuraavaksi eniten aikaa käytettiin students-tunnus ja salasanaosioon (yli 15 tuntia), kuten myös tietoturva- ja tietosuojaosioon (yli 15 tuntia).  Microsoft Teamsin opiskeluun käytettiin yli 14 tuntia.

Muissa aktiviteeteissa ajankäyttö jäi pienemmäksi kuin 10 tuntia. Näitä sisältöjä olivat videoneuvottelujärjestelmä Collaborate, videoneuvottelujärjestelmä Zoom, varmuuskopiointi, sähköposti, opintojaksoille ilmoittautuminen ja lukujärjestys, oma tietokone, Skype for Business, Moodle, sähköinen tenttiminen, opiskelijaintra (Oiva) ja opinto-opas, Microsoft One Drive, tulostaminen ja skannaus, Google Suite ja Tuudo.

Ennustava analytiikka digistarttipaketissa

Ohjauksen näkökulmasta kiinnostavinta ja samalla haasteellisinta on opiskeluun liittyvien havaintojen ja johtopäätösten tekeminen analysoidun datan perusteella. Kun suuria datamääriä pystytään louhimaan ja analysoimaan on oletettavaa, että löydetyn tiedon perusteella voidaan myös luoda mahdollisia tulkintamalleja ja havaintoja opiskelijan opiskeluun liittyvien asioiden syy-seuraussuhteista, keskinäisistä riippuvuuksista ja mahdollisista poikkeavuuksista. Samalla voidaan tehdä myös uusia suosituksia tai linjauksia opintojaksojen kehittämiseen. Tätä kutsutaan ennustavaksi analytiikaksi.

Mitä mielenkiintoista oppimisen ja ohjauksen kannalta hyödyllistä ennustavaa tietoa sitten tämän esimerkin kautta on löydettävissä kuvailevasta oppimisanalytiikasta ja miten ja mihin analytiikan tarjoamaa tietoa voisi hyödyntää? Mitä tulisi kehittää? Kun tarkastellaan vaikkapa opiskelijoiden ajankäyttöä oppimisalustalle, se voi esimerkiksi ennustaa tulevasta tuen tarpeesta jonkin aiheen kohdalla tai yleisesti oppimisessa. Jos opiskelija esimerkiksi käyttää aina paljon aikaa, mutta oppimistulokset ovat silti heikot,  se voi olla ennakoiva merkki opiskelijan haasteista opiskelussa ja mahdollisesta tuen tarpeessa. Tämä tieto voi olla  siten indikaattori siitä, että opiskelijaan voisi oppimisalustalla  joko automaattiviestien kautta olla yhteydessä (tsemppiviestit) tai kannustaa opiskelijaa keskustelemaan  opettajan tai ohjaajan kanssa mahdollisesta ohjauksen tarpeesta. Toisaalta, pelkän analytiikan varassa emme tiedä, mitkä tilanteeseen liittyvät tai muut tekijät ovat voineet  vaikuttaa tulokseen, joten varovaisuus ja hienovaraisuus ohjausinterventiossa on äärimmäisen tärkeä pitää mielessä. Olisikin hyvä, jos opiskelijalla olisi kurssialustalla itsellään vapaaehtoisesti mahdollista lisätä esimerkiksi muistiinpanoja tai valita valikosta syy niihin kohtiin, jotka kokee vaikeina tai jostakin syystä on haastetta, kuten oppimisen vaikeuksiin, oppimisen itsesäätelytaitoihin (esimerkiksi tavoitteellinen työskentely, ajanhallinta) tai henkilökohtaisiin syihin liittyen.

Kun taas tarkastellaan opiskelijoiden yhteistä ajankäyttöä, voidaan sitä hyödyntää pedagogisen suunnittelun pohjana. Yhteinen ajankäyttö kertoo pedagogisesti sen paljonko jatkossa kannattaa varata aikaa kunkin osion opiskeluun, jotta opiskelijat saavat sen sopivasti asetetussa ajassa suoritettua. Yksi ennustava huomio liittyy kurssin aloittamisajankohtaan. Koska kurssin jo ennen varsinaisten opintojen alkua suorittamisella näyttäisi olevan positiivinen vaikutus kurssin loppuun suorittamiseen, on suositeltavaa jatkossakin aloittaa digistarttipaketti ennen opintoja. Kannattanee siis panostaa kurssin markkinointiin ennen opintojen alkua ja kehittää kurssin aloitusvaihetta ehkäpä vielä kiinnostavammaksi ja sitouttavammaksi, jotta yhä useampi sen aloittaisi jo nykyistä aiemmin ja saisi myös suoritettua loppuun. Myös ohjausta ja kannustamista kurssin loppuun saattamiseksi tarvitaan, koska se jäi suurella osalla ilmoittautuneista (noin 50 %) roikkumaan tai kesken. Olisi hyvä lisätä myös analytiikan mahdollisuuksia selvittää, missä kohdassa kurssi jäi kesken ja nopea palautteenantokysely opiskelijoille, miksi kurssi jäi kesken.

Koska digistartin aktiviteetit arvioitiin ainoastaan asteikolla hyväksytty (1) tai hylätty (0), tältä toteutukselta ei pystytty tulkitsemaan, miten opiskelijat tarkemmin verrattuna kustakin aktiviteetista suoriutuivat ja millainen oli saavutettu osaamistaso keskimäärin. Tämä seikka huomioitiin kurssin analyysivaiheessa puutteeksi, jonka avulla digistarttipakettia tulisi jatkokehittää. Sen lisäksi, että pisteytetty suoriutuminen kertoisi opettajalle tai ohjaajalle tarkemmin missä kohtaa opiskelijoilla mahdollisesti on ollut eniten haasteita suoriutua, se kertoisi myös opiskelijalle itselleen yksityiskohtaisemmin, miten hän kussakin osioissa on menestynyt ja auttaisi näin opiskelijaa reflektoimaan omaa oppimistaan ja saavutettua osaamistaan. Myöskään analytiikkatiedoista ei ollut löydettävissä visualisointia siitä, minkä aktiviteettien kohdalla tai missä kurssin vaiheessa opiskelu oli eniten jätetty kesken.

Ohjaileva analytiikka digistarttipaketissa

Kun kuvailevan ja ennustavan analytiikan perusteella voidaan arvioida opintojakson nykytilannetta ja tehdä parempia päätöksiä luotujen vaihtoehtoisten mallien pohjalta, on analytiikalla jo ohjaileva luonne. Miten sitten esimerkkinä käytetyn digistarttipaketin analytiikan avulla tehtyjä tulkintoja voisi käyttää ohjauksen apuna tai ennakkotietoina esimerkiksi opintojen ohjauksessa?

Oppimisanalytiikan avulla oli mahdollista saada kuvailevaa ja ennustavaa tietoa digistarttipaketista ja arvioida opintojakson nykytilannetta. Digistarttipaketti toteutettiin ensimmäistä kertaa pilottina vuoden 2020 kevätlukukaudella opintonsa aloittaneille. Kurssi nykytilassaan osoittautui suoritusten perusteella tarpeelliseksi ja kurssirakenne toimivaksi tarkoitukseensa eli perehdyttämään opiskelijoita keskeisiin digitaalisiin oppimisympäristöihin ja välineisiin Oamkissa. Opiskelijat olivat aktiivisuuden perusteella erityisen kiinnostuneita esimerkiksi students -tunnukseen liittyvistä asioista, VPN-yhteyden luomisesta ja tietoturvaa ja salasanojen kalastelua käsittelevistä osioista.

Vastaavasti kuin tämän artikkelin esimerkissä, mitä tahansa muutakin Moodle-kurssia ja opiskelijoiden suoriutumista kyseisellä opintojaksolla on mahdollista oppimisanalytiikan avulla seurata ja analysoida kuvailevasti ja ennakoivasti ainakin nykytilaa kuvaamaan ja jopa tekemään yksittäisiä päätöksiä opintojaksoon liittyen. Toisaalta oppimisanalytiikka vaatii vielä kehittymistä, kuten monipuolisempaa tiedonkeruuta, niistä yhteenvetoja ja selkeämpää tiedon visualisointia, jotta voitaisiin saada luotettavampaa, yksityiskohtaisempaa ja ohjailevampaa tietoa tukemaan päätöksiä opiskelijoiden oppimisen ohjaamiseen tai muihin koulutukseen liittyviin ratkaisuihin. Tämänhetkinen oppimisanalytiikka on silti jo hyvä alku ja suunta myös ohjaavalle analytiikalle, joka jatkossa voisi olla apuna esimerkiksi ohjausinterventioiden oikea-aikaisessa ajoittamisessa, ohjauksen eriyttämisessä tai erilaisten oppijoiden ohjauksessa.

Oppimisanalytiikkadatan vielä selkeämpi (ja helppotoimintoinen) visualisointi toimisi hyvin oppijoiden itsenäisen opiskelun ja osaamisen reflektoinnin tukena verkkokursseilla.  Oppimisen ohjaamiseen soveltuvan tiedon käyttäjäystävällinen visualisointi toimisi myös opettajien ja ohjaajien tukena. Se auttaisi työn ohessa ilman suurta datan etsimiseen käytettyä aikaa kehittämään pedagogisia ja ohjauksellisia ratkaisuja, sisältöjä, esitystapoja, tehtäviä, välineitä ja työmuotoja, kuten sosiaalinen interaktio ja oppijoiden motivaatiotekijöiden tunnistaminen.

Loppupohdintaa ja katsaus tulevaan

Oppimisanalytiikalla voidaan osaltaan vastata korkeakoulustrategian mukaisten hyvien käytäntöjen tunnistamiseen ja niiden laajempaan käyttöönottoon ja soveltamiseen. Oppimisanalytiikkaan avulla voidaan osoittaa tuloksia, joita voidaan hyödyntää opintojen vaatimien resurssien suuntaamisessa ja päätöksenteon tukena. Mikäli oppimisanalytiikkaa hyödynnetään yhteistyön tukena valtakunnallisesti ja kansainvälisesti, se antaa mahdollisuuden yhtenäiseen dataan, jota puolestaan voidaan visualisoida ja hyödyntää sidosryhmille ja yhteistyökumppaneille. Tällöin, kuten aina on kiinnitettävä huomiota siihen, että oppimisanalytiikan avulla tuotettu informaatio on selkeää ja indikaattorit valittu huolella.

Oppimisanalytiikkaa hyödynnettäessä ja kehittäessä tulee ymmärtää, että oppimisanalytiikkadata ei yksistään muodosta koskaan koko totuutta opiskelijan opiskelusta tai oppimisesta. Oppiminen on monimutkainen kognitiivinen, sosioemotionaalinen ja käyttäytymisen prosessi, jossa on monia yksilöön ja ympäristöön liittyviä ulottuvuuksia sulautuneena yhteen. Oppimisanalytiikkadata on tässä kokonaisuudessa yksi pieni osa oppimisprosessista näkyviin saatavaa tietoa. Riippuen analyysitavasta, analytiikkadatan hyödyntäminen johtaa aina tulokseen, joka on jollakin tavalla tulkittua joko ihmisen tai koneen avulla.  Koska oppimisprosessin näkyväksi tekeminen on kuitenkin tutkimuksellisesti vaikeaa, oppimisanalytiikkadata voi omalta osaltaan tukea oppimisprosessien havainnollistamista ja ymmärtämistä tärkeällä tavalla. Se millaisia ja kuinka paljon erilaisia indikaattoreita käytetään (esimerkiksi oppimisympäristön käyttöaste, eteneminen opinnoissa, opiskelun ajallinen jakautuminen, opiskeluvalintojen- ja vaihtojen käyttö, oppimistehtävien ratkaisutavat, oppijoiden motivaatio- ja tunnetilat) vaikuttavat oppimisanalytiikan suoman näkökulman laajuuteen. Tarvitaan siten myös harkintaa, joka auttaa kohdentamaan runsasta oppimisanalytiikkadatan keräämistä niihin toimintoihin, mistä on mielekästä ja hyödyllistä kerätä ja mitä dataa analysoida. Tarvitaan myös hyviä esimerkkejä pedagogisesti hyvistä oppimisanalytiikka käytännöistä, joita jalkauttaa käytäntöön. Lisäksi oppimisanalytiikan kehittämisessä ja hyödyntämisessä on aina huomioitava myös eettinen näkökulma. Se ei esimerkiksi saa olla opiskelijoille, opettajille tai ohjaajille sellaista, että se voidaan kokea kontrolli- tai tarkkailujärjestelmänä.

Kansainvälisestä oppimistutkimukset ovat osoittaneet, että viimeaikainen kehitys oppimisanalytiikka tiedon keräämisessä (data mining) sekä koneoppimisen hyödyntämisessä suovat jo valtavia mahdollisuuksia tukea oppimista, kuten antaa mukautuvaa ja yksilöllistettyä palautetta ja ohjausta oppijan itsesäätelyprosessien, kuten ajattelun, motivaation ja arvioinnin tueksi kehittyneiden oppimisteknologia sovellusten avulla [4]. Tällaisia ratkaisuja edustavat erilaiset oppimisen hypermediaoppimisympäristöt ja älykkäät tuutorisovellukset, jotka ohjaavat oppijaa käyttämään tehokkaita opiskelustrategioita ja antavat oppijalle välitöntä palautetta opiskelun edetessä. Osa hyödyntäen myös pelillisyyttä oppimisessa ja huomioiden erilaiset oppijat (esimerkiksi MetaTutor, nStudy, SimSelf, Betty’s Brain, MathSpring, AutoTutor, Affective AutoTutor, Gaze, Guru ja iStar). Erilaisia älykkäitä oppimisteknologioita ja oppimisympäristöjä käytetään enenevässä määrin oppimisen tukena ja tämänkaltaisten ratkaisujen ja niissä hyväksi havaittujen käytäntöjen suuntaan voidaan olettaa myös Moodlen kaltaisten korkeakoulujen oppimisalustojen kehittyvän.

 

Mäenpää Kati, lehtori, hoitotyö
Oulun ammattikorkeakoulu

 

Lähteet

[1] Azevedo, J., Torres, C., Lopes, A. & Babo, L. 2017. Learning analytics: A way to monitoring and improving students’ learning. In proceedings of the 9th International Conference on Computer supported education (CSEDU 2017) – Volume 1, 641–648. Doi: 10.5220/000639010648

[2] SoLAR. Society for Learning Analytics Research. Hakupäivä 14.5.2020. https://www.solaresearch.org/

[3] Auvinen, A-M. 2017. Oppimisnalytiikka tulee – oletko valmis. Suomen eOpppimiskeskus ry.

[4] Azevedo, R., Taub, M. & Mudrick, N.V. 2018. Understanding and reasoning about real-time cognitive, affective, and metacognitive processes to foster self-regulation with advanced learning technologies. In D. H. Schunk & J. A. Greene (eds.) Handbook of self-regulation of learning and performance. New York: Routledge, 254-270.

 

APOA, Oppimisanalytiikka – avain parempaan oppimiseen AMKeissa

 

Pysyvä osoite: http://urn.fi/urn:nbn:fi-fe2020061644564