Elementti-komponentteja ja reflektioseminaareja – Kokemuksia ulkoisen auditoinnin arviointiprosessista
Sain huhtikuussa 2016 yhteydenoton Kansallisesta koulutuksen arviointineuvostosta (Karvi). Diakonia-ammattikorkeakoulun auditoinnin koordinoinnista vastaava projektipäällikkö Kirsi Mustonen pyysi minua yhdeksi jäseneksi auditoinnin toteuttavaan 5-henkiseen asiantuntijaryhmään. Hetken empimisen ja esimieheni kanssa käymäni keskustelun jälkeen suostuin tehtävään. Vaikka auditointiprosessi osoittautui ennakko-odotuksia työläämmäksi, päätöstä ei tarvinnut katua.
Diakin auditoinnista vastanneen asiantuntijaryhmän muodosti lisäkseni:
- Susanna Niinistö-Sivuranta (Laurea-ammattikorkeakoulu, 1.1.2017 alkaen Helsingin yliopisto), auditointiryhmän pj.
- Pasi Ahoniemi (Kajaanin ammattikorkeakoulu)
- Virpi Mattila (Espoon kaupunki) sekä
- Jukka E. Mäkinen (Tampereen yliopisto).
Auditoinnin projektipäällikköinä toimivat Kirsi Mustonen ja Karl Holm Karvista. Molemmat heistä ovat projektipäälliköinä myös tulevassa OAMK:n ulkoisessa auditoinnissa.
Arvioijan näkökulmasta ulkoiseen auditointiin liittyy monia piirteitä, jotka ovat tuttuja OAMK:n toteuttamista sisäisistä auditoinneista. Auditoinnin vaiheet vain toteutetaan hieman perusteellisemmin: auditointiaineisto on laajempi, auditointihaastatteluja on enemmän ja raportointi on tarkempaa ja selkeän kriteeriperusteista. Eri auditointiryhmille järjestetty auditoinnin periaatteisiin perehdyttävä kaksipäiväinen koulutus oli englanninkielinen, sillä monissa korkeakouluissa niiden laatujärjestelmää arvioivat kansainväliset auditointiryhmät.
Otsikossa mainitut elementti-komponentit ja reflektioseminaarit olivat keskeisessä osassa asiantuntijaryhmämme työskentelykulttuuria. Auditointiprosessiin liittyvän luottamuksellisuuden ja salassapitovelvoitteen takia näitä ryhmän työskentelyn piirteitä ei ole kuitenkaan tässä blogikuvauksessa mahdollista valottaa tarkemmin. Sinänsä auditoinnin kohteet ja arviointikriteerit ovat julkisia ja ne on esitelty Korkeakoulujen laatujärjestelmien auditointikäsikirjassa vuosiksi 2015—2018.
Auditointiryhmän työskentelyn roolitus oli varsin selkeä. Jokaisella auditointiryhmän jäsenellä oli nimetty auditoinnin arviointikohteista omat vastuualueensa, joihin liittyvästä valmistelutyöstä ja raportoinnista hän vastasi. Jokaisella ryhmän jäsenellä oli myös omat back up –vastuunsa pariin muuhun arviointikohteeseen liittyen, eli työskentely oli tässä mielessä parityöskentelyä.
Diakin auditoinnin asiantuntijaryhmä työssään; Susanna Niinistö-Sivuranta, Pasi Ahoniemi, Virpi Mattila, Karvin projektipäällikkö Kirsi Mustonen, Kari Kiviniemi ja Jukka E. Mäkinen. Kuva: Karl Holm
Auditointiryhmä aloitti työskentelynsä laajaan auditointiaineistoon perehtymällä. Diakin itsearviointiraportin ja muiden etukäteen toimitettujen dokumenttien ohella auditointiryhmällä oli pääsy muun muassa sekä henkilökunnan ja opiskelijoiden intraan ja samalla Diakin laatutyötä koskeviin erilaisiin dokumentteihin, monien eri työryhmien muistioihin ja muihin Diakin sisäisiin, laatutyötä koskeviin asiakirjoihin. Auditointiin liittyvää raportointia aloitettiin jo auditointiaineistoon perehtymisen yhteydessä kirjaamalla ensimmäiset alustavat havainnot Karvin SharePoint-ympäristössä olleeseen raporttipohjaan.
Arviointivierailua valmisteltiin vastuuhenkilöiden etukäteen laatimien dokumenttien (haastattelukysymysten luonnokset, alustavat havainnot auditointikohteittain) pohjalta kolmessa auditointiryhmän kokouksessa. Kokousten yhteydessä sovittiin myös arvioitavasta kolmannesta tutkinto-ohjelmasta. Kaksi muuta tutkinto-ohjelmaa Diak oli voinut päättää itse.
Marraskuun lopussa toteutettu arviointiviikko oli arvioijien näkökulmasta varsin tiivis. Varsinainen vierailu tapahtui kolmen päivän aikana tiistaina, keskiviikkona ja torstaina. Maanantaina auditointiryhmä kokoontui hahmottamaan viimeisiä säätöjään vierailuaan varten, perjantaina jäsennettiin keskeisiä vierailuun liittyviä havaintoja raportoinnin tueksi. Varsinaisina vierailupäivinä lähdimme hotellilta Diakille kahdeksan maissa ja palasimme hotellille myöhään illalla. Kolmen päivän aikana haastattelimme kaikkiaan 18:ta eri ryhmää. Jokaisen päivän päätteeksi keskustelimme auditointiryhmän keskeisistä havainnoista auditointikohteittain.
Työskentelyn raportointivaihetta rytmittivät etukäteen lukkoon lyödyt deadline–ajankohdat sekä kolme eri raportointikokousta. Vaikka jokaisella ryhmän jäsenellä oli raportointivaiheessa omat vastuualueensa, ryhmän työskentely oli kokoontumisten myötä varsin yhteisöllistä. Tehdyistä johtopäätöksistä ja myös niihin liittyvistä erimielisyyksistä keskusteltiin hyvässä hengessä kokouksissa ja reflektioseminaareissa. Kun ulkoisessa auditoinnissa jokaiselle arviointikohteelle tulee kriteereiden perusteelle määritellä auditointikohdetta kuvaava laadunhallinnan kehitysvaihe (puuttuva, alkava, kehittyvä ja edistynyt), keskusteltiin auditointiryhmässämme näistä kehitysvaiheen määrittelyyn liittyvistä päätöksistä siten yhteisesti. Auditointikohteisiin ja niiden arviointiin liittyvien keskeisten ”elementti-komponenttien” tunnistaminen pyrittiin tekemään huolella, mutta ei kuitenkaan liian ryppyotsaisesti.
Viimeisessä kokouksessaan auditointiryhmä teki keskustelujen jälkeen oman esityksensä auditoinnin läpäisystä. Varsinaisen päätöksen Diakonia-ammattikorkeakoulun laatujärjestelmän auditoinnista teki Korkeakoulujen arviointijaosto. Karvin julkaisema Diakonia-ammattikorkeakoulun auditointi 2017 -raportti jännittävien loppuratkaisujen kera on ilmestynyt toukokuussa 2017.
Kari Kiviniemi
Yliopettaja
Ammatillinen opettajakoulutus
