Digitaalisessa liiketoiminnassa kaikista ihmisten toimenpiteistä jää digitaalisia jälkiä, joita mittaamalla voidaan tehdä tietoon perustuvia markkinoinnin tai tuotteiden ja palveluiden kehittämisratkaisuja. Datan ja sen analysoinnin avulla voidaan tehostaa markkinoinnin eri toimenpiteitä, kehittää lisääntyneen asiakasymmärryksen avulla parempia ja yritykselle kannattavampia digitaalisia tuotteita ja palveluita. Oleellinen osa tätä työtä on jatkuvan kehittämisen ja kokeilukulttuurin tuominen yrityksiin. Tähän liittyy erilaisten uusien ideoiden aktiivinen testaaminen aidoilla asiakkailla nopeasti ja tehokkaasti.

Kaikkea voidaan ja yrityksen kannalta tärkeitä asioita kannattaa testata ja siten tehostaa eri digitaalisia ratkaisuja. Näin voidaan löytää juuri oikeita asiakkaita tuovat markkinointikanavat, parhaat luovat ratkaisut mainontaan ja muuhun digitaaliseen viestintään sekä tuotteisiin. Testaamisen ja analytiikan avulla on mahdollista optimoida tuotekehitykseen ja markkinointiin tehtäviä investointeja ja myyntiä. Käyttämällä systemaattisesti testaamista kehittämisen työkaluna, yrityksen ei tarvitse enää arvailla kannattaako tuoteparannukseen investoida tai millainen mainoskampanja tai sisältömarkkinointi purisi asiakkaisiin parhaiten. Kaikki tämä voidaan selvittää A/B-testaamisella. Tämän vuoksi yritykset ovat siirtyneet viime vuosina voimakkaasti digitaaliseen markkinointiin ja alkaneet hyödyntää analytiikkaa päätöksenteossaan.

A/B-testaus tarkoittaa kahden eri vaihtoehdon vertaamista toisiinsa. Tällöin testin kohderyhmälle esimerkiksi verkkosivukävijöille tai mainoksen kohdesegmentille näytetään erilaisia versioita mainoksesta, verkkosivustosta tai digitaalisesta palvelusta ja ihmisten mitattavien reaktioiden perusteella päätetään, mikä kuva, teksti, sivuston elementti tai tuotteen ominaisuus valitaan jatkoon. Kahdesta vaihtoehdosta yrityksen tavoitteiden kannalta parempi voittaa ja sen kehittämistä jatketaan usein edelleen testaamalla.  Käytännössä testit tehdään käyttämällä työkaluja, kuten esimerkiksi Googlen Optimizea tai Optimizelya.

A/B-testaaminen käytännössä

A/B-testaaminen kannattaa aloittaa määrittämällä testille selkeä tavoite ja hypoteesi. Testin tavoitteena voi olla esimerkiksi parantaa Amerikan markkinoiden mainonnan konversiota. Hypoteesi voi olla esimerkiksi sellainen, että Yhdysvaltoihin suunnatussa mainoksessa kannattaa kertoa tuotteiden olevan skandinaavisia suomalaisten sijasta edellisen paremman tunnettuuden vuoksi. Testattavan muutoksen on oltava selvästi alkuperäisestä erottuva ja helposti havaittavissa, jotta testauksen pohjalta voidaan tehdä päätöksiä.  A/B-testaus liian pienellä muutoksella voi johtaa satunnaisuuden vuoksi virheellisiin tulkintoihin, ellei tulosten tilastollista merkittävyyttä lasketa oikein ja huomioida. Kun selkeästi alkutilanteesta erottuva muutos on asetettu testattavaksi, siirrytään toteutusvaiheeseen.

Testataan vain yhtä muutosta kerrallaan luomalla kaksi versiota testattavasta asiasta. Versio A voi olla nykytila, esimerkiksi mainos, jossa tuotteiden kerrotaan olevan suomalaisia ja B se, jota muokataan paremmaksi asetetun hypoteesin mukaisesti eli mainosversio, jossa tuotteiden kerrotaan olevan skandinaavisia. Tärkeää on, että kumpikin mainos on tutkittavaa muutosta lukuun ottamatta täysin samanlainen. Tilastotiede ja osa testaustyökaluista, kuten vaikkapa Firebase, antaa mahdollisuuden testata myös useampaa kuin kahta versiota samanaikaisesti. Tällöin esimerkiksi kolmannessa mainoksessa tuotteet voivat olla pohjoismaisia. A/B-testauksessa pitäydytään yleensä kuitenkin vain kahteen eri vaihtoehtoon yksinkertaisuuden vuoksi. Varsinkin aloittelevaan testaajan kannattaa tehdä useamman muutosversion testaaminen aina edellistä voittanutta versiota vastaan, kunnes testitulos ei versioita vaihtamalla enää parane.

Mainoksen sisällön lisäksi voidaan A/B-testata muitakin yrityksen markkinoinnin tehokkuuteen vaikuttavia tekijöitä, kuten esimerkiksi käytettävää kanavaa, viestien lähetysaikaa tai kohderyhmää. Tärkeintä kuitenkin on, että testaan vain yhtä muuttujaa kerrallaan ja pidetään muut tekijät samana molemmissa versioissa. Tämä takaa sen, että yritys tunnistaa yksiselitteisesti sen muutetun tekijän, johon kohderyhmä reagoi.

Seuraavaksi määritetään kohdeyleisöstä kaksi testiryhmää. Testin tuloksien tilastollisen merkittävyyden kannalta on ensiarvoisen tärkeää, että ryhmät ovat riittävän suuria. Mitä suurempi kohderyhmä, sitä pienemmät erot pystytään havainnoimaan luotettavasti. Ajatellaan esimerkiksi tilannetta, jossa tutkitaan kaikkien suomalaisten reaktiota mainokseen ja testattaessa kumpi mainos on parempi, annetaan kummallekin mainosversiolle esimerkiksi 1500 näyttöä. Tällöin voidaan vielä noin kahden prosenttiyksikön ero mainosten suosion välillä havaita luotettavasti, jos noin joka kymmenes koehenkilö klikkaa mainosta.   Vastaavasti yhden prosenttiyksikön eron havaitseminen luotettavasti vaatii jo noin 5000 näyttöä molemmille versioille. Testin tuloksien perusteella voidaan siis yleensä tapauskohtaisesti laskea, millä todennäköisyydellä versioiden välillä havaittu ero on todellinen, eikä johdu satunnaisista vaihteluista pienen otoskoon takia. Testattavan kohderyhmän tulee siis olla tasainen, satunnainen ja ennen kaikkea oikean kokoinen ryhmä.

Osalle testin kohderyhmästä näytetään versio A ja osalle versio B. Parasta on, että kohderyhmä jaetaan kahteen joukkoon satunnaisesti ja niin, että sama kohdehenkilö voi kuulua vain toiseen testiryhmään. Testiryhmiin jakaminen voi olla esimerkiksi puolet ja puolet, mutta myös esimerkiksi 20/80 jako on mahdollinen. Oleellista on, että kumpikin testiryhmä on tilastollisen luotettavan tulkinnan kannalta riittävän suuri.

Seuraavaksi mitataan, kumpi testattava versio toimii paremmin yrityksen tavoitteiden näkökulmasta. Tuloksia pitää aina verrata asetettuihin tavoitteisiin ja aiemmin saatuihin tuloksiin. Jos tavoitteena on esimerkiksi lisätä mainoksen avulla laadukkaan trafiikin määrää verkkokauppaan, seurataan kumpi versio (suomalaiset tuotteet vs skandinaaviset tuotteet) sai aikaan enemmän liikennettä, joka ei heti poistu sivustolta. Testin tulosten luotettavuutta on tärkeää arvioida koko testin ajan ja tarvittaessa jatkaa testin kestoa tai kasvattaa testiryhmien kokoa, mikäli testi ei ole tuottanut tilastollisesti merkittäviä eroja.

Jatketaan testaamista, mikäli uusia ideoita kehittämiseen on. Seuraavaksi voidaan kokeilla esimerkiksi uudella tekstiversiolla voittanutta vastaan tai kokeilemalla voiko graafista linjaa muuttamalla parantaa konversiota edelleen. Jatkuvan A/B-testauksen ideana on, että häviäjä aina poistetaan ja voittaneelle versiolle tehdään uusi kilpailija. Näiden versioiden välillä tehdään uusi vertailu, kunnes tulos ei enää parane. Näin testaamalla saadaan selville yrityksen tavoitteiden kannalta paras tutkittavien ominaisuuksien kombinaatio. Jatkuvalla mittaamisella ja kehittämisellä yrityksen markkinointia ja myyntiä sekä tuloksia voidaan optimoida.

Mahdolliset A/B testauksen haasteet ja kuinka ne vältetään

Pohjimmillaan A/B-testaus on tilastotiedettä. Ei riitä, että yrityksessä osataan suunnitella ja toteuttaa testi teknisesti oikein, vaan tuloksia on myös osattava tulkita oikein. Joskus tähän liittyy ongelmia, joita voi välttää huomioimalla seuraavat mahdolliset haasteet.

Liian pienet otoskoot. Jos testiryhmissä on liian vähän henkilöitä, tiettyyn ryhmään voi sattumalta valikoitua enemmän tietyllä tavalla reagoivia asiakkaita. Jos esimerkiksi mitataan, saako kissan vai koiran kuva enemmän huomiota ja klikkejä mainoksessa, voi testitulos vääristyä, koska liian pienissä testiryhmissä on vain sattumalta kissan ystäviä enemmän.

Testiryhmien erilaisuus. Jos testi tehdään tunnetun asiakasjoukon keskuudessa, on tärkeää vertailla testiryhmiä keskenään myös aiemman havaintoaineiston valossa, mikäli sellaista on saatavilla. Jos esimerkiksi tutkitaan ostokäyttäytymistä, tulee testiryhmien olla aiemman ostokäyttäytymisen osalta tilastollisesti jokseenkin identtisiä. Jos näin ei ole, testiryhmiä tulee muokata, kunnes identtisyys saavutetaan. Uusien asiakkaiden kohdalla tämä ei ole mahdollista, joten testaaja joutuu luottamaan siihen, että satunnaisesti valitut testiryhmät ovat identtisiä.

Testien tekeminen eri aikaan tai eri ympäristöissä. Sattuman ja tilannetekijöiden vaikutuksen minimoimiseksi testin tulokseen, on vaihtoehto A aina testattava samaan aikaan ja samassa ympäristössä kuin vaihtoehto B. Jos A/B-testaus tehdään eri aikaan tai eri kanavissa, voi toisen vaihtoehdon tulokseen vaikuttaa jokin satunnaistekijä, kuten kohderyhmää kiinnostava TV-sisältö, sää tai eri kanavien erilaiset käyttäjäkunnat. Riski testituloksen vääristymiseen kasvaa, mikäli testiolosuhteita eri vaihtoehtojen välillä ei pystytä vakioimaan mahdollisimman paljon.

Itse testi voi myös vaikuttaa tulokseen, jos ihmiset tiedostavat olevansa mukana testissä. Tällöin he saattavat käyttäytyä normaalista poikkeavalla tavalla – esimerkiksi, jos he uskovat, että heidän on käyttäydyttävä sosiaalisista syistä tietyllä tavalla. Tästä esimerkkinä voisi olla testi, jossa tutkitaan kumpi myyntiargumentti mainoksessa, toimii tehokkaammin: A edullinen hinta vai B ympäristöystävällisyys. Jos ihmiset tietävät olevansa testissä, monet voivat valita vaihtoehdon B, koska he eivät halua testaajien ajattelevan, että he eivät välitä ympäristöasioista. Jos he todellisuudessa kuitenkin valitsisivat edullisen hinnan, voi testin tulos vääristyä. Testattaessa verkkopalvelun uutta ominaisuutta voi huonosti optimoitu testi esimerkiksi muuttaa verkkopalvelun normaalia nopeutta. Tämä voi vaikuttaa tuloksiin. Näiden syiden vuoksi on vältettävä tilannetta, jossa ihmiset tietävät olevansa testiryhmässä ja testiympäristö pitäisi aina saada vakioitua teknisesti mahdollisimman normaalia vastaavaksi.

Epäselvä syy-seuraussuhde saattaa syntyä, edellisten tekijöiden lisäksi myös, jos testattava muutos on liian pieni, jolloin osa testiryhmästä ei ehkä huomaa muutosta. Toisaalta myös uutuuden viehätys tai ihmisten uteliaisuus voi vaikuttaa tulokseen väliaikaisesti. Vanha totuus on, että jos verkkosivulle lisätään uusi nappi, osa ihmisistä painaa sitä vain uteliaisuudestaan. Tämä ei kuitenkaan tarkoita, että he toistaisivat käyttäytymisensä ja että vaikutus olisi pysyvä. Nämä haasteet voi välttää testaamalla vain selviä muutoksia alkuperäiseen verrattuna ja jatkamalla testausta riittävän kauan, kunnes koehenkilöt tottuvat muutokseen. Muutokseen tottuminen riippuu siitä, kuinka usein kohderyhmä käyttää palvelua. Yleensä viikon testijaksoa pidetään riittävänä.

Viimeinen haaste on erojen näkeminen siellä missä niitä ei ole eli halu nähdä hypoteesin toteutuvan. Testaajalla voi olla esimerkiksi yrityksen sisäisistä syistä houkutus tulkita A ja B vaihtoehtojen eroja merkittävinä, vaikka ne eivät sitä tilastotieteellisesti olisi. Osaava ammattilainen osaa kuitenkin välttää näitä vaaroja ja esittää totena vain selvästi tilastollisesti luotettavat tulokset. On myös syytä huomata, että esimerkiksi konversiota mittaavan kyllä/ei -tyyppisen testin tuloksien tulkitseminen on helppoa ja suoraviivaista, kun taas esimerkiksi asiakkaan käyttämän rahan tai ajan määrän testaaminen on tilastollisesti huomattavasti haasteellisempi tehtävä ja luotettavien tuloksien saaminen vaikeampaa.

Suuri virhe on jättää yritykselle tärkeät asiat testaamatta esimerkiksi osaamattomuuden tai ajan puutteen vuoksi. Testaamisen menetelmät voi oppia, hyviä, ilmaisiakin työkaluja on tarjolla ja suunnitelmallisuus antaa tarvittavan ajan. Jatkuvan testaamisen ja oppimisen merkitys korostuu nykyaikaisessa digitaalisessa markkinoinnissa ja digipalveluiden kehittämisessä. A/B-testaus on erinomainen työkalu yrityksen markkinoinnin ja digitaalisten tuotteiden kehittämiseen, koska kaikesta digitaalisesta markkinoinnista voidaan saada selkeitä lukuja siitä, mikä toimii ja mikä ei. Testaus ja jatkuvan kehittämisen kulttuuri kannattaa ottaa heti käyttöön yrityksessä, ja varmistaa näin kilpailukyky jatkuvasti kehittyvillä markkinoilla.

Mika Määttä, lehtori, Digitaalinen liiketoiminta

Ilpo Virtanen, yliopettaja, Data-analytiikka