Testiautomaation mittareista

Miten mitata jotain, minkä ei pitäisi näkyä?

Testiautomaation vaikutusta voi olla vaikea mitata. Testiautomaation merkitys organisaatiolle näkyy usein epäsuorasti - ohjelmiston laadun parantumisena, jota on hankala kvantifioida numeroiksi. Mitä bugien määrän kasvu kertoo ohjelmiston laadusta? Se voi kertoa siitä, että ohjelmiston kehittäjät ovat alkaneet huolimattomiksi ja siksi bugeja valuu enemmän testausvaiheeseen. Se voi kuitenkin kertoa myös siitä, että bugeja löydetään entistä tehokkaammin, aikaisemmin niitä ei vain havaittu. Yksittäisen mittarin liiallinen tuijottaminen voi johtaa harhaan.

Testiautomaatio on luonteeltaan ennaltaehkäisevää. Sen on tarkoitus estää bugeja pääsemästä tuotantoon, ennen kuin niitä ehditään havaita. Parhaassa tapauksessa testiautomaatio on loppukäyttäjälle näkymätöntä. Miten siis arvioida jotain, minkä ei pitäisi edes näkyä?

Testiautomaation KPI:t

Robot Framework User Groupin meetupissa 28.6.2018 (https://www.meetup.com/Robot-Framework-Helsinki/events/251475886/) Tommi Oinonen piti mielenkiintoisen esitelmän aiheesta KPI ja testiautomaation mittarit. Mitkä ovat testiautomaation KPI:t, eli Key Performance Indicatorit? Mitkä muuttajat parhaiten mittaavat testiautomaation suoritusta?

Tommi esitti listan mielenkiintoisia kysymyksiä, joilla arvioida testiautomaation erilaisia osa-alueita. Hän jakoi kysymykset neljään kategoriaan: luottamuksen varmistamiseen, bugien varhaiseen löytämiseen, testien feedbackkiin ja ylläpidettävyyteen. Näiden kysymysten avulla saadaan luotua parempi kuva siitä, mitkä kaikki tekijät vaikuttavat testiautomaatioprosessiin ja mitä pitäisi ottaa huomioon testiautomaatiota kehitettäessä.

Luottamuksen varmistavilla kysymyksillä, kuten kuinka laaja on testikattavuus ja kuinka luotettavia testit ja testiympäristöt ovat, luodaan uskoa kehitettävän ohjelmiston toimintaan. Löydettyjen bugien määrää ja laatua voidaan verrata suhteessa aikaan ja siihen, kuinka moni bugi pääsee läpi testausvaiheesta seuraavaan. Testien feedbackia voidaan arvioida miettimällä, kuinka kauan kestää testin suorituksesta tuloksien saamiseen ja kuinka nopeasti hajonneet testit korjataan. Testien ylläpidettävyys on osa-alue, johon vaikuttavat testien lukumäärä, käytettyjen testiframeworkkien monimutkaisuus ja se, kuinka vaikeaa testitulosten analysointi on. Monimutkaisen järjestelmän ja sen monimutkaisten testien ylläpito voi vaatia kokopäiväisen testiautomaatiokehittäjän työpanoksen.

Monen muuttujan summa

Kaikki edellä mainitut kategoriat sisältävät tärkeitä kysymyksiä. Testien kattavuus, luotettavuus, lukumäärä ja ylläpidettävyys ovat tärkeitä mittareita. Testien pitää olla kattavia ja luotettavia, testata oikeita asioita oikealla tavalla ja niitä pitää olla tarpeeksi. Testiautomaatiolle voidaan löytää lukuisia eri mittareita, mutta vain yksi asia on varmaa: hyvälaatuinen ohjelmisto on monen mittarin yhteistulos.

Lähteet:

- Tommi Oinonen, "Do you have KPI-phobia?", KPIs and RobotFramework + Robot Framework RPA, Robot Framework Helsinki Meetup, 28.06.2018, Espoo Finland