Turvallisen kehittämisen kannalta tärkeimmät työvaiheet ovat henkilötietojen hyödyntämiseen liittyvien ennustemallien tasapuolisuuden tai reiluuden varmistaminen. Reiluusmetriikat pyrkivät tunnistamaan, toteuttaako malli systemaattisesti erilaista kohtelua muodostaessaan ennusteita tai luokitteluita. Reiluusmetriikoita on kolmea kategoriaa:
- Yksilöreiluus: kohteleeko malli samalla tavalla henkilökohtaisilta ominaisuuksiltaan erilaisia, mutta muilta ominaisuuksiltaan samanlaisia yksilöitä
- Ryhmäreiluus: ryhmien välisten erojen tutkiminen tilastollisin testein
- Syrjintäperusteiden vaikutusta ennusteisiin arvioiviin menetelmiin
Reiluusmetriikoita on esitetty sekä regressio, luokittelu että klusterointimenetelmille. Turvallisen kehittämisen kannalta oleellista on tiedostaa, mitkä reiluusmetriikat soveltuvat erilaisiin sovelluksiin, ja tarpeen vaatiessa, ratkaisun toteutuksessa voidaan toteuttaa myös tilanteeseen paremmin sopivampia metriikoita (1).
Taulukko 17: Reiluusmetriikoita mallin hyvyyden mittaamiseen.
Metriikka | Kuvaus |
|---|---|
Tilastollinen pariteetti | Positiivisen luokittelun todennäköisyys on yhtä suuri eri kohderyhmissä. |
Ehdollinen tilastollinen pariteetti | Positiivisen luokittelun todennäköisyys on yhtä suuri kahdessa eri syrjintäperusteiden avulla määritetyssä ryhmässä, jos ne saavat samoja muuttujan arvoja. Laina myönnetään samalla todennäköisyydellä sekä naimissa olevalle, että naimattomalle, jos heidän tulonsa ovat samat. |
Virhetasojen yhtäläisyys | Väärän positiivisen ja väärän negatiivisen ennusteen todennäköisyys tulee olla sama etnisestä ryhmästä riippumatta. |
Yksilöreiluus | Kaikkien kahden yksilön parien ennusteiden ero riippuu ainoastaan hyväksyttävissä olevista eroista yksilöiden välillä. Ero etnisessä taustassa ei saa vaikuttaa ennusteissa esiintyviin eroihin. |
Kalibraatio | Tavoitemuuttujan todellisten arvojen tulee olla yhtä suuria etnisestä ryhmästä riippumatta. |