Hoppa till huvudinnehåll

Algoritmer fattar allt mer beslut om dig men det är ofta oklart hur de har gått till väga – staten vill se över lagen

Algoritmer
Automatiskt beslutsfattande förekommer i olika delar av samhället. Algoritmer Bild: Yle algoritmer

Datasystem som fattar automatiska beslut har blivit allt vanligare, och används till exempel när det gäller beskattning och uppehållstillstånd. Alla algoritmer fungerar ändå inte så väl som de borde och öppenheten kan vara minimal.

Skatteförvaltningen har prövat automatisk beskattning och Migrationsverket har använt algoritmer när det gäller att ge uppehållstillstånd. Det här kan göra processerna snabbare och billigare.

I nuläget är det ändå oklart i vilka alla situationer man får använda automatiskt beslutsfattande och hur. Lagen har inte hunnit med i den tekniska utvecklingen.

Men Justitieministeriet och Finansministeriet håller som bäst på att titta närmare på saken efter ett initiativ av grundlagsutskottet.

Ministerierna kommer också att fundera på hur man kan stärka öppenheten.

Julia Velkova som är postdoktor vid Helsingfors universitet betonar att mer transparens behövs när det gäller algoritmer för att säkerställa att det fattas rätt beslut.

– Absolut. Både i privat sektor och i offentlig förvaltning så är det väldigt svårt att förstå hur algoritmer fattar sina beslut, säger hon.

Porträtt på Julia Velkova.
Forskaren Julia Velkova. Porträtt på Julia Velkova. Bild: Niina Into porträtt,forskare

Automatisk beskattning

Skatteförvaltningen har haft problem med att kunna redovisa hur myndighetens automatiska beskattningsbeslut egentligen har fattats.

När någon har begärt omprövning av ett automatiskt beskattningsbeslut har det kunnat vara svårt för anställda vid myndigheten att förstå hur algoritmen har kommit fram till sina slutsatser. Den biträdande justitieombudsmannen granskar som bäst saken.

– Det krävs lagstiftning som faktiskt kan kräva att de som utvecklar den automatiserade beslutsfattandekedjan ser till att det finns något sätt att spåra tillbaka hur beslut har fattats, säger Velkova på Helsingfors universitet.

Samtidigt är det så att EU:s dataskyddsförordning redan nu betonar att det är viktigt med transparens när det gäller algoritmer. De som berörs av algoritmers beslut ska få veta på ett förståeligt sätt hur beslutet har fattats.

Men det verkar enligt forskare inte alltid fungera i praktiken.

Det kan ofta vara svårt för en människa att överblicka hur ett system har resonerat eftersom det till exempel kan dra slutsatser på stora mängder data från många olika källor.

I vissa fall är det till och med tekniskt omöjligt att veta exakt hur processen har gått till.

– Algoritmerna är inte gjorda för att bli transparenta för människor, men lagstiftningen kräver det.

Ett par konkreta exempel

Låneföretag gynnade finlandssvenska stadsbor

Ett exempel på bristen på öppenhet kring algoritmer hittar vi hos låneföretaget Svea ekonomi. Det hamnade i hetluften i fjol på grund av sin automatiska lånegivning på nätet.

En yngre man på landsbygden klagade då till diskrimeringsombudsmannen över att han inte blev beviljad lån av företaget trots att han hade goda inkomster.

– Det som var intressant i det fallet var att han inte var en person som man skulle tycka att borde få avslag på lånet, utan allt pekade på att han skulle ha varit helt behörig för kredit, men algoritmen tyckte inte det, säger Velkova.

Diskrimineringsombudsmannens utredning visade att låneföretagets algoritm var diskriminerande och att den prioriterade svenskspråkiga, kvinnor och stadsbor över finskspråkiga, män och landsbygdsbor.

Rekryteringsföretag analyserade privat e-post

Ett litet finländskt rekryteringsföretag erbjöd tidigare i år en tjänst som automatiskt skulle analysera kandidaters e-postkonton och sociala medie-konton, för att dra slutsatser om hur lämplig en viss kandidat var för ett visst jobb.

Systemet tittade bland annat på hur aktiv personen var på nätet, och hur snabbt personen svarade på mejl.

Kandidaten behövde ange sina användarnamn och lösenord för att analysen skulle vara möjlig. Tanken var att göra rekryteringsprocessen snabbare och mer pålitlig.

Julia Velkova, postdoktor vid Helsingfors universitet, kommenterar att det här var mycket problematiskt och oetiskt.

Rekryteringsföretaget upphörde ändå nyligen med sin verksamhet efter att forskare vid universitetet påpekade det här och dataombudsmannen (DO) började granska saken. Det var en tysk förening som anmälde fallet till DO i Finland.

– När man upptäcker automatiserat beslutsfattande som man tycker att inte är etiskt så är det viktigt att inse att man faktiskt kan påverka utvecklingen, säger Velkova.

Personer kan identifieras när data kombineras

Ett ytterligare exempel är Esbo stad som har prövat att använda en algoritm för att hitta barn som kunde behöva få extra hjälp av socialtjänsten.

– Då pekade algoritmen på 280 faktorer att kolla och vi vet inte hur den kom på just de här faktorerna.

Anna-Mari Rusanen som är specialsakkunnig vid Finansministeriet kommenterar att det är viktigt att värna om folks integritet i hur man använder algoritmer.

– Esbo-fallet aktualiserar att det är viktigt att tänka på hur det i framtiden ska vara tillåtet att profilera folk. Lagstiftningen borde bli tydligare på den här punkten, säger hon.

Porträtt på Anna-Mari Rusanen.
Anna-Mari Rusanen är också universitetslektor i kognitionsvetenskap vid Helsingfors universitet. För tillfället hjälper hon Finansministeriet att förstå sig på algoritmer. Porträtt på Anna-Mari Rusanen. Bild: Yle/Niklas Fagerström porträtt,finansministeriet

Rusanen säger att det i vissa fall kan vara okej att kombinera data för att dra nya insikter, även då det kan identifiera enskilda individer, och i andra fall är det inte det.

Hon betonar att särskilt genetisk information har stor potential till att kunna missbrukas – redan nu, men särskilt i framtiden. Via genetisk kod kan man till exempel få reda på hur någons ansikte troligen ser ut.

Välfärdsbeslut kan avgöras av stora datamaterial

Velkova säger för sin del att nordiska länder med välfärdsstaten som bas har varit exceptionella i att bygga byråkratier baserade på mycket information om sina medborgare.

Hon efterlyser en öppen diskussion om att de här olika registren nu kan samköras, till exempel när myndigheter fattar beslut om välfärd.

– Tekniken möjliggör alltså helt nya sätt att spåra och förutsäga beteenden och attityder baserade på stora datamängder som samlas in och samköras mellan olika sektorer, påpekar hon.

Staten funderar också på att utöka övervakningen av automatiskt beslutsfattande för att säkerställa att allt går rätt till. Velkova på Helsingfors universitet tycker att det är en bra idé.

– På en allmän nivå så måste det byggas ut mekanismer som tillåter en tillsyn över algoritmer, att det ska implementeras. Om man tänker att de blir en slags medarbetare till människor.

– Algoritmer tillåts fatta beslut på samma sätt som människor gör, och liksom människor kan göra fel så kan också algoritmer göra det, och de borde därför granskas. Det borde vara helt naturligt, fortsätter hon.

Om vissa algoritmer till och med borde bli offentliga, så att journalister kunde syna dem med hänvisning till offentlighetslagen, är något som Justitieministeriet också kommer att ta ställning i sin pågående utredning av automatiskt beslutsfattande.

Behövs det algoritmer överallt?

Forskaren Julia Velkova säger att vi i samhället utgår från att vi måste automatisera mer för att bli mer effektiva men att man ofta inte ställer sig frågan om det faktiskt är ändamålsenligt i alla fall.

Till exempel kan det vara svårt att ta ställning till särskilda omständigheter då ett beslut fattas automatiskt.

Hon säger att det kanske finns områden som det är bättre att bara lämna som de är, och som skulle fungera sämre om de blev automatiserade.

– Vi borde inte vara så helt blinda och teknikoptimistiska att vi anammar teknik bara för att den finns, utan vi måste fråga vad är det den gör för oss.

Läs också

Nyligen publicerat - Inrikes