Forskare lyckades hitta politikers hatinlägg med enkelt dataprogram

Går det att låta datorn upptäcka hatretorik på nätet? Finländska forskare har nyligen försökt sig på det, på sociala medier. Dessutom robotmodereras inlägg på allt fler webbplatser. Också Svenska Yle har testat automatisk moderering.

En del politiker i västvärlden har valt att sprida hatretorik - till exempel mot invandrare och minoriteter. Det här ledde till att man i Finland ville titta närmare på hur man snabbare kunde upptäcka hatinlägg på sociala medier.

En sådan granskning gjordes efter en överenskommelse mellan riksdagspartierna, Diskrimineringsombudsmannens byrå, Förbundet för mänskliga rättigheter och Delegationen för likabehandlingsärenden.

Använde enkel prototyp

Forskarna lät ett dataprogram upptäcka om kandidaterna i kommunalvalet i år hade skrivit hatiska inlägg på Facebook eller Twitter under veckorna före valet.

Man utgick ifrån Europarådets och det etiska journalistiknätverket EJN:s definition på vad som är hatretorik.

En av forskarna, Matti Nelimarkka vid Aalto-universitetet, berättar för Yle Nyheter att programmet var en enkel prototyp.

– Om jag säger direkt som det är så tar vår algoritm alltså i stora drag ett visst inlägg och kollar om där förekommer vissa ord, säger han.

Men det här är inte särskilt exakt. Bara för att vissa tvivelaktiga ord förekommer i ett inlägg så behöver det inte betyda att det är en hatiskt text. Sammanhanget har också stor betydelse.

– Ordet ändrar inte en menings betydelse radikalt - om det till exempel står före ordet rasism så kan det hända att en mening som annars skulle vara hatisk inte längre är det, för att ta ett enkelt exempel, säger Nelimarkka.

Bara få meddelanden ansågs vara hatiska

Algoritmen flaggade mer än tusen meddelanden som potentiellt hatiska. De skickades sedan till Diskrimineringsombudsmannens byrå, där en tjänsteman satsade flera arbetsdagar på att läsa dem.

I slutänden var det ändå bara 10–20 meddelanden som upplevdes vara problematiska.

Det handlade om inlägg skrivna av tre sannfinländska kommunalvalskandidater och ett inlägg skrivet av en kandidat från Kristdemokraterna.

En kandidat polisanmäld

Diskrimineringsombudsmannen har meddelat partierna om hatinläggen. Sannfinländarna svarade inte, vilket myndigheten kritiserar, medan Kristdemokraterna meddelade att de redan hade reagerat på det inlägg som upplevdes som hatiskt.

Myndigheten gjorde också en anmälan till polisen om en kandidat från Sannfinländarna, för hets mot folkgrupp. De texterna handlade om invandring.

På Diskrimineringsombudsmannens byrå säger man att automatisk textanalys gärna borde användas för att upptäcka hatretorik också i fortsättningen.

– Om man på det här sättet i valkampanjer och övrigt kan komma åt och åtgärda på ett effektivt sätt lagvidrig hets mot folkgrupp och andra trakasserier så varför inte, kommenterar Robin Harms, som jobbar som specialsakkunnig.

Han tillägger ändå att algoritmen förhoppningsvis kunde vara mer effektiv nästa gång så att det blir färre meddelanden att kontrollera manuellt.

Dessutom är det viktigt att nämna att sociala medier såsom Facebook och Twitter också själva använder viss robotmoderering för att stoppa eller flagga vissa meddelanden.

– Det finns mycket lite offentlig information om hur den modereringen sker och vilka felmarginaler den till exempel har, påpekar forskaren Nelimarkka.

Gäller inte endast sociala medier

Hatretorik och andra tvivelaktiga meddelanden behöver också städas bort på flera webbplatser. Robotmoderering av användarkommentarer har blivit ett viktigt verktyg för att kunna göra det.

Det finns avancerade verktyg som kan sköta modereringen relativt effektivt - bland annat det finländska företaget Utopia Analytics mjukvara Utopia analyserar mer än enstaka ord.

Företagets verkställande direktör är Mari-Sanna Paukkeri.

– Med vår teknologi kan datorn förstå meddelandet som en helhet och den tar också i betraktande det som har skrivits tidigare på samma sida, säger hon.

Vilket språk ett inlägg är skrivet på har stor betydelse. Det är överlag lättare för algoritmer att moderera svenska eller engelska, än finska. På finska finns många olika böjningsformer som orsakar problem och dessutom är finskt vardagsspråk en utmaning.

Svenska Yle har använt sig av Utopia analytics automatiska moderering på försök.

Algoritmen tränas till att börja med av människor tills den börjar inse vilka meddelanden som troligen ska publiceras och vilka som troligen inte ska det.

Svenska Yle har använt sig av Utopia analytics automatiska moderering på försök - för webbkommentarer - men vi gör det inte för tillfället.

Används av stora webbplatser

Däremot är tekniken nu i användning till exempel på de stora finländska webbplatserna Suomi24 och Tori.fi.

Robotmoderering är särskilt bra när det skrivs många inlägg på kort tid, påpekar forskaren Matti Nelimarkka vid Aalto-universitetet.

– Om det droppar in 5 000 meddelanden men datorn kan fatta beslut om de flesta så behöver en människa bara ta ställning till exempelvis 500 meddelanden, och det är helt möjligt till exempel under en arbetsdag, påpekar forskaren Nelimarkka.

En människa avgör i knepiga fall

Algoritmerna flaggar alltså meddelanden som inte verkar vara helt klara fall, så att en människa får avgöra dem. Det finns ändå möjligheter till felbedömningar, till exempel sarkasm kan vara svår att urskilja - både för maskin och människa.

För Svenska Yles del fungerade algoritmerna relativt väl och de gjorde troligen modereringen mer konsekvent, eftersom en dator naturligt nog kan vara mer konsekvent än flera olika moderatorer.

Men samtidigt var Utopia också för sträng. Meddelanden som borde ha publicerats blev därför inte alltid publicerade så snabbt.

– Ja, vi ser det här problemet ofta i våra data - hos många kunder, säger Paukkeri på Utopia analytics.

Hon tillägger att man inte kan lita på att datorn alltid fattar rätt beslut, men att automatisk moderering i kombination med manuell moderering kan vara en fungerande lösning.

Nelimarkka vid Aalto-universitetet är däremot mer skeptisk. Han betonar att det är en risk att ge algoritmerna för mycket frihet att moderera - ens de meddelanden som datorn anser sig vara säker på att borde förkastas eller publiceras.

– När det gäller automatisk moderering på massmediers webbplatser så innebär den en viss risk för mediernas image och för medborgarnas frihet, säger han.

Han tillägger att man noga måste överväga hur mycket makt algoritmerna egentligen borde få.