Wat er gebeurt als niemand meekijkt met online content
Sociale media geven mensen een stem, maar wakkeren ook online haat aan, vooral tegen minderheden. Promovenda Eva Nave: ‘Hoewel end-to-end-versleuteling mensenrechtenactivisten beschermt, maakt het ook criminele activiteiten mogelijk. Zo ontstaat een soort Darkweb 2.0.’
Het begon met het gerucht dat mensen van de Rohingya, een moslimgemeenschap in Myanmar, een meisje zouden hebben verkracht. Deze beschuldigingen, die later vals bleken te zijn, verspreidden zich razendsnel op Facebook. De Rohingya kregen de ergste doodsverwensingen over zich heen – berichten die door het algoritme van Facebook meer zichtbaarheid kregen, waardoor ze nog meer mensen bereikten. Dit leidde tot de massale vervolging van de Rohingya. Velen van hen werden vermoord, verkracht en het uit land verdreven (zie kadertekst).
Tegenwoordig gebruiken bijna 5 miljard mensen sociale media om te communiceren. Het voorbeeld van de Rohingya laat zien dat de verspreiding van haatzaaiende content op sociale media extreme gevolgen kan hebben. Óók in de offline wereld. Eva Nave deed promotieonderzoek naar online haatzaaien en onderzocht de verantwoordelijkheid van sociale mediaplatforms om hiertegen op te treden.
Waarom goede content moderatie belangrijk is
Sociale media platforms moeten de juiste balans vinden bij het controleren van content, zogeheten content moderatie. Legale content moet blijven staan en berichten, foto’s en video’s die illegaal zijn of de richtlijnen van het platform niet volgen, worden verwijderd en waar nodig gemeld aan de politie.
Nave waarschuwt voor de gevolgen van verkeerde content moderatie waarbij legale content wordt verwijderd: ‘Syrische mensenrechtenactivisten postten op YouTube filmpjes waarin zij oorlogsmisdaden aan de kaak stelden, maar YouTube verwijderde die content zonder het te archiveren als potentieel bewijs voor toekomstig strafrechtelijk onderzoek of te delen met de politie.’ Tegelijkertijd moet haatzaaiende content, waarin bijvoorbeeld wordt aangezet tot geweld, juist zo snel mogelijk offline worden gehaald. Nave: ‘Neem het voorbeeld van de genocide op de Rohingya. Facebook verwijderde die content niet alleen te laat, maar gaf de berichten zelfs extra zichtbaarheid door bijvoorbeeld automatisch haatzaaiende content te tonen via de voorvertoning van nieuwe filmpjes via de “up-next”-videofunctie.'
Hoe Meta bijdroeg aan de genocide op de Rohingya
De Rohingya, een moslimgemeenschap in Myanmar, werden in 2017 door het leger van Myanmar vermoord, verkracht en vervolgd. De Verenigde Naties bestempelde het geweld als genocide. Honderdduizenden Rohingya vluchtten naar buurland Bangladesh.
Op Facebook werden onjuiste berichten over de Rohingya geplaatst en haatzaaiende content gedeeld (zie hoofdtekst). Volgens Amnesty International en de Verenigde Naties heeft het algoritme van Facebook offline geweld tegen de Rohingya aangewakkerd. Uit hun onderzoek blijkt dat Meta, het moederbedrijf van Facebook, in belangrijke mate heeft bijgedragen aan de genocide. Hoewel Facebook op de hoogte was van de haatzaaiende content, verwijderde het platform de berichten niet en promootte ze zelfs (zie hoofdtekst).
In 2018 erkende Facebook dat het ‘te traag’ had gereageerd om haatzaaien te voorkomen en de verspreiding van desinformatie te stoppen. Inmiddels lopen er meerdere rechtszaken tegen Meta vanwege hun rol in deze genocide.
Versleutelde megagroepschats: Darkweb voor iedereen
Goede contentmoderatie is dus belangrijk, maar wordt steeds uitdagender door de toename van geheime communicatiekanalen. Platformen als Whatsapp, Signal en zelfs Facebook bieden namelijk ‘end-to-end-versleuteling’ aan waardoor alleen afzender en ontvanger berichten kunnen lezen. Dat is goed nieuws voor de vrijheid van meningsuiting en de bescherming van mensenrechtenactivisten. ‘Niet voor niets maakt Signal, dat vanaf het begin versleutelde berichten aanbiedt, reclame als hét platform voor activisten’, zegt Nave.
Toch vormt versleuteling een nieuw gevaar. Ook voor de platforms zelf zijn die berichten afgeschermd. ‘Als er helemaal geen toezicht op die content is, kunnen er gemakkelijker criminele activiteiten in deze chats plaatsvinden. Zo ontstaat een Darkweb 2.0 dat veel toegankelijker is.’
'WhatsApp is in India al in verband gebracht met lynchpartijen.’
Versleutelde megagroepschats zijn het grootste probleem, omdat in deze groepen duizenden gebruikers kunnen worden toegevoegd. Dit is bijvoorbeeld zo bij Signal en WhatsApp. ‘Eerst waren alleen een-op-een-gesprekken afgeschermd, nu ook groepsgesprekken. Hoe groter de groep, hoe groter de bedreiging voor mensenrechten.’ Volgens Nave maakt de trend waarbij megaplatforms zoals Meta end-to-end-encryptie aanbieden, de verspreiding van haatzaaiende content makkelijker. Ze wijst erop dat dit kan leiden tot offline geweld: ‘Whatsapp is India al in verband gebracht met lynchpartijen.’
Haatzaaien tegengaan zonder privacy te schenden
Nave werkte aan een oplossing waarmee platforms in bepaalde gevallen versleutelde communicatie toch kunnen monitoren. Ze bouwde samen met technische experts een tool die haatzaaiende content in grote groepschats opspoort en tegelijkertijd de privacy van de gebruikers beschermt.’ De tool bevat een database met heel specifieke woorden en zinnen in meerdere talen die aanzetten tot geweld. Zodra zo’n term opduikt, kan het systeem een groep automatisch bevriezen of opsplitsen in kleinere groepen.
Voordat zo’n tool live gaat, moet het voor gebruikers transparant zijn wat de database monitort. ‘De database moet voorkomen dat mensen aanzetten tot geweld en ook offline geweld gaan gebruiken. Het moet mensen aanmoedigen om respectvol te communiceren en gebruikers ervan bewust maken dat het aanzetten tot geweld onacceptabel is.’
Het systeem is niet perfect, erkent Nave. Het grootste risico is dat gebruikers hun taal of de groepsgrootte aanpassen . Het succes hangt ook af van een betrouwbare samenwerking met de politie. ‘De haatzaaiende content moet worden gearchiveerd en gemeld bij de politie. Maar ik besef ook dat er steeds meer gewelddadige extremisten infiltreren binnen de politie. Dat kun je met dit voorstel niet voorkomen.’ Ook bestaat volgens Nave het risico dat de database misbruikt wordt om content, die als ongewenst wordt beschouwd, op te sporen, waardoor juist kwetsbare groepen gevaar lopen.
‘Een megafoon’ voor de slachtoffers
De voorstellen van Nave zijn gericht op het voorkomen van online haatzaaien. Maar hoe moet het nu verder met de Rohingya, die daar al slachtoffer van zijn geworden? Ook daarover heeft de onderzoeker ideeën. ‘Ik geloof dat een mogelijke manier om hun schade te herstellen zou zijn om de stemmen te versterken van de mensen die het doelwit waren van haatzaaiende uitspraken’, zegt Nave. Meta zou haar algoritmes voor contentmoderatie kunnen aanpassen, zodat de content van de getroffen gemeenschap meer zichtbaarheid krijgt.
Eva Nave verdedigde op 3 juli haar proefschrift. Dit onderzoek is gefinancierd met een beurs van Marie Skłodowska-Curie Actions - Innovative Training Network.