ChatGPT heeft linkse voorkeur bij Stemwijzer
De AI-chatbot ChatGPT heeft een duidelijke links-liberale voorkeur bij het invullen van de Stemwijzer. Dat ontdekte masterstudent Merel van den Broek tijdens een opdracht voor het vak Machine Learning for Natural Language Processing.
De student Linguistics kwam op het idee om ChatGPT de Stemwijzer te laten invullen toen die hoorde dat de chatbot ook in het Engels een links-liberale voorkeur heeft. ‘Ik dacht: maar hoe zit dat dan in het Nederlands?’
De Nederlandse politieke situatie is volgens Van den Broek bij uitstek geschikt om de politieke voorkeur van dit soort chatbots te onderzoeken. ‘In de VS hebben ze geen Stemwijzer, omdat daar maar twee grote partijen zijn. In Nederland hebben we de onpartijdige Stemwijzer en zijn er veel verschillende partijen verspreid over het politiek spectrum, waardoor je veel meer nuances kan meten.’
SP, Denk en D66
De politieke voorkeur van ChatGPT bleek vooral te liggen bij SP, Denk en D66. De partijen waarmee de chatbot het het minst eens was, waren allemaal rechts: JA21, BBB en FVD. ‘Het resultaat is haast een perfecte rangschikking van links naar rechts. Dat vind ik best wel opvallend.’ Die linkse voorkeur komt vooral door de teksten waarmee het taalmodel is getraind, denkt Van den Broek. ‘Daarvoor zijn onder andere wetenschappelijke teksten gebruikt, en wetenschappers zijn over het algemeen wat vaker links.’
Hoogleraar Stephan Raaijmakers, docent bij het vak Machine Learning for Natural Language Processing, denkt ook dat de linkse voorkeur mede wordt veroorzaakt door de data waarmee het taalmodel getraind is. ‘Dit soort taalmodellen nemen de bias over van de teksten in hun database.’
Welke teksten daarin zijn opgenomen, is nog niet helemaal duidelijk. ‘Daar hebben we weinig zicht op. Er is een soort snapshot van het web gemaakt, maar ook bronnen zoals GitHub (online platform voor softwareontwikkeling, red.) zijn toegevoegd. We ontdekken langzaam steeds meer databronnen die er ook in moeten zitten. Bepaalde teksten kunnen best wel eens politiek gekleurd zijn En het model is verder bijgesteld met menselijke feedback - daarmee kan ook bias naar binnen sluipen.’
Grapjes over Trump
OpenAI, de ontwikkelaar van ChatGPT, stuurt het taalmodel nog wel bij, legt Raaijmakers uit. ‘Ze blokkeren bijvoorbeeld grapjes over Trump. Ook kan je niet vragen hoe je een bom maakt. Zo proberen ze met ethische en juridische ingrepen het taalmodel wat beter in de hand te houden.’ Die ingrepen kunnen mogelijk ook nog bijdragen aan de linkse voorkeur, al is dat volgens de hoogleraar niet met zekerheid te zeggen.
Voorzichtigheid
Vanwege de gesignaleerde politieke voorkeur is voorzichtigheid in het gebruik van ChatGPT als ‘persoonlijke politieke adviseur’ geboden, waarschuwt Raaijmakers. ‘Dit is natuurlijk nog maar een klein experiment, maar de links-liberale voorkeur zie je wèl duidelijk terug. Als je vragen stelt over politiek, krijg je geen neutraal antwoord.’
Omdat de in het experiment gebruikte versie van ChatGPT is getraind op teksten uit 2021 en daarvoor, heeft Van den Broek de Stemwijzer uit 2021 gebruikt. Om de nauwkeurigheid te controleren, werd nog een tweede vragenlijst, de Politieke Oriëntatie Test, afgenomen. Ook daaruit bleek een links-liberale voorkeur.
Tekst: Tom Janssen
Foto: Unsplash