‘AI voor de juridische sector is een beetje het Wilde Westen’
Er worden steeds meer AI-tools ontwikkeld voor de juridische sector. Hiermee kunnen professionals teksten doorzoeken of rechterlijke beslissingen analyseren. Leids SAILS-onderzoeker Masha Medvedeva, expert op gebied van de technische ontwikkeling van AI-tools, waarschuwt: ‘Gebruikers moeten weten wat er onder de motorkap zit.’
Kun je ons iets meer vertellen over je onderzoek naar AI-tools voor de juridische sector?
‘Ik heb technische kennis over het bouwen van AI-systemen en heb bij diverse rechtenfaculteiten gewerkt. Mijn onderzoek richt zich op de technische ontwerpkeuzes in systemen, die vergaande gevolgen hebben voor gebruikers. Deze keuzes kunnen implicaties met zich meebrengen voor de rechtspraak als geheel, voor juridische professionals of voor individuen. Zo bestaan juridische zoekmachines al een tijdje, die zitten op zich ook goed in elkaar. Maar soms laten ze zaken weg in zoekresultaten, of ze rangschikken zoekresultaten op een andere manier, enzovoort. Juridische professionals zouden dus op zijn minst zich in de basis moeten begrijpen hoe deze systemen werken, zodat ze een goede afweging kunnen maken om ze wel of niet te gebruiken.’
Serie
Wat betekent AI voor... de juridische sector
Je bent zeer sceptisch over de ontwikkeling van juridische AI-tools. Waarom?
‘In mijn ervaring hebben de ontwikkelaars van deze systemen weinig kennis van de sector waarvoor de tools bedoeld zijn. Het was ook een van mijn bevindingen tijdens mijn promotieonderzoek naar systemen die rechterlijke beslissingen voorspellen. Bovendien wordt de data die tools gebruiken, zelden goed geëvalueerd. De tools die rechterlijke beslissingen voorspellen zijn wederom een voorbeeld daarvan. Veel wetenschappelijke artikelen melden grote successen met hun voorspellende modellen. Maar 93 procent van die artikelen evalueert hun model op basis van gegevens die beschikbaar waren ná het moment dat een rechter een beslissing had genomen in een zaak. En dat is natuurlijk niet informatie waarover een gebruiker van de tool zou beschikken. Eigenlijk voorspellen deze modellen dus wat de uitspraak van een rechter wàs, in plaats van wat een uitspraak zal zijn. Van 171 Engelse artikelen over dit soort modellen zijn er slechts twaalf waarin alleen wordt gewerkt met data die vóór een uitspraak beschikbaar is. Het probleem van evaluatie speelt ook bij modellen die juridische argumentatie genereren. Deze modellen worden vaak geëvalueerd alsof ze vertaalmodellen zijn. Er wordt dan bij de evaluatie in feite vergeleken hoeveel woorden er in de argumentatie van de tool overeenkomen met de ‘echte’ argumentatie. En dat is natuurlijk niet noodzakelijkerwijs de beste manier om te beoordelen of een argumentatie van een AI-tool ook echt klopt.’
Wat is je advies aan juridische professionals die heel graag AI-tools willen gebruiken?
‘Probeer een goed beeld te krijgen van de data die de tool gebruikt, op welke manier de tool een beslissing neemt, en vooral op welke manier de werking van de tool is geëvalueerd. Binnen de juridische sector vinden vaak snelle veranderingen plaats. Wil je binnen AI-tools gebruik maken van de meest recente informatie, dan moet je de systemen regelmatig bijwerken. En zelfs als die optie er is, moet elke verandering in een AI-model steeds weer worden geëvalueerd. Want het toevoegen van nieuwe of andere informatie aan een tool betekent niet automatisch dat deze dan beter werkt. Integendeel, een tool kan slechter gaan werken. Verder denk ik dat cliënten geïnformeerd moeten worden als er voor hun zaak gebruik wordt gemaakt van AI-tools.’
Waar kunnen professionals het beste meer kennis ophalen over juridische AI-tools?
‘Een tijd geleden was ik betrokken bij de ontwikkeling van de Typology of Legal Technologies. Dit is een verzameling van juridische technische middelen (applicaties, wetenschappelijke artikelen en datasets) die we zelf selecteerden om de potentiële impact van deze middelen aan te tonen. Dit is een goede gids om erachtr te komen welke vragen je moet stellen als je erover denkt om een bepaalde tool te gaan gebruiken. Op dit moment is er geen toezicht op juridische tools, het is een beetje het Wilde Westen. Met de nieuwe AI-wet wordt het hopelijk verplicht om toezicht in werking te stellen voor systemen met een hoog risico. Misschien wordt het dan veiliger om ze te gebruiken.’
Kunnen juridische beleidsmakers en professionals ook bij jou terecht voor advies?
‘Soms doe ik dat, ja. Zo heb ik bijvoorbeeld lezingen gegeven aan rechters in Den Haag. En in januari hebben we een symposium georganiseerd voor de Haagse rechtbank. Daar bespraken we onder meer hoe het voorspellen van rechterlijke beslissingen werkt en de tools bekeken. Zo kunnen rechters zelf afwegen of ze deze tools gaan gebruiken of niet.’
Tekst: Jan Joost Aten
Beeld: Adobe AI Generator
Over SAILS
Het Leiden University SAILS (Society Artificial Intelligence and Life Sciences)-initiatief is een universiteitsbreed netwerk van AI-onderzoekers, afkomstig uit alle zeven faculteiten: Rechtsgeleerdheid, Wis- en Natuurkunde, Archeologie, Sociale Wetenschappen, Geesteswetenschappen, Governance and Global Affairs en het Leids Universitair Medisch Centrum.
We bekijken AI vanuit menselijk perspectief. Ons onderzoek richt zich op rechtvaardig gebruik van AI in en voor de maatschappij. We willen onze kennis over AI, en de gunstige toepassingen van AI voor de maatschappij, vergroten. Zo kunnen we de samenleving helpen bij de uitdagingen van nu. We zijn ervan overtuigd dat dit doel alleen bereikt kan worden door wetenschappelijke talenten en inzichten uit alle disciplines bijeen te brengen, kennis te delen, anderen tijdens evenementen te inspireren en onze studenten op te leiden tot de AI-professionals van de toekomst. Want de Universiteit Leiden gelooft dat de mens de toekomst is van AI.