Onderwijs
Programma's voor het voorkomen en detecteren van AI-fraude
Sinds de opkomst van AI zijn veel docenten op zoek naar:
- programma's die kunnen helpen om AI-fraude te voorkomen;
- programma's die kunnen ondersteunen bij het vaststellen of AI is gebruikt bij een opdracht.
Online worden veel tools aangeboden die deze functies beweren te hebben. ECOLe heeft een aantal van deze programma's uitgeprobeerd. Hieronder vind je een overzicht van de geteste tools, inclusief onze bevindingen.
Heb je een programma gevonden dat niet in het overzicht staat? Laat het ons weten. ECOLe bekijkt graag of het programma doet wat het belooft. Als dit het geval is, onderzoeken we vervolgens of het wenselijk en haalbaar is om een pilot te starten met het gebruik van deze tool.
AI-fraude voorkomen
| Programma | Beschrijving | Advies/ Vervolg |
| MATCHA Writer |
Schrijfhulpmiddel, bedoeld om AI-gebaseerd plagiaat door studenten te bemoeilijken. Legt het schrijfproces vast, inclusief lees-, browse- en schrijfactiviteiten. Studenten lichten hun werk toe via een Quiz. Het schrijfproces en de toelichting tellen mee in de beoordeling, waardoor zelfstandig werken wordt gestimuleerd. |
ECOLe start met een kleinschalige pilot bij de opleiding Filosofie in 26/27 |
| MUUTE | Met Muute [exam] is ontwikkeld om betrouwbaar digitaal toetsen mogelijk te maken. Dankzij beveiliging op ieder device en live toezicht ontstaat een omgeving waarin veilig getoetst kan worden met programma's als MS-Word, MS-Excel en R-studio. | Pilot start in 26/27. Heb je interesse om deel te nemen aan deze pilot? Mail ECOLe. |
| Schoolyear | De Safe Exam Workspace vergrendelt de omgeving in volledig scherm, sluit andere applicaties af en zorgt ervoor dat studenten alleen toegang hebben tot vooraf goedgekeurde inhoud, zoals websites, bestanden en desktopapplicaties. | Toetsen in Ans worden al met dit programma beveiligd |
| Revision History |
Een Chrome-extensie die het schrijfproces inzichtelijk maakt voor Google Docs. Een video toont hoe het document tot stand is gekomen, inclusief schrijftijd, wijzigingen en knip- en plakacties. Stukken die geknipt en geplakt zijn worden gevlagd in de video, zodat je kunt bekijken hoe dit is gebeurd. |
Detecteert geen AI-gebruik, maar geeft inzicht in het productieproces. Kan daarmee helpen bij verdenking op AI-fraude en ondersteuning geven bij de bewijsvoering. Let op: Omdat de Universiteit Leiden geen verwerkersovereenkomst heeft met Google mogen we studenten niet vragen om Google Docs te gebruiken. Toch zijn er veel studenten die er zelf voor kiezen om schrijfopdrachten te maken in Google Docs. Studenten die vrezen om onterecht beticht te worden van AI-gerelateerde fraude kunnen ervoor kiezen om Google Docs te gebruiken, opdat ze - in voorkomende gevallen- uit eigen beweging de Revision History kunnen aanleveren bij de examinator of examencommissie. |
AI-fraude detecteren
Onderstaande programma's hebben als doel om AI-gegenereerde tekstfragmenten te detecteren. Let op: De prestaties van AI-detectietools kunnen veranderen door de snelle ontwikkeling van AI. Interpreteer de resultaten daarom altijd met voorzichtigheid en gebruik ze niet als sluitend bewijs.
| Programma | Beschrijving | Advies/vervolg |
| Pangram, | Een extensie/website die AI gegenereerde content kan detecteren. Gebruikers kunnen zowel bestanden uploaden als tekst rechtstreeks in het systeem plakken. |
Uit onze eigen tests blijkt dat Pangram veel, maar beslist niet alle AI-gegenereerde teksten weet te herkennen. In onze test werd door mensen geschreven tekst niet ten onrechte als AI-gegenereerd aangemerkt. Ook onderzoek wijst erop dat Pangram weinig tot geen vals-positieve resultaten oplevert. Hierdoor lijkt het risico op een onterechte beschuldiging van AI-gebruik momenteel beperkt. Vervolg: Aangezien Pangram van alle AI-detectietools het beste uit de bus lijkt te komen is ECOLe:
|
| Grammarly, Scribbr AI Detector, GPTZero, Humanizeai.pro, ZeroGPT, Praphraser.io |
Programma’s die beweren AI gegenereerde content te kunnen detecteren. |
ECOLe raadt het gebruik van deze programma’s af. De uitkomsten van onze testen met deze programma’s bleken niet betrouwbaar genoeg. Onderzoek elders wijst hetzelfde uit. Bovendien kleven er niet zelden juridische bezwaren aan het uploaden van producten van studenten in commerciële AI-tools. Bij de meeste programma’s zijn vals-positieven (een tekst onterecht als AI bestempelen) zeldzaam, maar AI-gegenereerde fragmenten werden niet herkend en/of er werd niet goed aangegeven welke fragmenten AI-gegenereerd waren. |