Vooraf je onderzoeksplannen vastleggen kost extra tijd, maar wat levert het op?
Voor de start van je onderzoek je hypothese en analyse alvast online registreren. Waarom zou je dat als wetenschapper doen? Henk van Steenbergen, onderzoeker in cognitieve psychologie, ging het experiment aan. ‘Ik beschouwde het als oefening in open science.’
‘Mijn belastingformulieren invullen vind ik vervelend en besteed ik het liefst uit. Helaas moet je als onderzoeker ook steeds vaker door allerlei bureaucratische hoepels voordat je aan een nieuw onderzoeksproject kan beginnen,’ vertelt Henk van Steenbergen, universitair hoofddocent bij de sectie Cognitieve Psychologie. ‘Preregistratie is eigenlijk weer een hoepel erbij, dus ik had nogal koudwatervrees.’ Toch besloot hij een studie, waarvan de resultaten binnenkort worden gepubliceerd in Psychological Medicine, een aantal jaar geleden vooraf te registreren. ‘Door corona liep de start van het onderzoek enorme vertraging op. De meeste labs waren dicht en veel onderzoeksprojecten stonden sowieso in de wachtstand dus we dachten: dan kunnen we de studie net zo goed preregistreren. Ik besloot het als een oefening in open science te beschouwen.’ Welke inzichten heeft het experiment Van Steenbergen opgeleverd?
Betrouwbaarder onderzoek
‘Met preregistratie zeg je: dit is mijn hypothese en dit is het analyseplan dat ik wil uitvoeren. Dat leg je vast op een website met een tijdstempel, waarna je deze niet meer kunt aanpassen. Dat doe je voordat de dataverzameling begint of in ieder geval voordat je de complete data hebt gezien. In een publicatie wijk je vervolgens niet van je analyseplan af, tenzij strikt noodzakelijk. Die beperking maakt onderzoek vaak betrouwbaarder. Een ander voordeel van preregistratie is dat het je toestaat om eenzijdig in plaats van tweezijdig te toetsen. Als hypothesen gepreregistreerd zijn controleert een directionele (eenzijdige) toets de kans op een vals positieve uitslag namelijk net zo goed als een tweezijdige toets, terwijl de power om het effect te detecteren toeneemt.’
‘Je wijkt in principe niet af van de analyse die je van tevoren hebt vastgelegd, dit maakt je onderzoek betrouwbaarder’
Directionele toetsen nog niet algemeen geaccepteerd
‘In deze studie onderzochten we de neurochemische basis van de verbreding van aandacht die optreedt als je een beloning ontvangt. Eerder onderzoek heeft laten zien dat die verbreding van aandacht weer samenhangt met mentale flexibliteit en veerkracht. Door een farmacologische manipulatie te gebruiken, lieten we zien dat stofjes die normaal helpen om pijn te verminderen – de bekende endorfines – óók zorgen dat je geest opener en flexibeler wordt. We dienden ons paper eerst in bij een wetenschappelijk tijdschrift dat zich de afgelopen jaren sterk heeft geprofileerd als voorvechter van open science. Gek genoeg werd ons artikel daar direct afgewezen voornamelijk omdat we directionele toetsen hadden gerapporteerd. Dat laat zien dat eenzijdige toetsen zelfs bij preregistratie nog niet voldoende zijn ingeburgerd. Zelfs niet bij redacteuren van een tijdschrift waarbij open science de norm is. Bij Psychological Medicine werd het open science-aspect van onze studie tijdens het review proces juist enorm gewaardeerd. Hoewel open science inmiddels de norm in de psychologie is, zie je dus dat er nog steeds verschil van inzicht is over sommige details’.
Steviger begin van je studie
‘Een groot voordeel van de preregistratie was dat ik van tevoren met mijn medeauteurs de analysemethode ging bespreken. Voor onze studie werkte ik samen met een collega die de computertaak had ontwikkeld en in een eerdere studie had gebruikt. Door de preregistratie moesten we het eens worden over de analyse van de data. Dat leidde tot een interessante e-maildiscussie voordat we analyse konden vastleggen. Ook legde ik mijn preregistratie voor aan een collega die suggereerde een secondaire hypothese toe te voegen. Dit zorgvuldige proces vooraf heeft de studie uiteindelijk sterker gemaakt denk ik.’
‘Preregistratie is niet geschikt voor alle type data’
Niet verplichten
‘Preregistratie verplichten lijkt me niet verstandig. Het is immers lang niet geschikt voor alle type data. Ik hoor soms van andere onderzoekers: “Mijn data is zo complex, ik kan niet in de toekomst kijken wat ik allemaal ga tegenkomen.” En dat is ook zo. Voor hele complexe datasets lijkt me preregistratie van analyses vaak nog een te grote stap. Maar in zo’n geval zou je bijvoorbeeld in ieder geval je hypothese kunnen vastleggen. Collega’s zijn daarnaast soms bang dat ze na preregistratie niet meer voor een andere analyse kunnen kiezen. Dat ze zichzelf vastzetten. Maar afwijkingen met goede rechtvaardiging zijn altijd mogelijk als je dat maar transparant rapporteert. Ook in onze studie bleken er onverwachte zaken die vroegen om een iets andere benadering. Verder kun je altijd extra analyses uitvoeren. Zolang die benoemt zijn als exploratief is dat geen enkel probleem.’
Gebruik een template
Als het je niet te veel moeite kost, zou ik zeggen: overweeg altijd te preregistreren.’ En hoe zit het met die aversie voor formulieren? ‘Voor onze preregistratie gebruikten we een Word-document template van Anna van ‘t Veer en collega’s. Dat document kun je naar eigen voorkeur aanpassen en makkelijk met medeauteurs delen en reviseren. Preregistratie kan dus relatief makkelijk, dus als je studie ervoor geschikt is: waarom eigenlijk niet?’
Open Science Week
Tijdens de Nationale Open Science Week organiseren ons eigen OSCL-team en het faculteitsteam Academia in Motion verschillende activiteiten. Ze laten zien hoe open, transparante, eerlijke en inclusieve werkwijzen de toekomst van de wetenschap vormgeven. Bekijk het programma en ontdek welke stap past bij jouw eigen open science-praktijk.