Haring moet je aan de kust eten en niet in Maastricht
Dertig jaar lang ging het AD jaarlijks op zoek naar de beste haring. Daar kwam een einde aan toen econoom Ben Vollaard aan de hand van een statistische analyse beweerde het doorgestoken kaart was. Maar daar zit een luchtje aan, aldus Leidse statisticus Richard Gill. ‘De manier waarop je de data rangschikt en verwerkt, kan een groot effect hebben op de uitkomst van een analyse.’
De haringtest van het AD ging jaarlijks bij een honderdtal viszaakjes langs om de haring te proeven en evalueren. In de top tien komen is voor een viszaak een mooie beloning. ‘Het is een beetje zoals een Michelinster, maar dan voor haring’, zegt Gill. ‘Viswinkels kunnen zichzelf inschrijven wanneer ze denken dat ze goed zijn. Een bordje waarop staat dat je de zoveelste bent van Nederland, is een gewilde prijs.’
Onder de visboeren ging het gerucht dat die test doorgestoken kaart was. ‘Vooral onder de haringverkopers die slecht scoorden’, aldus Gill. Die roddel werd groot nieuws toen de Tilburgse econoom Ben Vollaard een statistische analyse publiceerde die fraude in de resultaten suggereerde. Dat ging over twee dingen. Het AD is zelf Rotterdams en de viszaakjes in de omgeving van Rotterdam zouden een hogere score krijgen. Het tweede gerucht dat Vollaards met zijn analyse wilde aantonen, was dat zaakjes die hun vis inkochten bij groothandel Atlantic een positievere score kregen. ‘Een van de testers had namelijk als consultant advies gegeven aan dit bedrijf en gaf ook cursussen over het correct fileren en snijden van de haring.’
Geen causaliteit, maar wel overtuigd van fraude
Met zijn statistische analyse wilde de econoom laten zien dat de opgeschreven kwaliteit van de haring niet overeen kwam met de uiteindelijke rangordening. Dat kreeg media-aandacht over het hele land. ‘Het stond in alle kranten en hij was zelfs te gast bij De Wereld Draait Door. Daar dekte hij zichzelf wel telkens in door te zeggen dat hij correlatie had gevonden en geen causaliteit. Dus wel een statistisch verband, maar geen bewijs dat de ene variabele ook echt een invloed heeft op de andere. Maar hij zei daarbij ook dat hij van mening was dat het zaakje stonk.’
Het AD kwam in verweer tegen de beschuldigingen en diende een wetenschappelijke integriteitsklacht in tegen Vollaard. De Universiteit van Tilburg, waar hij werkte, besloot dat die wetenschappelijke integriteit niet was geschonden. Het AD liet het daar niet bij en ging met de klacht naar het Landelijk Orgaan Wetenschappelijke Integriteit (LOWI). ‘Dat is wat je in een rechtszaak hoger beroep zou noemen’, zegt Gill. Dat is waar hij betrokken raakte bij de zaak. ‘Ze vroegen mij om hen als deskundige bij te staan.’
Wetenschappelijke vragen om uit te stippelen
Gill nam de statistische analyse van Vollaard onder de loep en had meteen vragen. ‘Het was een incorrecte vorm van statistiek die niet was uitgevoerd door een statisticus.’ Gill schreef een rapport en LOWI concludeerde uiteindelijk dat er geen sprake was van opzettelijke schending van de wetenschappelijke integriteit. ‘Wel besloot de commissie dat er wetenschappelijke vragen waren om verder uit te zoeken.
Na zijn rapport, liet het haringverhaal Gill niet los. ‘Er zitten veel dingen aan die ervoor zorgen dat het elementair soort statistiek dat op de data is losgelaten, helemaal niet klopt. De haringtentjes hebben zichzelf aangemeld of zijn door klanten aangemeld. De data is dus geen random sample, maar een zelf-selecterende steekproef. Dat kan enorme bias veroorzaken. ’ En dat was maar één van de vele dingen waardoor de analyse niet klopte. ‘De verbanden zijn soms zo zwak waardoor een kleine aanpassingen in de manier waarop je de scores (0-10) codeert, een groot effect geeft. Van een 8+ kan je zowel een 8, een 8,1 of een 8,8 maken bijvoorbeeld. Dat verschil is gigantisch in een statistische analyse.’
‘Dat is een belangrijke conclusie, zelfs al is die negatief. De conclusie dat je niets kan concluderen uit data, is ook ontzettend belangrijk. Daar zijn statistici voor.’
Haringwinkels steeds verder van de kust
Gill en zijn collega Fengnan Gao onderzochten alle data grondig en deden de statistische analyses opnieuw. En wat bleek? Er is geen causaal verband en dus geen statistische reden waaruit je fraude kan concluderen. ‘Dat is een belangrijke conclusie, zelfs al is die negatief. De conclusie dat je niets kan concluderen uit data, is ook ontzettend belangrijk. Daar zijn statistici voor.’
Wel vonden ze een geografische invloed. ‘Als je de winkels vergelijkt die in de meeste opzichten hetzelfde zijn, behalve dat ze op een andere plek in Nederland zitten, dan scoort de haring langs de Noordzeekust beter.’ Toch wil dat niet zeggen dat er een causaal verband is. ‘Je moet de effecten van verschillende dingen goed van elkaar scheiden. We zien bijvoorbeeld dat de nieuwe deelnemers van de test steeds verder van de kust liggen. Dat zijn winkels die opstarten en willen laten zien dat ze goed zijn door mee te doen aan de haringtest. En nieuwe winkels zijn mogelijk gewoon nog niet zo goed als de haringboeren die het al jaren doen. Daarbij komt ook dat de concurrentie aan de kust gigantisch is. Ook dat kan een positief effect hebben op de kwaliteit.’
Haring is lekkerder aan de zee
En hoe zit het dan met de hogere scores voor bedrijven die hun vis kopen bij groothandel Atlantic? ‘De vis van Atlantic doet het over het algemeen goed, mogelijk ook omdat een heel professioneel bedrijf achter zit die heel goed adviseert hoe het hoort. Maar niet alle winkels met vis van Atlantic doen het beter dan andere winkels. Zeker als je kijkt naar de zaakjes in het binnenland waar Atlantic aan levert. Ook die doen het minder goed dan aan de kust.’
Na jaren statistisch onderzoek naar haring, lust Gill zelf nog steeds wel een visje. ‘Ik heb de voorbije jaren een hoop haring geproefd op verschillende plekken. Ik hou heel erg van de Hollandse nieuwe.’ Zelf eet hij de haring meestal op de markt in Apeldoorn, maar na zijn onderzoek weet hij wel waar je de beste haring kan eten. ‘Aan de zee smaakt het beter. En dat ligt misschien ook wel door de setting aan de duinen hoor’, lacht hij. ‘Maar ik zou je dus niet aanraden om Hollandse nieuwe in Maastricht te eten.’
Het onderzoek van Richard Gill en Fengnan Gao is gepubliceerd in de Scandinavian Journal of Statistics en verschijnt binnenkort ook in het tijdschrift Significance.