Opnieuw fraude bij psychologisch onderzoek?

De invloedrijke Israëlisch-Amerikaanse hoogleraar Psychologie Dan Ariely ligt onder vuur. Data uit een van zijn onderzoeken blijken gefabriceerd te zijn. Ariely is bekend om zijn onderzoeken naar oneerlijk en irrationeel gedrag.

Het gaat om een paper uit 2012 over een aantal experimenten. Uit een van die experimenten bleek dat wie vooraf, aan het begin van een document, een eerlijkheidsverklaring ondertekent eerlijker is over de kilometerstand van zijn of haar auto, dan wie die verklaring onderaan het document ondertekent. Een deel van het onderzoek werd gedaan in samenwerking met een autoverzekering. Klanten die bovenaan het document tekenden, gaven een hogere kilometerstand op. Omdat klanten minder premie betalen als zij minder rijden, zijn ze daar weleens oneerlijk over.

Replicatie

In 2020 voerden Ariely en zijn collega’s vergelijkbare experimenten uit waaruit blijkt dat het eigenlijk geen verschil maakt of de eerlijkheidsverklaring boven- of onderaan het document staat. Ariely en zijn collega’s vinden daarop een afwijking in de data van het onderzoek: al vóórdat de klanten ingedeeld werden in een van de twee groepen (boven- of onderaan het document tekenen) verschilden de kilometerstanden van die groepen. Nu hoeft zo’n mislukte replicatie nog niet te wijzen op fraude, maar als de verzamelde gegevens vervolgens nog grondiger bestudeerd worden door onafhankelijke wetenschappers van het platform Data Colada blijkt er van alles mis met de data.

Twee lettertypes

Zo zou je statistisch gezien verwachten dat grofweg de meeste klanten ongeveer het gemiddeld aantal kilometers rijden, en dat er minder klanten zijn die extreem veel of extreem weinig kilometers afleggen. Dat bleek niet zo te zijn. Verder hadden de klanten hun kilometerstand minder vaak afgerond dan je zou verwachten en lijken er dubbelingen in de gegevens te zitten. Daar kwamen de speurders achter doordat er twee verschillende lettertypes gebruikt werden in het bestand. Er bleken een aantal ‘paartjes’ van klanten met vier verzekerde auto’s te bestaan, ingevoerd met verschillende lettertypes, waarvan de kilometerstanden van die vier auto’s steeds heel veel op elkaar leken. Veel meer dan je op basis van kans kunt verwachten. De wetenschappers van Data Coloda concluderen dat de data zo sterk afwijken van hoe ‘echte data’ eruit zien, dat ze wel verzonnen moeten zijn. Mogelijk zijn ze via een random number generator gefabriceerd.

Toch is het volgens hen haast onmogelijk vast te stellen wie daarachter zit. Dan Ariely zegt dat hij als enige contact heeft gehad met het autoverzekeringsbedrijf maar ontkent iets met de gefabriceerde data te maken te hebben. Hij laat weten dat hij de gegevens zo van het bedrijf heeft gekregen en verder niet betrokken was bij de totstandkoming ervan.

Controleren

Volgens Pedro De Bruyckere, pedagoog en onderzoeker (Universiteit Leiden), is het inderdaad honderd procent zeker dat de data van het onderzoek niet kloppen. Maar of er echt gefraudeerd is en wie daar dan achter zit, is volgens hem nog onduidelijk. ‘Het roept een hoop vragen op. Ariely zegt bijvoorbeeld dat hij niets met data gedaan heeft, maar hoe kan hij dat bewijzen? Iedereen met wie hij toen bij de verzekering contact had, werkt daar inmiddels ook niet meer. En wat zou het motief van het verzekeringsbedrijf kunnen zijn om de data te verzinnen?’

Als Ariely de waarheid spreekt, had hij dan niet moeten zien dat de gegevens niet klopten? De Bryuckere is redelijk mild. ‘De vraag is of hij dat had kúnnen zien. Ook rond Diederik Stapel (Nederlandse hoogleraar Psychologie die bleek te frauderen, red.) werkten zo’n twintig collega’s die niets doorhadden. Bovendien zijn patronen die wijzen op vervalsing erg lastig te herkennen. Er zijn hier echte detectives aan het werk geweest. Daarnaast zijn sommige afwijkingen in de data ook wel te verklaren. Er kan een formule niet kloppen, computers kunnen fouten maken…’

De onderzoekers van Data Colada stellen voor dat alle onderzoeksdata voortaan openbaar moeten worden zodat fraude eerder opgespoord kan worden. Dat zou de drempel om te frauderen ook weer verhogen. De Bruyckere meent dat we van de Diederik Stapel-affaire zeker wel wat geleerd hebben, maar dat we nog vaker studies moeten herhalen om te zien of de resultaten dan wel hetzelfde zijn. ‘Doordat deze fouten aan het licht komen, kan de wetenschap ook juist groeien, zichzelf als het ware herstellen. Het laat ook zien dat het goed is om veel replicaties uit te voeren. Voor Ariely is het nu nog afwachten wat dit precies voor zijn carrière zal betekenen.’