HOME / COLUMNS / Duflo’s Nobelprijs vraagt om heroverweging oude mantra van strikte scheiding tussen beleid en evaluatie

COLUMNS / 15 november 2019

Duflo’s Nobelprijs vraagt om heroverweging oude mantra van strikte scheiding tussen beleid en evaluatie

Als te veel politiek prestige op het spel staat, is een goede beleidsevaluatie onmogelijk  

Vorige week gaf Nobelprijswinnaar Esther Duflo in Utrecht een lezing… Ik heb zelden iemand met zoveel bevlogenheid over haar onderzoek zien spreken. Duflo vertelde in haar lezing hoe ze als jonge PhD-student aan Massachusetts Institute of Technology (MIT) halverwege de jaren negentig college kreeg van haar mede-Nobelprijswinnaars Michael Kremer en Abhijit Banerjee. MIT heeft de beste PhD-opleiding economie ter wereld. De opleiding is ook een beetje chique. Zo werd oud-ECB-president Mario Draghi daar opgeleid. Wat was in deze chique omgeving de onderzoeksagenda van Kremer en Bannerjee? Onderzoek doen in Afrika of je met goede beleidsevaluaties voor beter onderwijs kan zorgen. Ze trokken letterlijk met hun rugzak op de schouder naar het platteland van Kenia, om daar in primitieve omstandigheden aan de slag te gaan. In hun artikel The experimental approach to development economics geven Banerjee en Duflo een handzaam overzicht van hun ervaringen. Het idee om veel systematischer het effect van beleidsinterventies empirisch te onderzoeken zong al langer rond in de economische discipline. Het boek Myth and Measurement van David Card en Alan Krueger, over de effecten van het minimumloon, was daarvan een eerste voorbeeld. Die bleken dwars in te gaan tegen simpele intuïties (ik schreef daarover in mijn vorige column).

BELEIDSEXPERIMENT

In dit soort onderzoek zijn oorzaak en gevolg moeilijk van elkaar te onderscheiden. Er is door economen veel energie in gestoken om dit probleem op te lossen. Eén mogelijke aanpak is een beleidsexperiment: op basis van loting wordt een deel van de onderzoeksgroep wel, en een ander deel niet aan het beleid blootgesteld. Door beide groepen te vergelijken krijg je zicht op de effectiviteit van het beleid. Deze aanpak lijkt sterk op de manier waarop in de medische wetenschap medicijnen worden getest. In de gecontroleerde omgeving van een ziekenhuis is zo’n experiment echter een stuk makkelijker uitvoerbaar dan bijvoorbeeld in een Afrikaans dorp. Kremer en Banerjee hadden bedacht dat ze het beste konden beginnen met de evaluatie van iets waarvan ze zeker wisten dat het nut had. Zo konden ze aan de lokale beleidsmakers laten zien dat hun experimentele methode werkte. Ze wilden daarom laten zien dat goede leerboeken tot betere onderwijsresultaten leiden. De resultaten waren echter teleurstellend: goede leerboeken bleken geen effect te hebben. Dat kon niet waar zijn, en dus werd de onderzoeksopzet verder verbeterd. Maar hoe ze ook zochten, ze vonden geen effect. Duflo werd tijdens haar PhD-colleges van Kremer en Banerjee met deze mislukking geconfronteerd. Maar Kremer en Banerjee, en later ook Duflo, lieten zich niet uit het veld slaan. Eén van de experimenten die ze daarna deden was onderzoek naar het effect van een ontwormingskuur voor kinderen op de onderwijsresultaten. Veel kinderen hadden last van wormen. Omdat ze veelal blootvoets naar school liepen en de straat een openbaar toilet was, werden wormen bovendien makkelijk overgedragen. Een kuur ter bestrijding had dus een zelfversterkend effect. De resultaten waren verbijsterend: ontwormingskuren bleken twintig maal (kosten)effectiever voor betere onderwijsresultaten, dan een investering in kleinere klassen. Het nadeel van experimenten is dat je nooit zeker weet of wat geldt in Kenia, ook opgaat in een ander land zoals Pakistan. De enige manier om daar achter te komen was die experimenten elders te herhalen. Kremer, Banerjee en Duflo hebben een hele beweging op gang gebracht van PhD-studenten die uitstekend worden opgeleid in de nieuwste evaluatiemethoden en die wereldwijd experimenten doen, om te zien of wat werkt in Afrika ook helpt in Zuid-Azië. Duflo is een onderdeel van een french connection op MIT. Er gaat geen jaar voorbij zonder dat nieuwe onderzoekstalenten uit Frankrijk tot MIT worden toegelaten: naast Duflo zijn dat onder anderen de economen Olivier Blanchard, Jean Tirole, en Thomas Piketty. Hun succes is gebaseerd op een combinatie van het uitstekende Franse onderwijs in wiskunde en de grote sociale betrokkenheid van de onderzoekers. Het banketbakkerswerk van Kate Raworth’s Doughnut Economics steekt daar schril bij af. Raworth zal nul invloed hebben op ontwikkeling van de economische wetenschap. Gelukkig maar. De aloude mantra wil dat beleid en de evaluatie daarvan strikt gescheiden moeten zijn om de onafhankelijkheid van de evaluatie te waarborgen. Duflo’s werk laat zien dat deze mantra aan heroverweging toe is. Duflo en haar collega’s waren nauw betrokken bij het bedenken van nieuwe beleidsinterventies. Daarbij werd tegelijk nagedacht over die interventie en over de evaluatie ervan. De econoom als onafhankelijke buitenstaander maakt daarbij plaats voor een vakvrouw, die op basis van eerdere evaluaties meedenkt over nieuw beleid. Onafhankelijkheid maakt plaats voor de bereidheid om bij een negatieve evaluatie-uitkomst het beleidsvoorstel ter discussie te stellen. Tijdens de lezing vroeg CPB-directeur Laura van Geest aan Duflo hoe zij omging met de tegenwerking van politici. Die hebben immers vaak geen belang bij goede evaluaties, zeker als die zomaar negatief kunnen uitpakken en daarmee de reputatie van de politicus te gronde kunnen richten. Duflo’s antwoord was verbijsterend. Zij vermeed evaluatie van beleidsinterventies waar veel prestige op het spel stond. Beleidsmakers hebben oneindig veel mogelijkheden om evaluaties te ontregelen. Bij te veel politiek prestige is een goede beleidsevaluatie onmogelijk. Dat is geen verwijt, maar een nuchtere constatering. Goed beleid gedijt in de politieke luwte. 

Coen Teulings, 15 november 2019

REAGEER