Op zoek naar excellentie

Met het oog op een nieuw instellingsplan, de Roadmap 2020, streeft het college van bestuur naar wetenschappelijke excellentie. Maar hoe meet je die?

Perverse prikkels

Alle meetbare criteria voor wetenschappelijke kwaliteit kunnen makkelijk verworden tot perverse prikkels, stelt hoogleraar nanofysica prof.dr.ir Leo Kouwenhoven (Technische Natuurwetenschappen): “Als het college van bestuur (cvb) stuurt op proefschriften, dan krijgt het proefschriften.” Ook al kunnen die soms heruitgaven zijn van afstudeerverslagen op een kleiner formaat. Kouwenhoven vindt de promotiepremies van 90 duizend euro per proefschrift “een mogelijk mechanisme voor frauduleuze wetenschap”. Hij legt uit hoe het werkt: als je een commissie vindt die het verslag als proefschrift wil goedkeuren dan kun je zo gemakkelijk proefschriften genereren. En ja, natuurlijk gebeurt dat, zegt Kouwenhoven. Ook dichtbij.

Eenzelfde corrumperende werking heeft beoordeling op het aantal publicaties. Als wetenschappers beoordeeld worden op het aantal publicaties leidt dat tot ‘papier produceren’. Men gaat onderzoek opdelen en verdunnen om het aantal publicaties omhoog te jagen. Het aantal citaties zou een beter criterium zijn, maar ook dat kan een ernstig vertekend beeld opleveren. Als iemand bijvoorbeeld een opvallend fout stuk heeft geschreven leidt dat naderhand tot veel verwijzingen. “Wilders wordt ook vaak geciteerd”, licht Kouwenhoven toe.

Kouwenhoven gelooft niet in meetbare criteria voor wetenschappelijke excellentie. Toch, en dat is de paradox, weet iedereen in het betreffende wetenschapsgebied wie er toe doen, wie de rising stars zijn van een vakgebied. Kouwenhoven vertelt dat aan Amerikaanse universiteiten onderzoekers geëvalueerd worden door aan een tiental collega’s buiten de universiteit te vragen hoe ze de kandidaat inschalen tussen andere onderzoekers. Die lijstjes vertonen vaak opvallende gelijkenis, constateert de nanofysicus. Mensen weten dat door een opvallend artikel, door voordrachten op congressen, door gesprekken met anderen. Eigenlijk kunnen alleen de peers elkaar onderling beoordelen, en dan heerst er vaak een behoorlijke consensus.
Daarom zijn volgens Kouwenhoven wetenschappelijke prijzen zoals de NWO Veni-, Vidi- en Vicibeurzen en de grants van de European Research Council (ERC) wel goede indicaties van wetenschappelijke kwaliteit omdat ze door andere wetenschappers worden toegekend.

De beste manier om aan de TU excellent onderzoek te versterken ligt volgens Kouwenhoven in de combinatie van geld en vertrouwen. Geen onderzoek zonder geld, maar de geldschieter moet niet maandelijks een rapportje vragen, of precies willen definiëren wat het onderzoek moet opleveren. “Excellente mensen laten zich niet voorschrijven wat te doen”, constateert hij droogjes. En dat is ook het probleem met het innovatiebeleid dat zich richt op topsectoren. “Daar bereik je geen iPad of een echt innovatieve doorbraak mee.”

Zelf werkt Kouwenhoven met zijn vakgroep quantum transport in de komende jaren aan een kantelpunt in het vakgebied: een landmark waardoor onderzoekers anders over een onderwerp nadenken dan ervoor. Als dat lukt, dan heb je volgens Kouwenhoven iets excellents neergezet.

Begin je eigen tijdschrift

Voor beoefenaars van technische wetenschappen is het lastiger om in de grote wetenschapsbladen te publiceren dan hun meer fundamenteel gerichte collega’s. Toch zijn publicaties en citaties ook voor hen van belang om aan te tonen dat ze meetellen in de wereld van de wetenschap. Om aan dat dilemma te ontsnappen heeft hydroloog prof.dr.ir. Huub Savenije (faculteit Civiele Techniek en Geowetenschappen) in 1995 een eigen open access journal opgericht: het online tijdschrift ‘Hydrology and Earth System Sciences’ (Hess). Trots vertelt Savenije dat de ‘impactfactor’ vanaf 2000 gestegen is van 0,7 naar 2,46. De impactfactor is een maat die het relatieve aanzien van een wetenschappelijk blad aangeeft. Ze worden jaarlijks berekend en gepubliceerd door Thomson Scientific – voorheen bekend als ‘Institution for Scientific Information’ of ISI. Topbladen als ‘Science’ of ‘Nature’ hebben een impactfactor van 30, ‘Physical Review Letters’ haalt 7 en meer gespecialiseerde tijdschriften komen rond de 2,5 uit.

Binnen het veld van hydrologische vaktijdschriften staat HESS nu genoteerd als een van de meest gezaghebbende bladen. Naast de mogelijkheid
van peer-reviewed publicaties wijst Savenije nog op andere verdiensten van een open access online journal. Het beoordelingsproces is voor iedereen te zien en staat ook voor iedereen open. En omdat de publicaties kosteloos volledig gelezen kunnen worden is er een grotere verspreiding van kennis, vooral naar landen waar men zich geen dure abonnementen kan veroorloven. Savenije raadt iedereen aan om een eigen online peer-reviewed blad te beginnen op zijn of haar deelgebied. Het is naar zijn idee de beste en meest open manier om de wetenschappelijke dialoog te stimuleren.
Publicaties en citaties zijn in de ogen van Savenije niet de enige kenmerken van wetenschappelijke excellentie. Ook de hoeveelheid binnengehaald geld is een valide maatstaf. Immers, als je onderzoeksgeld binnenhaalt van NWO of ERC betekent dat erkenning van je werk en ideeën door de wetenschappelijke collega’s die over
de toekenning beslissen. Ook geld van andere ministeries als buitenlandse zaken of economische zaken, landbouw en innovatie ziet hij als wetenschappelijke erkenning. Immers: “Zonder goed wetenschappelijk verhaal krijg je daar geen geld los.” Een kanttekening maakt hij bij geld vanuit het bedrijfsleven: “Het moet geen consultancy worden.” Dat betekent dat onderzoek gericht behoort te zijn op kennisverwerving die verder gaat dan het oplossen van een onmiddellijk probleem, en dat het vraagstuk niet met de bestaande kennis op te lossen is.

Ook prijzen zijn wat Savenije betreft een valide criterium, omdat ze een afspiegeling zijn van wat de wetenschappelijke collega’s van je werk vinden. Ook als de prijs niet-wetenschappelijk is (denk aan een lintje) is dat nog wel een blijk van excellentie, aldus Savenije.
Van afstudeerders als kwaliteitscriterium is Savenije minder overtuigd. Hij heeft er zelf minder dan hij zou willen, maar hij heeft wel veel promovendi onder zijn hoede. “Zijn promovendi niet een betere maatstaf voor wetenschappelijke excellentie?” vraagt hij zich af. Promovendi zijn immers direct gekoppeld aan onderzoek binnen een vakgroep.

Blik op de toekomst

De herijking is een typische snoei-voor-bloei exercitie. Er moet op jaarbasis 45 miljoen euro gekort worden. Vijftien miljoen om de kosten terug te brengen en dertig miljoen voor versterking van kansrijk onderzoek. Wat zijn volgens rector prof.dr.ir. Karel Luyben de criteria?
Luyben gaat uit van maatschappelijke relevantie op de lange termijn. “Wat zijn de vragen waar we over twintig tot veertig jaar mee bezig zijn? Dat is een belangrijke termijn, want dan zitten onze studenten op posities waar ze een verschil kunnen maken.”

Luyben noemt de energieproblematiek, de gezondheidszorg en de milieuproblemen. Stuk voor stuk vraagstukken met technische, sociale en maatschappelijke aspecten die de eerstkomende tijd niet zullen verdwijnen. Niet geheel toevallig vallen de grote vraagstukken op lange termijn goeddeels samen met de domeinen van de Delft Research Initiatives. Voor Luyben vormen ze een richtsnoer bij het inrichten van de universiteit van de toekomst. Hij legt uit hoe: “Je begint met vast te stellen wat je nodig hebt om de problemen van straks aan te pakken. Daaruit leid je het onderzoek af, en uit het onderzoek volgen de vereisten voor je masteropleiding. Daaruit volgt welke bacheloropleidingen je nodig hebt en aan welke eisen instromende scholieren moeten voldoen.” Luyben is een uitgesproken voorstander van selectie aan de poort. Liefst voor iedere opleiding.

Het moment om onderzoek om te buigen in de richting van de relevante thema’s is volgens Luyben de aanstelling van een opvolger. Als voorbeeld noemt hij het akoestiekonderzoek bij Technische Natuurwetenschappen, dat tot nu toe vooral gericht was op olie-exploratie. Na het vertrek van prof.dr.ir. Guus Berkhout zal het accent verschuiven naar echoscopie en medische toepassingen van dezelfde formules en modellen.

Daarmee is de vraag naar welk onderzoek het veld zal moeten ruimen nog niet beantwoord. Natuurlijk ga je niet snijden in een goed lopende afdeling, vindt Luyben. Ook staat vast dat er geen hele faculteit zal worden opgeheven. Maar decanen zullen er niet onderuit komen om afdelingen op te heffen. Wat zijn daarvoor dan de gronden? Luyben gaat zelf geen oordeel vellen over de wetenschappelijke kwaliteit. “De wetenschap beoordeelt zichzelf in de vorm van rankings en peer-reviews”, stelt hij. Wat hij wel zorgelijk vindt, is als de vaste kosten (vast personeel, huur en energiekosten) groter zijn dan de eerste geldstroom. Want zodra tweede en derde geldstroom verminderen, komt zo’n afdeling in de knel. “Dan moeten ze allerlei klussen aannemen voor de inkomsten. Is dat onderzoek? Ik vind van niet. Ik vind alle contracten korter dan drie tot zes maanden bedenkelijk. Ook vertrouwelijke opdrachten horen eerder thuis bij TNO of een consultancy bureau dan aan de TU Delft.”

Hoge waardering, lage scores

Bij de ontwerpfaculteit Bouwkunde bestaat er een grote kloof tussen de lovende woorden die er over de faculteit gesproken worden en de nagenoeg volledige onzichtbaarheid in gangbare wetenschappelijke indicatoren als goede scores voor publicaties en citaties bij het ISI (Institution for Scientific Information). Oud-rector prof.dr.ir. Jacob Fokkema was destijds de eerste die de faculteit er op aansprak. Onderzoeksdirecteur dr.ir. Franklin van der Hoeven ging ermee aan de slag in het kader van een onderzoeksproject van het Rathenau Instituut: ‘Evaluating Research in Context’ (Eric).

Van der Hoeven vond dat de goede reputatie van Bouwkunde onder meer gestoeld is op boeken die hoogleraren publiceren en op tentoonstellingen. En hoewel dat voor architecten en stedenbouwkundigen waardevolle media zijn, komen ze niet voor in de lijstjes van het ISI zodat dergelijke activiteiten niet meetellen voor de wetenschappelijke scores.

Er is aan twee kanten gewerkt om de kloof tussen reputatie en scores te dichten. Enerzijds pleit het Eric-project ervoor om bij de beoordeling van ontwerp- en engineeringfaculteiten behalve de wetenschappelijke kwaliteit ook de maatschappelijke relevantie mee te laten tellen. Daarnaast is Van der Hoeven begonnen om een aantal wetenschappelijke tijdschriften op het gebied van architectuur en architectuurgeschiedenis op te laten nemen in de citatiedatabase Scopus – www.scopus.com; een tegenhanger van ISI met een nadrukkelijker accent op kunsten en humaniora. Ook boeken die er vanuit Bouwkunde gepubliceerd worden zouden in Scopus opgenomen moeten worden, net als het open access tijdschrift dat Van der Hoeven wil gaan beginnen. Deelname aan Scopus heeft volgens de onderzoeksdirecteur twee voordelen: het aantal geregistreerde artikelen neemt toe en de namen van medewerkers duiken vaker op in de resultaten van zoekacties binnen Scopus.
Dat wat betreft het belang van publicaties en citaties als kenmerken voor wetenschappelijke excellentie.

Ook geld van stakeholders (bouwbedrijven, beleggers, gemeenten, provincies en gemeenten) is volgens Van der Hoeven een teken van maatschappelijke relevantie van het onderzoek, en zou volgens de uitkomst van het Eric-onderzoek dus moeten meetellen in de kwaliteitsbeoordeling van een faculteit.
Erkenning door collega’s is ook in de architectuur en stedenbouw een goede maatstaf, vindt Van der Hoeven. Hoewel er wel iets vreemds mee aan de hand is. Voor architecten is het hoogste blijk van waardering als een prestigieus blad een artikel of beter, een editie aan je wijdt. Dat er over je geschreven wordt is dus belangrijker dan wat je zelf schrijft, want dat laatste gebeurt eigenlijk nauwelijks.
Tot slot: waar mogen we Bouwkunde in 2020 op afrekenen? Op een verwetenschappelijking van de architectuur, vindt Van der Hoeven, en op wezenlijke bijdragen op het gebied van energie-efficiënte, klimaatverandering en stedelijke ontwikkeling.

Er moet progressie zijn

De faculteit Techniek, Bestuur en Management (TBM) heeft net een visitatie achter de rug, vertelt onderzoeksdirecteur prof.dr.ir. Paulien Herder. Er heerst tevredenheid, want een van de vijf facultaire onderzoeksprogramma’s scoorde op alle vier onderdelen een 5, de hoogste score.

Op de vraag wat in dit vakgebied wetenschappelijke excellentie betekent, zegt Herder dat er sprake moet zijn van kennisaccumulatie. Als voorbeeld noemt ze het gebied van sociotechnisch systeemontwerp. Bij een elektriciteitsnetwerk werden vroeger de elektrische infrastructuur en de markt als het ware gescheiden ontworpen. Binnen de faculteit werken ingenieurs en economen samen, omdat ontwerpbeslissingen in de markt gevolgen hebben voor het ontwerp van het technische systeem en omgekeerd. Die geïntegreerde aanpak leidt tot nieuwe theorieontwikkeling. Vragen van de volgende generatie, zoals Herder ze noemt.

Publicaties en citaties noemt Herder de obvious beoordelingscriteria die overigens alleen in een bepaalde context gebruikt kunnen worden. Zo zit er vaak ‘zachte informatie’ achter de ogenschijnlijk harde ISI-data. Zoals dat het een tijd duurt voordat je in een nieuw vakgebied citaties op kunt bouwen.

Wie goed zichtbaar wil blijven in een wereld die beoordeeld wordt met ISI-scores doet er goed aan om deel te nemen aan initiatieven om open acces peer-reviewed journals te beginnen. TBM doet dat onder andere samen met andere faculteiten op het gebied van engineering systems in het samenwerkingsverband Cesun (Council of Engineering Systems Universities). Het MIT, als medeoprichter, maakt daar deel van uit, net als een grote peer group van Amerikaanse, Europese, en Aziatische universiteiten.
Geld is een kwaliteitscriterium als de fondsen afkomstig zijn van NWO of EU, vindt Herder. Als die je onderzoek ondersteunen betekent het dat je aan de wetenschappelijke top staat.

Het aantal studenten of afstudeerders vindt Herder minder belangrijk dan hoe de alumni in de maatschappij terechtkomen.
Op de vraag of toegekende prijzen een maatstaf vormen voor kwaliteit antwoordt Herder volmondig ja. Simpel: de beoordeling van iemands werk is aan zijn wetenschappelijke ‘peers’. Als zij vinden dat je de beste bent, dan is dat ook zo. Een duidelijker indicator kun je je niet wensen.
Voor 2020 heeft Herder als ambitie dat TBM in Delft het Europese zwaartepunt moet zijn van het vakgebied engineering systems. Daarvoor moet de positie van sociotechnisch onderzoek verder uitgebouwd worden. Herder: “Als tegen die tijd professoren massaal hier hun sabbatical willen doorbrengen, dan hebben we het goed gedaan.”