Openbare peer review?

In de New York Times stond een paar dagen geleden een interessant stuk van Patricia Cohen over een nieuwe online peer review-methode waarmee o.a. het prestigieuze Shakespeare Quarterly experimenteert. Het gaat om “a more open, Web-based approach to reviewing scholarly works”.

Normaal gesproken vraagt de redactie van een wetenschappelijke tijdschrift enkele deskundigen op het specifieke terrein van het ingezonden stuk om een anoniem en niet openbaar oordeel. Pas als deze peer reviewers het stuk publicabel vinden, wordt het gepubliceerd. Deze beoordelingsmethode is een essentieel onderdeel van de kwaliteitsbewaking van wetenschappelijk werk. Er hangt ook erg veel van af: alleen tijdschriften met een strenge reviewprocedure doen ertoe; wie niet in deze tijdschriften publiceert, loopt vast in zijn academische carrière. Bij het Shakespeare Quarterly vragen ze zich af of het niet anders moet. Het nieuwe experiment komt erop neer dat de oordelen van de peers openbaar gemaakt worden, en dat daarover vervolgens ook door weer anderen gediscussieerd kan worden:

Now some humanities scholars have begun to challenge the monopoly that peer review has on admission to career-making journals and, as a consequence, to the charmed circle of tenured academe. They argue that in an era of digital media there is a better way to assess the quality of work. Instead of relying on a few experts selected by leading publications, they advocate using the Internet to expose scholarly thinking to the swift collective judgment of a much broader interested audience.

In de neerlandistiek experimenteerde het tijdschrift Neerlandistiek.nl in de jaargangen 2001 en 2002 al eens met openbare reviews (ik was toen zelf een van de "slachtoffers": ik vond het een mooie manier van publiceren), maar het Shakespeare Quarterly pakt het nu veel radikaler aan. In dit geval wordt de discussie al openbaar voordat het artikel daadwerkelijk gepubliceerd is:

The journal posted online four essays not yet accepted for publication, and a core group of experts [...] were invited to post their signed comments on the Web site MediaCommons, a scholarly digital network. Others could add their thoughts as well, after registering with their own names. In the end 41 people made more than 350 comments, many of which elicited responses from the authors. The revised essays were then reviewed by the quarterly’s editors, who made the final decision to include them in the printed journal.

Het klinkt heel mooi. Deze review-praktijk lijkt een veel opener uitwisseling van wetenschappelijke informatie en oordeelsvorming te beloven. Maar zou het wel echt zo werken? Meer bepaald: zou het wel echt zo werken in de principieel voorzichtige wereld van het wetenschappelijk onderzoek? Als we de auteurs van wetenschappelijke artikelen al voordat ze hun stukken “af” hebben, gaan confronteren met commentaar van hun collega’s en concurrenten, en als we dat commentaar ook nog eens voor iedereen zichtbaar maken, worden onze publicaties daar dapperder van? Zouden we nog wel eens wat beweren?

Ik moest aan de beloften van het nieuwe reviewsysteem denken bij een interview met regisseur Gaspard Noé, vanochtend in de Volkskrant. Noé's nieuwe film Enter the Void nam op het filmfestival van Cannes deel aan de competitie, maar er werd bijgezegd dat de film nog niet helemaal af was: pas later zou zij in de bioscoop verschijnen. Noé merkte dat dit experiment een bijeffect had:

Niet alleen collega-filmers, maar ook de onbeduidendste werknemers van mijn distributeur, de secretaresse, zelfs het vriendje van de secretaresse – iedereen kon me vertellen wat er wel en niet uit moest. Ik knikte dan maar braaf, zonder echt te luisteren. Er viel wel een patroon in te ontwaren: alles wat zij zelf als obsceen ervaren, of eigenlijk alles wat krachtig is, dat kon er dan maar beter uit.

Misschien raken we wel in een rare paradox verzeild: terwijl de elektronische revolutie wetenschappelijke uitwisseling van informatie opener, dynamischer en sneller maakt, brengt die openheid het gevaar met zich mee dat de uitwisseling uiteindelijk voorzichtiger en dus matter wordt.