La peer review è morta, viva la peer review

Il sistema adottato dalle riviste scientifiche per valutare la qualità di ciò che pubblicano e dalle istituzioni per scegliere i progetti da finanziare è da tempo sotto accusa. Molti i tentativi di riforma in corso. Qual è il migliore?
Giovanna Dall’Ongaro, 29 Dicembre 2015
Micron

Il peggior sistema che abbiamo, eccetto tutti gli altri. Churchill lo diceva della democrazia, ma si potrebbe pensare lo stesso della peer review. Il processo di valutazione universalmente adottato dalle più autorevoli riviste scientifiche sembra resistere alle innumerevoli e pesanti critiche che riceve periodicamente. Si trasforma, rinuncia alle vecchie vesti per sperimentarne di nuove, ma non cede il trono a nessun candidato concorrente. La peer review è morta, lunga vita alla peer review, verrebbe da dire legittimati anche dalle antiche origini “reali” della “revisione tra pari”.
A inaugurare la fortunata prassi fu infatti la Royal Society nel 1665 con il primo numero della rivista Philosophical transactions, tuttora in vita: il teologo tedesco Henry Oldenburg, primo segretario dell’accademia inglese, aveva incaricato due colleghi di esaminare gli articoli prima che venissero pubblicati. Da allora sono passati esattamente 350 anni e la prestigiosa istituzione britannica non può esimersi da fare un bilancio: dal 19 al 21 marzo durante il convegno “Publish or perish? The past, present and future of the scientific periodical” si parlerà molto delle riforme della peer reviewsperimentate negli ultimi tempi.

UN SISTEMA IMPERFETTO
Un caso per tutti. A luglio 2014 Nature pubblica una sensazionale scoperta: un sistema “meccanico” in grado di trasformare cellule adulte in cellule staminali pluripotenti.
Il processo, che non prevede alcuna manipolazione genetica, riceve l’acronimo di STAP (Stimulus-trigger acquisition of pluripotency). A gennaio dello stesso anno la redazione è costretta a una imbarazzante smentita: i risultati dello studio non sono affidabili.
Lo stesso, grosso modo, è accaduto al British Medical Journal. Uno studio che metteva in guardia dagli effetti collaterali delle statine si era rivelato troppo allarmistico. I due esempi sono emblematici perché dimostrano che la peer review può fallire anche quando agisce nel gotha delle riviste scientifiche.
Ma non tutti gli errori vengono scoperti. A Daniele Fanelli, un ricercatore di Edinburgo autore di una meta analisi sulla condotta dei suoi colleghi, sono giunte molte confessioni di ricercatori che hanno “fabbricato, manipolato o falsificato i dati almeno una volta nella loro carriera”.
I risultati dell’inchiesta sono stati pubblicati su PlosOne e non hanno certo giovato alla reputazione della peer review.
Nel 2006 il Journal of Cell Biology scopriva che in almeno l’1% degli articoli pubblicati era stata inserita una foto manipolata. In un rapporto di Nature del 2011 viene calcolato che il numero delle ritrattazioni sulla rivista nei dieci anni precedenti è aumentato del 1.200%, mentre la quantità degli studi è aumentata solo del 44%.
Tutto ciò dimostra che sotto la minaccia del “publish or perish” gli scienziati possono soffrire della sindrome dell’aguzzino: stressare i dati finché non confessino. Dall’altra parte i revisori non sono privi di colpe. I pregiudizi nei confronti di alcune categorie possono avere pesanti conseguenze sulla carriera di uno scienziato. Nel 2011 Science denunciava la discriminazione nei confronti di alcuni gruppi etnici: gli asiatici avevano il 4% di probabilità in meno rispetto ai colleghi occidentali di ricevere finanziamenti e gli africani addirittura il 13%.
Si perché con i criteri della peer review si scelgono anche i progetti da finanziare. Ebbene, sempre Science avverte che i verdetti sui vincitori dipendono in larga misura dal caso: due gruppi di revisori possono attribuire allo stesso progetto punteggi totalmente differenti.
La peer review, il migliore di tutti i sistemi di valutazione, si è dimostrato imperfetto. Ma ora che il re è nudo bisogna rivestirlo. Come? Ecco le soluzioni proposte finora.

LA SCELTA DI NATURE: REVISIONE A DOPPIO CIECO
Da marzo gli autori di Nature e dei mensili del gruppo editoriale hanno la possibilità di scegliere un’alternativa alla peer reviewconvenzionale: il sistema cosiddetto a “doppio cieco” (double blind), già introdotto due anni fa in Nature Goescience e Nature Climate Change. Potranno cioè chiedere di nascondere la loro identità ai revisori, anche essi anonimi. Una novità rispetto alla tradizione in uso finora che vuole degli ignoti revisori commentare degli articoli dalla firma palese (single blind).
La nuova politica editoriale di Nature, annunciata in una nota il 18 febbraio scorso, nasce per riparare ai difetti attribuiti al “singolo cieco”, che rimane comunque come possibile opzione. Coperti dall’anonimato i revisori, sostengono i critici di questo sistema, potrebbero assecondare i loro pregiudizi riguardo al genere, alla nazionalità o all’istituto di provenienza degli autori sotto esame. Eliminare completamente questo rischio sembra però difficile anche nel doppio cieco: la paternità di ricerche molto specialistiche che si svolgono in ambiti ristretti fatica a restare a lungo un mistero.
Quindi, tra le righe, gli editori confessano le loro incertezze: non sappiamo, sembrano dirci, quale dei due sistemi sia il migliore, perché entrambi sono imperfetti. Ai ricercatori però il doppio cieco piace di più. Così almeno ha dimostrato due anni fa la più ampia indagine sulla peer review mai effettuata (J.Am.Soc.Inf.Sci Tecnhnol. 64, 2013): il 76% dei 4.000 interrogati ha optato per il duplice anonimato, il 45% per il sistema tradizionale che nasconde solo i revisori, mentre il 20% si è dichiarato a favore di un sistema totalmente trasparente con revisori e autori entrambi a volto scoperto, l’esatto contrario del doppio cieco.

GIOCARE A CARTE SCOPERTE
La riforma della peer review può seguire una strada diametralmente opposta a quella scelte da Nature. E’ quella intrapresa, per esempio, due anni fa dall’editore on line di riviste di medicina e biologia Faculty of 1000 che nel suo giornale “bandiera” F1000 Research sperimenta da allora una revisione completamente aperta che risponde ai principi dell’open science: tutte le identità sono note, i commenti dei revisori vengono pubblicati on line e sono accessibili a tutti, i dati vengono condivisi. Il trionfo della trasparenza si perfeziona poi in una sorta di “giuramento del revisore” in quattro “comandamenti”: 1) scriverò il mio nome sulla mia critica, 2) esaminerò con integrità, 3) considererò le mie osservazioni come se dialogassi con te e in particolare proporrò critiche costruttive, 4) sarò ambasciatore dell’open science.
A un primo sguardo questi buoni propositi da bravo revisore potrebbero sembrare scontati e ingenui. Ma non sono apparsi così agli occhi vigili ed esperti di Marcia McNutt direttrice di Science, rimasta per ora fedele al sistema di revisione tradizionale, che osserva con interesse le sperimentazioni sia di Nature che di F1000. Bisogna sapere, avverte, che molti editori danno per scontato che i revisori conoscano il corretto codice di condotta, ma non è così. Ecco perché, sostiene McNutt, quelle semplici quattro regole sono meglio di nessuna regola. Resta da valutare, però, la reale efficacia del doppio cieco: il revisore che dichiara la sua identità si comporterà in modo meno severo, userà toni più gentili e addolcirà la pillola. Ma alla scienza fanno meglio gli schiaffi delle carezze.

LA TERZA VIA
Tra il “doppio cieco” e il “tutto a vista” , si inserisce la proposta di Ulrich Polsh, direttore di Atmospheric Chemistry and Physicsdell’European Geoscience Union (EGU). Si tratta di una soluzione, sperimentata sulla sua rivista, che combina la tradizionale peer review con le regole dell’open science. Il processo di pubblicazione prevede due fasi: nella prima i lavori dei ricercatori che superano una prima rapida analisi (access review) vengono immediatamente pubblicati sotto forma di “discussion paper” nel forum del giornale dedicato alle discussioni. Vi restano per otto settimane durante le quali si instaura un dialogo interattivo tra gli autori, i revisori e altri scienziati che desiderano dare la loro opinione. Tutti i commenti e le risposte sono accessibili a chiunque e restano in archivio per sempre. I revisori possono decidere se firmare o meno le loro osservazioni, mentre gli scienziati che lasciano commenti sono obbligati a rivelare la loro identità. Nella seconda fase la peer reviewsegue il percorso tradizionale e, una volta accettato, lo studio può venire pubblicato sullo stesso giornale. Secondo Polsh questo sistema permette di soddisfare due esigenze non facilmente conciliabili: quella degli autori di pubblicare il prima possibile e quella degli editori di avere garanzie sulla qualità di ciò che pubblicano.
Ai lettori di Micron quale di queste tre sembra la soluzione migliore?

Commenti dei lettori


Lascia un commento

Il tuo indirizzo email non sarà pubblicato. I campi obbligatori sono contrassegnati *

    X