Breve riassunto dell’intervento tenuto in occasione dell’incontro “La Valutazione della Ricerca”

Dario Braga

Ringraziando il prof. Dario Braga per avercene trasmesso il testo, pubblichiamo l’intervento da lui pronunciato al convegno “La valutazione della ricerca”

Dipartimento di Chimica G. Ciamician
Università di Bologna
Via Selmi 2

Premessa
La valutazione della ricerca è uno di quegli argomenti che suscita reazioni molto disparate nel mondo accademico. Al di là della ovvia distinzione tra favorevoli e contrari all’idea stessa di valutazione, esiste una vastissima zona grigia costituita da coloro i quali pretendono o che il problema non esista o, anche una volta ammesso che un problema di valutazione possa esistere, non credono che esso possa essere affrontato su basi razionali.
Questa premessa è necessaria per comprendere la cautela con la quale cercherò di esporre nel seguito i risultati di una breve indagine internazionale condotta per preparare l’intervento al convegno.
L’argomento più forte che viene solitamente usato per contrastare qualsiasi progetto di valutazione della attività accademica (di ricerca, ma anche di didattica, o, in genere la performance di un individuo o di un gruppo di individui) è l’impossibile oggettività. La mancanza di oggettività sembra rendere inutile, o, perlomeno, indesiderabile, qualsiasi tentativo di comprensione della capacità di produrre, della quantità e qualità della produzione, del rapporto tra investimento e prodotto nel campo della ricerca scientifica così come in tutte le altre attività accademiche che ho menzionato.
Conscio di questo, ho pensato di aggirare l’ostacolo (e quindi prevenire critiche di mancanza di oggettività o di parziale oggettività) rinunciando alla pretesa di essere oggettivo.
Quanto segue è quindi una elaborazione soggettiva di informazioni ottenute direttamente, mediante un rapido scambio di messaggi di posta elettronica, da colleghi attivi scientificamente in diversi paesi europei. L’entità e l’importanza di queste informazioni (eccezion fatta di quelle ricavate, su indicazione degli stessi colleghi, da siti www di università o enti pubblici) sono quindi state a me trasmesse in maniera soggettiva da chi ha potuto o voluto collaborare. Sono cosciente che questa dichiarata soggettività potrà diminuire l’interesse di alcuni alla elaborazione. Sono anche convinto, però, che informazioni ottenute da chi realmente opera nella ricerca, da chi quindi è direttamente sottoposto ai meccanismi di valutazione ed, eventualmente, ne paga le conseguenze, abbiano molto più valore ed impatto immediato che non una descrizione tecnica di protocolli ufficiali di valutazione.
Pur nella soggettività dell’indagine ho dovuto definire dei confini, un ambito entro il quale raccogliere ed accorpare dati che presentassero un quadro utile, anche se approssimativo, di come viene vissuta la valutazione della ricerca nei vari paesi.
Il confine è quindi, in primo luogo geografico: la base è europea. Ho escluso dal ragionamento gli USA ed altri paesi avanzati (Israele, Giappone, Australia etc.). Ho anche escluso paesi dell’est europeo perché i problemi connessi alla ricerca scientifica sono, in genere, molto diversi. La scelta europea è dettata sia da ragioni di opportunità sia da ragioni politiche. Essendo un convinto europeista, ritengo che l’Italia, e con essa la nostra accademia, dovrà nei prossimi anni procedere ad una massiccia opera di armonizzazione europea delle sue strutture e dei suoi meccanismi di distribuzione delle risorse (materiali ed umane) destinate alla ricerca scientifica.
Avendo scelto una Europa di nazioni non mi sono preoccupato della Comunità Europea o degli organismi europei di finanziamento della ricerca essenzialmente perché il concetto di valutazione (come si vedrà nel seguito) non ha ancora una base comune a livello europeo. Inoltre le eventuali conseguenze della valutazione sono molto diverse passando da un paese ad un altro. E’ tuttavia opportuno sottolineare che le informazioni da me raccolte, seppur in modo frammentario e personale, riguardano tanto la fascia “latina” Spagna, Portogallo e Francia, dell’Europa che quella anglosassone (UK, Germania, Paesi Bassi). E’ infatti ricorrente l’opinione che la “valutazione” della ricerca (ma non solo) sia figlia del pragmatismo anglosassone, mentre poco spazio troverebbe, nella sua arida burocraticità, nella fantasia latina. Questo è un luogo comune da confutare. Vedremo infatti che sia la Spagna che il Portogallo utilizzano già appieno sistemi di valutazione della ricerca.
Valutare la ricerca perché?
Un primo problema che si deve affrontare per parlare di valutazione della ricerca è molto semplice a basilare, perché? Qual è lo scopo dell’esercizio di valutazione ?
Personalmente ritengo che ci siano fondamentalmente tre risposte a questo domande:
a) in primo luogo, certamente, quella di poter definire, coordinare, dirigere ed ottimizzare la distribuzione sia di risorse umane (PhD e post doctoral positions, posti di ricercatore, promozioni) che materiali (finanziamenti per apparecchiature, costi vivi, strutture etc.). Qualsiasi investitore pubblico o privato dovrebbe voler sapere se l’investimento ha bassa o alta probabilità di successo.
b) un secondo scopo è quello di sfruttare la valutazione per individuare, all’interno di una area scientifica, i settori di punta, quelli trainanti in cui la ricerca si muove alla frontiera (leading edge) e, per converso, anche di individuare settori di ricerca obsoleta, filoni ormai ampiamente sfruttati e che hanno cessato di rendere un prodotto di ricerca adeguato alle risorse assorbite.
c) Un terzo obiettivo, forse quello al momento più perseguito, è quello che potrei definire approssimativamente come “pressione psicologica”. Si tratta cioè di introdurre in comunità molto spesso non avvezze all’autoesposizione ed alla giustificazione d’utilizzo delle risorse ricevute elementi di controllo che spingano indirettamente il ricercatore ad una maggiore attenzione al buon impiego delle risorse disponibili e quindi ad una maggiore cura della qualità e quantità del prodotto.
Una seconda domanda di rilievo e “valutare cosa” ? E’ chiaro che la dimensione della valutazione ha conseguenze sia sul metodo di valutazione che sulle eventuali ricadute.
a) si può mirare a valutare l’istituzione nel suo complesso, per esempio una Università, oppure suoi sottosettori, come le facoltà, i dipartimenti o i singoli laboratori di ricerca
b) si può mirare a valutare la performance di una certa disciplina (chimica, storia antica, matematica…)
c) così come si può voler sottoporre a valutazione il singolo ricercatore o un gruppo di ricercatori
Più che “valutare cosa”, tuttavia, sarebbe opportuno chiedersi quale debba essere il riferimento, il termine di confronto. La valutazione della ricerca prodotta da una università avrà senso solo se il risultato sarà raffrontato (e quindi opportunamente normalizzato) con quello di una altra istituzione di simili caratteristiche. E’ evidente che la performance nella produzione di scienza entrerà a fare parte dei criteri che saranno utilizzati dai governi per allocare risorse e dai singoli utenti (per esempio gli studenti) per scegliere a quale università iscriversi.
Una valutazione della attività dei dipartimenti avrà senso se si confronteranno tra loro dipartimenti con la stessa tipologia disciplinare (ad es. chimica con chimica, lingue con lingue, etc.). Si tratterà quindi di comparazioni orizzontali tra diverse università (raramente la stessa università presenta più di un dipartimento disciplinare dello stesso tipo).
La raccolta di informazioni
La Figura 1 indica i paese europei per i quali sono stato in grado di ottenere informazioni utilizzabili. La figura mostra anche gli acronimi delle agenzie di finanziamento della ricerca che si occupano di valutazione ai fini della distribuzione di risorse.
La raccolta di informazioni si è basata, come anticipato nella premessa, sul contatto diretto con un certo numero di colleghi europei (i nomi e le affiliazioni di quanti hanno collaborato sono riportati nei ringraziamenti in fondo all’articolo). A questi colleghi ho inviato per posta elettronica il seguente questionario:
1) is research activity evaluated ? by which institution/body ? University, Government, financing agencies ?
2) if it is evaluated, is the evaluation based on individuals ? on departments ? on areas (chemistry, literature etc.) ?
3) what is the feed back? is there a consequence of these evaluations ? (in terms of finances, of positions, of career progression, other) ?
4) how is research in the humanities evaluated ?
5) are impact factors ever used ?

Il messaggio chiedeva inoltre di indicare, laddove possibile, i siti internet delle agenzie interessate per permettermi di ottenere materiale direttamente dalla rete. Come si vedrà nel seguito questo è stato particolarmente utile nel caso di UK e Spagna.
I risultati sono riassunti in maniera molto schematica nelle due tabelle riportate nel seguito.
Per “peer review” si intende l’impiego, da parte dell’organismo che esegue la valutazione, di gruppi di valutatori esterni all’istituzione da valutare. Per “panels” si intende che la valutazione è in tutto o in parte basata su visite da parte di gruppi di valutatori (referee panels) delle istituzioni da valutare. Solitamente la visita di referee panels comporta incontri con il personale impegnato nella ricerca, a volte con gli studenti ed il personale tecnico, spesso la presentazione, in forma seminStempel Garamond e, della attività scientifica svolta dai gruppi o dai singoli ricercatori. Le tipologie di presenza dei panels è estremamente diversa e risponde alle esigenze locali.
Va comunque sottolineato che non è tanto rilevante il meccanismo con cui i singoli referee panel o peer review panel operano in un determinato paese quanto il concetto di fondo che la valutazione viene affidata a personale esterno all’Università (o al Dipartimento). Un altro punto importante è quello relativo alla composizione dei panels. In molti paesi (Portogallo, Francia, UK) i panels sono composti anche da membri stranieri provenienti, cioè, da altri paesi europei.
Per “target” si intende l’oggetto della valutazione. Come discusso prima esso può variare dal singolo ricercatore, al dipartimento o istituto, alla disciplina o settore di ricerca, all’intera università.
Per “effect” si intende la possibile conseguenza del processo di valutazione. Dando per scontato il caso indicato con (a) in precedenza (cioè la distribuzione di finanziamenti e risorse) si è concentrata l’attenzione sulla eventuali conseguenze sulle carriere di individui e/o sui salari. Si è anche chiesto esplicitamente se la valutazione interessasse o meno una determinata disciplina.
Per “non attive scientists” si intende la possibilità che dalla valutazione siano esclusi quegli accademici che non risultano più attivi scientificamente. Si tratta di personale universitario (molto diffuso anche nei nostri atenei) che, pur didatticamente attivo (a volte con risultati estremamente importanti) non produce più dal punto di vista della ricerca scientifica. Il problema posto da questi colleghi è interessante: la loro inclusione tra il personale dell’istituzione che viene valutata comporta necessariamente una diminuzione della “produttività media”, mentre la loro esclusione tout-court comporta la presenza di risorse umane che non vengono considerate nel complesso del personale che grava sulla istituzione. Per quanto mi è dato di sapere il problema è stato risolto in Francia e UK individuando, appunto, la categoria dei “non active scientists”. Va chiarito che non l’appartenenza a questa categoria non è un demerito, ma più razionalmente il riconoscimento del fatto che un certo individuo, per ragioni contingenti (per esempio un incarico amministrativo rilevante come una presidenza di facoltà o la direzione di un dipartimento) oppure perché avanti nella carriera e meno interessato alla ricerca scientifica (ma, pur sempre, in grado di contribuire alla didattica e ad attività tutoriali etc.), non svolge ricerca scientifica in maniera rilevante e quindi non contribuisce al prodotto di ricerca, né, tanto meno, ai suoi costi.
L’ultima voce delle due tabelle e quella relativa al fattore di impatto (IF). La domanda relative era se tale indicatore entrasse o meno nella valutazione, e, se sì, in quale misura venisse utilizzato.

Conclusioni

Questo breve studio ha molte limitazioni e non sarò certo io a sopravvalutare i risultati della mini-inchiesta. Mi aspetto, come docente, che le Istituzioni competenti (MURST e singole Università) abbiano – o comunque possano dotarsi – di ben altri mezzi che non quelli che ho utilizzato io per preparare questo intervento. Pur tuttavia, alcuni risultati sono evidenti e possono essere considerati affidabili, soprattutto se non si entra nel dettaglio delle procedure e dei meccanismi con cui le valutazioni della ricerca sono eseguite. Cercherò di riassumere queste considerazioni nel seguito.

Il primo risultato è che non c’e’ un approccio comune. Non esiste una filosofia unica tra i vari paesi europei presi in considerazione come non esistono meccanismi comuni o assimilabili. Ogni paese ha sviluppato in maniera endogena i criteri ed i mezzi con cui eseguire la valutazione. Esistono, tuttavia, alcuni denominatori comuni. Essi sono schematicamente indicati nel seguito.

• L’oggetto della valutazione della ricerca è il dipartimento (o struttura analoga) – a volte il laboratorio (o il gruppo) – raramente il singolo
• Il metodo è, in generale, quello del peer-review (o panel di referees integrato da esterni) – con visita dei dipartimenti, “interviews”, “short talks”
• La cadenza della valutazione varia da un minimo di due ad un massimo di cinque anni.
• Le conseguenze della valutazione sono le più svariate, da nessuna all’utilizzo del risultato della valutazione in algoritmi per l’assegnazione di fondi. In alcuni casi la valutazione ha influenza diretta sulle carriere dei singoli ricercatori.
• La valutazione dei titoli avviene per peer-review con utilizzo “misto” dei fattori di impatto. Nessun sistema è, tuttavia, basato sull’utilizzo di IF.
• Si comincia a diffondere il concetto di “active scientist” – la distinzione cioè tra chi svolge attività di ricerca e didattica e chi svolge principalmente quest’ultima.

Alcune considerazioni personali sul IF

Il problema dell’IF è un tipico problema italiano: fatto di strenui fautori e di altrettanto strenui avversari. Infatti solo in Italia l’uso/il non uso/l’abuso dell’IF è un problema. Il IF è un parametro numerico, ed è un parametro numerico medio, come tutti i parametri numerici medi dipende dalla scelta del campione e può dare risposte diverse per diverse campionature. Non può fornire (né deve) di più di quello per cui è stato inventato.
E’ un fatto che l’IF infatti non è rilevante, o non lo è particolarmente, o comunque non costituisce un problema, presso quelle comunità scientifiche in cui più forte è la capacità di autovalutarsi.

L’IF assume maggiore importanza in due casi

• E’ un utile strumento per la burocrazia, perché non richiede la comprensione della disciplina che richiede fondi di ricerca, né rende necessario conoscere le riviste scientifiche di riferimento. Un semplice parametro numerico permette il raffronto interno al settore che si considera.
• E’ importante, quando (purtroppo) non indispensabile, in comunità scientifiche che non sono in grado di auto-valutarsi criticamente.

Quest’ultimo punto è particolarmente serio in alcuni paesi, tra cui l’Italia, ed è più sentito presso alcune comunità scientifiche. In generale si può affermare che quanto più alto è il contenuto di autoreferenzialità di una comunità scientifica, tanto più alto è il deficit di moralità, tanto maggiore è l’esigenza di ricorrere ai cosiddetti “parametri oggettivi”. Una comunità scientifica sana (dove distorsioni dovute a comportamenti eticamente scorretti sono nei limiti fisiologici di un organismo sano) NON ha bisogno di servirsi di “parametri oggettivi”. Una comunità scientifica malata, avvezza allo scambio di favori – ed alla autoreferenzialità – è ovviamente fortemente avversa a qualsiasi valutazione oggettiva – avvenga essa per peer review, per “referaggio anonimo” o basata su “parametri oggettivi”.

Ringrazio i seguenti colleghi per le informazioni che mi hanno cortesemente fornito.
Professor Juan, J. Novoa, Dr. Rosa Caballol (Barcelona, Spain)
Professor G. van Koten (Utrecht University, The Netherlands)
Dr. Guy Bertrand (Toulose, France), Dr. Odille Eisenstein (Montpellier, France)
Professor Dr. Gerhard Mueller (Universitaet Konstanz, Germany)
Professor Dr. Christoph Elschenbroich (Universitaet Marburg, Germany)
Professor Guy A. Orpen (University of Bristol, UK)
Professor Maria J Calhorda (University of Lisbon, Portugal)