L'agenzia che vigila sulle università serve, ma è usata bene?

È stato recentemente presentato il rapporto sulla Valutazione della qualità della ricerca (VQR) effettuata dall’agenzia ANVUR (Agenzia nazionale di valutazione del sistema universitario e della ricerca) per quanto riguarda la produzione scientifica delle istituzioni accademiche italiane nel periodo 2011-2014. Uno dei principali utilizzi dei dati ricavati dalla valutazione VQR riguarda l’assegnazione della quota premiale del Fondo di Finanziamento Ordinario destinato a Università e Enti di ricerca vigilati dal Ministero dell’università e della ricerca (MIUR).

È facile quindi immaginare che i risultati di questa analisi avranno un impatto sulla distribuzione dell’investimento governativo dei prossimi anni nelle infrastrutture di ricerca, determinando quali potenziare in maniera più significativa.

Critiche sulle metodologie

Nel corso degli ultimi anni, già durante il primo esercizio di valutazione effettuato dall’ANVUR, sono state sollevate da autorevoli esperti diverse critiche riguardanti la validità delle metodologie alla base dell’analisi, ad esempio quella utilizzata per combinare gli indicatori di qualità dei prodotti scientifici analizzati e per raggruppare gli istituti valutati in categorie omogenee.

L'elaborazione dei dati pesa sulle classifiche

Senza entrare nel merito tecnico di queste argomentazioni, osservo che desta una certa preoccupazione il pensiero che la diversa elaborazione di dati bibliometrici possa produrre risultati anche significativamente diversi e che in base a un processo che pare avere un certo grado di labilità si determinino le classifiche delle istituzioni più virtuose, cioè quelle che saranno premiate.

Per prendere decisioni strategiche e orientare i futuri investimenti è essenziale acquisire una visione d’insieme della ricerca sulla quale si agisce e identificare le aree di maggiore competitività.

In questo senso, un’agenzia che svolga l’attività di valutazione ci serve.

Introdotte le modalità di valutazione

All’ANVUR va riconosciuto il merito di aver introdotto nel nostro sistema accademico delle modalità di valutazione della performance che prima erano praticamente inesistenti e di aver contribuito, in una certa misura, a incentivare i reclutamenti effettuati sulla base del merito: questo è molto importante, ma si può fare di più.

Ad esempio, i dati bibliometrici forniscano solo una parte degli elementi necessari per centrare l’obiettivo.

Cosa fanno gli altri

Del resto l’agenzia inglese HEFCE (Higher Education Funding Council for England), che svolge un’attività molto simile a quella dell’ANVUR, già nel 2011 ha rigettato un uso automatico della bibliometria specificando nelle proprie linee guida che indicatori quali l’Impact Factor e le classifiche di prestigio delle riviste non saranno più utilizzati nella valutazione e che lo stesso criterio del numero di citazioni - molto più utile per valutare l’impatto di un articolo scientifico sulla comunità di riferimento - deve in ogni caso essere contestualizzato e incorporato in una valutazione complessiva di originalità, significatività e rigore scientifico di un lavoro, effettuata dagli esperti.

Visite 'in situ' per completare valutazione

In base alla mia esperienza in ambito di gestione del finanziamento infrastrutturale a istituti di ricerca, la valutazione della produzione scientifica deve essere integrata con analisi in situ degli istituti stessi tramite le cosiddette “site visit” che permettono di acquisire una visione articolata del potenziale competitivo e dell’orientamento strategico dei programmi di ricerca.

Molto importante è anche la valutazione dell’impatto in termini di sviluppo applicativo - quello che nel rapporto VQR è definito “terza missione”- che non sta tanto nei numeri di brevetti e spin-off creati dall’ istituto, ma può essere valutata solo qualitativamente.

Per realizzare tutto questo non si può prescindere dalla valutazione umana che evidentemente contiene elementi di soggettività che non sono eliminabili, ma possono essere gestiti tramite un processo che governi il contributo degli esperti coinvolti e produca una reale identificazione del valore e del potenziale dei centri presi in considerazione.

I risultati dell'analisi danno informazioni vere?

Quello che mi chiedo è, quindi, se i risultati prodotti dall’analisi VQR siano davvero in grado di informare chi dovrebbe prendere decisioni strategiche riguardo al potenziamento di quelle che sono le principali risorse a disposizione del nostro paese in termini di ricerca e sviluppo.

Nel caso, poi, dell’esercizio di valutazione effettuato dall’ANVUR, c’è anche da considerare che la relazione, per ovvi motivi, fotografa una situazione che risale a tre anni fa, periodo durante il quale, in alcuni ambiti di ricerca, lo scenario ha subito rivoluzioni importanti delle quali non si può non tenere conto nel momento in cui si effettuano decisioni strategiche di investimento.

Anche in questo caso, il contributo della valutazione effettuata da esperti è fondamentale.