L’attuazione dei piani operativi regionali è soggetta ad una verifica periodica che viene svolta da un comitato di sorveglianza (CdS). I temi da esaminare e approvare sono i più vari: il CdS del POR 2014-2020 che si è svolto il 2 febbraio 2018 a Reggio Calabria include una verifica dello stato di attuazione del Piano delle Valutazioni (PdV) predisposto dalla nostra Regione. In termini generali, il PdV è uno strumento di verifica dell’impatto determinato da singole misure o dall’insieme di tutte le azioni del POR Calabria. E’ una grossa novità nel processo di implementazione delle politiche di sviluppo, perché la parola “valutazione” ha stentato per anni ad entrare nel lessico della filiera istituzionale delle politiche comunitarie.
Che cosa include il PdV? In un documento preparatorio della riunione del CdS del 2/2/2018, si legge che “il PdV … prevede, nella sua stesura originaria, la realizzazione di 34 ricerche valutative da realizzare nel corso dell’intero ciclo di valutazione” e “che nella maggior parte dei casi si tratta di valutazioni ex post sia su interventi realizzati nel periodo 2007-2013, che su quelli che si attueranno nel ciclo di programmazione attuale”. Tra le attività previste nel PdV, rientrano, per esempio, la valutazione della “politica per la nascita di start-up e imprese innovative”, la “rilevazione periodica del giudizio sull’efficacia delle politiche di Ricerca e Innovazione”, la “valutazione della policy a sostegno dei Poli di Innovazione del ciclo 2014-2020”, “la valutazione d’impatto degli interventi per il rafforzamento dei percorsi d’istruzione post-lauream”. Altri ambiti di interesse riguardano le risorse culturali, i servizi di cura socio-educativa per bambini, l’efficientamento energetico, gli strumenti finanziari e i beni confiscati.
Il soggetto attuatore del PdV L’organo regionale cui è affidata la realizzazione delle attività di valutazione è il è l’ADG (Autorità di Gestione. In termini di attuazione del PdV, un ruodo centrale lo svolge il Nucleo Regionale di Valutazione e Verifica degli Investimenti Pubblici (NRVVIP), che si sta avvalendo – per alcune specifiche attività – del supporto di valutatori esterni. È interessante annotare che l’orientamento generale è di considerare il PdV uno strumento dinamico, nel senso di prevederne l’integrazione con altre valutazioni. Per esempio, una proposta è di includere le seguenti 4 attività: (1) valutazione ambientale del piano regionale dei trasporti; (2) studio propedeutico per definire le aree di attrazione naturale e culturale di rilevanza strategica; (3) modello di individuazione delle aree interne e (4) valutazione del piano di sviluppo turistico sostenibile.
Le attività in corso di realizzazione Nella stragrande maggioranza dei casi, l’attuale livello di attuazione delle varie attività valutative del PdV del POR 2014-2020 è nella fase iniziale, in cui si svolgono le seguenti azioni: “incontri preliminari con referenti dell’amministrazione per la definizione del disegno valutativo e reperimento dati”. Si tratta di fasi estremamente delicate del PdV, se è vero che l’intento è di realizzare valutazioni ex-post delle politiche (così com’è indicato nel paragrafo 1 “Inquadramento generale” del documento preparatorio del CdS).
E’ necessario fare un passo in avanti Sono questioni delicate perché la definizione del disegno di una valutazione ex-post deve necessariamente fornire elementi per risposte al seguente quesito “che cosa sarebbe successo in assenza della politica?”. Infatti, l’impatto di cui si parla nel PdV non può che essere quello determinato dal confronto tra quello che si osserva in presenza della politica e quello che avremmo osservato in assenza della stessa. Il disegno valutativo deve essere impostato, di conseguenza, seguendo l’approccio del controfattuale. Di questo approccio, però, non si fa esplicita menzione nel documento regionale per il CdS del 2/2/2018, ma ad esso si può risalire se si annota la frequenza, nel documento in esame, dell’uso dei termini “valutazione” e/o “ex-post”.
L’importanza del passo in avanti In assenza di questa impostazione è molto difficile intendere le attività del PdV come valutazioni (in senso stretto) dell’impatto di specifiche azioni. Un esempio aiuta a capire il problema: immaginiamo di dover valutare la “politica per la nascita di start-up e imprese innovative” e che, a fine ciclo di valutazione, registriamo un incremento di 50 nuove start-up, avviate in seguito agli aiuti previsti nel POR 2014-2020. La nascita di queste nuove imprese non può essere considerato l’effetto finale dell’aiuto pubblico, poiché può dipendere da fattori diversi dalla politica quali, per esempio, la presenza di una dinamica naturale degli eventi (la trasformazione osservata si sarebbe potuta verificare, comunque, perché, per esempio, è aumentata la domanda mondiale di servizi/beni realizzati dalle start-up), oppure dalle specifiche caratteristiche delle imprese beneficiarie dell’intervento pubblico. Pertanto, per poter misurare l’effettivo impatto dei benefici a favore delle start-up previsti dal POR 2014-2020 è necessario approfondire l’analisi per capire cosa sarebbe successo in assenza della politica. Poiché si tratta di uno scenario che non possiamo osservare, è necessario costruirlo in laboratorio e, per farlo, occorre fare riferimento a complicati modelli economici. L’intuizione, però, è banale: l’effetto sui beneficiari è rappresentato tra ciò che osserviamo (scenario fattuale) e ciò che osserveremmo in assenza dell’intervento (scenario controfattuale). Per costruire il controfattuale è necessario osservare le dinamiche di imprese simili ai beneficiari, ma escluse dai regimi di aiuto. Continuiamo con l’esempio. Supponiamo, per semplicità, che nel 2021 osserveremo un incremento di 20 start-up nate senza aver utilizzato fondi pubblici. In tali circostanze, è impossibile dire che le attività delle 50 nuove start-up finanziate dal POR siano state avviate solo grazie agli aiuti pubblici. Il fatto che imprese simili siano nate anche senza ricorrere al POR, legittima l’osservazione che il PdV debba essere attuato utilizzando i metodi di valutazione del controfattuale. Il che non è semplice. Non solo per i tecnicismi dei modelli econometrici che il metodo richiede di utilizzare, ma anche perché cambia la qualità e la quantità dei dati necessari per costruire lo scenario controfattuale. Definite le variabili obiettivo, serve seguire nel tempo anche soggetti (individui/imprese) esclusi dalla politica e che formano il cosiddetto gruppo di controllo. Concentrarsi solo sui beneficiari è utile (certamente aiuta a capire come funziona la tempistica di attuazione della spesa), ma serve ben poco ai fini valutativi. D’altra parte, la difficoltà del reperimento dei dati è resa esplicita anche nel documento regionale a supporto del CdS del 2/2/2018 quando, per esempio, si fa riferimento alla valutazione degli interventi per i servizi di cura socio-educativi per bambini, il cui soggetto attuatore è il NRVVIP. E’ scritto che “entro marzo 2018 si prevede di produrre un primo report sui risultati raggiunti”, ma il timore è che i dati sul gruppo di controllo limiteranno la probabilità di fornire una compiuta risposta ai quesiti del PdV (“qual è il bilancio domanda/offerta di posti negli asili nido in regione? Esiste davvero uno squilibrio a sfavore della domanda? Se si, come si presenta dal punto di vista territoriale (città vs rurale, piccoli comuni vs medio-grandi)? Qual è il peso e il ruolo della famiglia allargata nella cura degli infanti? Gli anticipi alle scuole dell’infanzia (consistenti in Calabria), perché si verificano? Il fenomeno dipende dalla scarsità di offerta o da una domanda che non può sostenere i costi del nido? Gli investimenti finora effettuati sugli asili comunali e privati hanno avuto effetti?”).
Sintesi L’impressione è che si stia facendo qualche passo in avanti, ma sembra che siano necessari ulteriori sforzi per definire meglio l’impianto metodologico da seguire per una valutazione in senso stretto dell’impatto delle politiche del POR 2014-2020. Oltre ai metodi, servono dati e, in tale direzione, per supplire alla carenza informativa che si riscontra in un numero elevato di casi, sarebbe di grande utilità effettuare indagini dirette tramite somministrazione di questionari strutturati. Ciò consentirebbe di monitorare bene le dinamiche sia dei soggetti che fruiscono delle politiche sia soprattutto di soggetti (da scegliere, comunque, in modo appropriato) che formano il gruppo di controllo. Si tratta di attività lunghe e complesse, ma che potrebbero offrire un valido strumento (gli impatti effettivi delle attuali politiche) da utilizzare per le programmazioni post-2020 (che senso ha continuare a finanziare uno, due poli di innovazione se dimostriamo che sono del tutto inutili?).
Questa nota è stata pubblicata sul Quotidiano del Sud (“Le difficoltà nel valutare il POR”) (Edizione del 2 Febbraio 2018).
