Perché e come valutare l’efficacia delle politiche pubbliche

È appena uscito il nostro libro Sono soldi ben spesi? Perché e come valutare l’efficacia delle politiche pubbliche (Marsilio). Il tema è di interesse per i lettori di Neodemos. Pensiamo quindi utile una sua snella presentazione.
 
Le buone ragioni per misurare gli effetti di politiche
«Sono soldi ben spesi?» è una domanda che è legittimo porsi rispetto a ogni utilizzo di risorse pubbliche. La domanda assume tuttavia significati differenti a seconda di cosa si intenda per “bene”. Per alcuni osservatori spendere bene corrisponde all’idea di spendere correttamente, rispettando le regole imposte dalla legge. Per altri significa senza sprechi. Per altri ancora “bene” si riferisce all’esigenza di spendere per una giusta causa; ad esempio, se l’obiettivo è di tipo redistributivo, spendere bene significa farlo a favore di chi ha più bisogno.
Un’accezione altrettanto importante di “soldi spesi bene”, segnatamente a fronte di risorse pubbliche sempre più limitate, riguarda l’efficacia intesa come capacità di produrre gli effetti desiderati. Sono ben spesi i finanziamenti alle imprese per ricerca e sviluppo? I fondi per gli ammortizzatori sociali? Per le politiche di conciliazione tra lavoro e famiglia? Per la sperimentazione didattica?
Il libro illustra in maniera piana e intuitiva le potenzialità della valutazione degli effetti di politiche basata sull’analisi controfattuale. Ne presenta significativi utilizzi tratti dalle esperienze di Stati Uniti, Germania e Francia. Discute lo stato della valutazione in Italia ed esplora le ragioni della sua arretratezza. Chiude con nove suggerimenti per imboccare un percorso difficile ma possibile.
Diamo qui uno scorcio a due temi: i modi per valutare l’efficacia di politiche e la pratica della valutazione in Italia.


Come si misurano gli effetti
Misurare gli effetti di una politica significa determinare se sia stata capace di modificare la situazione preesistente nella direzione voluta, allo scopo di decidere se replicarla – eventualmente espanderla – o modificarla o abolirla. Quindi non solo rilevare se un cambiamento si è verificato, ma capire in quale misura esso è dovuto all’intervento. L’interrogativo è tutt’altro che banale.
La sfida per la valutazione degli effetti sta nell’affrontare uno dei problemi cognitivi più difficili: l’attribuzione causale. Si tratta di ricondurre a una specifica azione pubblica il merito dei miglioramenti osservati o dei peggioramenti evitati nel fenomeno che intende modificare. Il miglioramento osservato è merito della politica pubblica oppure si sarebbe verificato comunque? Il peggioramento osservato sarebbe stato più grave in assenza della politica oppure no?
Adottiamo la definizione controfattuale di effetto: l’effetto di un intervento è la differenza tra quanto si osserva in presenza dell’intervento e quanto si sarebbe osservato in sua assenza. È immediato notare che, mentre il primo termine di questo confronto è osservabile, il secondo termine è ipotetico, non osservabile per definizione. Questo risultato ipotetico è definito situazione o risultato controfattuale. L’obiettivo della valutazione degli effetti è ricostruire in maniera plausibile che cosa sarebbe accaduto in assenza della politica e determinare l’effetto per differenza rispetto a ciò che è accaduto.
Il disegno che assicura, per costruzione, l’identificazione dell’effetto medio di un intervento è l’esperimento randomizzato. Adottato soprattutto per saggiare l’efficacia dei farmaci, esso può essere – ed è stato – applicato anche a molteplici interventi in ambito economico e sociale.
Ma numerosi ostacoli si frappongono alla realizzazione di studi randomizzati per valutare politiche pubbliche. Quando la strada dell’esperimento sia chiusa, non si è tuttavia in un cul de sac. Vi è infatti un ampio spettro di metodi, che si basano sull’idea-guida di ricostruire il controfattuale utilizzando i dati generati “naturalmente” dall’attuazione della politica. Il libro presenta in maniera semplice, e discute con riferimento ad esempi, le principali clasi di  metodi.
Consideriamo un corso di sostegno alla ricerca di lavoro, con la scelta se parteciparvi o meno lasciata ai singoli disoccupati, dipendente dunque da carattersitiche degli stessi (genere, titolo di studio, esperienze lavorative precedenti, ecc.). Proponiamoci ora di valutare l’effetto della frequenza del corso sull’ulteriore durata della disoccupazione. Il grafico illustra un metodo di abbinamento, noto come p-score matching, che fa perno su un indice di propensione a partecipare al corso riassuntivo delle carattereristiche di partecipanti e non partecipanti (nel grafico, denotati rispettivamente con T e N).
Un altro interrogativo verte poi su quando sia bene iniziare a valutare gli effetti di una politica. Ebbene, la risposta è semplice: prima possibile. È cruciale che la valutazione sia avviata ex-ante, sin dall’avvio della riflessione sull’introduzione (o il ridisegno) di una politica, per due ordini di ragioni. In primo luogo, ciò induce le parti in causa – policy makers, interessi organizzati, opinione pubblica – a un maggiore sforzo di concretezza nella discussione pubblica; detto altrimenti, opera come un fattore che disciplina il dibattito e contribuisce ad affinare il disegno della politica. In secondo luogo, tale scelta porta a un attento monitoraggio dell’implementazione della politica in questione, importante perché è l’intervento realizzato che va valutato (non quello, spesso diverso – e non per dettagli – dettato dalla norma che lo istituisce), e favorisce la raccolta tempestiva dei dati necessari per una valutazione credibile.


In Italia la valutazione delle politiche non decolla
Veniamo all’Italia. Nel libro esploriamo lo stato della pratica della valutazione degli effetti delle nostre politiche pubbliche in tema di istruzione, di politiche del lavoro e di welfare, di interventi di incentivazione alle imprese, di politiche di sviluppo e coesione, di iniziative assunte dalle Regioni, di rendicontazione dei fondi strutturali della Commissione Europea.
Complessivamente, in Italia resta flebile l’interesse per l’interrogativo «sono soldi ben spesi?», così come è qui declinato, e conseguentemente la capacità di esprimere una domanda di valutazione rilevante per le decisioni e quindi tempestiva. Questo giudizio trova riscontri difficilmente contestabili. Il caso italiano mostra che la disponibilità di maggiori informazioni e la discreta crescita di solidi studi valutazione degli effetti di politiche non producono di per sé buone pratiche di valutazione incorporate nel processo decisionale.
Il confronto con le esperienze straniere, anche quelle di paesi a noi vicini per istituzioni e cultura – la Germania e la Francia, comincia a farsi impietoso. Esso segnala un ritardo dell’Italia nelle pratiche di valutazione degli effetti delle politiche e la tendenza del divario a crescere. Il nostro paese rischia una pericolosa deriva, proprio quando le società europee sono chiamate a sfide severe.
Perché questi ritardi e perché si accentuano? La causa prima è abbastanza chiara: non si è ancora espressa, una reale domanda di valutazione da parte delle amministrazioni pubbliche e dei policy makers, né – ed è lo scoglio principale – dei media e di cittadini organizzati. È lo scoglio principale, perché impedisce che gli elementi di novità che pure si manifestano – il vivace interesse dei ricercatori e l’accresciuta attenzione dell’opinione pubblica – trovino modo di esprimersi e di influire sul processo decisionale.
La poca e poco attenta domanda di valutazione rimanda, peraltro, a fattori che affondano le loro radici nel tempo e hanno una lunga persistenza. Muovere verso una diffusa, matura pratica di valutazione delle politiche dipende, in larga parte, dalle “condizioni al contorno”: presenza di senso civico, istituzioni ben disegnate e funzionanti, policy makers attenti alle ricadute delle loro scelte. Ma queste condizioni non segnano un destino ineluttabile. Le vicende di altri paesi, e in alcune fasi storiche del nostro, insegnano che cambiare è possibile. Le leve principali sono nel miglioramento delle istituzioni – e del loro funzionamento – e nel ruolo di una stampa e di think tanks liberi e indipendenti, capaci di mobilitare l’opinione pubblica e di alzare il costo politico del malgoverno. E anche un processo di buone pratiche di valutazione di politiche può aiutare, in piccola parte, l’evoluzione delle “condizioni al contorno”.
Nel capitolo conclusivo prospettiamo alcune raccomandazioni, in chiave di azioni e meccanismi che potrebbero attivare processi per muovere nella direzione appena delineata. Senza facili illusioni, ma convinti che la partita meriti di essere giocata. E senza certezze, ma confidando che esse servano ad aprire un dibattito.