Introduzione
“Per decidere con intelligenza dove allocare risorse pubbliche sempre più scarse occorre riconoscere quali sono le politiche efficaci e quali lo sono meno???, o non lo sono affatto, e per farlo non esistono scorciatoie: o si ricorre ad una rigorosa valutazione degli effetti, oppure si agisce per intuito e per ideologia” recita così la missione del neonato IPSEE.INFO, sito web dedicato agli effetti delle politiche pubbliche realizzato dall’Associazione per lo Sviluppo della Valutazione e l’Analisi delle Politiche Pubbliche, con il sostegno della Compagnia San Paolo e della Banca di Italia (gennaio 2018). Il condivisibile richiamo alla necessità di assumere la pratica valutativa come strumento di supporto dei processi decisionali pubblici si lega ad una precisa scelta di campo che sembra legare indissolubilmente l’attività di ricerca valutativa alla stima degli effetti delle politiche e, come si legge qualche riga più sotto, all’approccio controfattuale. Eppure, come più volte sottolineato da Martini (2006), l’approccio controfattuale “non è rilevante per qualsiasi problema di valutazione, bensì solo per un tipo particolare di domanda valutativa, quella che chiede di quantificare l’effetto di un particolare intervento pubblico”. Si tratta di un quesito di indubbia centralità, chiaramente iscritto entro il dibattito sulla cosiddetta evidence based practice che, come è stato notato, fa propria una logica di razionalità strumentale centrata sulla appropriatezza dei mezzi anziché dei fini perseguiti e dei percorsi necessari per raggiungerli (Sanderson 2002), comprimendo lo spazio di riflessione critica circa caratteristiche e bisogni dei destinatari, strategie di intervento, obiettivi perseguiti. Eppure, questi restano un requisito essenziale per azioni collettive ispirate a criteri di giustizia (de Leonardis 2009), iscritte in processi duraturi di apprendimento (Torrigiani 2010). Per dirla con Cartwright, good efficacy results [...] are only a very small part of the story (2009, p. 128). Si tratta allora di chiedersi quale funzione ascrivere all’attività di valutazione all’interno dei processi decisionali, quali gli interlocutori privilegiati e il tipo di sapere che ci si aspetta quale esito del percorso valutativo, senza tralasciare le assunzioni (etiche, epistemologiche e metodologiche) implicite iscritte negli strumenti utilizzati e le relative conseguenze in termini di ridefinizione del tipo di conoscenza prodotta. D’altra parte, la valutazione non è solo un fatto tecnico, è “un atto politico, che avviene entro contesti strategici dentro i quali il valutatore è spesso un attore come gli altri” (Weiss 2000, p. 299), perché interviene in processi decisionali pubblici ed è chiamata ad esprimere giudizi sul buon esito e sul funzionamento degli oggetti cui si applica. Interrogarsi sulla valutazione e sul tipo di approccio teorico-metodologico ritenuto più efficace significa interrogarsi sulla funzione della conoscenza prodotta a fini valutativi e sul rapporto tra conoscenza valutativa e politiche in generale.
Su questo tema vi è un denso e articolato patrimonio di ricerca e riflessione teorica, qui necessariamente trascurato, che ha problematizzato, da prospettive diverse, il ruolo dell’informazione nei processi di policy making e, insieme, le pretese di oggettività delle tecniche e degli strumenti atti a produrle. Ciò che si intende qui richiamare è che la scelta dello strumentario tecnico non può prescindere dai contesti entro cui si cala la valutazione, né tantomeno dagli oggetti e dalle domande cognitive cui la valutazione è chiamata a rispondere.
Non si intende qui negare l’utilità dell’approccio controfattuale, né discuterne la rilevanza, quanto semmai circoscriverne i confini conoscitivi, mostrando le potenzialità e i limiti di prospettive “altre” attraverso il richiamo ad approcci ampiamente consolidati, non solo sul fronte teorico, ma anche nell’esperienza empirica di molti istituti di ricerca ed enti internazionali[1], in Italia spesso trascurati. Non si tratta di addentrarsi sul terreno del confronto tecnico tra le diverse opzioni in campo, quanto di accettare l’invito a un pragmatico pluralismo che sposti l’attenzione dalle strategie di ricerca alla “design sensitivity” (Donaldson 2003) alle prese con istanze conoscitive, esigenze situazionali e vincoli pratici.
In particolare, il contributo intende mettere a tema l’apporto conoscitivo offerto dai cosiddetti approcci orientati alla teoria, da più parti considerati una soluzione metodologicamente adeguata alla valutazione di politiche e interventi complessi (multi-azione e multi-destinatario) anche in maniera complementare e, non necessariamente sostitutiva, ad approcci più classicamente orientati alla stima degli effetti. Si tratta di una tradizione di studi che affonda le proprie radici nella valutazione guidata dalla teoria di Chen e Rossi (1983; 1987), e che vede tra i principali protagonisti la valutazione basata sulla teoria (Theory Based Evaluation, di seguito TBE) dell’americana Carol H. Weiss (1998) e la valutazione realistica degli inglesi Ray Pawson e Nick Tilley (1997).
La locuzione “approcci orientati alla teoria” rinvia un ampio spettro di proposte teorico-metodologiche[2] caratterizzate da una comune aspirazione ad aprire la “scatola nera” dei programmi, attraverso il disvelamento e la messa alla prova dei meccanismi causali responsabili del cambiamento atteso per effetto delle politiche e dei programmi oggetto di valutazione.
Largamente utilizzati nel mondo anglosassone e nordamericano, gli approcci orientati alla teoria hanno sin qui avuto nel nostro Paese una applicazione più limitata. Senza voler ambire a una disamina approfondita degli approcci menzionati, il contributo intende evidenziare le implicazioni teorico-metodologiche che la loro adozione comporta per il processo valutativo e il tipo di conoscenza prodotta a fini decisionali.
Il contributo si apre dunque con una sintetica presentazione degli approcci orientati alla teoria, dedicando particolare attenzione alla TBE e alla valutazione realista. Gli approcci sono sinteticamente richiamati a partire dai punti di contatto e di differenza circa la concettualizzazione dei programmi sociali, dei meccanismi causali e dei destinatari degli interventi. Il saggio prosegue con una riflessione sulle implicazioni di metodo relative alla strutturazione del percorso di ricerca e al formato delle conoscenze prodotte, riservando particolare attenzione al ruolo ascritto al valutatore, all’oggetto di valutazione e ai destinatari di elezione delle conoscenze valutative prodotte. L’ultima parte del contributo cerca di trarre le somme delle argomentazioni prodotte, focalizzando l’attenzione sull’utilità del processo valutativo e sul contributo offerto ai processi decisionali.
Gli approcci orientati alla teoria
Lo sviluppo degli approcci orientati alla teoria lega le sue origini al problema della attribuzione causale e all’insoddisfazione per la cosiddetta “parata degli effetti nulli” (Donaldson 2003) ovvero alla apparente inefficacia della gran parte delle sperimentazioni sociali varate a partire dal Secondo dopoguerra fino alla prima decade degli anni Settanta (Rossi e Wright 1984; Rossi, Freeman e Lipsey 1999), caratterizzandosi per il recupero della lezione Weberiana circa la relazione di senso o l’intelligibilità dell’azione a fondamento della spiegazione causale (Palumbo 2002).
Pur nelle relative differenze, gli approcci orientati alla teoria si distinguono per la capacità di innescare una riflessione circa il perché dell’esistenza di alcune catene causali che permettono ai beneficiari di un programma o una politica di trasformare (o di non trasformare) le risorse che una politica mette loro a disposizione in vista della produzione di un cambiamento (Weiss 1997).
Compito della valutazione diventa allora quello di esplicitare, e utilizzare come guida del disegno valutativo, “il set di assunzioni sulle relazioni tra la strategia e la tattica adottati da un programma e i benefici sociali che ci si aspetta che esso produca” (Rossi et al. 1999, p. 98), ovvero la complessiva teoria del cambiamento sottesa all’evaluando, un modello plausibile di come e perché l’intervento in esame possa produrre un cambiamento nella condizione e/o nel comportamento dei beneficiari.
Sebbene il concetto di teoria così come quello di meccanismo sia diversamente declinato dalle diverse proposte che si richiamano a questa prospettiva, è possibile individuare alcuni elementi comuni che rinviano, in primis, ad una concezione delle politiche e dei programmi come complesse articolazioni di opportunità, vincoli, risorse, molto lontana dalla schematizzazione classica sottesa all’approccio controfattuale del tipo “obiettivi-risultati”, nella quale fattori personali e di contesto rappresentano fonti potenziali di distorsione degli effetti, o al più, variabili intervenienti in grado di moderare l’intensità degli effetti analizzati. Va qui segnalata una prima differenza interna, circa il ruolo riconosciuto ai processi di implementazione. Nella TBE questi assumono un ruolo comprimario nella complessiva teoria del cambiamento sottesa ai programmi[3] nella assunzione di una reciproca relazione di influenza nel rapporto programma/contesto che individua nei processi attuativi un fattore chiave per il successo di un programma (Palumbo 2006), anche al di là delle intenzioni dei decisori o della bontà della teoria soggiacente. Tale influenza va declinata non solo in termini di durata, contenuto, intensità e frequenza delle prestazioni, ma anche di valori, interessi, storie e culture professionali in gioco. Tutti fattori che appaiono assai meno rilevanti nell’approccio realista, eccezion fatta per la ricostruzione che, a partire da queste, può esser fatta dei diversi contesti attuativi, sulla cui rilevanza concordano entrambe le prospettive. Se nella TBE il contesto è assunto a riferimento come elemento in grado di influenzare la sequenza di nessi causali tra obiettivi e risultati e di condizionare il comportamento degli attori coinvolti, nella logica realista il contesto assume un ruolo comprimario nella spiegazione del cambiamento, in ragione della attivazione o disattivazione dei meccanismi causali alla sua origine.
L’attenzione ai contesti si salda al riconoscimento dei destinatari non già come destinatari passivi delle opportunità loro offerte, ma agenti attivi del cambiamento. Una delle più citate asserzioni di Pawson e Tilley (1997, p. 52) recita, al riguardo, che “i programmi non possono essere considerati come una sorta di soluzione esterna e in sé stessa efficace alla quale i soggetti trattati reagiscono. Piuttosto essi funzionano se gli attori scelgono di farli funzionare e si trovano nelle condizioni appropriate per riuscire a realizzare questo obiettivo”. Ricostruire il funzionamento di un programma richiede, allora, la comprensione dei meccanismi che esso innesca al variare dei contesti e delle combinazioni di esiti cui, in ciascuno di tali contesti, può dar luogo[4]. Il termine meccanismo è qui utilizzato per riferirsi alle scelte che gli attori sociali compiono tenendo conto delle risorse a loro disposizione, degli scopi che si sono prefissi e dei vincoli a loro imposti (ivi, p. 50).
Pur muovendo da una prospettiva epistemica dissimile[5], anche la TBE richiama l’attenzione sulla rilevanza delle reazioni dei destinatari degli interventi individuando nei meccanismi responsabili del cambiamento, non già le attività previste da politiche e programmi, quanto le risposte, cognitive, affettive o sociali, che esse generano nei beneficiari (Weiss 1997).
D’altra parte, la rilevanza accordata alle scelte che gli attori sociali compiono non è certo un’acquisizione recente entro il panorama delle scienze sociali. Senza andare molto indietro nel tempo, basti richiamare a titolo di esempio quanto sostenuto da Luhmann (1970; tr. it. 1983, p. 137) a proposito delle attività che mirano a modificare i comportamenti delle persone, ovvero che le condizioni del successo o dell’insuccesso risiedono continuamente nelle persone stesse e nel loro sistema d’interazione.
Sulla natura dei meccanismi si gioca una delle più significative differenze tra i due approcci. Se nell’approccio realista, come ricorda Palumbo (2002) il meccanismo assume i caratteri di un “tipo ideale puro” che permette di dar conto dell’agire intenzionale degli attori sociali in contesti situati, nella TBE esso assume i caratteri di una variabile latente da esplicitare e rilevare attraverso l’indagine empirica. Analoga differenza può essere rintracciata nella natura delle “teorie” chiamate a guidare la valutazione, non solo in termini della relativa concettualizzazione nei termini dell’interazione tra teorie del programma e dell’implementazione o delle configurazioni CMO, ma per il diverso grado di generalità cui ambiscono. Come è già stato notato, le configurazioni CMO ambiscono a qualificarsi come “teorie di medio raggio” che, per usare le parole di Merton (1967, p. 39), “lie between the minor but necessary working hypotheses that evolve in abundance during day-to-day research and the all-inclusive systematic efforts to develop a unified theory that will explain all the observed uniformities of social behavior, social organization and social change”. Come tali sono sufficientemente astratte da dar conto dell’interazione tra le differenti spere del comportamento e della struttura sociale, attraversando i confini tra micro e macro. Di qui una idea di cumulatività che procede astraendo modelli di contesto, meccanismo e risultato, indipendentemente dal tipo di policy indagata, perché ad essere trasferiti non sono “blocchi di dati” ma “set di idee” (Pawson e Tilley 1997, p.120).
Sebbene Weiss concordi sulla necessità di fondare le possibilità di generalizzazione sull’individuazione dei processi causali più fortemente associati al realizzarsi di certi risultati, rintracciando pattern di comportamento comuni a programmi di vario tipo (Weiss 1998), non vi è dubbio che la portata esplicativa delle teorie sia più radicata nelle esperienze contingenti. L’invito è quello di concentrarsi, nei casi singoli, su piccoli pezzi di teoria, che mostrino di essere sufficientemente coerenti per riporvi un certo grado fiducia anche se non fanno ancora parte di un ampio sistema esplicativo (Weiss 1997). Le possibilità di cumulatività della conoscenza valutativa sono affidate alla meta-analisi e a una prospettiva di lungo periodo che consenta non solo di offrire a decisori e implementatori teorie “migliori” per la progettazione e realizzazione delle politiche, ma anche di contribuire all’accrescimento delle conoscenze teoriche entro il panorama delle scienze sociali tutte (Weiss 1997).
Le implicazioni sul fronte della pratica valutativa
Da un punto di vista metodologico, gli approcci orientati alla teoria si caratterizzano per uno spiccato orientamento alla centralità della teoria nella fase di disegno, sia nella formulazione delle domande di valutazione che nelle strategie di costruzione della documentazione empirica. Ne deriva il richiamo alla necessità di disegnare la valutazione in maniera “situata” rifuggendo opzioni metodologiche poco lungimiranti e poco aderenti ai contesti nei quali le politiche vengono implementate. In questa prospettiva “nessun metodo è appropriato sempre e ovunque” (Shadish, Cook e Leviton 1991, p. 33), ma andrà selezionato in ragione dell’oggetto di valutazione.
Il primo compito del valutatore è, come si è detto, di esplicitare le teorie soggiacenti al programma, utilizzando a tale scopo fonti di natura diversa, ivi compresi i diversi stakeholder del programma sottoposto a valutazione. Va qui segnalata la profonda differenza tra gli approcci in esame, sul fronte del coinvolgimento e della partecipazione.
Nella TBE il lavoro di ricostruzione delle teorie del cambiamento assume i caratteri di un percorso maieutico co-costruito con i diversi attori, istituzionali e sociali, coinvolti dal programma, rispetto ai quali il valutatore assume il ruolo di facilitatore di processi riflessivi tesi ad esplicitare le assunzioni alla base dei comportamenti e delle strategie di intervento, a partire da un lavoro di ridefinizione degli obiettivi perseguiti. Sebbene questi siano spesso confusi, ambigui o mal formulati, rappresentano un ineludibile punto di partenza per la ricostruzione degli esiti intermedi e finali che ci si propone di raggiungere e per l’individuazione dei legami causali che li lega agli input.
Si tratta di una strategia particolarmente utile a mettere a fuoco le diverse assunzioni inscritte, talora in maniera inconsapevole, nei programmi e nelle strategie di intervento, e non necessariamente condivise dagli attori del programma (decisori, operatori pubblici e privati, destinatari). Consente, altresì, di chiarire i motivi alla base del fallimento del programma, che potranno essere così più chiaramente riferiti a fallimenti nel rendere operative le attività previste (teoria dell’implementazione) o nel dar luogo agli effetti desiderati (teoria del programma). Per tali caratteristiche, la TBE appare particolarmente utile per programmi complessi (Rogers 2008), che si dispiegano attraverso la sinergia di interventi per destinatari multipli (come gli interventi di comunità) e/o attraverso la collaborazione di una molteplicità di attori, anche su più livelli di governo[6].
Nell’approccio realista la ricostruzione delle teorie del cambiamento resta nelle responsabilità del valutatore, al vertice di una gerarchia di competenze.
Rifuggendo da posizioni costruttiviste, che vedono nella partecipazione degli stakeholder un elemento chiave per la definizione di un criterio interno di successo, Pawson e Tilley concettualizzano il ruolo assunto dai diversi stakeholder di un programma alla stregua di testimoni privilegiati, cui spetta il compito di confermare, falsificare e rifinire le diverse componenti delle configurazioni CMO, ciascuno per le informazioni e le conoscenze tacite di cui ha esperienza diretta[7].
Alla base dei due approcci è possibile rintracciare, dunque, una concezione della pratica valutativa che presuppone non solo un ruolo diverso per il valutatore, ma anche una diversa funzione della valutazione entro il processo decisionale.
Riprendendo la classificazione introdotta da Alkin, Vo e Christie (2012) circa i possibili modi di intendere la valutazione sulla base della titolarità dell’espressione del giudizio valutativo, è possibile ribadire che, mentre nel caso dell’approccio realista tale titolarità spetta al valutatore, nella TBE, il giudizio valutativo appare l’esito di una negoziazione sul campo di interessi, valori, conoscenze tacite, esperienze. Ne deriva che, pur se lontano dalla figura dello scienziato distaccato che mantiene una posizione neutrale nei confronti di ciò che osserva, il valutatore realista veste i panni di quello che è stato altrove definito come un “philosopher king”, uno specialista che interpreta i fenomeni indagati utilizzando a tale scopo ogni possibile fonte di informazione (Mark 2002), mentre sul versante della TBE siamo più vicini all’immagine, sempre per usare la stessa classificazione, del “public relations agent” con una più spiccata vocazione alla negoziazione riflessiva. Non è un caso che tra gli sviluppi dell’approccio spingano verso l’adozione della TBE quale strumento permanente di pianificazione, oltre che di valutazione (Laing e Todd 2015).
Sul fronte della funzione ascritta alla valutazione, entrambi gli approcci muovono verso il superamento di un uso strumentale, in favore di una comprensione profonda dell’evaluando, e di un più generale aumento della comprensione dei fenomeni indagati. Se però nel caso della TBE il focus resta centrato su politiche e programmi, nell’approccio realista l’unità di analisi è rappresentata dall’individuo (i beneficiari). L’agire sociale intenzionale e le sue interazioni con la struttura sociale assumono un carattere preminente rispetto a considerazioni di merito sul particolare tipo di intervento indagato (Byrne 2013). Questo significa, in altre parole, interrogarsi sui fattori personali, istituzionali e di contesto all’origine del cambiamento sociale, sul profilo dei beneficiari coinvolti, sui contesti di attuazione, ovvero su “cosa funziona meglio dove, per chi e a quali condizioni”.
L’ambizione alla spiegazione di fenomeni macrosociali è, dunque, più spiccata nell’approccio realista che, prima ancora di parlare ai gestori delle politiche, si rivolge ai decisori pubblici cui mira a fornire solide evidenze. La proposta delle sintesi realiste come alternativa alle revisioni meta-analitiche su base quantitativa rappresenta, infatti, il complemento della proposta di Pawson, che nel designare i meccanismi come gli ingredienti di base degli interventi sociali ne fa la pietra d’angolo della trasferibilità ad altro delle lezioni apprese dai programmi e dalle iniziative esistenti. Al riguardo, scrive, infatti: “poiché sono i meccanismi dei programmi a innescare il cambiamento, piuttosto che i programmi in quanto tali, è molto più ragionevole basare la revisione sistematica sulle famiglie di meccanismi invece che sulle famiglie di programmi” (Pawson 2002, p. 30).
Ritornando al confronto tra gli approcci, vale la pena richiamare l’attenzione sullo step successivo alla ricostruzione delle teorie, che nella TBE coincide con la “misurazione” dei meccanismi causali e delle attività individuate. Ma, questo resta uno degli aspetti più carenti dell’applicazione della TBE, come già segnalato da Weiss (1998) e ribadito più tardi da Donaldson (2003); gran parte delle valutazioni che dichiarano di essere basate sulla teoria esaminano i risultati in termini di variabili di implementazione.
Anche nell’approccio realista, una volta ipotizzate le possibili configurazioni CMO, il problema diventa quello di verificare quale riscontro queste possano avere nei dati empirici raccolti. La strategia suggerita è di ricostruire diversi contesti e rilevarne i differenti risultati per controllare l’attivazione o meno dei meccanismi ipotizzati, focalizzando l’analisi sulla variazione interna alla popolazione dei beneficiari. Il processo di analisi mira al confronto dei risultati ottenuti dai diversi sottogruppi di beneficiari invece che allo studio delle relazioni tra le variabili e dei loro effetti (Biolcati Rinaldi 2002).
Anche in questo caso, non sono mancate le voci critiche. Secondo Julnes, Mark e Henry (1998, pp. 493-5), l’analisi della variazione interna rappresenta un punto debole dell’approccio, che consente sì di identificare i meccanismi del programma, ma non di tenere sotto controllo eventuali relazioni spurie.
Entrambi dunque gli approcci si rivelano più deboli sul fronte della misurazione degli effetti, rispetto alla quale la forza analitica e metodologica dei metodi controfattuali non può essere messa in discussione.
Le applicazioni di questi approcci nel caso italiano contano ad oggi un numero limitato di sperimentazioni. Senza l’ambizione di una rassegna completa, vale la pena sottolineare il ventaglio eterogeneo di campi di policy attraversati, e di livelli di governo, che segnala se non altro un riconoscimento della relativa utilità degli approcci nella comunità italiana di valutatori e un discreto favore da parte dei committenti pubblici. Solo per citare alcuni esempi, possiamo rintracciare casi empirici nei seguenti settori: istruzione e formazione (Scardigno e Moro 2011), politiche di sostegno al reddito (Gambardella 2012; Lumino 2013; Biolcati Rinaldi 2006), servizi di segretariato sociale (Stame, Lo Presti e Ferrazza 2009) su committenza municipale; interventi di contrasto alle tossicodipendenze (Leone 2006) su finanziamento delle aziende sanitarie locali; programmi di recupero della marginalità sociale e pari opportunità (Leone 2008), azioni a supporto del ricambio generazionale nelle aziende agricole (Papi 2015), a carattere regionale; nonché in quello della cooperazione internazionale (Zupi 2011). Un riferimento all’uso sistematico agli approcci orientati alla teoria del cambiamento come strumento sistematico di valutazione è altresì presente sul sito di Save The Children Italia.
Non mancano casi di applicazione dell’approccio controfattuale caratterizzati dal ricorso a una qualche teoria del programma chiamata a dar conto della presenza/assenza di determinati effetti. In questi casi, la relazione statistica è sufficiente a fondare la spiegazione causale e la cosiddetta black box, che contiene i motivi delle scelte degli attori, si apre solo ex post, per svolgere una funzione ancillare e aggiuntiva rispetto a un procedimento esplicativo insensibile per definizione alle motivazioni dei destinatari. Si tratta al più di teorizzazioni assai semplificate che mirano a esplicitare la logica di intervento e a dare senso agli esiti osservati, soprattutto nei casi in cui gli effetti appaiono nulli o poco rilevanti.
Su questo punto, va ricordato che, mentre nel caso della TBE i margini di integrazione con approcci sperimentali e quasi sperimentali appaiono piuttosto ampi, nell’approccio realista sono assai più sfilacciati. Nella prospettiva realista, le assunzioni di natura epistemica circa la natura dei programmi sociali come un caso particolare di cambiamento sociale innestato in sistemi sociali complessi e stratificati svuota di senso l’operazione di approssimazione della situazione controfattuale (Stame 2002). Nella logica realista, infatti, non è possibile immaginare una situazione di partenza neutra che non sia caratterizzata da un complesso intreccio di fattori individuali, istituzionali, valoriali e infrastrutturali che appaiono, invece, inestricabilmente connessi.
Conclusioni
Come si è cercato di argomentare in queste pagine, il contributo informativo degli approcci orientati alla teoria va soprattutto nella direzione di problematizzare l’oggetto di valutazione in vista di una comprensione profonda del modo in cui i programmi e/o politiche possono agire in vista della produzione di un cambiamento, e luce di fattori individuali e di contesto, sia interni che esterni al programma stesso.
Essi consentono di riportare l’attenzione su quanto riportato da Dente (2006) qualche anno fa, circa la rilevanza della valutazione come uno dei campi di azione della policy analysis. Nel saggio, chiaramente ispirato ai lavori di Lasswell e Wildavsky, il politologo richiama l’attenzione su tre elementi chiave del percorso di valorizzazione del contributo offerto dalla valutazione alle politiche pubbliche, sottolineando la centralità di porre al centro dell’attenzione: i problemi da risolvere e non le organizzazioni, gli attori coinvolti, siano essi pubblici o privati, istituzionali o sociali, e soprattutto l’incertezza sugli esiti delle politiche pubbliche. Il che comporta la problematizzazione dell’imprevedibilità del contesto, della esistenza di conseguenze inattese e indesiderate delle azioni umane, e, soprattutto, dal fatto che gli attori stessi posseggono una capacità strategica e una modalità di attribuzione di senso i cui esiti non sono sempre del tutto prevedibili a priori.
Sul fronte metodologico, lo sguardo ampio e non pregiudiziale sugli strumenti e le opzioni disponibili consente di accogliere l’invito avanzato da gran parte della comunità di valutatori a “pensare prima di fare”, recuperando il carattere situato della scelta circa l’appropriatezza del disegno della ricerca valutativa. Pur senza rinunciare all’ambizione che i risultati della valutazione possano informare le decisioni pubbliche, riportano l’attenzione sulla necessità di disegnare la valutazione in maniera aderente ai contesti decisionali in cui si radica, a partire dalla individuazione dei bisogni conoscitivi emergenti, delle istanze valoriali presenti, delle condizioni entro cui si fa ricerca (Green et al. 2007), senza dimenticare che tra i compiti del valutatore c’è quello di sostenere il committente a mettere a fuoco le domande giuste. Su questo punto Patton (2007) ricorda che uno degli aspetti più vantaggiosi del fare valutazione sta nel sostenere gli attori coinvolti, in primis decisori e gestori dei programmi, ad acquisire l’abilità di “pensare in modo valutativo” più che negli esiti delle singole esperienze di ricerca che rischiano di deteriorarsi velocemente di fronte al mutare delle condizioni di contesto. Si tratta di assumere, come ricorda Stame, la valutazione non già come un’attività di consulenza manageriale che possa offrire le ricette del cambiamento (Stame 2007) quanto come un’attività tesa a ridefinire frame cognitivi utili alla riprogrammazione futura degli interventi, alla costruzione di modalità efficaci di comunicazione tra i diversi stakeholder, di messa in discussione critica degli obiettivi dei programmi e delle strategie di intervento.
Va da sé che una simile opzione non sia necessariamente la strada da percorrere quando, invece, ci si trovi di fronte a corsi di azione dal protocollo di implementazione piuttosto standardizzato, per un numero cospicuo, ma anche sufficientemente omogeneo di beneficiari e in cui sia plausibile immaginare all’opera relazioni di tipo mono-causale. Molto dipende dunque, dalle caratteristiche dell’oggetto di valutazione, dalla fase del ciclo di policy in cui interviene la valutazione, dalle domande cognitive che muovono la ricerca.
Bibliografia
Alkin M.C., Vo A.T., Christie C.A. (2012), The Evaluator’s Role in Valuing. Who and With Whom, New Directions for Evaluation, 133, pp. 29-41
Biolcati Rinaldi F. (2002), Una valutazione realistica delle politiche di sostegno al reddito?, Sociologia e Ricerca Sociale, 68-69, pp. 196-217
Biolcati Rinaldi F. (2006), Povertà, teoria e tempo: la valutazione delle politiche di sostegno al reddito, Milano, Franco Angeli
Byrne D. (2013), Evaluating complex social interventions in a complex world, Evaluation, 19, n.3, pp. 217–228
Cartwright N. (2009), Evidence-Based Policy: What’s to Be Done about Relevance?, Philosophical Studies: An International Journal for Philosophy in the Analytic Tradition, 143, n.1, pp.127-136
Chen H.T., Rossi P.H. (1983), Evaluating with sense. The theory-driven approach, Evaluation Review, 7, n.3, pp. 283–302
Chen H.T., Rossi P.H. (1987), The theory-driven approach to validity, Evaluation and Program Planning, 10, n.1, pp. 95-103
De Leonardis O. (2009), Conoscenza e democrazia nelle scelte di giustizia: un’introduzione, Rivista delle Politiche Sociali, n.3, pp.73-84
Dente B. (2006), Analisi delle politiche pubbliche e valutazione, Rassegna Italiana di Valutazione, 10, n.34, pp.101-106
Donaldson S.I. (2003), Theory-Driven Program Evaluation in the New Millennium, in Donaldson S.I., Scriven M., Evaluating Social Programs and Problems. Visions for the New Millennium, Mahwah (NJ), Lawrence Erlbaum Associates, pp. 105-138
Funnell S.C. e Rogers P. (2011), Purposeful Program Theory, San Francisco, Jossey Bass
Gambardella D. (2012), La valutazione del Reddito di Cittadinanza a Napoli, Milano, Franco Angeli
Greene J.C., Lipsey M.W., Schwandt T.A., Smith N.L., Tharp R.G. (2007), Method Choice. Five Discussant Commentaries, New Directions For Evaluation, 113, pp. 111-127
Julnes G., Mar M.M., Henry, G.T. (1998), Promoting realism in evaluation. Realistic evaluation and the broader context, Evaluation, 4, n.4, pp.483-504
Leone L. (2006), Review sistematiche, sintesi theory-driven e utilizzazione delle evidenze. Il caso dei programmi di prevenzione, Rassegna Italiana di Valutazione, 10, n.35, pp. 55-85
Leone L. (2008), Giovani, legalità e riqualificazione degli spazi, Roma, Maggioli
Luhmann N. (1970), Soziologische Aufklärung, Opladen, Westdeutscher Verlag; tr. it. (1973), Illuminismo sociologico, Milano, Il Saggiatore
Lumino R. (2013), Valutazione e teorie del cambiamento. Le politiche locali di contrasto alla povertà, Milano, Franco Angeli
Mark M. M. (2002), Toward Better Understanding of Alternative Evaluator Roles, in Ryan, K.E., Schwandt T.A. (Eds), Exploring Evaluator Role and Identity, Greenewich, Information Age Publishing, pp.17-36
Martini A. (2006), Metodo sperimentale, approccio controfattuale e valutazione degli effetti delle politiche pubbliche, Rassegna Italiana di Valutazione, 10, n.34, pp.61-74.
Merton R. (1967), On Theoretical Sociology. Five Essays old and new, New York, The Free Press
Palumbo M. (2002), Il piacere della spiegazione senza l’incubo della casualità, Sociologia e ricerca Sociale, 23, n.68-69, pp.180-195
Palumbo M. (2006), La valutazione prossima ventura, Rassegna Italiana di Valutazione, 10, n.34, pp. 139-143
Patton M.Q. (2007), Alla scoperta dell’utilità del processo, in Stame N. (a cura di), Classici della Valutazione, Milano, Franco Angeli, pp.325-352
Pawson R., Tilley N. (1997), Realistic evaluation, Thousand Oaks, Sage
Pawson R. (2002), Una prospettiva realista. Politiche basate sull’evidenza empirica, Sociologia e ricerca sociale, 23, n.68-69, pp.11-57
Rogers P. (2008), Using Programme Theories for Complicated and Complex Programs, Evaluation, 14, n.1, pp.29-48
Rossi P.H., Freeman H.E., Lipsey M.W. (1999), Evaluation. A systematic approach (6th Ed.), Thousand Oaks, Sage
Rossi P.H., Wright, J.D. (1984), Evaluation research. An assessment, Annual Review of Sociology, 10, pp.331–352
Sanderson I. (2002), Evaluation, Policy Learning and Evidence Based Policy Making, Public Administration, 80, n.1, pp.1-22
Scardigno F., Moro G. (2011), La ricostruzione delle teorie del cambiamento: un caso di alternanza istruzione-formazione, in Moro G. (a cura di), La valutazione Possibile, Milano, Franco Angeli
Shadish W.R., Cook T.D., Leviton L.C. (1991), Foundations of program evaluation: Theories of practice, Newbury Park, Sage
Stame N. (2002), La valutazione realistica: una svolta, nuovi sviluppi, Sociologia e Ricerca Sociale, 23, n.68-69, pp.144-159
Stame N. (2004), Theory-Based Evaluation and Types of Complexity, Evaluation, 10, n.1, pp.58-76
Stame N. (2007), Introduzione, in Stame N. (a cura di), Classici della Valutazione, Milano, Franco Angeli, pp.XI-XIX
Stame N., Lo Presti V., Ferrazza D (2009), Segretariato sociale e riforma dei servizi. Percorsi di valutazione, Milano, Franco Angeli
Torrigiani C. (2010), Valutare per apprendere. Capitale sociale e teoria del programma, Milano, Franco Angeli
Weiss C.H. (1997), How can theory-based evaluation make greater headway?, Evaluation Review, 21, pp.501–524.
Weiss C.H. (1998), Evaluation. Methods for studying programs and policies (2nd Ed.), Upper Saddle River Prentice Hall
Weiss C.H. (2000), Which links in which theories shall we evaluate?, New Direction for evaluation, 87, pp.35-45
Weiss C.H. (2007), La valutazione basata sulla teoria: passato, presente e futuro, in Stame N. (a cura di), Classici della Valutazione, Milano, Franco Angeli, pp. 353-370
Zupi M. (2011), Una proposta teorico-metodologica per la valutazione strategica delle iniziative di sviluppo, Centro Studi di Politica Internazionale, Doc.7
