Process and Outcome Evaluation. Gabriele Tomei Bologna 26/02/2015

Dimensione: px

Iniziare la visualizzazioe della pagina:

Download "Process and Outcome Evaluation. Gabriele Tomei Bologna 26/02/2015"

Filiberto Capone
9 anni fa
Visualizzazioni

1 Process and Outcome Evaluation Gabriele Tomei Bologna 26/02/2015

Il gioco del croquet Alice pensava che in vita sua non aveva mai veduto un terreno più curioso per giocare il croquet; era tutto a solchi e zolle; le palle erano ricci, i

2 Il gioco del croquet Alice pensava che in vita sua non aveva mai veduto un terreno più curioso per giocare il croquet; era tutto a solchi e zolle; le palle erano ricci, i mazzapicchi erano fenicotteri vivi, e gli archi erano soldati vivi, che si dovevano curvare e reggere sulle mani e sui piedi. Alice s Adventures In Wonderland by Lewis Carroll

mazzapicchi erano fenicotteri vivi, e gli archi erano soldati vivi, che si dovevano

3 Programmi semplici, complicati, complessi Utilizzando le parole di Rogers (2008), possiamo distinguere i programmi tra: (a) (b) (c) semplici, quando la loro implementazione segue un unica traiettoria lineare che vincola in maniera causale i meccanismi attraverso i cui i fattori di input si trasformano in risultati complicati, quando la loro implementazione segue traiettorie molteplici e simultanee ma che possono essere ridotte a livelli più semplici di articolazione complessi, quando la loro implementazione segue traiettorie incerte e dipendenti dal contesto, caratterizzate da catene causali non lineari, i cui effetti specifici si generano durante l esecuzione del

complicati, quando la loro implementazione segue traiettorie molteplici e simultanee ma che possono essere ridotte a livelli più semplici di articolazione complessi,

4 Modelli di causalità Comprendere la complessità= ricomporre i vincoli causali e le ragioni grazie alle quali i programmi contribuiscono alla generazione dei cambiamenti osservati Causalità lineare Input output impatto Causalità generativa Outcomes = meccanismi contestuali di cambiamento che sono generati dai diversi attori e istituzioni come risposta agli stimoli provenienti dal

Causalità lineare Input output impatto Causalità generativa Outcomes = meccanismi contestuali

5 Chi possiede il controllo sui cambiamenti generati? Influenza del programma decrescente Controllo diretto dei partners locali/beneficiari crescente Risorse Attività Outputs Outcomes Impatti

6 Process Evaluation Domanda valutativa: COSA STIAMO FACENDO?

7 Process Evaluation Monitoraggio periodico e sistematico di: 1) CASI TRATTATI 2) RISORSE IMPIEGATE 3) MODELLI DI TRATTAMENTO ADOTTATI 4) ATTIVITA REALIZZATE

8 Process Evaluation - CASI TRATTATI Caratteristiche personali (età, genere, nazionalità, stato civile, comune di trattamento) Storia (cause homelessness, anni di vita in strada, rapporto pregresso con i servizi) Diagnosi

comune di trattamento) Storia (cause homelessness,

9 1) Process Evaluation - RISORSE IMPIEGATE Risorse materiali (costo complessivo dell intervento, tempo dell intervento, costo orario utente) Risorse professionali (quantità e livello di inquadramento professionale degli operatori)

intervento, costo orario utente) Risorse professionali

10 Process Evaluation - MODELLI DI TRATTAMENTO Modello programma (PHF, CHF, HFL) Fidelity Scale HOUSING CHOICE & STRUCTURE SEPARATION OF HOSING & SERVICES SERVICE PHILOSOPHY SERVICE ARRAY

11 Process Evaluation - ATTIVITA REALIZZATE Nei settori: HOUSING STABILITY USO DROGHE/ALCOL BENESSERE PSICOFISICO INCLUSIONE SOCIALE INCLUSIONE LAVORATIVA SICUREZZA

12 Outcome Evaluation Domanda valutativa: COSA STA CAMBIANDO GRAZIE AL PROGRAMMA?

Outcome Evaluation Outcome Harvesting Outcome Harvesting è un metodo di indagine valutativa che cerca di raccogliere risposte basate sull evidenza

13 Outcome Evaluation Outcome Harvesting Outcome Harvesting è un metodo di indagine valutativa che cerca di raccogliere risposte basate sull evidenza alle seguenti domande: Quali cambiamenti si sono prodotti? Chi vi ha contribuito? Quale evidenza supporta questa conclusione? Perchè è importante?

evidenza alle seguenti domande: Quali cambiamenti si sono prodotti?

14 Cosa rende verificabile il cambiamento osservato a livello individuale, di gruppo, di organizzazione? Cosa c è di importante in questo cambiamento? Outcome harvesting stage 1 Identificazione delle domande utili a guidare l indagine: Cosa è cambiato per effetto del programma? Quando e dove il cambiamento è avvenuto? Chi è stato l attore di cambiamento? Come ha fatto l attore di cambiamento a contribuire a quest ultimo? Concretamente, che cosa lui, lei o loro hanno fatto per influenzare il cambiamento?

Outcome harvesting stage 1 Identificazione delle domande utili a guidare l indagine: Cosa è cambiato per effetto del programma?

15 Outcome harvesting stage 2 Prima descrizione del cambiamento: Ciascun outcome descrive un cambiamento che il programma (attraverso uno o più attori) contribuisce a determinare in un attore sociale. Il cambiamento può avvenire nel comportamento, nella relazione, nelle azioni, nelle politiche o nelle pratiche. L influenza del programma può variare dall ispirazione

16 Outcome harvesting stage 2 Esempio di descrizione del cambiamento Descrizione del cambiamento: 2 ospiti dell appartamento di Via Colombo hanno iniziato un attività di tirocinio lavorativo alla cooperativa Icaro Contributo: La cooperativa Icaro ha sottoscritto un accordo di programma con l ente responsabile dell HF ed ha messo a disposizione delle ore di tutoring per l avviamento al lavoro di soggetti in condizione di grave marginalità.

Contributo: La cooperativa Icaro ha sottoscritto un accordo di programma con l ente responsabile dell HF ed

17 Outcome harvesting stage 3 Coinvolgimento degli attori di cambiamento In questa fase l èquipe di ricerca coinvolge direttamente gli attori di cambiamento per raccogliere informazioni aggiuntive sui cambiamenti e sulle dimensioni di analisi considerate necessarie per una più approfondita descrizione

cambiamento per raccogliere informazioni aggiuntive sui cambiamenti e

18 Outcome harvesting stage 3 Esempio di descrizione del cambiamento Quali ospiti? Con quali caratteristiche? Descrizione del cambiamento: 2 ospiti dell appartamento di Via Ci Colombo sono state altri hanno iniziato un attività di attori/fattori che agganciare gli tirocinio lavorativo alla cooperativa Icaro ospiti? Contributo: hanno contribuito al cambiamento? Quali attività sono state proposte nella Chi era l operatore? Come è riuscito ad falegnameria? Chi le La cooperativa Icaro ha sottoscritto un accordo di programma con l ente ha proposte? responsabile dell HF ed ha messo a disposizione delle ore di tutoring per l avviamento al lavoro di soggetti in condizione di grave marginalità.

lavorativo alla cooperativa Icaro ospiti? Contributo: hanno contribuito al cambiamento? Quali attività sono state proposte nella Chi era l operatore?

19 Outcome harvesting stage 4 Validazione: In questa fase i cambiamenti rilevati e descritti sono validati attraverso risposte di testimoni qualificati, diversi dagli attori del cambiamento D1: Quanto sei d accordo con la descrizione che l inserimento lavorativo degli ospiti sia stato influenzato dal lavoro dell operatore? q Completamente Parzialmente Per niente Commenti: D2: Quanto sei d accordo con la descrizione che l ambiente della

con la descrizione che l inserimento lavorativo degli ospiti sia stato influenzato dal lavoro dell operatore?

20 Outcome harvesting stage 5 Analisi... L analisi punta ad identificare modelli e processualità all interno di cluster di cambiamenti omogenei (per tipologia, attore, settore...)

21 Outcome harvesting stage 5 ed interpretazione: L interpretazione ricerca una qualche teoria del cambiamento del tipo: PROGRAMMA (stimolo) MECCANISMO + CONTESTO = OUTCOME

Documenti analoghi

COMUNE DI RAVENNA GUIDA ALLA VALUTAZIONE DELLE POSIZIONI (FAMIGLIE, FATTORI, LIVELLI)

COMUNE DI RAVENNA GUIDA ALLA VALUTAZIONE DELLE POSIZIONI (FAMIGLIE, FATTORI, LIVELLI) COMUNE DI RAVENNA Il sistema di valutazione delle posizioni del personale dirigente GUIDA ALLA VALUTAZIONE DELLE POSIZIONI (FAMIGLIE, FATTORI, LIVELLI) Ravenna, Settembre 2004 SCHEMA DI SINTESI PER LA