AREA CRITICAL APPRAISAL INTRODUZIONE AGLI ERRORI NELLA RICERCA

Transcript

1 AREA CRITICAL APPRAISAL INTRODUZIONE AGLI ERRORI NELLA RICERCA dott. Alessandro Battaggia

2 Risultato preciso ma distorto Risultato impreciso ma non distorto BIAS O ERRORE SISTEMATICO ERRORE RANDOM (STIMA IMPRECISA)

3 Risultato preciso e non distorto Risultato impreciso e distorto CONDIZIONE IDEALE CONDIZIONE PEGGIORE

4 classificazione degli errori nella ricerca (Szklo e Nieto) 1. Errore Random 2. Bias 3. Fattore di confondimento

5 UN ERRORE Può suggerire rapporti causa-effetto inesistenti Può negare l esistenza di rapporti causa-effetto reali

6 Se su 10 lanci testa compare solo 3 volte è un bias?

7 Random error

8 Errore random E' un errore 'non sistematico': ripetendo moltissime volte un trial con lo stesso protocollo i risultati saranno di volta in volta diversi (con distribuzione gaussiana delle loro frequenze) Non viene provocato dal ricercatore o dai partecipanti (è effetto del caso)

9 Alta probabilità di errore random 1. Trial piccoli 2. Analisi per sottogruppi 3. Analisi di outcome secondari

10 1. TRIAL PICCOLI Battaggia A, Giustini SE

11 1. TRIAL PICCOLI

12 2. ANALISI PER SOTTOGRUPPI Distribuzione dei risultati di 146 sottogruppi (studio BATH)

13 2. ANALISI PER SOTTOGRUPPI Bilancia o gemelli ASA n= 8587 ISIS-2 Lancet 1988 ii: P< PLA CEBO n=8600 Altri segni zodiacali Mortalità a 30 giorni nell' Infarto (tutto il campione)

14 2. ANALISI PER SOTTOGRUPPI Bilancia o gemelli ASA ISIS-2 Lancet 1988 ii: Altri segni zodiacali Bilancia o gemelli P= 0.05 PLA CEBO Altri segni zodiacali Mortalità a 30 giorni nell' Infarto (sottogruppo bilancia o gemelli)

15 2. ANALISI PER SOTTOGRUPPI Bilancia o gemelli ASA ISIS-2 Lancet 1988 ii: Altri segni zodiacali Bilancia o gemelli P< PLA CEBO Altri segni zodiacali Mortalità a 30 giorni nell' Infarto (sottogruppo altri segni zodiacali)

16 Bias

17 BIAS E' un errore 'sistematico': ripetendo moltissime volte un trial con lo stesso protocollo i risultati saranno caratterizzati sempre dalla stessa distorsione Viene provocato dal ricercatore o dai partecipanti (non è effetto del caso)

18 BIAS

19 Systematic error (bias) BIAS

20 BIAS Random error (caso) Systematic error (bias)

21 BIAS Random error (caso) Systematic error (bias)

22 Un trial con errori metodologici è un trial con Bias

23 Errore

24 BIAS Selection Bias Measurement Bias Asimmetria dei due bracci per distribuzione di fattori prognostici Asimmetria dei due bracci nella accuratezza della rilevazione dei dati Allocation sbilanciata Mancanza di cecità Performance Bias Attrition Bias Performance bias Misclassificazioni

25 1. Allocation sbilanciata Allocation non randon Studi quasi-randomizzati Studi quasi-sperimentalli Bilancia o gemelli Altri segni zodiacali Mancanza di mascheramento Allocation non in cieco

26 Bilancia o gemelli Nuovo intervento chirurgico allocation Intervento abituale Altri segni zodiacali allocation non in cieco SELECTION BIAS Vengono assegnati al braccio di controllo i pazienti più malati

27 Bilancia o gemelli Estrogeni si allocation SELECTION BIAS autoselezione di donne più attente alla salute Estrogeni no Altri segni zodiacali allocation non in random Nurses' health study - Stampfer MJ et al NEJM :756

28 NEJM :756 Nurses' Health Study Tab donne in menop. TOS si TOS no Ipertensione Diabete mellito Dislipidemia Fumo Sovrappeso Contracc. Pregressa Attività fisica Grassi saturi dieta

29 NEJM :756 Nurses' Health Study Tab donne in menop. TOS si TOS no Ipertensione Diabete mellito Dislipidemia Fumo Sovrappeso Contracc. Pregressa Attività fisica Grassi saturi dieta

30 JAMA :321 Women's healt Initiative (WHI) Tab donne in menop. TOS si TOS no PAS mmhg Diabete mellito Dislipidemia Fumo Sovrappeso Pregresso uso orm Attività fisica - - Grassi Saturi - -

31 ANALISI MULTIVARIATA Aumenta la confrontabilità dei due bracci Bilancia o gemelli Altri segni zodiacali perché non raggiungerà mai la qualità della randomizzazione?

32 2. Mancanza di doppia cecità Tre tipi di mascheramento (cecità) Allocation (già visto) Somministrazione intervento Estrazione e analisi risultati cecità = non conoscenza del braccio di appartenenza

33 Bilancia o gemelli PERFORMANCE BIAS vengono curati meglio I pazienti nel braccio di intervento Nuovo farmaco Placebo Altri segni zodiacali Mancata cecità nella somministrazione dell' intervento

34 DETECTION BIAS maggior attenzione ai risultati nel braccio di intervento Bilancia o gemelli Nuovo farmaco Placebo Altri segni zodiacali Mancata cecità nella valutazione dei risultati

35 3. Attrition bias Tre tipi di problemi nel follow-up Pazienti drop-outers (outcome ignoto) Pazienti non compliant Pazienti drop-ins (cross overs)

36 morti per causa del farmaco Bilancia o gemelli Nuovo farmaco ATTRITION BIAS vengono analizzati solo i sopravvissuti Intervento abituale Analisi 'Per Protocol' Altri segni zodiacali

37 4. Measurement Bias Misclassificazione dell' outcome dati incidenti (es: studi di coorte) dati storici (qualsiasi studio) Misclassificazione dell' esposizione dati storici (studi caso controllo)

38 Il problema dei dati storici 1. Scarsa qualità dei dati raccolti Sono stati raccolti per scopi clinici, non per ricerca Quello che viene rilevato può essere gravato da errate classificazioni (criteri diversi nel definire una esposizione o un outcome) Sono stati raccolti da più mani La registrazione è spesso incompleta ( missing data)

39 Il problema dei dati storici 1. Scarsa qualità dei dati raccolti Sono stati raccolti per scopi clinici, non per ricerca Quello che viene rilevato può essere gravato da errate classificazioni (criteri diversi nel definire una esposizione o un outcome) Sono stati raccolti da più mani La registrazione è spesso incompleta ( missing data)

40 2. Criteri di eleggibilità stabiliti ex post Età diverse Razze diverse Fattori prognostici diversi Possibili fattori di confondimento 3. Scarse informazioni sul follow-up Scarse informazioni sui co-trattamenti ( squilibri tra i due bracci)

41 Confounding

42 Quali fattori oltre all' intervento studiato possono influire sull outcome?? a) Fattori Prognostici b) Fattori di confondimento

43 fattore prognostico Agente causale Agente causale indipendente OUTCOME COSA SONO I FATTORI PROGNOSTICI?

44 fattore prognostico Aterosclerosi coronarica INFARTO COSA SONO I FATTORI PROGNOSTICI?

45 confounding Agente causale Fattore correlato ad entrambi OUTCOME COSA SONO I FATTORI DI CONFONDIMENTO?

46 confounding Aumento Urbanizzazione Aumento nidi Aumento Bambini

47 OR CHD OR CHD Metanalisi di studi Osservazionali sulla Terapia Sostitutiva in Menopausa (TOS) OR NON AGGIUSTATO Humprey LL Ann Intern Med :273

48 OR CHD Confounding OR CHD Metanalisi di studi Osservazionali sulla Terapia Sostitutiva in Menopausa (TOS) OR AGGIUSTATO Humprey LL Ann Intern Med :273

49 Gli studi osservazionali sono molto vulnerabil! Sono stati trovate conclusioni opposte su 56 argomenti di grande rilevanza per la salute Effetti dei contraccettivi Procedure chirurgiche Procedure radiografiche Radioterapia Infezioni Vaccini Esposizioni varie Mayes LC Int J Epidem :680