neon signage

Cosa stimiamo quando stimiamo la differenza nelle differenze?

La stima della differenza nelle differenze è uno degli strumenti quasi sperimentali più utilizzati per misurare gli impatti delle politiche di sviluppo. Nel 2018, e’ stato calcolato che oltre il 5% degli articoli pubblicati nel Journal of Development Economics utilizzava una metodologia di differenza nelle differenze (o “DD”).
Nella stima DD, un ricercatore confronta la variazione dei risultati in un gruppo di trattamento (non casuale) prima vs. dopo il trattamento confrontandoli ad un gruppo di controllo nello stesso periodo di tempo (anche se il gruppo di controllo non ha mai ricevuto un trattamento).

La tabella illustra l’idea di base.

pre trattamentopost trattamento
gruppo di trattamentoA (non ancora trattato)B (trattato)
gruppo di controlloC (mai trattato)D (mai trattato)
Tabella DD

La stima DD dell’effetto del trattamento è: (B – A) – (D – C).
Le differenze pre-trattamento tra il gruppo di trattamento e il gruppo di controllo (A C) riflettono i bias di selezione, mentre le differenze pre-trattamento vs. le differenze post-trattamento nei risultati all’interno del gruppo di controllo riflettono le tendenze temporali (C D).
L’approccio DD rimuove i fattori confondenti (sotto certe ipotesi) differenziandoli, lasciandoci una stima credibile quasi sperimentale dell’effetto del trattamento di interesse. Una panoramica più dettagliata dei metodi DD è disponibile qui.

L’approccio DD viene spesso utilizzato per stimare gli impatti delle politiche attuate in momenti diversi in diverse regioni, ad esempio politiche come Medicaid e buoni alimentari che sono state implementate in tempi diversi in diversi Stati Uniti. In fase di sviluppo, questo approccio è stato recentemente utilizzato da Jesse Antilla-Hughes, Lia Fernald, Paul Gertler, Patrick Krause e Bruce Wydick per studiare l’impatto del latte artificiale sulla mortalità infantile nei paesi a basso e medio reddito.
In tali contesti, i ricercatori tipicamente implementano la stima DD utilizzando modelli a effetti fissi bidirezionali che controllano gli shock sia specifici del periodo che specifici dell’unità.

Sebbene l’approccio a effetti fissi a due vie per DD sia ampiamente utilizzato, la giustificazione formale per trattarlo come uno stimatore DD è spesso abbastanza ad hoc.
Un recente documento di lavoro di Andrew Goodman-Bacon, assistente professore di economia alla Vanderbilt University, esamina l’approccio a effetti fissi a due vie alla stima DD. Goodman-Bacon mostra che qualsiasi stima degli effetti fissi a due vie della DD basata sulla variazione dei tempi di trattamento può essere scomposta in una media ponderata di tutti i possibili stimatori di differenza nelle differenze due per due che possono essere costruiti dal set di dati panel.

Consideriamo un set di dati (ipotetici) comprendente due tipi di dati: un gruppo che ha reso l’istruzione primaria gratuita nel 2000 e un altro gruppo che ha reso l’istruzione primaria gratuita nel 2005.
Chiameremo il primo gruppo i paesi “primi” e il secondo gruppo i paesi “in ritardo” “Paesi. Supponiamo di disporre di dati sui tassi di completamento della scuola primaria ogni anno dal 1990 al 2010.
Un set di dati di questo tipo consente due distinti confronti DD.
Potremmo concentrarci sul periodo dal 1990 al 2004 (il riquadro di sinistra nella figura sotto). In quel lasso di tempo, i paesi che adottano la politica in ritardo non vengono “mai trattati” nel senso che non implementano l’istruzione primaria gratuita, quindi possono essere utilizzati come gruppo di confronto per stimare l’impatto della scuola primaria gratuita sui punteggi dei test nei paesi che adottano la politica per primi .

Tuttavia, possiamo anche costruire una seconda stima DD dell’effetto del trattamento della scuola primaria gratuita concentrandoci sugli anni dal 2001 al 2010 (il riquadro di destra nella figura sotto).
Durante quel periodo, lo stato di trattamento dei primi non cambia mai, rimangono trattati per tutto il tempo, quindi possono essere utilizzati come gruppo di controllo per stimare l’impatto della scuola primaria gratuita sui punteggi dei test nei paesi che adottano in ritardo.

Goodman-Bacon dimostra che qualsiasi stima degli effetti fissi a due vie della DD con variazione dei tempi di trattamento può essere scomposta in questo modo. È una media ponderata di confronti tra precoci adottanti e tardi adottanti nei periodi in cui i precoci adottanti non sono ancora trattati, e confronti tra precoci adottanti e tardi adottanti nei periodi in cui vengono trattati solo i precoci adottanti, in modo che possano essere utilizzati come gruppo di controllo per gli utenti che adottano in seguito, e i confronti tra diversi gruppi di temporizzazione e il gruppo che non è mai stato trattato, se presente.

Sebbene interessante di per sé, questa scomposizione ha diverse importanti implicazioni. In primo luogo, le stime degli effetti fissi bidirezionali della DD che si basano sulla variazione della tempistica del trattamento recuperano l’effetto medio del trattamento solo quando gli effetti del trattamento sono omogenei. Quando gli effetti del trattamento sono eterogenei tra le unità, il modello dei Minimi Quadrati Ordinari OLS sovrastima le unità con una maggiore varianza nello stato del trattamento al fine di ottenere una stima più precisa dell’effetto del trattamento. Quindi, le unità trattate vicino al centro della finestra di valutazione ricevono un peso relativamente maggiore.

Se si desidera stimare l’effetto medio del trattamento sui soggetti trattati, è necessaria una sorta di riponderazione.

In secondo luogo, le stime DD sono distorte quando gli effetti del trattamento cambiano nel tempo all’interno dell’unità.
Intuitivamente, ciò si verifica perché le unità già trattate fungono da controlli in alcune delle DD due per due sottostanti la media ponderata. Quando gli effetti del trattamento non sono costanti nel tempo (quindi, ad esempio, l’effetto del trattamento nel primo anno dopo il trattamento differisce dall’effetto del trattamento cinque anni dopo il trattamento), l’utilizzo di unità già trattate come controlli falsa necessariamente le stime dell’effetto del trattamento (introducendo termine che rappresenta la variazione dell’effetto del trattamento sulle unità già trattate).

In tali situazioni, l’analisi di Goodman-Bacon mostra che gli stimatori a effetti fissi a due vie non sono appropriati e dovrebbero essere utilizzati approcci alternativi (ad esempio, stima dello studio degli eventi).

Alla luce di ciò, è importante verificare se le tendenze comuni sono soddisfatte in qualsiasi set di dati panel utilizzato per l’analisi DD.
Quando il trattamento si attiva in momenti diversi, un modo per farlo graficamente è ricentrare e impilare tutti i possibili confronti DD due per due.
Fondamentalmente, l’identificazione si basa su tendenze comuni sia prima che dopo il trattamento, come discusso sopra.

La buona notizia è che, a causa della riponderazione degli stimatori DD due per due sottostanti, alcune violazioni delle tendenze comuni sono peggiori di altre. Goodman-Bacon fornisce istruzioni per testare le “tendenze comuni ponderate in base alla varianza” per valutare la gravità di qualsiasi deviazione osservata.

Se tutto questo suona come se si alzasse il livello per l’analisi DD e’ proprio cosi’.

Il pacchetto (per R) “bacondecomp” e’ strumento utile di Goodman-Bacon, Goldring e Nichols (2019) per scomporre e tracciare la variazione sottostante nelle stime DD due per due.

chevron_left
chevron_right
%d blogger hanno fatto clic su Mi Piace per questo: