Amenazas a la validez de los diseños experimentales

Transcripción

Amenazas a la validez de
los diseños experimentales
Francisco Gallego
PUC Chile
Esquema de presentación
I. Introducción
II. Efectos Indirectos
III. Desgaste de la muestra
IV. Cumplimiento imperfecto
I. Introducción
Introducción
Aún cuando hayamos diseñando un buen experimento
aleatorio, todavía podemos tener problemas…
Formalmente:
E(Y|T = 1) - E(Y|T = 0)
no siempre refleja:
• el efecto tratamiento promedio E(y(1) - y(0)):
• sobre la población inicial
Aquí estudiamos estos problemas y como remediarlos.
II. Efectos indirectos
¿Qué podría fallar?
No es parte
de la
Evaluación
Población
Total
Población
objetivo
Muestra
Evaluación
Asignación
aleatoria
Grupo de
Tratamiento
Grupo de
Control
Externalidades, contaminación
No es parte
de la
Evaluación
Población
Total
Población
Objetivo
Tratamiento 
Evaluación
Muestra
Asignación
aleatoria
Grupo de
Tratamiento
Grupo de
Control
Externalidades, contaminación
No es parte
de la
evaluación
Población
Total
Población
Objetivo
Tratamiento 
Muestra
Evaluación
Asignación
Aleatoria
Grupo en
Tratamiento
Grupo de
Control
Aislar externalidades:
Vacuna contra la Varicela
Suponga que selecciona aleatoriamente vacunas
anti varicela dentro de las escuelas
• Suponga que impide la transmisión de la
enfermedad, ¿qué problemas genera esto para
la evaluación?
• Suponga que las externalidades son locales.
¿Cómo podemos medir el impacto total?
Sin externalidades
Alumno
Tratamiento
(Vacuna)
Resultado
1
Sí
Sin varicela
2
No
Con varicela
3
Sí
Sin varicela
4
No
Con varicela
5
Sí
Sin varicela
6
No
Con varicela
Sin externalidades
Alumno
Tratamiento
(Vacuna)
Resultado
1
Sí
Sin varicela
2
No
Con varicela
3
Sí
Sin varicela
4
No
Con varicela
5
Sí
Sin varicela
6
No
Con varicela
Tratamiento
Resultado
Sí
0% con varicela
No
100% con varicela
Sin externalidades
Tratamiento
Resultado
Sí
0% con varicela
No
100% con varicela
Efecto del tratamiento:
-100%
Con externalidades
Alumno
Tratamiento
(Vacuna)
Resultado
1
Sí
Sin varicela
2
No
Sin varicela
3
Sí
Sin varicela
4
No
Con varicela
5
Sí
Sin varicela
6
No
Con varicela
Con externalidades
Alumno
Tratamiento
(Vacuna)
Resultado
1
Sí
Sin varicela
2
No
Sin varicela
3
Sí
Sin varicela
4
No
Con varicela
5
Sí
Sin varicela
6
No
Con varicela
Tratamiento
Resultado
Sí
0% con varicela
No
67% con varicela
Con externalidades
Tratamiento
Resultado
Sí
0% con varicela
No
67% con varicela
Efecto del tratamiento:
-67%
Medir externalidades
Diseñe la unidad de aleatorización de manera
que abarque las externalidades
Por ejemplo, si esperamos que se encuentren
externalidades, que estén todas dentro de la
escuela:
– La aleatorización a nivel de la escuela
permite la estimación del efecto global
Medir externalidades
Diseñe la unidad de aleatorización de manera
que abarque las externalidades
Por ejemplo, si esperamos que se encuentren
externalidades, que estén todas dentro de la
escuela:
– La aleatorización a nivel de la escuela
permite la estimación del efecto global
• Efecto directo más efectos indirecto
Externalidades: Otras soluciones I
Tener información respecto de los individuos
que han recibido externalidades.
Ejemplos:
• Miguel y Kremer: efectos de desparasitación en
escolares de Kenia
– Identificar lugar de vivienda y cantidad de sujetos que
habitan en un rango potencialmente afectable por la
desparatisación
• Diferentes evaluaciones en micro-finanzas o
información:
– Identificar contactos de las personas/grupos tratados,
controlar por recepción de la información/capacitación
de modo indirecto
Externalidades: Otras soluciones II
Variar la intensidad del tratamiento en
diferentes grupos
• Efectos de equilibrio general (entrada de
nuevos actores, efectos en precios, etc.):
Caso canónico que preocupa a los
economistas
– Intervenir “mercados” en diferentes intensidades
y cómo el efecto tratamiento varía por grado de
intensidad.
• Kremer y Muralidharan (en progreso) sobre entrega de
vouchers en India y efectos de equilibrio general.
III. Desgaste de la
muestra
Desgaste
Aleatorización garantiza que el grupo de control y
tratamiento son estadísticamente idénticos y
representativos de la población inicial.
Deserción
Desgaste (atrición):
Por alguna razón, no podemos hacer que
complete las encuestas, es decir, se sale de la
muestra.
La amenaza de deserción
Al finalizar la intervención, el grupo de tratamiento
y control no son:
– Comparables (problema de validez interna)
– Representativos de la población inicial
(problema de validez externa)
Sesgo de desgaste: un ejemplo
El problema que Ud. quiere abordar:
• Algunos niños no van a la escuela porque están
demasiado débiles (desnutridos)
Usted inicia un programa de alimentación escolar y
desea hacer una evaluación
Ud. tiene un grupo en tratamiento y un grupo de control
• Niños débiles, raquíticos empiezan a ir a la escuela
más si viven cerca de la escuela en tratamiento.
Sesgo de desgaste: un ejemplo
El primer impacto de su programa: aumento de matrículas.
Además, usted quiere medir el impacto en el crecimiento del
niño
• Segundo resultado de interés: Peso de los niños
Usted visita todas las escuelas (tratamiento y control) y mide
todos los que están en la escuela en ese día determinado
• ¿Será subestimada o sobreestimada la diferencia de
control de tratamiento de peso ?
25
Antes del Tratamiento
Después del Tratamiento
T
C
T
C
20
20
22
20
25
25
27
25
30
30
32
30
T
C
T
C
20
20
22
20
25
25
27
25
30
30
32
30
25
25
27
25
Promedio
T
C
T
C
20
20
22
20
25
25
27
25
30
30
32
30
25
25
27
25
Diferencia: 0
Promedio
Diferencia: 2
¿Qué sucede si solo niños de menos de 21 Kg
asisten a clases?
T
C
T
C
ausente
ausente
22
ausente
25
25
27
25
30
30
32
30
25
25
27
25
Diferencia: 0
Promedio
Diferencia: -0,5
Sesgo de desgaste
Soluciones al sesgo de deserción
1. Ser terco! Llegue al 100% de encuestados.
•
•
•
Implemente todas las estrategias posibles:
Teléfono + correo + email + mensajes de
texto + visitas de puerta a puerta
Encuesta más corta
Incentivos: financieros, no financieros
Si no alcanza 100%, puede seleccionar una
submuestra de observaciones faltantes y
encontrarlos a cualquier costo:
• Recobrar una muestra representativa
• Recobrar comparabilidad
• Costo: poder, tiempo, dinero
• 2. Tener suerte.
• Asumir que las observaciones faltan
aleatoriamente, a lo mejor condicional en un set
de covariables.
¿Qué pasa si la tasa de respuesta en ambos grupos de
mantiene?
• Hacemos el supuesto de que el tratamiento afecta el
resultado en una sola dirección
• Tratamiento no afecta la tasa de respuesta
• Por lo tanto, validez interna se mantiene
• Pero todavía podríamos perder algunos individuos y
por lo tanto todavía habrían preocupaciones con
respecto a la validez externa.
3. Corrección de selectividad de muestra
Modelo de selección de Heckman
Sin ninguna corrección, parámetro beta en la
siguiente ecuación está sesgado:
yi = Ti + ei
Primer paso es estimar una modelo de
selección:
Si =WiY + ei
•
•
Procedimiento de Heckit corrige beta utilizando la
estimación de la ecuación de selección
Este modelo es identificado por medio de un instrumento
y de formas funcionales (normalidad de al menos
ecuación de selección): encuentra una variable que
influye en Si pero que no tiene impacto directo sobre yi
• También se pueden utilizar métodos semi‐
paramétricos (Ichimura y Lee, 1991; Ahn y Powell, 1993)
– Se relaja supuesto de normalidad, pero ahora es
clave la restricción de exclusión.
4. Bounds (límites)
– Idea: en vez de corregir los estimadores de efecto
tratamiento: determinar un límite para el efecto:
•
–
Supuesto respecto del impacto de la deserción en efecto
tratamiento estimado.
Límites de Horowitz y Manski (2000):
•
•
Tomar valores mínimos o máximos de variable de
resultados. Especialmente útil cuando variable de
resultados es binaria.
Problema: intervalos demasiados amplios y por tanto
poco informativos.
4. Bounds (límites) de Lee
Adonde:
•
•
•
•
•
Y es el resultado de interés
D es la asignación al tratamiento
S es si se observa el tratamiento
(Y0, Y1): resultado potencial cuando D = 0 y D = 1
(S0, S1): si observamos el resultado cuando D = 0 y D = 1
Lee Bounds
La diferencia entre las medias de la muestra
seleccionada del grupo de control y tratamiento es:
Lee Bounds
Supuestos del procedimiento de Lee:
• Los resultados y el responder de los participantes
ocurre independientemente de D (aleatorización)
• Monotonicity: Pr(S1 = 0, S0 = 1) = 0
Lee Bounds
Dados estos supuestos, podemos crear dos límites tal
que:
Lee Bounds
Cortamos las colas de la distribución observada de Y
en el grupo de tratamiento por la propoción p, de la
muestra seleccionada del grupo de tratamiento que se
presume está en la muestra debido a la asignación al
tratamiento.
Lee Bounds
Límites:
Lee Bounds: Implementación
1. Identificar el % de individuos con resultados observados:
∑
,
∑
si y ∑
,
∑
(revertir si pasa lo contrario)
yqT  G -1Y q | T  1, S  1 y y1T q  G -1Y 1 - q | T  1, S  1
45
Lee Bounds: Implementación
4. Los límites son, entonces:
E
T
T

S

Y

y
1
(
1
,
1
,
 i
i
i
q )Yi
i
1(T
i
 1, Si  1, Yi  y )
T
q
i
E
T
T

S

Y

y
1
(
1
,
1
,
 i
i
i
q )Yi
i
T
T

S

Y

y
1
(
1
,
1
,
 i
i
i
q )
i
1(T  0, S  1)Y

1(T  0, S  1)
i
i
i
i
i
i
i
1(T  0, S  1)Y

1(T  0, S  1)
i
i
i
i
i
i
i
46
Lee Bounds: Una aplicación
• Efectos de provisión de crédito en micro‐
empresas en India (De Mel et al., 2008)
– Empresas desaparecen y no se puede medir utilidades o retorno del capital.
– Implementación de supuesto de Lee:
• Algunas firmas desaparecen si no reciben tratamiento pero ninguna firma desaparece por recibir tratamiento.
• q en el caso de ellos es 5.2%. • Resultados: – Para utilidades: Efecto tratamiento es 541 y E=404 y =754
– Para retornos del capital: Efecto tratamiento es 5.3% y E=2.6% y =6.7%.
47
Lee Bounds: Discusión y Extensiones
• STATA: leebounds (incluye errores estandar).
• Quizás demasiado exigentes. Buscando soluciones “creativas” que dependen del contexto:
– Volviendo a De Mel (2008), E supone que las firmas más rentables del grupo control son las que desaparecen. Poco probable. E es probablemente poco relevante.
– Angrist et al. (2002, 2006) sobre vouchers en Colombia: estudiantes que no rinden prueba ICFES de selección universitaria (aumenta la probabilidad que receptor de voucher rinda la prueba), ¿cuál es el puntaje que habrían obtenido los que no recibieron voucher? Utilizan supuestos de distribución más razonables para límites.
48
IV. Cumplimiento
imperfecto
Cumplimiento imperfecto
¿Qué puedes hacer?
¿Los puedes cambiar?
No es parte
de la
Evaluacion
No!
Población
Objetivo
Muestra de
Evaluación
Selección
Aleatoria
Grupo de
tratamiento
Participantes
Ausencias
Grupo de
Control
No Participan
Control
tratado
No es parte
de la
Evaluación
¿Los dejas fuera?
¡No!
Población
Objetivo
Evaluación
Muestra
Asignación
Aleatoria
Grupo en
Tratamiento
Participantes
Ausentes
Grupo de
Control
No Participan
CrontrolTratado
No es parte
de la
Evaluación
Puedes comparar los
grupos originales
Población
Objetivo
Muestra
Evaluación
Asignación
Aleatoria
Grupo en
Tratamiento
Participantes
Ausentes
Grupo en
Control
No Participan
Crontrol tratado
Sesgo en selección de muestra
Sesgo en selección de la muestra podría
surgir si factores distintos de la asignación
aleatoria influencian la asignación del
programa
• Incluso si la asignación prevista del
programa fue aleatoria, la asignación real
no puede hacerse.
Sesgo en selección de Muestra
Las personas asignadas al grupo de
comparación podrían intentar ingresar al grupo
de tratamiento
• Programa de alimentación escolar: los
padres pueden tratar de cambiar a sus hijos
desde una escuela control a una de
tratamiento
Sesgo en selección de Muestra
Alternativamente, los individuos asignados al
grupo de tratamiento podrían no recibir
tratamiento
• Programa de alimentación escolar: algunos
estudiantes asignados a escuelas de
tratamiento llevan y comen su propio
almuerzo o eligen no comer.
Incumplimiento
¿Los puedes cambiar?
No es parte
de la
Evaluacion
Población
Objetivo
¡No!
Muestra de
Evaluación
Selección
Aleatoria
Grupo de
tratamiento
Participantes
Ausencias
Grupo de
Control
No Participan
Control
tratado
56
Incumplimiento
No es parte
de la
Evaluación
¿Los dejas fuera?
¡No!
Población
Objetivo
Evaluación
Muestra
Asignación
Aleatoria
Grupo en
Tratamiento
Participantes
Ausentes
Grupo de
Control
No Participan
CrontrolTratado
57
Incumplimiento
No es parte
de la
Evaluación
Puedes comparar los grupos originales
Población
Objetivo
Muestra
Evaluación
Asignación
Aleatoria
Grupo en
Tratamiento
Participantes
Ausentes
Grupo en
Control
No Participan
Crontrol tratado
58
¿Qué no podemos hacer?
• Eliminar los no tratados del grupo de
tratamiento
• Re-asignar los no tratados al grupo de
control
¿Qué podemos hacer?
Analizar el experimento como si el tratamiento
original fuera asignar tratamiento (y no la
intervención en sí):
– Impacto del incentivo (no tratamiento) sobre
la población inicial
– Parámetro de interés: intención de tratar
¿Qué podemos hacer?
Analizar el efecto del tratamiento sobre los
tratados
– Impacto del programa sobre un grupo
particular de participantes
– Parámetro de interés: Efecto Tratamiento
Promedio Local (LATE)
Intención de Tratar
ITT = E(y|Z = 1) - E(y|Z = 0)
• Pregunta de política pública: ¿existiría, en realidad, un
programa compuesto únicamente de incentivos?
• Aún si este fuera el caso, la participación real importa para
poder hacer cálculos de costo-beneficio…
LATE en la práctica
Ejemplo:
Evaluamos el impacto de un mejor acceso a agua
mediante acceso a un sistema de agua potable
entubado.
Es imposible aleatorizar acceso al sistema de
agua potable, pero podemos incentivar la
participación.
Tratamiento
(Incentivo)
Control
(Sin incentivo)
315 clústers
311 clústers
372 parcelas
360 parcelas
434 casa
410 casa
En una primera etápa:
• El 70% de
tratamiento se
conectó al sistema
de agua potable
• Casi el 10% del
control se conectó al
sistema de agua
potable
Estimamos b en la ecuación:
y = a + bT + u
En caso de incumplimiento imperfecto, T estaría
correlacionado con u
Convertimos la asignación al tratamiento como el
instrumento:
– Z y T estarían correlacionados si el incentivo
funciona
– Z no estaría correlacionado con u
Usamos un procedimiento de Mínimos Cuadrados en
dos Etapas
Hay que tener cuidado con la interpretación de variables
instrumentales:
• Dan el efecto de tratamiento sobre aquellos cuyo estado
de tratamiento se encuentre impactado por el
instrumento
• ¿Estamos interesados en este efecto para esta
población en particular?
• ¿Si encontráramos otra manera de implementar el
tratamiento, conseguiríamos el mismo efecto?
¡Gracias!

Amenazas a la validez de los diseños experimentales

Transcripción

Documentos relacionados

Estimados Padres de Familia, cordiales saludos

¿es recomendable la vacuna de la varicela a los 12 años?

Varicela