UNIVERSIDAD NACIONAL DEL ALTIPLANO

FACULTAD DE CIENCIAS SOCIALES

EP. SOCIOLOGÍA
EXAMEN FINAL
CURSO: EVALUACIÓN DE PROGRAMAS Y PROYECTOS SOCIALES CON STATA

APELLIDOS Y NOMBRES: FECHA:

Instrucciones: Este conjunto de problemas revisa la aplicación empírica de un grupo de métodos

centrales de evaluación de impacto. Animamos a los estudiantes a que revisen las diapositivas y
materiales impartidos en sesiones de clase, más los ejercicios como sea posible antes de resolver
las preguntas.

Contexto: En este examen usted utilizará el programa estadístico STATA para analizar el impacto
de un programa de seguro de salud para los pobres. Uno de los objetivos principales del programa
es reducir la carga de costos relacionados con la salud para hogares pobres en zonas rurales. Un
programa piloto ha sido ejecutado en un grupo de comunidades, y usted ha sido asignado para
llevar a cabo una evaluación de los impactos del programa en los gastos directos en salud
(representados por la variable “ophe”, que proviene de la expresión en ingles de “out of pocket
expenditure”) por parte de los hogares. Para hacer el análisis Ud. utilizará la base de datos
“evaluation.dta”. La base incluye datos de hogares que viven en comunidades de tratamiento, es
decir comunidades en que el programa fue ofrecido, y comunidades de control, o comunidades en
que el programa no fue ofrecido. La variable “treatcom” (que proviene de la combinación de
palabras “treatment communities” en inglés, que significa “comunidades tratadas”) treatcom = 1
para las comunidades de tratamiento y treatcom = 0 para las comunidades de control. Una
descripción más detallada de los datos está incluida en el apéndice.
Para empezar:

1. Utilice el archivo DO FILE o archivo “do” para realizar su análisis

2. Describir y explorar la base de datos para conocer las variables y su estructura.

Mientras vaya completando su ejercicio utilice la siguiente tabla: en la primera fila, ponga el
impacto estimado. En la segunda, ponga el “t stat”, así sucesivamente.

CASO CASO CASO CASO CASO CASO CASO

1 2 3 4 5 6 7
Diseño de
Antes y Diferencia de Variables Asignación
Auto Selección Regresión Pareamiento
Después Diferencias Instrumentales Aleatoria
Discontinua

Evaluación de Impacto Caso 1: Comparación antes y después (Pre-Post)

Usted tiene a su disposición una encuesta de línea de base que fue recogida antes de que el
programa de seguro médico se implementara (esto viene recogido en la variable “round”, que
significa “ronda”) (round=0), y una encuesta de seguimiento que se hizo 12 meses después de que
iniciara el programa (round= 1). Usted decide que, como primera aproximación del impacto, usted
estimará el cambio de los gastos de salud de los hogares que participan en el programa. Para este
caso, analice solamente las comunidades en las que el programa piloto fue ofrecido (keep if
treatcom = = 1).

1. Describa el número de observaciones, el promedio, la desviación estándar y los intervalos

de confianza de las variables en la base de datos de la encuesta de línea de base.
2. Verifique si OPHE para los hogares que se inscriben en el programa (que viene recogido
por la variable “takeup” que significa “aceptar”, en este caso, aceptar el tratamiento o
inscribirse) (takeup=1) ha cambiado a través del tiempo:

a. Comparando las medias

b. Usando el comando ttest
3. Ahora estime el cambio en OPHE con una regresión lineal de Mínimos Cuadrados
Ordinarios (MCO), usando el comando “reg”.

a. Sin agrupar los errores estándar

b. Agrupando los errores estándar a nivel de localidad con la opción, cl(local) “cl
(local)”. ¿Observa alguna diferencia? ¿Por qué?
 4. ¿Cuál es el cambio medio en OPHE durante este período? ¿Es este el impacto del
programa?

Evaluación de Impacto Caso 2: Tratamiento de autoselección

En este escenario, la inscripción al programa de seguro médico es voluntaria y todos los hogares
en las comunidades seleccionadas como piloto son elegibles para inscribirse. En su análisis sólo
incluya los hogares que están en las comunidades del piloto (treatcom =1).

1. Para la línea de base, compare los gastos promedio mensuales per cápita (ophe) y otras
características de los hogares (edad y educación del jefe del hogar y del cónyuge; tamaño
del hogar; tipo del suelo del hogar; etc…) entre los hogares que se inscriben al programa
(takeup =1) y los que no se inscriben. ¿En promedio, son los dos grupos de hogares
similares en la línea de base?

2. Su amigo sugiere que usted utilice análisis de regresión para controlar cualquier diferencia
que exista entre los hogares inscritos al programa y los hogares no inscritos para aislar el
efecto del programa. Estime el impacto del programa en los gastos de salud de los hogares
en el período de tratamiento (round =1). Corra dos regresiones de Mínimos Cuadrados
Ordinarios (MCO):
i. Sin variables de control

ii. Incluyendo las características del jefe de hogar y su cónyuge y otras

características del hogar
3. ¿Cuál es el impacto estimado del programa en los gastos de salud de los beneficiarios?

4. ¿Usted piensa que el coeficiente estimado de la regresión (i) o (ii) es el impacto verdadero
del programa? ¿Por qué los impactos estimados cambian tanto entre los dos modelos?
Evaluación de Impacto Caso 3: Diferencias en Diferencias (“dif in dif”)

No está muy satisfecho con su análisis en el Caso 1. Pensándolo mejor se da cuenta de que ya que
tiene datos en dos periodos de tiempo para cada hogar de la muestra, puede usar esos datos para
resolver algunas de las limitaciones encontradas en el caso anterior. Por tanto, ahora decide
comparar el cambio (en el tiempo) del gasto directo en salud de aquellos que se apuntaron al
programa y aquellos que no. Incluya sólo hogares en las comunidades piloteadas (treatcom=1).

1. Genere una nueva variable que sea la diferencia del gasto directo en salud entre el periodo
de línea de base (round=0) y la primera ronda de seguimiento (round=1). Llame a la nueva
variable “delta_ophe”.

2. Estime el impacto del programa aplicando una diferencia simple, esto es, calculando la
diferencia del cambio del gasto en salud entre los hogares que se inscribieron al programa
y aquellos que no lo hicieron mediante el comando “ttest”.

3. Realice una regresión de Mínimos Cuadrados Ordinarios para estimar el efecto del pro-
grama usando la especificación de diferencias en diferencias. Haga la regresión utilizando
como variable dependiente el gasto en salud (ophe) y como regresores los hogares que
participaron (takeup), ronda (round) y la interacción entre las dos. Estime las regresiones:
 i. Sin controles

ii. Incluyendo controles

4. ¿Cuál es el efecto del programa en los gastos directos en salud?

 5. ¿Cómo mejora este método las estimaciones que obtuvo en el Caso 1?, ¿Existe todavía
algún posible sesgo que le preocupe?

Evaluación de Impacto Caso 4: Diseño de Regresión Discontinua

Después de investigar más el programa de seguro de salud, usted descubrió que las autoridades
decidieron dirigir el programa a los hogares más pobres. Es decir, sólo los hogares por debajo de
la línea de pobreza pueden participar en el programa. La línea de pobreza fue construida mediante
una evaluación de recursos económicos que asignó un puntaje (score) entre 0 y 1500 a cada hogar.
Un hogar con un puntaje igual o menos de 750 cuenta como pobre y por eso fue elegible para
participar en el programa de seguro de salud. Todos los hogares con puntajes por encima de 750
fueron declarados no elegibles para el programa. La variable “elegible” identifica los hogares que
califican como pobre (elegible = 1) y los hogares que no califican así (elegible = 0). Solo debe
incluir los hogares dentro de las zonas de tratamiento en su análisis (treatcom=1).

1. Estime el efecto de ser elegible para participar en el programa en gastos en salud en efectivo
utilizando una regresión MCO que incluye una variable binaria para definir elegibilidad y
el índice de pobreza (score).

2. Cree un gráfico de los valores predichos de gastos en salud estimados en paso 1 contra el
puntaje de pobreza (Nota: se puede generar los valores predichos con el comando “predict”
y crear el gráfico utilizando “graph7”).
 111.919
Fitted values

29.7165
265 1294
eligible <=750

3. Estime la regresión del paso 1 nuevamente, pero limite la ventana alrededor del índice de
pobreza a 100 puntos en cada lado de 750. ¿Cómo se pueden explicar los cambios que
ocurren en los resultados?
4. Estime la regresión utilizando diferentes límites alrededor del punto de corte de 750. ¿Qué
ocurre a medida que los intervalos son mayores? ¿A qué se debe? ¿Qué intervalos nos van
a permitir estimar el impacto de manera de más precisa? ¿Qué ventajas y limitaciones
tiene?
Evaluación de Impacto Caso 5: Variables Instrumentales

En el caso anterior, analizó el impacto de ser elegible para el programa comparando la población
elegible dentro de las comunidades de tratamiento. Sin embargo, lo que Ud. realmente quiere
estimar es el impacto del programa en los participantes. Descubre que no toda la población elegible
participó en el programa de seguro de salud. Es decir, algunos hogares por debajo de la línea de
pobreza no participaron. Se puede aprovechar esta característica del programa para estimar el
impacto del programa mediante variables instrumentales.

Participar en el programa de salud es una decisión que cada individuo toma en función de ciertas
características personales. Estas características personales, que hacen que el individuo decida
apuntarse al programa de salud, también pueden determinar el nivel de gasto que el individuo tiene.
Si esto es así, mediante la comparación de los que toman el programa y los que no, no vamos a
poder determinar el impacto del programa, pues ser verá afectado por variables personales que no
tienen que ver con el programa. Para determinar el impacto, hay que corregir por la selección
endógena al tratamiento utilizando un instrumento válido. Un instrumento válido es una variable
exógena que afecta la probabilidad de ser beneficiario de un programa, pero no tiene ningún efecto
directo en la variable dependiente. En este caso, treatcom puede servir como un instrumento si
pensamos que treatcom fue asignado aleatoriamente. En este escenario treatcom determina
elegibilidad para participar en el programa (junto con el puntaje de pobreza score), pero no debe
tener ningún efecto adicional en los gastos en salud pagados por los hogares.

Para usar el método de variables instrumentales con “treatcom” como instrumento, haga lo que
sigue:

1. Comparar los tratamientos antes y después de la intervención

2. Comparar individuos inscritos en la intervención (tratamiento) y aquellos que no lo
hicieron (no tratamiento)
3. ¿Cómo interpretaría Ud. este nuevo coeficiente estimado en las regresiones?
Evaluación de Impacto Caso 6: Pareamiento (Matching)

Queriendo mejorar sus estimaciones anteriores usted decide utilizar técnicas de pareamiento para
comparar hogares que participan en el programa y que no participan en el programa, y que parecen
similares dadas ciertas características observables. Incluya solamente en su análisis los hogares
que están en las comunidades piloto (treatcom =1).

1. Estime la probabilidad de participar en el programa (pscore) dadas las covariables

observables de los hogares que participan y de los que no participan (utilice una regresión
probit y después “predict “).

2. Estime el efecto promedio del “ophe” en los tratados y no tratados.

 3. Calcule la diferencia ¿Es un buen estimador? Explique el porqué.

4. ¿Qué nos dice el resultado del método de pareamiento sobre el efecto del programa en
gastos de salud?

Evaluación de Impacto Caso 7: Aleatorización

Resulta ser que cuando las comunidades estaban siendo seleccionadas para ser incluidas en el
piloto de seguro de salud, había muchas más comunidades elegibles de las que podrían ser
cubiertas con el presupuesto disponible. Por tal motivo, las autoridades provinciales decidieron
hacer una lotería para seleccionar a las comunidades que participarían en el esquema del seguro
en el año 1, así daban a todas las comunidades una oportunidad justa de comenzar en el primer
programa. Sus datos contienen información sobre las comunidades seleccionadas al azar para la
participación en el año 1, como de las comunidades que se incorporarían al programa en años
subsecuentes. La variable “treatcom” indica las comunidades de tratamiento (treatcom = 1) y las
comunidades de no-tratamiento o de control (treatcom = 0). Para este caso, utilice ambas
comunidades, las de tratamiento y las de control, en su análisis. La muestra se estructura de la
siguiente forma:

Comunidades Tratamiento Comunidades Control

Elegibles 4,670 2,727

No elegibles 3,105 2,334

1. Compare gastos en salud en la línea de base y otras covariables entre los hogares elegibles
en el tratamiento y las comunidades en el grupo de control. ¿La muestra está balanceada
en términos de variables observables? ¿Es esto lo qué usted esperaría, por qué sí o por qué
no?

2. En el período de tratamiento (round =1), compare el promedio de gastos en salud para la

población elegible en las comunidades de tratamiento y las comunidades de control. ¿Es
éste el impacto del programa de seguro médico?
3. Ahora utilice una regresión de Mínimos Cuadrados Ordinarios (OLS) para estimar el
efecto en los hogares elegibles:

a. Sin variables de control

b. Incluyendo las características del jefe de hogar y del cónyuge

 c. Incluyendo otras covariables de línea de base

4. ¿Cuál es el impacto del programa en los gastos en salud?

5. Replique el análisis (paso 3) en la población no elegible como prueba de validez. ¿Estos

resultados ayudan a confirmar su confianza en la validez de los impactos del programa?
Apéndice de Datos

1. La base de datos para el análisis (en formato STATA) es “evaluation.dta”

2. Variable de resultado:
a. ophe = gastos directos en salud (per cápita mensuales)
3. Variables de Control (covariables):
a. Características del jefe del hogar y su cónyuge:
i. age_hh = edad del jefe (años)
ii. age_sp = edad del cónyuge (años)
iii. educ_hh = educación del jefe (años completos de educación)
iv. educ_sp = educación del cónyuge (años completos de educación)
v. ethnicity_hh = 1 si el jefe habla una lengua indígena
vi. female_hh = 1 si el jefe es mujer
b. Características en línea de base
i. hhsize_basal = tamaño del hogar en línea de base
ii. dirtfloor_basal = hogar con piso de tierra en línea de base = 1
iii. bathroom_basal = hogar con cuarto de baño privado en línea de base = 1
iv. landhectars_basal = número de hectáreas de tierra en línea de base
v. min_dist = distancia entre la comunidad y el hospital más cercano.
4. Otras variables:
a. local = identificador de localidad
b. hhid = identificador único del hogar
c. round = periodo de la encuesta (0= línea de base; 1 = periodo 1)
d. takeup = hogar que participó en el programa = 1 y hogar que no participó =0
e. eligible = hogar elegible para participar en el programa = 1 y no elegible =0
f. treatcom = comunidad en grupo de tratamiento = 1 y no tratamiento =0
g. score = índice de pobreza (eligible <=750) y no elegible > a 750