Políticas Presupuestales y

Gestión por Resultados

CEPAL-ILPES

Evaluación de Impacto de
Políticas Públicas
Fernando Medina H.
Asesor Regional
CEPAL
Santiago de Chile
25 de noviembre de 2005
¿Porqué es necesario evaluar?
• Las crecientes inversiones que se hacen en los
países, no han podido reducir de manera
significativa las tasas de indigencia y pobreza.

• A pesar de los múltiples esfuerzos emprendidos en

el ámbito social, la pobreza no cede y la
desigualdad es un fenomeno que se ha instalado
en todos los países de la región.

• No existe en América Latina y el Caribe una cultura

de evaluación integral de políticas públicas.
Existe consenso internacional, de que
la superación de la pobreza y la
desigualdad representan el principal
desafío de la humanidad en el umbral
del siglo XXI.

A pesar del progreso alcanzado

el mundo se está polarizando, y
la pobreza extrema y la inequidad
amenzan con llegar a ser un
problema social y político de
gran escala.
 • Actualmente, el 43% de
la población (222 millones)
enfrenta alguna situación
pobreza.

• En tanto que el 19% se

ubica en extrema pobreza
( 96 millones).

Desde que se asumieron los

compromisos de la
Declaración del Milenio
(2000), la población en
pobreza ha aumentado a un
ritmo superior al de la
población total, a pesar de
que se obserava un mayor
ingreso por habitante.
La mayoría de países muestran avances insuficientes hacia el
cumplimiento de la meta de reducción de la pobreza extrema, y en
muchos casos la situación empeoró.
¿Qué es la evaluación integral?
• Comprende la evaluación de todas las etapas
asociadas a la operación de un programa.
• Diseño
• Identificación de la población objetivo
• Identificación de beneficiarios
• Definición de criterios de elegibilidad
• Identificación de beneficios: tipos y montos
• Métodos de entrega de beneficios, plazos y
temporalidad.
• Corresponsabilidad de los beneficiarios
• Impacto
 EVALUACIÓN INTEGRAL DE PROGRAMAS PÚBLICOS

EVALUACIÓN DE
COSTO - BENEFICIO

EVALUACIÓN DE EVALUACIÓN DE
PROCESOS POLÍTICAS IMPACTO
PÚBLICAS

MONITOREO Y
SEGUIMIENTO
 ¿Cómo ha sido diseñado el
programa?
• Diagnóstico adecuado:¿Porqué es necesario
emprender el programa?
• Magnitud del problema: volumen de potenciales
beneficiarios, recursos, ubicación geográfica, etc.
• ¿Qué resultados debe producir el programa?:
modificar causas, reducir efectos, ambos.
• ¿Cómo se mediran los resultados del programa?
 (cont.)
• Monitoreo

• Evaluación de procesos

• Cumplimiento de metas

• Costo-beneficio

• Impacto
 Monitoreo
• ¿Se actúa conforme a lo planeado?

• La fase de monitoreo es permanente, y se

asocia a la necesidad de conocer si el
programa funciona de acuerdo a la manera
en que se planificó.

• La mejora continua debe ser asumida como

objetivo durante el ciclo de vida del programa
(Círculo de Deming).

• Se requiere de un sistema de información

oportuno para apoyar la toma de decisiones.
 Control de Procesos
• Está asociado con el control de gestión del
programa, y entre otras cosas, evalúa la
manera en que se están entregando los
servicios a los beneficiarios.

• Se debe conocer aspectos asociados a:

costos, calidad de los servicios, pertienencia
de los servicios, tiempos de entrega, etc.
 Cumplimiento de Metas
• Se debe conocer si las metas de cobertura del
programa se están logrando.

• El cumplimiento de metas no debe asociarse

al cumplimiento de objetivos del programa.
Son cosas distintas.

• Es la manera en la que tradicionalmente se

ha evaluando el éxito de un programa, pero
también es la más ingenua.
 Costo-Beneficio
• Está orientado a evaluar la eficacia del
programa desde una perspectiva económica.

• Se relacionan los costos de operación del

programa con los beneficios obtenidos.

• Contrapone el plano ético con una visión

economicista de las políticas públicas.
 CONTEXTO EN EL QUE SURGE LA
EVALUACIÓN Y LOS ACTORES SOCIALES

ORDENAMIENTO LEGAL
QUE OBLIGA A LA
EVALUACIÓN
PERIÓDICA

CONSEJO CONSULTIVO GOBIERNO GOBIERNOS LOCALES

CIUDADANO QUE ES PARTICIPANDO EN LA
RESPONSABLE DE
VIGILANTE DE LA PROMOCIÓN DEL
ACCIÓN PÚBLICA EN RENDIR CUENTAS E
DESARROLLO
MATERIA SOCIAL INFORMA RESULTADOS COMUNITARIO

SOCIEDAD CADA VEZ

MÁS DEMANDANTE Y
PARTICIPATIVA
Tipología de los indicadores
• Diagnóstico: Tasa de pobreza, perfiles, etc.
• Monitoreo y Seguimiento:Metas de cobertura
• Insumos: maestros, materiales médicos, etc.
• Acceso: escuelas,aulas, clínicas, etc.
• Resultados: estado nutricional, aprendizaje,
etc.

• Impacto
Evaluación
• Cambio
 (cont.)

• Gestión:Eficiencia (insumos-productos)

• Desempeño: laboral y financiero

 Indicadores Estratégicos
• Simples: E(x)

• Compuestos: IDH, Gini, H

 Métodos para la construcción
de índices multidimensionales
• Técnicas multivariadas: análisis factorial,
componentes principales y análisis de discriminante.

• Indices de pobreza y desigualdad multidimensionales

• Indice de Desarrollo Humano

• Indices de Condiciones de Vida

Existen demasiados índices
• Indice de desarrollo humano
• Indice de desarrollo de género
• Indice de potenciación de género
• Indice de pobreza de capacidades
• Indice de pobreza humana
• Indice de pobreza humana de los países
en desarrollo
 Indice de Desarrollo Humano
• IDH=1/3ΣXi ; i=1,2,3

• X1= Indice de Esperanza de Vida

IEV=(73.4-25)/(85-25)=0.807
• X2=Indice de Educación
IA=(85.3-0)/(100-0)=0.853
IBM=(69-0)/(100-0)=0.690
IE=2/3(0.853)+1/3(0.690)=0.789
• X3= Indice de PIB
IP=[log(3,680)-log(100)]/[log(40000)-log(100)]=0.603
IDH=1/3(.807+.798+.602)=0.735
 Algunas críticas al IDH
• ¿Están adecuadamente ponderadas las
distintas dimensiones del índice y son
pertinentes los ponderadores asignados?

• ¿Deben tener el mismo peso todas las

dimensiones?

• ¿Es correcto que el nivel alto de una

dimensión compense el nivel bajo de otra?

• ¿Un mejor nivel de ingreso compensa una

educación inadecuada?
 (cont.)
• ¿Un mayor nivel educativo compensa el tener
una menor expectativa de vida?

• ¿Es pertinente que exista un único índice con

iguales dimensiones e indicadores para todos
los países, con independencia a su nivel de
desarrollo relativo?
• Su uso es muy limitado para el diseño de
políticas.
 2015
1. Erradicar la pobreza y 5. Mejorar la salud materna
el hambre

2. Lograr la enseñanza 6. Combatir el VIH/sida, el

primaria universal paludismo y otras
enfermedades
3. Promover la igualdad
entre los gèneros y la 7. Garantizar la sostenibilidad
autonomìa de la mujer del medio ambiente

4. Reducir la mortalidad 8. Fomentar una asociaciòn

infantil mundial para el desarrollo
 Las Metas del Milenio
g Reducir a la mitad la tasa de pobreza extrema (2015)
g Reducir a la mitad el porcentaje de personas
que padecen hambre
g Asegurar la educación primaria universal
g Eliminar las diferencias de género en la educación
primaria y secundaria (2025)
g Rebajar en dos tercios la mortalidad en la infancia y la niñez
g Reducir la mortalidad materna en tres cuartas partes
g Asegurar el acceso universal a los servicios
de salud reproductiva
g Detener la reproducciòn del VIH/Sida,
paludismo y otras enfermedades graves
g Aplicar estrategias para lograr un desarrollo
sostenible con responsabilidad ecológica
g Reducir a la mitad el porcentaje de personas
que carecen de acceso a agua potable
g Mejorar la calidad devida de las personas que
viven en tugurios
g Ayudar a los países en el cumplimiento de las
metas
 Las metas del milenio
• Muchos de los indicadores seleccionados
están orientados a medir el acceso de las
personas a un conjunto básico de
satisfactores.

• No obstante, este hecho no guarda relación

con la calidad de los servicios recibidos: e.g.
calidad de la educación, estado nutricional de
los pobres no indigentes, etc.
La incidencia de la pobreza
• ¿Qué nos interesa. El fondo o la forma?

• Se puede dar el caso de que la tasa de

pobreza extrema dismunuya, pero que
los miembros del hogar continúen sin
satisfacer sus necesidades alimentarias.
CONTEXTO IDEAL PARA LA EVALUACIÓN DE IMPACTO
Diagnóstico inicial Escenario actual y futuro del
Programa Línea de base conocimiento
-Variables estructurales
de la situación actual y del
-Variables de coyuntura futuro deseable
Escenario deseable
-Relaciones de causalidad

Identificación

-Variables de impacto

-Variables de control
-Metas de política
-Objetivos de política
-Indicadores de evaluación

Planeación Diseño del programa

-Objetivos del programa

-Población objetivo Operación

-Modelo de intervención
-Modelo de evaluación
-Temporalidad para evaluar
resultados
-Recopilación de información
(encuestas, registros
administrativos y métodos
cualitativos)
Evaluación de impacto
-Costo-beneficio - Selección de la población
beneficiaria
-Costo-impacto
-Selección del grupo de control
Resultados
-Se efectuan intervenciones
-Pertinencia del programa
-Mecanismos de control y
seguimiento
-Evolución de los
indicadores de impacto
-Se monitorea el proceso
Planteamiento del problema
• Se desean conocer los efectos que tiene
una acción de política social en una o más
variables asociadas al nivel de vida de una
población.

• Para ello, se diseña un programa el cual

beneficia a un cierto grupo de personas o
familias.

• Posteriormente, después de un cierto

tiempo se desea comparar la situación de
los beneficiarios con aquella que tendrían
de no haber participado en el programa.
 Evaluación de Impacto
• Tiene como propósito conocer si el programa
produjo los efectos deseados en los beneficiarios.

• Conocer si los cambios observados en los

beneficiarios, pueden asociarse a los efectos del
programa (causalidad).

• ¿Cómo debiera mejorarse el programa para

maximizar sus beneficios en las variables de
impacto?
 El interés es conocer el cambio neto en una o más
variables de impacto:
Población Objetivo
X1pb X2pb .......... Xmpb X npb

Brecha de impacto
beneficiarios

no beneficiarios
t0=c0
t
t0 t1 t2 t3 tm tn-1 tn

X1c X2c ........... Xmc X nc

Para una variable determinada Y que tiene influencia de
otra independiente X, el modelo de doble diferencia se
expresa así:

(Y2i - Y1i) = β*0 + β 1 (X2ipo – X1ipo) - β 2 (X2ic – X1ic) + ε*

Cambio neto = efecto fijo + cambio bruto - efecto exógeno a la intervención

en la variable en la variable en el grupo de no beneficiarios
de interés independiente
 (cont.)
• La evaluación de impacto demanda de la
aplicación de técnicas, que permitan conocer
lo que habría ocurrido en caso de que el
programa no se hubiése puesto en marcha.

• Por tanto, es importante disponer de un

escenario contrafactual que permita conocer
lo que hubiera ocurrido si el programa no se
hubiera realizado.
 (cont.)
• Se requiere disponer de información para el
llamado grupo de control o de comparación.

• Estos grupos deben seleccionarse de manera

aleatoria, de la misma población de la que
provienen los participantes.

• Esto significa, que ambos grupos tienen las

mismas características
 El Grupo de Control
• En el proceso de evaluación de impacto, lo más
importante es disponer de un grupo de control
adecuado.

• Lo anterior se logra a partir de metodologías

estadísticas: diseños experimentales aleatorios y
cuasi experimentales.

• También se aconseja aplicar métodos cualitativos

y participativos para lograr la evaluación integral.
 Diseños Experimentales
• Se consideran los métodos más robustos para
generar grupos de control.

• La elección de los beneficiarios y del grupo de

control se efectúa en forma aleatoria, reduciendo
al máximo los sesgos de selección.

• Presentan la ventaja, de que el efecto del

programa se logra al comparar las diferencias
observadas entre los valores promedio de las
variables de impacto entre ambos grupos.
 (cont.)
• A pesar de que consideran los métodos más
robustos, su aplicación práctica genera
problemas de carácter ético.

• Lo anterior, además, puede generar

problemas de carácter político.

• Durante la aplicación del programa, las

características de los grupos comparados
pueden alterarse, lo cual podría introducir
sesgos en los resultados.
 Diseños Cuasi Experimentales
• Se utilizan cuando no es posible aplicar diseños
experimentales para generar grupos de control.

• Se generan grupos de observaciones que se

asemejan a las características de los
beneficiarios.

• Para lograr lo anterior, se utilizan métodos

econométricos: apareamiento (matching), doble
diferencia, variables instrumentales.

• Los grupos de rtatamiento y de comparación se

seleccionan después de la puesta en marcha del
programa.
 (cont.)
• Presenta la ventaja de utilizar datos
existentes (encuestas, censos), y por tanto
son menos costosos y más fáciles de aplicar.

• A pesar de lo anterior, los resultados pueden

ser menos confiables, debido a los sesgos de
selección de los datos y por tanto son menos
sólidos desde el punto de vista estadístico.

• Es posible controlar el sesgo de selección a

partir de métodos estadísticos.
 Métodos Cualitativos
• Se utilizan con el propósito de conocer la
opinión de los beneficiarios acerca de las
beneficios entregados por el programa.

• Además de las entrevistas a profundidad, se

hace usos de información proveniente de
líederes de opinión y la generada por medio
de grupos focales.

• Permiten conocer aspectos que los métodos

estadísticos y econométricos no lo hacen.
Preguntas relevantes para evaluación
de impacto de las políticas públicas
• Algunas preguntas básicas:
– ¿Qué queremos medir?
– ¿Cómo queremos medir?
– ¿Para qué queremos la medición?
– ¿Para qué se van a utilizar las mediciones?
– ¿Qué fenómeno se desea aproximar?
• Si el tema de interés es la calidad de
vida:
- ¿Qué se entiende por calidad de vida?
- ¿Cómo se desea aproximar?
- ¿Cómo se mide?
- ¿Cuáles variables que se deben analizar?
Planteamiento del problema
• Se desean conocer los efectos que tiene
una acción de política social en una o más
variables asociadas al nivel de vida de una
población.

• Para ello, se diseña un programa el cual

beneficia a un cierto grupo de personas o
familias.

• Posteriormente, después de un cierto

tiempo se desea comparar la situación de
los beneficiarios con aquella que tendrían
de no haber participado en el programa.
• Se debe construir un escenario contrafactual o grupo de
comparación que permita conocer la manera en
que han evolucionado las variables de impacto, tanto en el
grupo de beneficiarios como en el de no beneficiarios.

• En Blundell y Costa Dias (2000), los métodos de evaluación

se clasifican en cinco categorías:

v experimentos aleatorios (diseño de experimentos

tradicional)
v experimentos naturales (difference-in-difference,
before-after)
v métodos de comparaciones pareadas (matching)
v selección de modelos ( variables instrumentales)
v modelos de simulación (simular efectos de política)
 Estimadores de Impacto
• antes-depués

y = β 0 + β 1 * año

• doble diferencia

y = β 0 + β1 * año + β 2 * benefici + β 3 (año * benefici)

 Modelo de doble diferencias
2001-2002
y01,02 = β0 + β1Benef + β2 Ano+ β3 ( Ano* Benef)
∧

β3 = (y 2002 − y 2001 ) − ( y 2002 − y 2001 )

Beneficiarios No
beneficiarios
∧

β 3 = (3,066.1 − 3,570.9) − (14,124.8 − 14,497)

∧

β 3 = − 132,6
 Modelo de doble diferencia
2001-2003
y01,03 = β0 + β1Benef + β2 Ano+ β3 ( Ano* Benef)
∧

β3 = (y 2003 − y 2001 ) − ( y 2003 − y 2001 )

Beneficiarios No
beneficiarios
∧

β 3 = (5,976.4 − 3,570.9) − (15,510.7 − 14,497)

∧ ∧

β 3 =1,391.4 β 3 = 57.9%
 y b
2003 = β 0 + β 1 + β 2 + β 3

y b
2001 = β 0 + β 1 + 0 + 0
Cambio bruto:beneficiarios β 2 + β 3

y nb
2003 = β 0 + 0 + β 2 + 0
y nb
2001 = β 0 + 0 + 0 + 0
Cambio bruto: no beneficiariosβ 2

Impacto neto del programa β 3

 Conclusiones
• La evaluación integral de los programas públicos,
debe forma parte de una estrategia de gestión por
resultados.

• Representa uno de los mecanismos que los

gobiernos deben poner en marcha para garantizar
la transparencia y rendición de cuentas.

• Le permite conocer a la ciudadanía en qué se

gastan los ingresos del erario, al tiempo que da
cuenta de la eficacia de los programas públicos.