Efectividad en el Desarrollo en el BID

Efectividad en el Desarrollo en el BID

Efectividad en el Desarrollo en el BID
Fazia Pusterla
Oficina de Planificación Estratégica y Efectividad en el Desarrollo
Banco Inter-Americano de Desarrollo
Montevideo, 12 Diciembre, 2012
¿Que entendemos por Efectividad en el Desarrollo?
“Haciendo las cosas correctas”
La medida en la cual
los objetivos de
desarrollo de las
Priorizar los productos del BID de
acuerdo a las mayores necesidades
establecidas por los países
(Costo de Oportunidad)
intervenciones fueron
alcanzados, o se
esperan sean
“Haciendo las cosas correctamente”
alcanzados, tomando
en consideración su
relativa importancia
Qué tanto de los productos y resultados
planeados fueron realmente entregados
y alcanzados
(Administración, Monitoreo y Evaluación)
2
Marco de Efectividad en el Desarrollo
 En Agosto 2008, el Directorio del Banco aprobó el Marco de
Efectividad en el Desarrollo (MED/DEF)
MED
Estrategias de
Países
Operaciones
con garantía
Soberana
Operaciones
sin garantía
Soberana
Productos no
Financieros
 Incrementar la capacidad del Banco de demostrar los resultados de
sus intervenciones
 Cumplir con estándares internaciones para la evaluaciones de las
intervenciones de desarrollo
OECD-DAC Evaluation Cooperation Group
3
Cadena de Resultados
Esta cadena se
puede replicar para
todo tipo de actividad
hecha por una
institución
Impacto
Obtención de
Resultados
Entrega de
Productos
Insumos
Actividades
Curva de aprendizaje: Monitoreo y Evaluación
4
Evaluabilidad: Asegurandos que todos los
productos puedan demonstrar resultados
• La Evaluabilidad es la medida en la cual una actividad o
programa puede ser evaluado de manera confiable y
creíble.
• Los Gobernadores acordaron un umbral mínimo de
evaluabilidad
• En 2010 el 96% de los proyectos del banco alcanzo el
umbral.
5
5
Rendición de cuentas y aprendizaje
• Demonstrar los avances alcanzados en términos de
efectividad:
– Durante todo el proceso: desde la aprobación del Marco
de Resultados Corporativo hasta la implementación de
programación basada en resultados y la incorporación de
métricas en el diseño y la implementación de los
proyectos.
– Identificando “lo que si’ funciona” y cual es el
conocimiento que esta siendo generado por el Banco
basado en los resultados de las crecientes evaluaciones
de impacto rigurosas que se diseñan para los proyectos.
6
6
Haciendo las cosas correctas
Iniciativas
del BID
Prioridades de los
países
(Estrategias de
país y
programación)
7
Estrategias de País basadas en resultados:
alineación, enfoque a resultados y flexibilidad.
El enfoque estratégico
orienta el diseño de la
programación de los
proyectos con la necesaria
flexibilidad para responder
a un entorno dinámico y
cambiante
31%
8%
BH, DR,
E, MX,
PN, PR
100%
65%
BO, CH,
CR, HA,
HO, SU,
TT, UR,
VE
AR, BR,
CO, EC,
JA, PE,
GU, GY,
NI
BA, BL
2009
8
2010
2011
2012
Haciendo las cosas correctamente
(para todo los tipos de productos)
Diseño orientado
a los resultados
o Lógica de la
intervención
o Marco de M&E
o Análisis económico
o Manejo de Riesgos
Monitoreo de
nuestro progreso
Determinación del
impacto
En la implementación
se hace seguimiento
de productos y
resultados del
proyecto en relación
con su duración
estimada y los
parámetros de costos
El fuerte compromiso
del Banco para ofrecer
pruebas acerca de “lo
que funciona” ha
generado una cantidad
cada vez mayor
de operaciones con
un fuerte componente
de evaluación
rigurosa del impacto
2
Instrumentos de Efectividad en el Desarrollo2
A la Aprobación
En la Ejecución
Al terminar
DEM
PMR
XPMR/PCR
Monitoreo de
nuestro progreso
Determinación del
impacto
En la implementación
se hace seguimiento
de productos y
resultados del
proyecto en relación
con su duración
estimada y los
parámetros de costos
El fuerte compromiso
del Banco para ofrecer
pruebas acerca de “lo
que funciona” ha
generado una cantidad
cada vez mayor
de operaciones con
un fuerte componente
de evaluación
rigurosa del impacto
Diseño orientado
a los resultados
o Lógica de la
intervención
o Marco de M&E
o Análisis económico
o Manejo de Riesgos
Matriz de Efectividad en el Desarrollo (DEM)
• Mide la evaluabilidad de los proyectos propuestos
• Es una lista de verificación sobre requerimientos analíticos y de
información (CHECK LIST)
• Sistema de respuesta: Si/No
• Calificaciones parciales por dimensión de evaluabilidad
• NO ES una evaluación de los objetivos y metas alcanzados por el
proyecto
• NO ES un requerimiento de información mayor
– Es lo mínimo necesario para desarrollar una propuesta clara,
concreta y empíricamente sustentada
11
Dimensiones y Calificaciones DEM para proyectos
BID Objetivos Estratégicos
El proyecto contribuye a los
objetivos estratégicos del BID-9?
Alineado
Estrategia de País
Objetivos Estratégicos
El proyecto contribuye a los objetivos de
desarrollo establecidos en la estrategia del BID con el País?
Alineado
Lógica del Programa
El proyecto está empíricamente sustentado?
El proyecto tiene métricas para medir cada hipótesis?
10
Desempeño Económico
El proyecto cuenta con un análisis costo-beneficio
o costo-efectividad para la solución propuesta?
10
Monitoreo & Evaluación
El proyecto tiene metodologías específicas
para monitorear y evaluar el cambio esperado?
10
Gestión de Riesgo
El proyecto tiene riesgos identificados? Si es así, tiene indicadores
para monitorear la implementación de las medidas de mitigación?
10
Adicionalidad
El proyecto genera mejoras indirectas en la gestión
de la entidad pública responsible de la ejecución?
12
¿Que avances hemos tenido en evaluabilidad?
Niveles de Evaluabilidad (Porcentaje de proyectos en cada categoría)
IDB – 9 Evaluability
Threshold
13
¿Como se relacionan el diseño y la ejecución?
Diseño
Ejecución
Matriz de Resultados
Monitoreo Resultados
Resultados
Planificación de
indicadores
(n) Puntos de Control y Fin
de proyecto
Indice Desempeño
Productos
Plan de avance
físico y
financiero
Monitoreo Productos
Progreso en el avance de
metas físicas y sus costos
totales
Riesgos, Problemas, Lecciones
DEM
PMR
El PMR identifica si la ejecución de un proyecto es satisfactoria,
si hay problemas o si el proyecto esta en un nivel de alerta
14
XPMR
Evaluación: ¿Por qué, para que?
 Por qué evaluamos?
Evaluamos para determinar si el programa provoco los cambios
para el que fue diseñado.
 Para que evaluamos?
• Guiar decisiones de política
• Enfocar las intervenciones a resultados
• Justificar el uso de recursos
• Al interior del pais
• Fuera del pais
• Con el publico en general
• Lecciones aprendidas—proyectos en ejecución y proyectos
futuros
La evaluaciones de impacto son una herramienta
fundamental en la valoración de si se están haciendo
correctamente las cosas
15
Evaluación de Impacto: ¿qué medimos?
– En estricto sentido, busca determinar si el programa funciona.
– Un concepto central en evaluación de impacto es el de
atribución o causalidad, determinar si el cambio en el indicador
de interés se debe a la intervención o a otros factores
– Enfoque sobre el proyecto y sus indicadores de resultado
• Planificados (Matriz de Resultados)
• No planificados
– Ex post, pero planeada ex ante
16
Evaluación: cómo medimos?
– El impacto de un programa es la diferencia entre:
• Los resultados que los beneficiarios del programa obtienen
después de participar en el programa y
• Los resultados que esos mismos beneficiarios hubieran
obtenido en ese mismo momento si no hubiesen participado en
el programa (contrafactual)
– Problema: el contrafactual no es observable. Por ende, la
evaluación de impacto intenta construir artificialmente
(estadísticamente) un contrafactual
– Normalmente, esto se logra seleccionando un grupo de
empresas/localidades/hogares que no participaron en el programa
 grupo de control o grupo de comparación
17
Evaluación: ¿cómo avanzamos?
Porcentaje de proyectos con diseño
de evaluación riguroso
 Estamos generando
conocimiento sobre
lo que funciona.
35
31
30
27
25
20
 El porcentaje de
proyectos que desde
el diseño incorporan
evaluaciones de
impacto rigurosas
esta creciendo.
18
15
10
11
8
5
0
2008
2009
2010
2011
Evaluación de resultados: los estándares del BID
La Matriz de Efectividad en el Desarrollo identifica una lista de métodos
que pueden emplearse para medir resultados:
1.
Asignación aleatoria
2. Métodos no-experimentales (Diferencia en diferencias, Comparación de
resultados tendenciales, Regresiones discontinuas, Variables
instrumentales, Modelo de simulación y otros enfoques que permiten la
atribución)
3. Análisis costo-beneficio ex-post
4. Análisis costo-efectividad ex-post
5. Comparación antes-después o con-sin (no atribución)
La lista implica un orden jerárquico basado en los supuestos
necesarios para determinar la causalidad. A menores supuestos,
mayor credibilidad.
2
Un ejemplo de evaluacion de impacto:
El impacto del turismo en Uruguay/1
• Teoría de cambio: El turismo beneficia a las economías locales y a
las áreas vinculadas a éstas. Como resultado de esto, los inversores
privados no capturan todo el beneficio de la inversión en turismo y la
inversión estará por debajo del nivel socialmente óptimo.
• Mecanismo de ejecución: Inversiones públicas en infraestructura
turística, financiamiento y asistencia técnica para negocios vinculados
al turismo con énfasis en hogares pobres y apoyo a esfuerzos de
regulación y mercadeo.
• Preguntas de investigación: ¿Cuál es el impacto de los proyectos
de turismo en el empleo y el ingreso y cómo se distribuyen sus
beneficios?
• Evidencia en la literatura: Cada dólar invertido en turismo tiene un
rendimiento de entre $1.60 y $2.20. Sin embargo, existe muy poca
evidencia sobre el efecto multiplicador de las diferentes modalidades
de turismo y evidencia limitada sobre la distribución de estos
beneficios.
12
El impacto del turismo en Uruguay/2
• Método: Un modelo de simulación que captura los impactos del
proyecto sobre los ingresos por turismo, así como los vínculos
económicos que generan efectos multiplicadores.
• Datos: Encuestas de turistas, familias y empresas, dentro y fuera
del área geográfica del programa (el corredor del Río Uruguay).
• Análisis : Análisis final en 2016, análisis de línea base a finales de
2012.
• Comunicación de los resultados: Reportes de evaluación,
resúmenes ejecutivos, comunicados de prensa, videos,
publicaciones en blogs, DEO y artículos científicos.
• Retroalimentación para el diseño de políticas: Los resultados de
la evaluación servirán como insumo para el diseño de otros
programas, promoviendo el conocimiento para hacer que el
desarrollo del turismo integre y tenga beneficios para los hogares
pobres.
13
Además de diseñar e implementar las evaluaciones de
impacto con las unidades ejecutoras en los países:





22
Organizamos cursos de evaluación y monitoreo
Ofrecemos capacitaciones
Diseminamos resultados
Mapeamos resultados (MapAmericas)
Estamos desarrollando un portal de Evaluación,
Monitoreo y Análisis Económico.
Gracias!