guía de orientación

Transcripción

guía de orientación

MODELO DE EVALUACIÓN DE RESULTADOS
GUÍA DE ORIENTACIÓN
PROGRAMA TRANSPARENTEMOS - CHILE
13 DE DICIEMBRE DE 2012
MODELO DE EVALUACIÓN DE RESULTADOS / GUÍA DE ORIENTACIÓN ÍNDICE DE CONTENIDOS
1.
APROXIMACIÓN AL MODELO DE EVALUACIÓN DE RESULTADOS ................................................... 4
1.1 ¿A QUÉ LLAMAMOS MODELO DE EVALUACIÓN DE RESULTADOS(MODELO)? .............................. 4
1.2. ¿CUÁL ES EL PROPÓSITO DEL MODELO DE EVALUACIÓN DE RESULTADOS? ............................ 4
1.3. ¿QUÉ CARACTERÍSTICAS POSEE EL MODELO? ................................................................................ 5
1.4. ¿QUIÉNES SON LOS PRINCIPALES USUARIOS DEL MODELO? ....................................................... 5
1.5. ¿QUIÉNES SON LOS PÚBLICOS DE LA EVALUACIÓN Y RENDICIÓN DE CUENTAS? ..................... 6
1.6. ¿CÓMO SE ESTRUCTURA EL MODELO? ............................................................................................. 6
A. INSTRUMENTOS ................................................................................................................................... 7
B. ETAPAS .................................................................................................................................................. 7
C. FINALIDAD DE USO .............................................................................................................................. 9
1.7. ¿QUÉ PODEMOS OBTENER A PARTIR DE LA IMPLEMENTACIÓN DEL MODELO? ....................... 10
1.8. ¿QUÉ DEBEMOS ANALIZAR ANTES DE COMPENZAR A IMPLEMENTAR EL MODELO? ANÁLISIS
DE LAS CONDICIONES DE EVALUABILIDAD ............................................................................................ 11
2.
¿CÓMO FUNCIONA EL MODELO? ........................................................................................................ 14
ACCESO 1: DIRECTORIO DE INSTRUMENTOS .................................................................................... 15
ACCESO 2: ETAPAS ................................................................................................................................ 17
ACCESO 3: FINALIDAD ........................................................................................................................... 19
3.
ORIENTACIÓN PARA EL USO DE INSTRUMENTOS ............................................................................ 21
1. PLAN ESTRATÉGICO / OPERATIVO ....................................................................................................... 22
2. ENTREVISTAS EN PROFUNDIDAD ........................................................................................................ 24
3. EFECTIVIDAD SOSTENIBLE ................................................................................................................... 26
4. ENTREVISTAS BASADAS EN CUESTIONARIOS ................................................................................... 28
5. EVALUACION DE MEDIO TÉRMINO ....................................................................................................... 30
6. INDICADORES CUANTITATIVOS Y CUALITATIVOS .............................................................................. 32
7. TALLER PARTICIPATIVO ......................................................................................................................... 34
8. EVALUACION FINAL ................................................................................................................................ 36
9. LECCIONES APRENDIDAS ...................................................................................................................... 38
10. MEJORES PRACTICAS .......................................................................................................................... 39
/ 13 DE DICIEMBRE DE 2012
Página 2
MODELO DE EVALUACIÓN DE RESULTADOS / GUÍA DE ORIENTACIÓN NOTA ACLARATORIA
En el marco del proyecto TRANSPARENTEMOS, María Agustina Budani (de ZIGLA Consultores)
fue convocada para el diseño de un Modelo de Evaluación de Resultados con el objetivo de
generar y difundir información sobre el impacto y evaluación de resultados alcanzados por las
organizaciones de la sociedad civil en un período determinado.
Este documento es la primer versión borrador de la Guía de Orientación del Modelo de Evaluación
de Resultados (MODELO) propuesto a consideración del Grupo de Trabajo del programa
Transparentemos.
Los contenidos de este documento tienen por objeto servir de guía a los usuarios de las OSFL en la
implementación del Modelo de Evaluación de Resultados con una mirada integral sobre los procesos
de trabajo; los resultados alcanzados y el impacto integral que alcanza cada una de sus
organizaciones.
Se espera que esta "Guía de Orientación del modelo de evaluación de resultados” ayude a los
diferentes usuarios de las OSFL a comprender su manejo, y hallar sugerencias y atajos para la
incorporación efectiva del MODELO al interior de su organización. La propuesta es que el usuario
utilice esta Guía teniendo acceso simultáneamente a la plataforma interactiva del MODELO con el fin
de ir comprendiendo paso a paso las utilidades del mismo y así optimizar su funcionalidad.
Página 3
MODELO DE EVALUACIÓN DE RESULTADOS / GUÍA DE ORIENTACIÓN 1. APROXIMACIÓN AL MODELO DE EVALUACIÓN DE RESULTADOS
Las Organizaciones Sin Fines de Lucro (OSFL) de la sociedad civil chilena se enfrentan ante el
desafío de asumir una mayor responsabilidad acerca del impacto que generan en la sociedad.
Resulta importante que estas organizaciones tengan una mejor comprensión de cómo su gestión y
actividades afectan al éxito de sus programas y así poder generar la confianza pública necesaria en
su rol de administradores de recursos. Esto permitirá asegurar niveles adecuados de inversiones,
donaciones, voluntariado, y otras colaboraciones que contribuyan a su sostenibilidad en el tiempo.
Es en este contexto que surge la oportunidad de avanzar en el diseño e implementación de un
MODELO DE EVALUACIÓN DE RESULTADOS para estas organizaciones.
1.1 ¿A QUÉ LLAMAMOS MODELO DE EVALUACIÓN DE RESULTADOS (MODELO)?
Es importante hacer una primera distinción entre evaluación de impacto y rendición de cuentas
de impacto. En el primer caso, nos referimos al diseño de elementos que nos permitan relevar el
alcance de nuestras acciones (condiciones de evaluabilidad), mientras que en el segundo caso se
hace alusión también al vehículo que utilizaremos (estrategias de comunicación y difusión) para
dar cuenta de aquello que hemos capturado.
ENFOQUE DE RENDICIÓN DE CUENTAS (ACCOUNTABILITY)
La aplicación de este enfoque permite conducir procesos y resultados de monitoreo y evaluación
en cada una de las etapas, tendientes hacia la construcción y el fortalecimiento de canales de
comunicación y rendición de cuentas a los distintos públicos y grupos de interés. Su principal
contribución es la promoción de prácticas y mecanismos de transparencia, apertura al diálogo y
e intercambio con los distintos stakeholders.
1.2. ¿CUÁL ES EL PROPÓSITO DEL MODELO DE EVALUACIÓN DE RESULTADOS?
El Modelo de Evaluación de Resultados se propone:
•
Mejorar las condiciones de evaluabilidad de las organizaciones a través de la incorporación
de una metodología flexible y factible de implementar en las OSFL que facilite la
sistematización, formalización y comunicación de sus resultados e impacto.
•
Generar vehículos de rendición de cuentas que contemplen qué es lo que se quiere
comunicar y a quiénes.
Página 4
MODELO DE EVALUACIÓN DE RESULTADOS / GUÍA DE ORIENTACIÓN 1.3. ¿QUÉ CARACTERÍSTICAS POSEE EL MODELO?
La rendición de cuentas no se reduce a la elaboración de informes si no que es algo más; es un
proceso en el que hay que definir a quién rendir cuentas, quién lo hace y cómo. El desafío del
MODELO es entonces modelizar, es decir elaborar un diseño que sea adaptable a las necesidades
de cada OSFL, y que integre diferentes atributos centrales para su ágil incorporación.
ALGUNOS ATRIBUTOS CENTRALES DEL MODELO:
•
•
•
•
•
Simple: sus contenidos se presentan de manera clara, sencilla, entendible, coherente
y visualmente atractiva para no desalentar su uso.
Flexible: se adapta a los recursos disponibles y características de las diferentes OSFL
y permite rendir cuentas de manera efectiva a sus diferentes públicos estratégicos y
grupos de interés.
Interactivo: la navegación del modelo es ágil y dinámica y permite intercambios
amigables y efectivos para que el usuario sienta que realmente controla y maneja la
aplicación.
Autogestionable: puede ser utilizado por las mismas OSFL, y los productos de cada
una de las etapas pueden servir de insumos para una refinación de las tareas de la
organización.
Factible: presenta instrumentos y modos de implementación realizables y accesibles
para las organizaciones, y en su diseño contempla la continuidad de las evaluaciones
en el corto, mediano y largo plazo.
1.4. ¿QUIÉNES SON LOS PRINCIPALES USUARIOS DEL MODELO?
El modelo está pensado para adaptarse a las necesidades de las OSFL chilenas, con lo cual su
diseño no implica conocimientos técnicos específicos ni una disponibilidad horaria de dedicación
exclusiva a su implementación, sino que busca acercar herramientas que puedan adoptadas de
manera sencilla por los equipos de las OSFL y luego implementadas en la cotidianeidad del trabajo
de las organizaciones.
•
El principal y primer usuario suele ser un miembro de la OSFL con responsabilidades
técnicas sobre programas o proyectos. Él es quien tendrá mayor relación periódica con
los instrumentos del MODELO. Ej: coordinador o líder de programas.
•
Otro usuario importante del MODELO es alguien de la organización con una
responsabilidad institucional sobre la toma de decisiones y el reporting a los diferentes
públicos de interés. Ej: Gerente de Programas o Director Ejecutivo.
Página 5
MODELO DE EVALUACIÓN DE RESULTADOS / GUÍA DE ORIENTACIÓN 1.5. ¿QUIÉNES SON LOS PÚBLICOS DE LA EVALUACIÓN Y RENDICIÓN DE CUENTAS?
En el flujo de rendición de cuentas hay diferentes direcciones y públicos:
1. Hacia arriba: donantes, gobiernos y fundaciones;
2. Hacia abajo, a los grupos de metas primarios: poblaciones
marginalizadas, beneficiarios;
3. Hacia adentro: personal e integrantes de la Junta Directiva;
4. Horizontalmente: a pares, aliados y socios.
1.6. ¿CÓMO SE ESTRUCTURA EL MODELO?
En primer lugar, el MODELO presenta los diferentes instrumentos a utilizar para poder incorporar
mejores condiciones de evaluabilidad en las organizaciones y así rendir cuentas del impacto de un
determinado proyecto, iniciativa u organización. Luego presentará de qué manera estos
instrumentos se vinculan según distintas etapas y según la finalidad que se le quiera dar. En ese
contexto, a continuación se presentan:
A. INSTRUMENTOS
B. ETAPAS
C. FINALIDAD DE USO
Página 6
MODELO DE EVALUACIÓN DE RESULTADOS / GUÍA DE ORIENTACIÓN A. INSTRUMENTOS
El Modelo se compone de un conjunto de instrumentos, los cuales representan los resultados
generales de las consultas al mismo.
INSTRUMENTOS
¿Qué características poseen?
1. PLAN ESTRATÉGICO / OPERATIVO
2. ENTREVISTAS EN PROFUNDIDAD
3. EFECTIVIDAD SOSTENIBLE
•
Son aplicables.
•
Suponen un usuario que los utilice (son medios).
•
Poseen una finalidad.
•
Generan productos que requieren de personas
activas y criterios para ser interpretados,
analizados, agregados, etc.
4. ENTREVISTAS BASADAS EN CUESTIONARIOS
5. EVALUACIÓN DE MEDIO TÉRMINO
6. INDICADORES CUANTITATIVOS Y CUALITATIVOS
7. TALLER PARTICIPATIVO
8. EVALUACIÓN FINAL
9. LECCIONES APRENDIDAS
10. MEJORES PRÁCTICAS
B. ETAPAS
Desde una perspectiva de evaluación y rendición de cuentas, las principales etapas que se
encuentran presentes en el MODELO son:
1. Identificación y Diseño
Se indica el problema a resolver y se formulan alternativas adecuadas para alcanzar los objetivos.
La clara identificación y medición del problema social permite conocer la magnitud de la brecha entre
la “situación actual” y la “situación esperada” lo cual facilita plantear los objetivos que procuran
disminuirla o eliminarla.
Página 7
MODELO DE EVALUACIÓN DE RESULTADOS / GUÍA DE ORIENTACIÓN 2. Monitoreo de la implementación
Se realiza el seguimiento de la implementación y resultados de los procesos. El alcance del
monitoreo de programas o estrategias sociales va mucho más allá del cumplimiento de actividades y
tareas en tiempo y forma durante su implementación. Durante esta instancia se
busca principalmente hacer un seguimiento del desarrollo de las actividades planteadas para
optimizar procesos, medir los resultados de la implementación, analizar los éxitos y fracasos
detectados e identificar los cambios que puedan generar mejores resultados.
3. Evaluación de resultados
Durante esta instancia se analiza el grado de cumplimiento de los objetivos generales. La evaluación
de resultados, se centra principalmente en los resultados de un programa, proyecto o iniciativa y
aporta información sobre el alcance de los resultados obtenidos. Durante esta instancia se prioriza
en qué medida la intervención de la organización ha logrado alcanzar sus metas y resultados
esperados, haciendo foco también en las actividades realizadas, los productos obtenidos y el
cumplimiento de los cronogramas estipulados.
4. Evaluación de impacto
Análisis de los resultados sostenibles de largo plazo de las estrategias. Durante esta instancia se
busca identificar los impactos mediatos - positivos o negativos, intencionales o no - en los
beneficiarios, las organizaciones y el medio ambiente causados por un programa o una estrategia.
Esta etapa suele estar distanciada en el tiempo de la de evaluación de resultados, que tiene una
intervención inmediata a la finalización de la intervención. VINCULACIÓN Y PRIORIZACIÓN DE INSTRUMENTOS SEGÚN ETAPAS
Página 8
MODELO DE EVALUACIÓN DE RESULTADOS / GUÍA DE ORIENTACIÓN C. FINALIDAD DE USO
Los instrumentos que conforman el MODELO pueden ser clasificados según las siguientes
finalidades de uso:
FINALIDAD
1. PLANIFICACIÓN Y FORMULACIÓN
2. CAPTURA Y RELEVAMIENTO
3. ANÁLISIS Y SISTEMATIZACIÓN
4. COMUNICACIÓN Y REPORTING
1. Planificación y formulación
El MODELO considera especialmente importante que desde una perspectiva de rendición de
cuentas de impacto se utilicen desde la etapa de Identificación y Diseño instrumentos que garanticen
una clara formulación de los objetivos de la intervención, los resultados esperados, las metas, los
responsables, las actividades, el cronograma y los recursos necesarios, entre otros.
2. Captura y relevamiento
Otra de las finalidades de uso de los instrumentos del MODELO es la de poder capturar información
relevante para el seguimiento y la evaluación de las diferentes intervenciones de la organización. Ya
en la etapa de Monitoreo como en la Evaluación de Resultados o de Impacto, es imprescindible
contar con un conjunto heterogéneo y flexible de herramientas adecuadas para el relevamiento de
información crítica.
3. Análisis y sistematización
Otra de las finalidades clave a tener en cuenta es la vinculada al análisis y sistematización de la
información crítica relevada. Para ello, el MODELO sugiere la utilización de instrumentos adecuados
para procesar y organizar de manera inteligente todo el volumen de documentación, datos y
testimonios provenientes del relevamiento.
4. Comunicación y reporting
Luego de haber relevado y sistematizado información es importante contar con instrumentos
orientados a comunicar y reportar de forma clara y transparente a los diferentes públicos de interés
los resultados parciales o finales de nuestra intervención. Para ello, el MODELO sugiere una serie
de instrumentos cuya aplicación permitirá generar los insumos adecuados para esta finalidad.
Página 9
MODELO DE EVALUACIÓN DE RESULTADOS / GUÍA DE ORIENTACIÓN VINCULACIÓN Y PRIORIZACIÓN DE INSTRUMENTOS SEGÚN FINALIDAD DE USO
4. ENTREVISTAS
BASADAS EN CUESTIONARIOS
8. EVALUACIÓN
FINAL
1.7. ¿QUÉ PODEMOS OBTENER A PARTIR DE LA IMPLEMENTACIÓN DEL MODELO?
Además de mejorar las condiciones de evaluabilidad de las organizaciones y agilizar su flujo de
rendición de cuentas antes los diferentes grupos de interés, la aplicación del MODELO permitirá a su
vez:
•
Tomar decisiones acertadas acerca de la viabilidad de llevar a cabo un emprendimiento, y
poder hacerlo de manera efectiva.
•
Articular los distintos niveles de responsabilidad en la organización, como así también
lograr unificar objetivos con los donantes o socios externos que participan de los programas
sociales.
•
Apalancar los recursos humanos y financieros disponibles para incrementar el impacto de la
organización.
•
Reorientar las estrategias y acciones a partir del aprendizaje generado.
•
Replicar las oportunidades exitosas, mediante la utilización de las lecciones aprendidas y la
evaluación de los objetivos propuestos.
Página 10
MODELO DE EVALUACIÓN DE RESULTADOS / GUÍA DE ORIENTACIÓN Algunos de los productos más frecuentes que se utilizan para poder comunicar y rendir cuentas de
los resultados y el impacto capturado a través del MODELO pueden ser:
•
PÁGINA WEB DE LA ORGANIZACIÓN
•
INFORMES Y MINUTAS INTERNAS
•
REPORTES Y PRESENTACIONES EXTERNAS
•
COMUNICADOS DE PRENSA
1.8. ¿QUÉ DEBEMOS ANALIZAR ANTES DE COMPENZAR A IMPLEMENTAR EL MODELO?
ANÁLISIS DE LAS CONDICIONES DE EVALUABILIDAD
Para poder dar un mayor uso a los instrumentos del modelo, es recomendable realizar previamente
un análisis de las condiciones de evaluabilidad de la organización.
Las condiciones de evaluabilidad son una serie de factores favorables de la Organización de cara a
la implementación de un proceso de evaluación y medición de impacto social. Estos factores se
organizan dentro de 5 dimensiones.
Dimensión 1: Formalidad Programática
1. ¿La organización tiene definida una misión, visión, objetivos?
2. ¿Cada acción o programa tienen definidos sus objetivos generales?
3. ¿Cada acción o programa que lleva adelante tienen definidas metas?
4. ¿Los objetivos y metas se revisan periódicamente?
5. ¿Los objetivos y metas están alineados a la misión o estrategia general de la Organización?
Dimensión 2: Cultura de Medición y Análisis
1. ¿En la organización, existe la costumbre de analizar la evolución de los programas y
servicios que implementa?
2. ¿El análisis que realizan, se consolida en documentos o planillas para su posterior reflexión?
3. ¿Se realiza una medición de los avances de los programas en función de objetivos
planteados inicialmente?
Página 11
MODELO DE EVALUACIÓN DE RESULTADOS / GUÍA DE ORIENTACIÓN 4. ¿Se utilizan conclusiones de los análisis de los programas como parte de un proceso de
planificación de otros programas nuevos?
Dimensión 3: Recursos de Evaluación
1. ¿Hay suficiente cantidad de RRHH como para asignar horas al cumplimiento de las
funciones de evaluación?
2. ¿Los recursos humanos asignados específicamente, tienen los conocimientos técnicos para
llevar adelante la evaluación?
3. ¿Hay recursos tecnológicos que se puedan destinar al cumplimiento de las funciones
asignadas?
4. ¿Están en condiciones de destinar recursos económicos para el proceso de evaluación?
5. ¿Cuenta el staff con los recursos tecnológicos necesarios para llevar a cabo funciones de
evaluación? (computadoras, equipos de comunicación, movilidad, etc.)
Dimensión 4: Participación de Stakeholders
1. ¿Los donantes de la organización tienen expectativas de conocer cuál es el impacto de la
organización?
2. ¿Los partners de la organización tienen expectativas de conocer cuál es el impacto de la
organización?
3. ¿Los destinatarios de la organización tienen expectativas de conocer cuál es el impacto de
la organización?
Dimensión 5: Canales de Rendición de Cuentas
1. ¿La organización cuenta con espacios de difusión online de sus avances dirigidos a sus
diferentes stakeholders?
2. ¿La organización posee publicaciones dirigidas a comunicar sus avances a sus diferentes
públicos de interés?
Página 12
MODELO DE EVALUACIÓN DE RESULTADOS / GUÍA DE ORIENTACIÓN Las cinco dimensiones con sus preguntas se integran en una herramienta de autoadministración
para las organizaciones que decidan llevar adelante la implementación del MODELO.
Esta herramienta es un Excel que se divide en dos secciones:
•
CHECKLIST: acá se responden todas las preguntas por SI o No.
•
CÁLCULO: a partir de las respuestas la herramienta calcula automáticamente el
estado de las condiciones de evaluabilidad y da sugerencias sobre qué aspectos se
deben reforzar. Los instrumentos para reforzar estos aspectos son los que se
encuentran en el MODELO.
Resultados del
TEST
Preguntas a
responder Si o No
Página 13
MODELO DE EVALUACIÓN DE RESULTADOS / GUÍA DE ORIENTACIÓN 2. ¿CÓMO FUNCIONA EL MODELO?
Una vez analizados los componentes del MODELO, es necesario comprender cómo funciona y
cuáles son los diferentes puntos de ingreso para su utilización. Existen tres Puntos de Acceso al
MODELO:
1. DIRECTORIO DE INSTRUMENTOS: Permite acceder a la descripción completa de cada
uno de los instrumentos que conforman el MODELO en particular.
2. ETAPAS: Se podrá entrar al modelo a partir de diferentes etapas vinculadas a las
condiciones de evaluabilidad de las OSFL.
3. FINALIDAD: Se podrá acceder al modelo según lo que se quiera obtener de su aplicación.
A continuación se presenta el menú principal del MODELO en donde se muestra el acceso al
directorio de instrumentos, el acceso a etapas y el acceso a finalidades de uso. El siguiente menú
expuesto como imagen capturada proviene de la propuesta interactiva del MODELO hizo entrega en
formato pdf para que sea utilizada transitoriamente por sus usuarios hasta tanto el programa aloje en
su sitio web la versión final de esta plataforma.
Para poder comprender el funcionamiento de estos accesos se responderá en cada segmento a los
siguientes interrogantes:
Página 14
MODELO DE EVALUACIÓN DE RESULTADOS / GUÍA DE ORIENTACIÓN 01/ ¿Qué es?
02/ ¿Quiénes lo pueden utilizar?
03/ ¿Qué necesita saber el usuario para acceder a él?
04/ ¿Cómo funciona?
ACCESO
1: DIRECTORIO DE INSTRUMENTOS
01/ ¿Qué es?
El Directorio de Instrumentos es la lista los instrumentos del MODELO.
El Directorio de instrumentos puede ser utilizado por todos los usuarios del MODELO.
El usuario simplemente necesita identificar el instrumento a utilizar.
Una vez identificado el instrumento, el usuario deberá seleccionarlo.
Esto lo conducirá a una ficha de instrumento, en donde encontrará una tipificación y
caracterización del mismo. La ficha de instrumento contiene:
Página 15
MODELO DE EVALUACIÓN DE RESULTADOS / GUÍA DE ORIENTACIÓN •
Una descripción general: Esta descripción define al instrumento y luego detalla sus
principales usos, ventajas y desventajas. A su vez, en algunos casos encontrará cuadros de
referencia que servirán para su potencial aplicación.
•
Un box técnico: que contiene diferentes tipificaciones del instrumento. Este box mantiene la
misma estructura para todos los instrumentos permitiendo al usuario poder compararlos
entre sí utilizando los mismos criterios.
CONTENIDOS DEL BOX TÉCNICO:
•
•
•
•
•
Tipo de instrumento: si es una Herramienta o una Metodología
Costo: Indica de forma cualitativa como serán los costos que deben ser involucrados
para la aplicación del instrumento.
Expertise: Indica el nivel de capacitación necesaria por quien aplicará el instrumento.
Utilidad: clasifica los instrumentos según la finalidad que se espera de la evaluación:
- Planificación y Formulación
- Captura y Relevamiento de datos
- Análisis y Sistematización
- Comunicación y Reporting
Etapa: clasifica los instrumentos según la instancia de evaluación en la que se aplican:
- Identificación y Diseño
- Monitoreo
- Evaluación de Resultados
- Evaluación de impacto
•
Modelo de aplicación: que contiene un modelo que facilitará la implementación del
instrumento.
Página 16
MODELO DE EVALUACIÓN DE RESULTADOS / GUÍA DE ORIENTACIÓN ACCESO
2: ETAPAS
01/ ¿Qué es?
El Menú de etapas presenta las diferentes etapas vinculadas a garantizar condiciones de
evaluabilidad en las OSFL, y que es relevante tener presente a la hora de pensar en rendición de
cuentas de impacto.
Estas etapas son:
1.
2.
3.
4.
Identificación y Diseño
Monitoreo
Evaluación de Resultados
Evaluación de impacto
El Menú de etapas puede ser utilizado por todos los usuarios del MODELO.
El usuario simplemente necesita identificar la etapa en la cual pretende identificar instrumentos
sugeridos por el MODELO.
Una vez identificada la etapa, el usuario deberá seleccionarla para acceder a la Matriz de Etapas.
Página 17
MODELO DE EVALUACIÓN DE RESULTADOS / GUÍA DE ORIENTACIÓN Al seleccionar la etapa, el modelo conducirá al usuario a una matriz en donde se vinculan los
instrumentos recomendados y considerados prioritarios para cada una de las etapas del MODELO.
En esta matriz, el usuario deberá seleccionar el instrumento que desea utilizar, y así podrá acceder a
la ficha del mismo.
Página 18
MODELO DE EVALUACIÓN DE RESULTADOS / GUÍA DE ORIENTACIÓN ACCESO
3: FINALIDAD
01/ ¿Qué es?
El Menú de Finalidad presenta las diferentes finalidades de uso que se le quiere dar a la
implementación del modelo.
El Menú de finalidad puede ser utilizado por todos los usuarios del MODELO.
El usuario simplemente necesita identificar las finalidades que quiere darle a los instrumentos
sugeridos por el MODELO.
Una vez identificada la finalidad, el usuario deberá seleccionarla del Menú de Finalidad.
Al seleccionar la finalidad, el modelo conducirá al usuario a una matriz en donde se vinculan los
instrumentos recomendados y considerados prioritarios para cada una de las finalidades de uso que
se le quiera dar al modelo.
Página 19
MODELO DE EVALUACIÓN DE RESULTADOS / GUÍA DE ORIENTACIÓN En esta matriz, el usuario deberá seleccionar el instrumento que desea utilizar, y así podrá acceder a
la ficha del mismo.
Página 20
MODELO DE EVALUACIÓN DE RESULTADOS / GUÍA DE ORIENTACIÓN 3. ORIENTACIÓN PARA EL USO DE INSTRUMENTOS
En el siguiente capítulo se presenta el detalle de los 10 instrumentos sugeridos por MODELO, con
una orientación para su utilización por parte de los usuarios. En cada uno de los instrumentos se
ofrece una caracterización del instrumento que incluye una breve descripción general, su propósito,
ventajas y desventajas y algunas sugerencias prácticas para su aplicación.
Es importante señalar que todos estos instrumentos pueden ser aplicados tanto por programas y
proyectos como por cualquier iniciativa de intervención social como líneas de atención, servicios,
alianzas, etc.
INSTRUMENTOS
Página 21
MODELO DE EVALUACIÓN DE RESULTADOS / GUÍA DE ORIENTACIÓN 1. PLAN ESTRATÉGICO / OPERATIVO
El Plan es un documento en donde se consignan y formalizan los
objetivos, estrategias y resultados esperados para el transcurso
completo del programa o iniciativa de intervención. El documento
deberá reunir las siguientes secciones: objetivos (generales y
específicos), metas, análisis de contexto, identificación de riesgos,
alianzas identificadas y a desarrollar, presupuesto, cronograma,
equipo de trabajo y responsables. El Plan suele ser el primer paso
para garantizar las condiciones de evaluabilidad de un programa.
Este instrumento es, junto con los indicadores, el insumo central a lo
largo de todo el proceso de evaluación que supone el MODELO.
01. Propósito / ¿Para qué sirve? •
•
•
Tipo de Instrumento
Herramienta
Tiempo estimado
2/3 semanas
Expertise requerido
Bajo
¿Para qué se Utiliza?
• Planificación y
Formulación
• Comunicación y Reporting
¿En qué etapa se utiliza
mayormente?
• Diseño
• Monitoreo
• Evaluación de Resultados
Para formalizar un programa, proyecto o cualquier otra
iniciativa, y así poder definir la estrategia general de
intervención, como así también sus objetivos y
resultados esperados.
Para poder establecer las responsabilidades de todos los
integrantes del equipo y cronogramas de trabajo.
Para tener un parámetro de referencia a la hora de monitorear o evaluar resultados
parciales o finales de nuestra intervención.
02. Ventajas y Desventajas
•
•
Permite definir en forma clara y concisa los objetivos y así evitar errores de
organización, comunicación, etc.
Mejora la posibilidad de registrar y realizar un seguimiento de los logros en cada
oportunidad continental.
•
Puede ser poco flexible en los procesos a llevar a cabo y coartar las posibilidades de
innovación.
03. Funcionalidad / ¿Cómo lo uso? Para poder escribir el plan es recomendable que una persona dentro de la organización centralice la
tarea con la contribución de quienes son parte del desarrollo de la intervención. Un plan no debe ser
un documento largo, sino que debe buscar contener los objetivos, principales actividades,
responsables y resultados esperados y metas del trabajo. Contar con este documento desde el inicio
del trabajo permite que la aplicación de otros instrumentos de rendición de cuentas sea mucho más
simple y directa.
Página 22
MODELO DE EVALUACIÓN DE RESULTADOS / GUÍA DE ORIENTACIÓN Información complementaria:
•
•
•
http://www.capac.org/web/Portals/0/biblioteca_virtual/doc004/CAPITULO%2020.pdf http://investigar1.files.wordpress.com/2010/05/el-arbol-de-problemas.pdf
Documento de diseño de objetivos. Carpeta de Documentos Soporte
Página 23
MODELO DE EVALUACIÓN DE RESULTADOS / GUÍA DE ORIENTACIÓN 2. ENTREVISTAS EN PROFUNDIDAD
Son entrevistas que se realizan de manera no estructurada e indirecta
para obtener información que se realizan con una sola persona a la
vez. Este tipo de técnica en la investigación puede tener una duración
de 30 a 60 min, dependiendo del tema y la dinámica de entrevista. Se
busca generar un mayor nivel de confianza con el entrevistado con el
fin de que hable con libertad de sus expectativas, percepciones y
conocimientos.
Al igual que las entrevistas estructuradas, las entrevistas en
profundidad son complementarias a las instancias de evaluación de
medio término, evaluación final y la metodología de análisis de
efectividad sostenible. Por ello, es un instrumento que se implementa
en las etapas de monitoreo, evaluación de resultados y evaluación de
impacto.
01. Propósito / ¿Para qué sirve? •
Esta herramienta se utiliza para conocer lo que es
importante y significativo para el entrevistado/a; llegar a
comprender cómo ve, clasifica e interpreta un tema que
interesa para la investigación.
Tipo de Instrumento
Herramienta
Tiempo estimado
45/55 minutos por entrevista
+ tiempos de sistematización
Expertise requerido
Bajo
• Captura y Relevamiento de
Datos
mayormente?
• Diseño
• Monitoreo
• Evaluación de Impactos
•
•
Es una técnica muy útil cuando se trata de analizar temas que exigen un gran
anonimato.
Es una técnica válida cuando tenemos muy poca información sobre un tema y
queremos hacer una investigación explorativa.
•
El entrevistado/a puede tener problemas para manifestar sus puntos de vista respecto
de un tema concreto.
•
El desarrollo de la misma puede insumir bastante tiempo para quienes lo llevan
adelante. Dado que en promedio cada entrevista puede demorar unos 45 minutos más
los tiempos necesarios de sistematización de los resultados.
Página 24
03. Funcionalidad / ¿Cómo lo uso? Las entrevistas en profundidad como las encuestas complementan el uso de otros instrumentos. Por
ejemplo, si se decide hacer una evaluación de medio término, estos instrumentos son los que
permiten capturar los datos. Para poder utilizarlos, antes de empezar a hacer las entrevistas se debe
diseñar la guía de entrevista e identificar a quiénes queremos entrevistar. Esta guía consiste en
señalar las 5/6 preguntas que esperamos que los entrevistados nos respondan y así poder dar una
idea del avance y aprendizajes que surgen del programa. Para poder elabora la guía se debe saber
qué es lo que se espera aprender del trabajo realizado. Por ejemplo, si quisiéramos aprender de los
errores que se dieron a lo largo del programa o acción en términos de su gestión, preguntaríamos a
diferentes personas involucradas durante el proceso sobre las cuestiones positivas y negativas a
destacar del desarrollo del trabajo.
Información complementaria:
http://www4.ujaen.es/~jggascon/Investigacion/Entrevista%20en%20profundidad.ppt
Página 25
MODELO DE EVALUACIÓN DE RESULTADOS / GUÍA DE ORIENTACIÓN 3. EFECTIVIDAD SOSTENIBLE
La efectividad sostenible es una metodología de evaluación
relacionada a las metodologías de costo - efectividad. Si bien se basa
sobre un análisis de asignación de recursos y su consecuente
efectividad, esta metodología va un poco más allá y analiza la
sostenibilidad de los resultados. Es decir, analiza al mismo tiempo si
los recursos se invierten de manera efectiva y si esta inversión
resultará sostenible en el tiempo o no.
Jorge Hintze (2003) presenta este concepto al dar dos definiciones:
•
•
Efectividad: es la medida en que se logran los efectos como
consecuencia final de la asignación de los recursos.
Sostenibilidad: es la medida en que los efectos puedan
mantenerse una vez finalizada la asignación de los recursos.
01. Propósito / ¿Para qué sirve? Tipo de Instrumento
Metodología
Tiempo estimado
3/4 semanas de análisis
Expertise requerido
Medio
• Análisis y Sistematización
• Comunicación y
Reporting
mayormente?
• Monitoreo
Esta metodología se utiliza principalmente en los momentos
de evaluación de medio término y evaluaciones finales como
un método de análisis central. Las conclusiones que se
derivan de su aplicación son utilizadas en etapas de monitoreo y evaluación de resultados.
•
•
De manera visual y concreta esta metodología propone una forma simple de comparar
avances dentro de un programa, una estrategia o un proyecto.
Esta metodología puede requerir bastante información que no siempre se recoge durante el
monitoreo de un programa o líneas de acción.
03. Funcionalidad / ¿Cómo lo uso? Esta metodología de análisis se suele usar como complemento en instancias de evaluación de
medio término y final. No tiene sentido realizar este análisis de manera aislada, sino durante esas
dos instancias. El documento clave para poder realizar este análisis es el Plan estratégico u
operativo. Si se cuenta con este plan en donde están los objetivos y resultados esperados del
programa o línea de acción, es posible aplicar este análisis y ver cuánto de lo que se esperaba
alcanzar se alcanzó y cuáles son los desafíos.
Página 26
MODELO DE EVALUACIÓN DE RESULTADOS / GUÍA DE ORIENTACIÓN TIPS DE APLICACIÓN - EFECTIVIDAD SOSTENIBLE
Para comprender cómo se debe implementar esta metodología, analizaremos un ejemplo de un
programa X. Este proyecto estaba estructurado en cuatro líneas de acción estratégicas.
Al observar el diagrama podemos ver como se distribuyen las líneas de acción estratégicas de este
proyecto, y el proyecto en general, de acuerdo con la efectividad en la distribución de recursos y las
posibilidades de que estas sean sostenidas en el tiempo:
1. “Efectividad Sostenible”: dos de las líneas
estratégicas pueden ser ubicadas aquí.
2. “Desarrollo de Capacidad”: ninguna de las
líneas se ubicó aquí.
3. “Efectividad No Sostenible”: la línea
estratégica 4 y el proyecto en su conjunto se
ubican en este cuadrante.
4. “Fracaso en la Asignación de los Recursos”:
ninguna de las líneas se ubicó aquí.
•
•
www.ag.org.ar/3congreso/Ponencias/Hintze.doc
Taller de Efectividad Sostenible ZIGLA Consultores. Carpeta de Documentos Soporte
Página 27
MODELO DE EVALUACIÓN DE RESULTADOS / GUÍA DE ORIENTACIÓN 4. ENTREVISTAS BASADAS EN CUESTIONARIOS
Entrevistas estructuradas (estándar), que permiten un mejor
procesamiento de los datos y un mayor nivel de detalle en las
respuestas. Hay un conjunto de preguntas normalizadas dirigidas a
una muestra representativa de la población, con el fin de conocer
hechos específicos. Son encuestas formales que pueden utilizarse
para recopilar información estandarizada de una muestra previamente
seleccionada de personas, hogares, organizaciones. Las encuestas
recopilan con frecuencia información comparable sobre un número
relativamente grande de grupos destinatarios concretos.
Esta herramienta es complementaria a la evaluación de medio
término, evaluación final y la metodología de análisis de efectividad
sostenible. Por ello, se implementa en las etapas de monitoreo,
evaluación de resultados y evaluación de impacto.
Herramienta
Tiempo estimado
2/3 semanas
Expertise requerido
Bajo
• Captura y Relevamiento de
Datos
mayormente?
• Monitoreo
Las entrevistas estructuras o encuestas son una herramienta
para recopilar información valiosa acerca de los efectos y
resultados de programas y permiten obtener del entrevistado
un mayor nivel de detalle en sus respuestas.
•
•
La información es más fácil de procesar, ya que hay uniformidad en la información
obtenida, simplificando así el análisis comparativo.
En un periodo breve de tiempo se puede obtener muchas opiniones sobre un mismo
programa o línea de acción.
•
El/la investigador/a tiene poca libertad de formular preguntas independientes generadas
por la interacción durante la entrevista.
03. Funcionalidad / ¿Cómo lo uso? Las encuestas como las entrevistas en profundidad son instrumentos que complementan el uso de
otros. Por ejemplo, si se decide hacer una evaluación de medio término, estos instrumentos son los
que permiten capturar los datos. Para poder utilizarlos, antes de empezar a hacer las encuestas se
debe diseñar el cuestionario e identificar a quiénes queremos consultar. El cuestionario se desarrolla
identificando cuáles son los temas que esperamos que nos respondan y así poder dar una idea del
avance y resultados del programa. Por ejemplo, si quisiéramos conocer qué cambio en la población
destino del programa a raíz del trabajo, preguntaríamos a diferentes destinatarios involucrados
Página 28
MODELO DE EVALUACIÓN DE RESULTADOS / GUÍA DE ORIENTACIÓN durante el proceso sobre cómo su participación en el programa afectó su vida. Así, deberían
pensarse distintas preguntas que puedan dar cuenta de esto.
TIPS DE APLICACIÓN – ENTREVISTAS BASADAS EN CUESTIONARIOS
Estas entrevistas son también conocidas como “Entrevistas estructuradas”. Se caracterizan por
estar estandarizadas, están basadas en cuestionarios y preguntas y en el mismo orden a cada
uno de los entrevistados.
Al utilizar este tipo de entrevista el investigador tiene poca libertad de formular preguntas
independientes generadas por la interacción durante la entrevista.
La diferencia entre este tipo de entrevistas y las denominadas “en profundidad” es que la
información es más fácil de procesar, ya que hay uniformidad en la información obtenida,
simplificando así el análisis comparativo.
¿Con qué fin lo utilizaremos? Debido a la alta importancia que presentan los indicadores
cualitativos, este tipo de instrumentos, que se utilizan mayormente para obtener información más
del tipo cuantitativa, se utilizará como complemento a las entrevistas y los grupos focales.
¿Cómo se implementan? Una vez definido los indicadores que serán cubiertos por este
instrumento, se avanza sobre el diseño de un cuestionario con preguntas abiertas (preguntas
más del tipo cuali) y cerradas (preguntas del tipo cuantitativo). Una vez definido y consensuado el
cuestionario se avanza sobre la aplicación del mismo.
El medio para avanzar hacia la implementación de este instrumento es una encuesta
estructurada con preguntas cerradas y abiertas.
Página 29
MODELO DE EVALUACIÓN DE RESULTADOS / GUÍA DE ORIENTACIÓN 5. EVALUACION DE MEDIO TÉRMINO
Permite determinar el nivel de avance en el cumplimiento de la
declaración de cambio definida por el equipo y los resultados del
programa en curso, identificando aprendizajes y recomendaciones
para mejorar el desempeño futuro. Esta herramienta es combinable
con distintas metodologías de análisis y sistematización, al mismo
tiempo que se debe utilizar alineadamente con las herramientas de
captura y relevamiento de datos. Esta herramienta es complementaria
de la metodología de análisis de efectividad sostenible y, en
ocasiones, puede ser reforzada por la identificación de lecciones
aprendidas.
Es un instrumento que se implementa en las etapas de monitoreo y
evaluación de resultados.
Herramienta
Tiempo estimado
2 /3 meses
Expertise requerido
Medio
• Análisis y Sistematización
• Comunicación y Reporting
mayormente?
• Monitoreo
Este instrumento se utiliza principalmente para validar los
logros parciales y proponer modificaciones en el rumbo del
proyecto y para la construcción de narrativas y
acompañamiento de la evolución de un programa o proyecto.
•
Es una instancia de reflexión en donde pueden obtenerse análisis y conclusiones que
sirven tanto para la redefinición y aprendizaje interno de las organizaciones como
también para la incentivar instancias de validación con stakeholders.
•
El desarrollo de esta instancia puede insumir bastante tiempo de una persona en un
período de 2 meses de trabajo.
03. Funcionalidad / ¿Cómo lo uso? Para poder realizar una evaluación de medio término se debe asignar una persona dentro de la
organización que lleve adelante el proceso que, por lo general, demora unos 2 o 3 meses de trabajo.
Si se cuenta con un Plan y con indicadores definidos, la evaluación puede consistir simplemente en
analizar si lo que se propuso en el plan se logró y cuál es el avance de los indicadores. Asimismo, se
deben definir los siguientes puntos:
•
Pensar qué preguntas necesitamos que la evaluación nos responda. Por ejemplo: ¿Qué
resultados esperábamos que se logren y cuáles se lograron efectivamente? ¿qué
Página 30
•
resultados aún están pendientes de lograrse? ¿con qué actores estamos trabajando?
¿cuán involucrados están esos actores con el trabajo realizado?
Pensar quiénes nos pueden responder esas preguntas o en qué documentos podemos
encontrar esos datos. En el caso que no exista la información, hay que preguntar a través
de entrevistas o encuestas a diferentes personas. Es necesario definir quiénes nos
pueden responder.
Pensar si se va a utilizar una metodología de análisis particular como Efectividad
Sostenible.
TIPS DE APLICACIÓN – EVALUACIÓN DE MEDIO TÉRMINO
La aplicación de esta herramienta tiene lugar a lo largo de la vida del Programa o estrategia. Su
aplicación constituye un momento de monitoreo y balance de los resultados parciales alcanzados
por una implementación. Si bien las evaluaciones de medio término tienen una serie de objetivos
generales que buscan cubrir, no es así con los métodos de análisis y captura de información.
Depende del tipo de Programa e instancia en la que se encuentre, son más convenientes la
aplicación de ciertos instrumentos de relevamiento de datos como de análisis y sistematización
de los mismos.
Por ejemplo, en una evaluación de medio término se pueden utilizar entrevistas en profundidad
como herramienta de captura de datos y “efectividad sostenible” como método de análisis,
mientras que en otra evaluación puede resultar mejor utilizar encuestas cerradas para capturar
información y análisis costo efectividad y costo beneficio para analizarlos. Asimismo, algunas
evaluaciones requerirán la utilización complementara de distintos instrumentos de captura y
análisis.
Estructura sintética “tipo” de una Evaluación
Intermedia
5- PRODUCTOS
a) Plan de Evaluación
b) Informe de Relevamiento de información
1- ANTECEDENTES: de la Organización y del Proyecto
c) Documento de Evaluación (Análisis de relevancia,
2- OBJETIVOS: del Programa (Generales y Específicos) y Análisis de Involucrados, efectividad, eficiencia,
sostenibilidad, perspectivas de impacto, Conclusiones,
de la Evaluación (Generales y Específicos)
Taller de presentación de resultados)
3- PERSPECTIVA DE LA EVALUACIÓN (Enfoques)
d) Recomendaciones estratégicas
-Sistematización de mejores prácticas y lecciones
4- ACTIVIDADES
aprendidas
a) Trabajo de campo y revisión documentaria
-Informe de Recomendaciones Estratégicas
b) Diagnóstico y Evaluación
-Informe de Recomendaciones para la implementación de
c) Formulación de recomendaciones e informe final
una Evaluación Final.
Página 31
MODELO DE EVALUACIÓN DE RESULTADOS / GUÍA DE ORIENTACIÓN 6. INDICADORES CUANTITATIVOS Y CUALITATIVOS
Herramientas de evaluación de las principales variables asociadas al
cumplimiento de los objetivos del proyecto. Permiten obtener
resultados descriptivos del progreso de las actividades, con el objetivo
de validar resultados o plantear correcciones. Al igual que los
indicadores cuantitativos, los cualitativos son herramientas
complementarias a varias metodologías y otras herramientas,
especialmente para la captura y análisis de lecciones aprendidas y
mejores prácticas que surgen de la implementación de una estrategia,
programa o proyecto.
Son instrumentos que se implementan a lo largo de todas las etapas
de evaluación y constituyen una herramienta central del MODELO.
01. Propósito / ¿Para qué sirve? Se usan para describir en forma detallada el grado de avance
en los logros definidos del proyecto y para realizar
comparaciones entre procesos, proyectos, etc.
Tipo de Instrumento
Herramienta
Tiempo estimado
2/3 semanas
Expertise requerido
Bajo
• Análisis y
Sistematización
• Captura y Relevamiento
de datos
mayormente?
• Monitoreo
• Evaluación de Impacto
Indicadores cuantitativos
•
•
•
•
Permiten obtener información rápida del desempeño o evolución de actividades
correlacionadas.
Permite hacer estimaciones, basándose en información histórica y la evolución del
indicador.
Los resultados son limitados, dado que proveen sólo descripciones numéricas en lugar
de narrativas detalladas o percepciones de los actores participantes.
La información que sirve de insumo puede tener «sesgos de recolección», y por lo tanto
los indicadores no reflejan la realidad en forma acertada.
Indicadores cualitativos
•
•
Utilizan la información subjetiva y la observación participante para describir el contexto.
Permiten un mejor entendimiento de las relaciones entre los actores y los efectos reales
del proyecto.
•
•
La información puede estar sesgada por el investigador a cargo de la recolección.
Exista dificultad para establecer la fiabilidad de las fuentes de información.
Página 32
MODELO DE EVALUACIÓN DE RESULTADOS / GUÍA DE ORIENTACIÓN 03. Funcionalidad / ¿Cómo lo uso? Para poder diseñar los indicadores, es necesario contar con un Plan en donde se formalicen los
objetivos y resultados esperados del programa o iniciativa de intervención social. Si se cuenta con
los resultados esperados definidos, pensar los indicadores implica pensar ¿qué puedo medir para
dar cuenta si lo que espero que se alcance se logra o no? Esta reflexión es el puntapié para pensar
los indicadores, sean cuantitativos como cualitativos. Al igual que otros instrumentos, es
recomendable que una persona dentro de la organización sea la que centralice esta tarea con el
aporte de quienes participan en el trabajo. Estos aportes se pueden capturar en una reunión de
trabajo participativa en donde, sobre lo que se estable en el Plan, se piensa entre todos qué se
puede tomar como medida del avance de esos resultados. Con los insumos que deje esa reunión, se
puede avanzar en el refinamiento de los indicadores y el volcado sobre una planilla Excel que
permita darles un seguimiento periódico.
TIPS DE APLICACIÓN – MATRIZ TEMPLATE DE INDICADORES
•
Documento de diseño de indicadores de ZIGLA Consultores. Carpeta de Documentos Soporte
Página 33
MODELO DE EVALUACIÓN DE RESULTADOS / GUÍA DE ORIENTACIÓN 7. TALLER PARTICIPATIVO
Herramienta que se articula en función de un grupo de trabajo
cooperativo que facilita el proceso de formación personal. Si bien está
liderado por un coordinador o facilitador, promueve la discusión
abierta de los conceptos y prácticas que se tratan en el proceso. El
facilitador crea un entorno de apoyo donde se pueda realizar un
mayor aprendizaje conjunto. Al igual que las entrevistas estructuradas
y las entrevistas en profundidad, los talleres participativos son
complementarios a las instancias de evaluación de medio término y
evaluación final.
Por ello, es un instrumento que se implementa en las etapas de
monitoreo, evaluación de resultados y evaluación de impacto.
01. Propósito / ¿Para qué sirve? A través de un taller participativo se puede planificar y diseñar
un proyecto o programa; describir en forma detallada el grado
de avance en los logros definidos del proyecto; incentivar el
aprendizaje en grupo y participar de las decisiones al resto del
equipo de trabajo y superar en la acción la dicotomía entre la
formación teórica y la experiencia práctica
Tipo de Instrumento
Herramienta
Tiempo estimado
2 hs de trabajo en taller +
tiempos de sistematización
Expertise requerido
Bajo
• Análisis y
Sistematización
• Captura y Relevamiento
de datos
mayormente?
• Diseño
• Monitoreo
•
•
•
•
•
Ayudan a mejorar el aprendizaje de los procesos, fomentando el intercambio de ideas y
puntos de vista.
Permiten una mejor comprensión desde diferentes perspectivas de fenómenos o
abordajes complejos.
Aportan legitimidad y consenso a las decisiones.
Son difíciles de organizar porque la planificación a menudo depende de lo que los
participantes deseen hacer.
Conseguir la participación de actores clave toma tiempo y requiere esfuerzos logísticos.
03. Funcionalidad / ¿Cómo lo uso? Para poder llevar a cabo un taller participativo es necesario formalizar el para qué de ese taller. Es
decir, se debe definir cuál es el objetivo, qué personas van a participar del mismo y qué tipo de
productos se esperan obtener al finalizar. Por ejemplo, se puede desarrollar un taller en donde
distintos stakeholders de un programa expongan sus opiniones sobre el trabajo realizado al
Página 34
MODELO DE EVALUACIÓN DE RESULTADOS / GUÍA DE ORIENTACIÓN momento y piensen juntos formas de mejorarlo. Así, como resultado de este taller se puede obtener
un listado de puntos a mejorar de un programa como también un listado de posibles caminos de
mejora.
Este tipo de instrumento es recomendable para hacer un balance en el momento de realizar una
evaluación de medio término o final, en donde se obtienen opiniones al mismo tiempo que se
exponen resultados y se rinde cuentas.
•
•
http://aprendeenlinea.udea.edu.co/revistas/index.php/ceo/article/viewFile/1650/1302
http://www.aidsalliance.org/publicationsdetails.aspx?id=199
Página 35
MODELO DE EVALUACIÓN DE RESULTADOS / GUÍA DE ORIENTACIÓN 8. EVALUACION FINAL
Permite determinar el nivel de cumplimiento de los resultados del
proyecto, identificar los principales hitos y logros alcanzados y
capitalizar los aprendizajes que se obtuvieron en los diversos
procesos. Esta herramienta es combinable con distintas metodologías
de análisis y sistematización, al mismo tiempo que se debe utilizar
alineadamente con las herramientas de captura y relevamiento de
datos. Es a su vez complementaria de la metodología de análisis de
efectividad sostenible y, en ocasiones, puede ser reforzada por la
identificación de lecciones aprendidas y buenas prácticas.
Es un instrumento que se implementa en las etapas de evaluación de
resultados y evaluación de impacto.
01. Propósito / ¿Para qué sirve? Las evaluaciones finales se utilizan principalmente para
identificar y validar resultados en el mediano plazo de un
programa. Sus conclusiones permiten redefinir próximos
diseños de programas como también generar insumos para la
escalabilidad y replicabilidad de los mismos.
Tipo de Instrumento
Herramienta
Tiempo estimado
2/3 meses de trabajo
Expertise requerido
Medio
• Análisis y
Sistematización
• Comunicación y
Reporting
mayormente?
•
Es una instancia de reflexión en donde pueden obtenerse análisis y conclusiones que
sirven tanto para la redefinición y aprendizaje interno de las organizaciones como
también para la incentivar instancias de validación con stakeholders.
•
Los aprendizajes y lecciones aprendidas durante el trabajo realizado en años puede ser
sintetizado en la evaluación final y servir no solo para la rendición de cuentas, sino
también para que otras organizaciones aprendan de la experiencia.
•
El desarrollo de esta instancia puede insumir bastante tiempo de una persona en un
período de 2 o más meses de trabajo.
03. Funcionalidad / ¿Cómo lo uso? Para poder realizar una evaluación final se debe asignar una persona dentro de la organización que
lleve adelante el proceso que, por lo general, demora unos 2 o 3 meses de trabajo. Si se cuenta con
un Plan, con indicadores definidos o con una evaluación de medio término la evaluación puede
consistir simplemente en analizar si lo que se propuso en el plan se logró y cuál es el avance de los
indicadores.
Página 36
MODELO DE EVALUACIÓN DE RESULTADOS / GUÍA DE ORIENTACIÓN Asimismo, se deben definir los siguientes puntos:
•
•
•
Pensar qué preguntas necesitamos que la evaluación nos responda. Por ejemplo: ¿Qué
resultados esperábamos que se logren y cuáles se lograron efectivamente? ¿qué resultados
aún están pendientes de lograrse? ¿con qué actores se ha trabajado? ¿cuán involucrados
están esos actores con el trabajo realizado para pensar que ellos pueden continuar con el
trabajo aun cuando el programa haya finalizado?
Pensar quiénes nos pueden responder esas preguntas o en qué documentos podemos
encontrar esos datos. En el caso que no exista la información, hay que preguntar a través
de entrevistas o encuestas a diferentes personas. Es necesario definir quiénes nos pueden
responder.
Pensar si se va a utilizar una metodología de análisis particular como Efectividad
Sostenible.
TIPS DE APLICACIÓN – EVALUACIÓN FINAL
La aplicación de esta herramienta tiene lugar al final de la implementación de un Programa o
estrategia. Su aplicación constituye un momento de sistematización y análisis final de los
resultados e impactos alcanzados por una implementación.
Al igual que en las evaluaciones de medio término, dependiendo del tipo de Programa e instancia
en la que se encuentre, son más convenientes la aplicación de ciertos instrumentos de
relevamiento de datos como de análisis y sistematización de los mismos. La diferencia con las
evaluaciones de medio término es que la sistematización de mejores prácticas y lecciones
aprendidas se vuelven en instrumentos claves de cara a los objetivos de replicabilidad y
escalabilidad del Programa.
Estructura sintética “tipo” de una Evaluación Final
5- PRODUCTOS
a) Plan de Evaluación
b) Informe de Relevamiento de información
1- ANTECEDENTES: de la Organización y del Programa
c) Documento de Evaluación (Análisis de relevancia, Análisis
2- OBJETIVOS: del Programa (Generales y Específicos) y de la de Involucrados, efectividad, eficiencia, sostenibilidad,
efectividad sostenible, impacto, Conclusiones, Taller de
Evaluación (Generales y Específicos)
presentación de resultados)
3- PERSPECTIVA DE LA EVALUACIÓN (Enfoques)
d) Recomendaciones estratégicas
-Informe de Recomendaciones Estratégicas
4- ACTIVIDADES
-Informe de Recomendaciones para la implementación de una
a) Trabajo de campo y revisión documentaria
Evaluación Final.
b) Diagnóstico y Evaluación
c) Formulación de recomendaciones e informe final
e) Mejores Prácticas y Lecciones Aprendidas
-Sistematización de mejores prácticas y lecciones aprendidas
Página 37
MODELO DE EVALUACIÓN DE RESULTADOS / GUÍA DE ORIENTACIÓN 9. LECCIONES APRENDIDAS
Herramienta de recolección de conocimiento derivado de la
experiencia, que está suficientemente fundamentado y puede
generalizarse, por lo que ofrece posibilidades de mejorar la acción de
la organización. La captura y sistematización de los éxitos y fracasos
son muy importantes tanto en instancias de monitoreo para la
reorientación de acciones como en instancias de evaluación de
resultados de cara a la replicabilidad y escalabilidad.
La identificación de lecciones aprendidas es un instrumento que se
implementa junto con una evaluación de medio término y final.
01. Propósito / ¿Para qué sirve? Se utiliza principalmente para comunicar una experiencia
(exitosa o no) y adquirir mayor conocimiento, como también
para replicar aquellas acciones exitosas en proyectos futuros.
Tipo de Instrumento
Herramienta
Tiempo estimado
4/5 semanas
Expertise requerido
Bajo
• Análisis y
Sistematización
• Comunicación y
Reporting
mayormente?
• Monitoreo
•
•
•
Ayuda a identificar dificultades y aprovechar las
fortalezas y oportunidades
Favorece la comprensión de los fundamentos implícitos y explícitos que guían la
experiencia.
No existe un método estándar para sistematizar Lecciones Aprendidas y esto puede
traer dificultades a la hora de analizar la información y replicar.
03. Funcionalidad / ¿Cómo lo uso? Sistematizar lecciones aprendidas implica desarrollar un documento en donde se expongan
diferentes viñetas resumidas de los principales aprendizajes del proceso de trabajo. Es un
documento sintético que permite no solo hacer un resumen de lecciones a nivel interno, sino
compartirlo con otras organizaciones y públicos de interés. La forma de captura de estas lecciones
puede ser una ronda de entrevistas en profundidad cortas con diferentes stakeholders en donde se
pregunte directamente sobre los aprendizajes (experiencias positivas y negativas) que se registraron
del trabajo realizado. Al igual que otros instrumentos es recomendable que una persona dentro de la
organización centralice el trabajo con el aporte y miradas de quienes participaron.
•
https://www.u-cursos.cl/medicina/2008/0/TOMIPCO4/1/material_docente/objeto/177440
Página 38
MODELO DE EVALUACIÓN DE RESULTADOS / GUÍA DE ORIENTACIÓN 10. MEJORES PRACTICAS
Recolección de un conjunto de acciones que han demostrado ser
efectivas para la organización en un determinado contexto, y que se
espera que rindan similares resultados en contextos similares. La
utilización de esta herramienta contribuye a la replicabilidad y
escalabilidad de estrategias, programas, proyectos o iniciativas.
La sistematización de mejores prácticas es un instrumento que se
sugiere implementar en el marco de una evaluación final.
01. Propósito / ¿Para qué sirve? Se utiliza para compartir con otros aliados o grupos de interés
prácticas similares y adquirir así mayor conocimiento.
También es muy útil para replicar aquellas acciones exitosas
en proyectos futuros.
Tipo de Instrumento
Herramienta
Tiempo estimado
4/5 semanas
Expertise requerido
Bajo
• Análisis y
Sistematización
• Comunicación y
Reporting
mayormente?
•
•
•
Ayuda a identificar dificultades y aprovechar las
fortalezas y oportunidades
Favorece la comprensión de los fundamentos implícitos y explícitos que guían la
experiencia.
No existe un método estándar para sistematizar Mejores Prácticas y esto puede traer
dificultades a la hora de analizar la información y replicar.
03. Funcionalidad / ¿Cómo lo uso? Como complemento de una instancia de evaluación final es posible identificar alguna innovación o
nueva forma de hacer algo que se haya formalizado en el desarrollo de un programa o iniciativa de
intervención. Esta innovación puede formalizarse en un documento sintético como un caso concreto
para que sea registrado como un resultado más del trabajo realizado como también para que otras
organizaciones puedan replicar la experiencia.
Página 39
MODELO DE EVALUACIÓN DE RESULTADOS / GUÍA DE ORIENTACIÓN MODELO DE EVALUACIÓN DE RESULTADOS
GUÍA DE ORIENTACIÓN
por
MARÍA AGUSTINA BUDANI
[email protected] www.ziglaconsultores.com
Página 40

guía de orientación

Transcripción

Documentos relacionados

Temario BUSINESS ENGLISH NIVEL 1 • Entrevistas de Trabajo

Discurso de inauguración de la nueva entrada del Edificio

Entrevistas laborales para la DOAITE La Dirección de Orientación y

lista de admitidos al ciclo nivelatorio magíster en administración de