Pautas para la preparación de evaluaciones

Pautas para la preparación de evaluaciones

INTERNATIONAL LABOUR OFFICE
BUREAU INTERNATIONAL DU TRAVAIL
OFICINA INTERNACIONAL DEL TRABAJO
Pautas
para la preparación de evaluaciones independientes
de programas y proyectos de la OIT
Unidad de Evaluación (PROG/EVAL)
Oficina de Programación y Gestión
Noviembre 1997
Indice
Página
Introducción
...... .....................................................................................................................
1
1.
Principales conceptos relativos a la evaluación independiente .....................................
1.1. Objetivos y tipos de evaluación ....................................................................................
1.2. Principales aspectos del propósito de una evaluación...................................................
1.3. Cronograma ..................................................................................................................
1
1
2
5
2.
Metodología de la evaluación independiente ..................................................................
6
3.
Aspectos organizativos de una misión de evaluación.....................................................
3.1. Composición .................................................................................................................
3.2. Cronograma e itinerario ................................................................................................
3.3. Fuentes de información.................................................................................................
7
8
8
9
4.
Características y responsabilidades de los evaluadores independientes ......................
10
5.
Papel de los copartícipes...................................................................................................
11
Anexo 1 Presentación de la organización de una evaluación independiente...............................
12
Anexo 2 Propuesta de esquema para los términos del mandato de una misión de
evaluación independiente..............................................................................................
14
Anexo 3 Propuesta de esquema para el informe de evaluación independiente ...........................
15
Anexo 4 Cuestionario propuesto en relación con los principales
propósitos de la evaluación ...........................................................................................
17
Documentos de referencia...........................................................................................................
19
Introducción
Desde fines de los años setenta, se han elaborado y actualizado en la OIT, conceptos,
metodologías y procedimientos, relativos al diseño, seguimiento y evaluación de programas y
proyectos, que han sido publicados en una serie de manuales y guías cuya utilización se
extiende a toda la Oficina.
Estas pautas completan la serie destinada a promover la coherencia y el rigor en la aplicación de
los conceptos y la metodología de evaluación. Su principal objetivo consiste en proporcionar a
los funcionarios de la OIT que comisionan o dirigen evaluaciones independientes, así como
también a los interlocutores del proyecto, una base sólida para recopilar y analizar datos sobre
los resultados del trabajo realizado. Ayudarán a los jefes de programas y de proyectos, a los
funcionarios encargados del apoyo técnico, así como a otros funcionarios de la sede y del
terreno a elaborar o analizar planes de evaluación, a redactar o verificar los términos del
mandato de las evaluaciones, y a actuar como personas de referencia en el proceso de
evaluación. Asimismo, facilitarán la comunicación y el diálogo entre los evaluadores, los
beneficiarios previstos y los demás copartícipes y también estimularán la reflexión dentro del
equipo mismo de evaluación.
Estas pautas reúnen los conocimientos acumulados sobre la evaluación tanto de las actividades
financiadas por el presupuesto ordinario como de los programas y proyectos financiados por
fuentes extrapresupuestarias tales como organismos multibilaterales, fondos fiduciarios y
bancos de desarrollo 1. Las informaciones de referencia provienen de informes de evaluación y
de talleres, de publicaciones recientes sobre la evaluación y de la experiencia de los
especialistas en evaluación dentro de la OIT y fuera de la misma.
1. Principales conceptos relativos
a la evaluación independiente
1.1. Objetivos y tipos de evaluación
Una evaluación determina los efectos y el impacto de los resultados de un proyecto. Se centra
en el análisis de los progresos realizados hacia el logro de los objetivos. Los objetivos generales
de una evaluación son la mejora de la gestión de la actividades en curso así como la
planificación de nuevas actividades. Además, permite a los copartícipes tomar decisiones
operacionales y de política sobre la base de informaciones más precisas. Las evaluaciones de
proyectos específicos proporcionan insumos para las evaluaciones de programas de mayor
envergadura y las evaluaciones temáticas.
En la OIT, se efectúan principalmente dos tipos de evaluación 2: la autoevaluación y la
evaluación independiente. Se llevan a cabo con regularidad, siendo una el complemento de la
otra. Las autoevaluaciones son realizadas por las personas que tienen la responsabilidad directa
de la ejecución del proyecto, o sea, por la dirección del proyecto. Las evaluaciones
1
En aras de la brevedad, el término «proyecto» será utilizado en estas Pautas en tanto que «término genérico» en
referencia a los programas, proyectos y cualquier otro tipo de actividades prácticas normalmente llevadas a cabo por la OIT.
2
Para una tipología completa de la evaluación véase Diseño, seguimiento y evaluación de programas y proyectos de
cooperación técnica; Manual de capacitación de la OIT, 1995 (impresión en español, 1996).
1
independientes son llevadas a cabo por personas que no tienen responsabilidad alguna en el
proyecto y que no han estado implicadas de modo alguno en el mismo.
Todas las actividades de la OIT son objeto de autoevaluaciones, mientras que las evaluaciones
independientes son efectuadas únicamente en relación con necesidades específicas 3. Una
evaluación independiente puede ser:
—
—
interna, cuando es llevada a cabo por la OIT, pero por funcionarios que no están
involucrados en el proyecto examinado, por ejemplo por la Unidad de Evaluación; o
externa, cuando es llevada a cabo por uno o varios consultores externos, que pueden
representar a la OIT, al organismo de financiación u otro organismo asociado.
La decisión de realizar una evaluación independiente (planificada o no) debería ser tomada por
todos los agentes copartícipes de un proyecto. Cualquiera de ellos puede proponer que se realice
una evaluación por diversas razones. Por ejemplo, cuando se ponen a prueba enfoques
novedosos o experimentales o cuando surgen dificultades inesperadas durante la ejecución del
proyecto. Se puede determinar la necesidad de tales evaluaciones ad hoc durante el proceso de
seguimiento o mediante el examen de los informes de avance de los proyectos. Se debería
informar y consultar a todos los interlocutores sobre los términos del mandato. Todos ellos
deberían recibir una copia del informe a fin de tomar las medidas complementarias que
resultaran de la evaluación.
1.2. Principales aspectos del propósito de una evaluación
La apreciación del impacto de los resultados de un proyecto puede basarse en el análisis de una
serie de aspectos de una evaluación, cuya selección determinará el alcance de cada evaluación.
La información básica que debe ser recopilada en una evaluación independiente abarca
generalmente tres componentes principales de investigación: diseño, ejecución y desempeño.
Las cuestiones de diseño y de ejecución se refieren a los factores que influyen en los resultados
y que se manifiestan durante la implementación del proyecto. Las cuestiones relativas al
desempeño están más directamente relacionadas con los efectos de los resultados.
Las principales cuestiones que deben considerarse en cada uno de esos componentes son las
siguientes 4:
·
Validez del diseño. Un buen diseño de proyecto sirve de guía de trabajo, facilita el
seguimiento de la ejecución del proyecto y da una base sólida para la evaluación del
desempeño del mismo. Además, establece el compromiso de los interlocutores del
proyecto, lo que incrementa las probabilidades de éxito del mismo.
Al considerar la cuestión de la validez del diseño, las evaluaciones determinan si el diseño
del proyecto original y sus revisiones: a) es lógico y está formulado en términos precisos;
b) se centra en los problemas y las necesidades definidos y fija la estrategia a seguir para
resolverlos; c) describe la población beneficiaria y la forma en que obtendrá beneficios; d)
ubica el proyecto en el marco institucional adecuado y define los papeles y
responsabilidades de los principales interlocutores del proyecto; e) establece objetivos
claros e indicadores de logro para medir los cambios que el proyecto debe conseguir; f)
3
Por ejemplo, los programas del presupuesto ordinario son sometidos a una evaluación independiente a pedido de la
Dirección General o del Consejo de Administración de la OIT. En el caso de las actividades de cooperación técnica, la
reglamentación de la OIT exige que todos los proyectos cuyo presupuesto es igual o superior a 250.000 dólares de los
Estados Unidos sean sometidos a una evaluación independiente una vez como mínimo durante su desarrollo.
4
En el anexo 4, figura la lista de posibles preguntas que deben formularse para evaluar los principales aspectos de
una evaluación.
2
describe los principales productos, actividades e insumos necesarios para lograr los
objetivos; g) determina supuestos válidos acerca de los principales factores externos que
influyen en la ejecución y el desempeño del proyecto, y h) indica la obligaciones previas
que deben cumplir los principales interlocutores.
·
Ejecución. La apreciación del proceso de ejecución se centra en los factores que influyen
en la ejecución del proyecto a fin de determinar si el proyecto, a lo largo de las distintas
etapas operacionales, ha mantenido el rumbo hacia el logro de los objetivos fijados.
Por consiguiente, las evaluaciones deben: a) examinar cómo los insumos mediante las
actividades son transformados en productos; b) analizar la cantidad, la calidad y la
oportunidad de los productos suministrados; c) examinar si las orientaciones técnicas y
administrativas y el apoyo proporcionados por el personal del proyecto, las organizaciones
copartícipes y las unidades involucradas de la OIT (los equipos multidisciplinarios (EMD),
las oficinas exteriores y la sede) son adecuados; d) apreciar la importancia de la influencia
de factores internos o externos sobre los resultados del proyecto e) determinar si la
respuesta del proyecto a dichos factores ha sido adecuada; f) recomendar, cuando proceda,
los ajustes y las medidas de acción complementarias que sean necesarias a fin de aumentar
las probabilidades de éxito del proyecto.
·
Desempeño. Al apreciar el desempeño de un proyecto, las evaluaciones van más allá de
los factores de la ejecución y se centran en los efectos y el impacto del trabajo realizado. El
resultado de esta apreciación determina si el proyecto ha logrado o puede lograr sus
objetivos.
Los principales aspectos del propósito de una evaluación en cuanto se refiere al desempeño
del proyecto se describen e ilustran en el esquema gráfico siguiente:
Principales aspectos del propósito de la evaluación
3
·
Pertinencia. Examina la medida en que los resultados del proyecto son útiles para resolver
los problemas definidos y satisfacen las necesidades de la población beneficiaria. El
análisis verifica si el proyecto sigue teniendo vigencia y detecta todo cambio de
prioridades que pueda haber ocurrido en este contexto durante la etapa de ejecución. Los
problemas y necesidades definidos en un comienzo pueden haber desaparecido. Pueden
haber surgido nuevos problemas y necesidades como consecuencia de factores políticos,
económicos, sociales u otros factores, o incluso a raíz de las actividades del proyecto. Por
último, el análisis determina si los objetivos siguen siendo válidos o deberían ser
reformulados.
·
Eficacia. Estima la medida en que el proyecto ha logrado sus objetivos y beneficiado a la
población beneficiaria. El análisis verifica si se han obtenido o se obtendrán los resultados
esperados, y, en caso contrario, si debe modificarse la definición de los objetivos
(evaluación intermedia) o si debe prolongarse el proyecto (evaluación final). Si los
objetivos y los indicadores de logro describen adecuadamente la situación que se espera
conseguir al término del proyecto esta apreciación resulta más fácil. Los cambios
provocados por el proyecto se comprueban mediante la comparación de la información
sobre la situación (de los beneficiarios) anterior al proyecto con la situación en el momento
de la evaluación.
·
Eficiencia. Examina los resultados obtenidos en relación con los gastos incurridos y los
recursos utilizados por el proyecto durante un período determinado. El análisis se centra en
la relación entre los insumos del proyecto, incluidos el personal, los consultores, los viajes,
la formación, el equipamiento y los gastos varios, y la calidad y cantidad de los productos
obtenidos. Verifica la justificación de los gastos y examina si los recursos han sido
utilizados económicamente. Asimismo, este análisis debería determinar si las acciones de
los distintos interlocutores han sido complementarias así como otras estrategias posibles
que permitan obtener más y mejores resultados con los recursos disponibles.
·
Sustentabilidad. Estima si los resultados del proyecto han tenido o pueden tener efectos
duraderos después de haberse terminado el proyecto y haberse retirado los recursos
externos. Los factores relativos a la sustentabilidad se aprecian en función de la prioridad
que los beneficiarios previstos y los destinatarios directos asignan al proyecto. A este
respecto, es especialmente pertinente evaluar su disposición favorable para seguir
apoyando o llevando a cabo actividades específicas análogas, o inclusive para extenderlas
a otras regiones o sectores del país. El análisis también verifica si existe en el país la
capacidad de gestión y los recursos financieros y humanos que serían necesarios para
mantener a largo plazo los resultados del proyecto.
·
Causalidad. Examina los factores o acontecimientos que han influido en los resultados del
proyecto. Si se ha dispuesto a tiempo de los insumos necesarios para llevar a cabo las
actividades planificadas y obtener los productos esperados, la ejecución y el desempeño
del proyecto habrán sido exitosos. Si, en cambio, se comprueban importantes desvíos
respecto de los programas establecidos, el análisis determinará las causas de tales cambios.
El examen también debería analizar los efectos de otros factores tales como las dificultades
técnicas, administrativas o de gestión, la inadecuación de los insumos, el incumplimiento
de los compromisos contraídos por los interlocutores, la insuficiencia de los fondos, una
apreciación errónea de los efectos de factores externos.
·
Efectos imprevistos. Durante la evaluación debe determinarse si el proyecto tiene efectos
positivos o negativos imprevistos. Una vez que éstos han sido definidos, pueden tomarse
medidas adecuadas para reforzarlos o reducirlos, a fin de aumentar el impacto general del
proyecto.
4
·
Estrategias alternativas. Se analizan especialmente cuando se comprueba que la
estrategia inicial ha resultado inadecuada. Las evaluaciones examinan enfoques
alternativos que pudieran tener un mayor impacto o reducir los costos. Este análisis es
valioso sobre todo cuando se planifican actividades complementarias.
No es necesario examinar todos los aspectos antedichos en cada evaluación. La elección
dependerá de los objetivos que se persiguen. Sin embargo, debería ser evidente que cuanto
más amplio es el número de aspectos, más amplia (o menos parcial) es la evaluación del
impacto del proyecto. Si uno o varios aspectos son evaluados por separado, los resultados
de la evaluación pueden ser falseados o equivocados (o ambos) 5. Por lo tanto, para obtener
en todos los casos una apreciación adecuada del impacto, la OIT ha adoptado un conjunto
mínimo de los aspectos de evaluación a ser abordados en toda evaluación de sus
actividades propias. Estos fueron seleccionados entre los aspectos arriba mencionados y
son los siguientes: pertinencia, eficacia, eficiencia y sustentabilidad 6.
·
Cuestiones de interés especial. Además de los aspectos arriba mencionados, la evaluación
también determina y analiza todo efecto imprevisto o previsto sobre cuestiones de interés
especial para la OIT: a) la aplicación de la normas internacionales del trabajo; b) el
fomento de la igualdad entre los hombres y las mujeres en el empleo, y c) la protección del
medio ambiente para lograr un desarrollo sostenido. Si bien son importantes para todo
proyecto, pueden no haber sido considerados en las fases de planificación y diseño de un
proyecto específico; por esta razón, no siempre se encuentran en todos los documentos de
proyecto referencias explícitas a dichas cuestiones. Por consiguiente, la evaluación
independiente es un medio útil para subsanar esa deficiencia, ya que permite determinar si
el proyecto examinado ha abordado esas cuestiones o si las debiera abordar en el futuro 7.
1.3. Cronograma
El cronograma de la evaluación independiente se establece generalmente en la fase de diseño y
suele ser uno de los criterios para definir los diferentes tipos de evaluación. Si bien todas las
evaluaciones deberían abordar, como mínimo, la pertinencia, eficacia, eficiencia y
sustentabilidad del proyecto examinado, las cuestiones específicas que deben tratarse así como
la información y los datos que deben recopilarse, varían según el momento en que se lleva a
cabo la evaluación.
Una evaluación intermedia tiene lugar en un momento determinado durante el curso del
proyecto, en general, al promediar su ejecución. Examina la probabilidad del cumplimiento de
los objetivos, estima los efectos de los primeros productos y actividades, indica los beneficios
usufructuados por la población beneficiaria y verifica si la estrategia inicial del proyecto, el
marco institucional y los supuestos establecidos son adecuados. Suministra a los interlocutores
5
Si, por ejemplo, sólo se evalúa el cumplimiento de los objetivos (eficacia), los evaluadores pueden estimar que el
proyecto ha cumplido con sus objetivos, pero no se dispondrá de información para saber si las necesidades que justificaban
el proyecto siguen existiendo (pertinencia), o si los recursos asignados han sido utilizados económicamente (eficiencia), o si
los resultados serán duraderos una vez que la asistencia externa haya sido retirada (sustentabilidad). Un proyecto puede
haber logrado sus objetivos (eficaz) pero perder utilidad (dejar de ser pertinente), si el problema o las necesidades han
cambiado durante la ejecución del proyecto. Viceversa, un proyecto puede seguir siendo útil (pertinente), pero no alcanzar a
los beneficiarios previstos (ineficaz). Del mismo modo, un proyecto puede ser eficaz y pertinente, pero con un costo
injustificadamente alto (ineficiente), o sus resultados no tienen efectos duraderos (insustentables). Evidentemente, las
recomendaciones de una evaluación variarán y corresponderán a cada situación específica.
6
Véase la Guía para la aplicación del sistema de seguimiento, evaluación y presentación de informes de (MERS) de
la OIT (revisado) 1996.
7
Véase Directrices para la integración de las cuestiones de género en el diseño, el seguimiento y la evaluación de
programas y proyectos de la OIT, OIT, 1995 y Pautas para promover la complementariedad entre la actividad normativa y
la cooperación técnica, OIT, 1997 (en preparación).
5
del proyecto la retroalimentación y la información necesarias para evaluar el proyecto, así como
revisar, llegado el caso, las políticas, estrategias, objetivos, disposiciones institucionales y
recursos del mismo.
Una evaluación final tiene lugar al término del proyecto. Verifica si los objetivos han sido
logrados y si los beneficios del proyecto han alcanzado a los beneficiarios previstos. Suministra
informaciones que facilitan las decisiones que deben ser tomadas con respecto a la terminación
del proyecto o su prolongación y extrae las «enseñanzas» que deben ser consideradas en la
planificación de futuros proyectos.
Una evaluación a posteriori tiene lugar cierto tiempo después de concluido el proyecto (por
ejemplo, dos o tres años después). Estima principalmente la sustentabilidad de los resultados del
proyecto así como su impacto a largo plazo. Este tipo de evaluación permite fundamentar
decisiones acerca de la conveniencia de proporcionar asistencia adicional y extraer las
«enseñanzas» que sean aplicables a proyectos similares. También puede servir para establecer
nuevas prioridades y estrategias o nuevos métodos de trabajo.
2. Metodología de la evaluación independiente
Existen básicamente tres métodos de trabajo para llevar a cabo evaluaciones: el examen de la
documentación del proyecto, los seminarios y las misiones sobre el terreno. La evaluación
independiente se realiza generalmente mediante una misión sobre el terreno, aunque en muchos
casos se combinan los tres métodos de trabajo.
La mayoría de la evaluaciones independientes comienzan por un examen general de la
documentación del proyecto. Corresponde a la dirección del proyecto recopilar los datos y los
antecedentes con la suficiente antelación. Dicha documentación incluye los documentos de
proyecto, los informes de evaluaciones independientes anteriores, los informes de avance y de
autoevaluaciones, los expedientes del proyecto, la correspondencia respectiva, los informes
técnicos y otros productos del proyecto. Durante la visita sobre el terreno, esta documentación
es complementada por informaciones recolectadas en entrevistas y consultas, a veces basadas en
cuestionarios elaborados especialmente para la evaluación, y en las discusiones con los grupos
de la población beneficiaria y los demás interlocutores del proyecto.
A fin de obtener una visión equilibrada de los resultados del proyecto, es esencial que todos los
copartícipes, tanto en el nivel institucional y de decisión política como en el nivel de la
población beneficiaria, sean directamente consultados por el equipo de evaluación. Si el
proyecto debe atender a grupos en zonas rurales aisladas o en zonas urbanas de ingresos bajos,
los miembros de la misión de evaluación deben mantener discusiones con las personas que allí
viven. Si el proyecto debe beneficiar a hombres y a mujeres, los evaluadores deberían
entrevistarse con representantes tanto de los hombres como de las mujeres de la población
beneficiaria. Dada la estructura «tripartita» de la OIT, los evaluadores deberían asimismo
obtener la opinión de todos los interlocutores sociales, como por ejemplo los representantes del
gobierno, de las organizaciones de empleadores y de trabajadores.
Al organizar las consultas y las entrevistas, los evaluadores deben asegurarse de haber efectuado
todos los contactos necesarios con los beneficiarios y los interlocutores del proyecto (o sus
representantes) en el programa de reuniones. Puede pedirse al personal del proyecto que
organice contactos adicionales a nivel local y que ayude a los evaluadores a comunicarse con
los beneficiarios del proyecto. Es importante que los miembros del equipo de evaluación
mantengan abiertas las líneas de comunicación con los copartícipes durante toda la misión, sin
6
perjuicio de la imparcialidad indispensable que se requiere para llevar a cabo la evaluación con
la mayor objetividad posible.
Las evaluaciones tienen consecuencias importantes para quienes participan en la ejecución de
los proyectos y los beneficiarios de éstos. Por consiguiente, los evaluadores deberían procurar
establecer su credibilidad ante todos los interlocutores y la población beneficiaria desde el
comienzo de la misión. En caso contrario, las conclusiones y las recomendaciones del informe
pueden ser ignoradas o incluso ser rechazadas. La credibilidad puede establecerse si los
evaluadores independientes demuestran colectivamente la competencia técnica y profesional
requeridas y su experiencia en materia de evaluación, así como también un buen conocimiento
del proyecto en cuestión.
En estos últimos años, un número creciente de misiones de evaluación independiente han
organizado al término de la misión seminarios de evaluación o reuniones a fin de discutir el
proyecto de informe con los interlocutores del proyecto. Los talleres han contribuido a definir
las necesidades futuras de la población beneficiaria y a reafirmar que la «pertenencia» de los
resultados del proyecto a los destinatarios directos y los beneficiarios previstos, es un medio de
garantizar la sustentabilidad de sus efectos. El equipo de evaluación puede asimismo dar parte
de los resultados preliminares a otros grupos interesados.
La responsabilidad de la organización de esos seminarios debe ser compartida por el personal
del proyecto y el equipo de evaluación. La composición de los copartícipes a ser entrevistados
(en su mayoría miembros de la población beneficiaria y otros interlocutores) debería ser
equilibrada en cuanto a edad, sexo, clase, origen étnico y nivel de autoridad. Conviene prever
que todos los interlocutores tengan la oportunidad de expresar libremente sus puntos de vista.
En el caso de un eventual conflicto entre grupos de participantes, puede ser necesario celebrar
reuniones separadas antes de los seminarios para allanar posibles problemas y percepciones
equivocadas.
Los evaluadores deberán presentar a los participantes los resultados, conclusiones,
recomendaciones, y lecciones extraídas preliminares 8. Asimismo, deberán solicitar a los
participantes que formulen comentarios pertinentes o suministren informaciones adicionales a
fin de corregir todo error factual o interpretación errónea en el borrador de informe. Durante las
discusiones el equipo de evaluación debería mantener su independencia y estar preparado para
tomar decisiones sobre las modificaciones que habrán de incorporarse al borrador de informe
como consecuencia del seminario.
Las obligaciones y las responsabilidades relativas a la evaluación se dividen entre los miembros
del equipo de la misión. Cada uno contribuye a la recopilación y al análisis de datos así como a
la elaboración del borrador de informe de evaluación. La responsabilidad de la preparación del
informe final y su distribución a todos los interlocutores interesados es asignada al jefe del
equipo de evaluación. El informe debe mencionar toda opinión divergente de los miembros del
equipo. Cada miembro del equipo suscribe el informe final antes de que éste sea sometido a los
interlocutores interesados para su publicación y distribución. El pago de los honorarios no
debería efectuarse antes de que la versión final del informe sea recibida según lo acordado.
8
Un resultado es una «aserción factual» acerca de los resultados del proyecto basado en la información recopilada,
por ejemplo «90 por ciento de los beneficiarios del préstamo son hombres». Una conclusión es una «síntesis de resultados»
que corresponde a una circunstancia específica basada en la apreciación del evaluador, por ejemplo «el sistema de crédito no
beneficia a las empresas cuyos dueños son mujeres». Una recomendación es una «prescripción» de lo que debería hacerse
basándose en las conclusiones relativas a una circunstancia específica, por ejemplo «se deberá definir un sistema de cupo
para la aprobación de solicitudes de préstamos a fin de ampliar el acceso al crédito de las mujeres de la población
beneficiaria». Una enseñanza extraída es una «generalización» sobre una circunstancia específica (un proyecto) que podría
aplicarse a un «tipo de situación» (otros proyectos), por ejemplo «un criterio de selección claro es necesario para garantizar
que se atienda a los beneficiarios previstos al establecer proyectos de sistemas de crédito para las poblaciones rurales pobres
del altiplano».
7
3. Aspectos organizativos de una misión de evaluación
3.1. Composición
Un equipo de evaluación independiente se compone generalmente de un número impar de
miembros a fin de facilitar el proceso de la toma de decisiones. La composición de la misión de
evaluación debería ser aprobada por los interlocutores del proyecto. Generalmente está
compuesta por representantes de: a) organismos de financiación (por ejemplo DANIDA,
NORAD, SIDA, la Unión Europea, el Banco Mundial, etc.), b) las organizaciones nacionales de
contraparte (por ejemplo: organizaciones gubernamentales, organizaciones de empleadores y de
trabajadores, u otras ONG); y c) la OIT.
Los organismos de financiación y las organizaciones de contraparte pueden si lo desean elegir
una persona ajena al proyecto para representarlos. El representante de la OIT debería también
ser una persona que no haya estado implicada en la gestión o las operaciones del proyecto.
Puede ser un consultor externo, o un funcionario neutral, como por ejemplo un funcionario de la
Unidad de Evaluación.
El personal del proyecto y otros funcionarios estrechamente vinculados con el mismo tales
como las instituciones de contraparte locales o nacionales, los miembros de las comisiones
«asesoras» o «consultivas» o los funcionarios de apoyo técnico, no pueden formar parte del
equipo de evaluación puesto que tienen un interés establecido en el proyecto. No obstante,
pueden y de hecho deberían cumplir la función de asesores durante la evaluación. Su
contribución es realmente esencial para el trabajo de los evaluadores, permitiéndoles ahorrar
tiempo y esfuerzos.
La competencia profesional de un evaluador del punto de vista técnico y geográfico es uno de
los principales criterios de selección para designar a los miembros del equipo de evaluación. La
objetividad y la independencia son otras consideraciones clave para seleccionar evaluadores. No
obstante, el grado de independencia depende de la persona que designa a los evaluadores.
Evidentemente, es difícil evitar sesgos si el evaluador es elegido por personas que están
estrechamente vinculadas a la ejecución del proyecto, tales como el director o el coordinador
nacional o internacional del proyecto, los funcionarios de la OIT de apoyo técnico y los
funcionarios de las agencias de financiación encargados del proyecto.
Si el proyecto está destinado a beneficiar tanto a hombres como a mujeres, un miembro del
equipo de evaluación, como mínimo, debería tener conocimientos y experiencia en materia de
cuestiones relacionadas con el género de las personas así como en lo que respecta a las
necesidades e intereses de las mujeres dentro de los campos técnicos y los sectores abarcados
por el proyecto.
Normalmente, si no ha sido designado previamente los miembros del equipo deciden quién
dirigirá la misión de evaluación. Habitualmente se elige a la persona con más experiencia o
antigüedad, o el/la representante de uno de los principales interlocutores, que suele ser el/la de
la agencia de financiación. Siempre se deberá designar un jefe del equipo.
3.2. Cronograma e itinerario
El cronograma de actividades y el itinerario de una misión de evaluación dependen en gran
medida del tipo y la complejidad del proyecto. Frecuentemente, el tiempo previsto para la
8
misión es insuficiente con respecto a los resultados que se esperan. En la mayoría de los casos,
30 días de trabajo han resultado suficientes. El programa de trabajo puede desglosarse de la
siguiente manera:
·
dos días para la orientación previa a la misión y un día para la información sobre sus
resultados al término de la misma en la sede de la OIT, o en la Oficina de la OIT o el EMD
interesados;
·
uno a cinco días para el examen de la documentación del proyecto antes de comenzar el
programa de entrevistas de la misión de evaluación;
·
un mínimo de cinco a diez días para la recopilación de la información requerida, las
entrevistas y las consultas sobre el terreno;
·
dos días para organizar y llevar a cabo, antes de salir del país, un seminario de evaluación
con el propósito de discutir el anteproyecto de resultados, conclusiones, recomendaciones
y lecciones extraídas de la misión, y
·
cinco a diez días para la preparación del informe final.
Estos plazos presuponen que los miembros de la misión de evaluación empiezan a redactar el
informe de evaluación muy temprano durante las visitas sobre el terreno, después de haber
establecido entre ellos una clara división del trabajo. Ello garantiza que todas las cuestiones
incluidas en los términos del mandato sean abordadas por la misión.
La Unidad técnica de la sede de la OIT o el EMD que corresponda tiene la responsabilidad de
organizar el programa de orientación previa del equipo de evaluación y de comunicación de los
resultados al término de la misión, programa que debe tener en cuenta el objetivo que se
persigue y las limitaciones financieras. Cuando éste se realice en la sede, la Unidad de
Evaluación de la Oficina de Programación y Gestión debería ser invitada a participar. Si los
evaluadores no pueden viajar a Ginebra, el equipo debería establecer contactos con la Oficina
exterior de la OIT y/o el EMD correspondientes y con el representante de la agencia de
financiación antes de iniciar su labor en el país interesado.
3.3. Fuentes de información
Los funcionarios de apoyo técnico tienen la responsabilidad de recopilar los documentos de
referencia y facilitarlos a los miembros del equipo de evaluación antes del viaje al terreno. En
caso de que ciertos documentos sólo estén disponibles en la sede del proyecto, los mismos
deberán ser entregados por la dirección o el personal del proyecto a los evaluadores a su llegada.
Los evaluadores dispondrán de libre acceso a todos los expedientes, informes, publicaciones y
toda otra información relativa al proyecto.
Los principales documentos son los siguientes:
·
·
·
·
·
·
·
documento de proyecto y sus revisiones;
examen de avance e informes de autoevaluación;
informes de evaluaciones independientes anteriores;
principales productos del proyecto, por ejemplo, proyectos de ley, material didáctico,
informes técnicos y actas de la comisión asesora o consultiva del proyecto;
organigramas e informaciones resumidas, o informe anual de actividad de las principales
organizaciones interlocutoras;
informaciones resumidas sobre el perfil socioeconómico y los indicadores relativos al
desarrollo humano de los países interesados;
documentos de política nacional que estén relacionados con el proyecto, e
9
·
informaciones resumidas y enseñanzas extraídas de proyectos similares en los países
interesados.
Los resultados y las conclusiones que resulten del proceso de recopilación de información
deberán basarse en fuentes que puedan verificarse. Por consiguiente, la tarea de los evaluadores
consiste en recopilar y documentar la evidencia que justifica la interpretación y el uso de la
información. A ellos corresponde analizar los datos disponibles sobre los indicadores de logro,
generalmente recopilados por el personal del proyecto, completar y verificar la información
necesaria. Además, deberán verificar cómo se han aplicado los procedimientos de recopilación
de datos, cómo se han examinado y evaluado las estadísticas, las observaciones y las respuestas
e incluir las pruebas documentadas que justifican todas las conclusiones. Los evaluadores tienen
la libertad de examinar todas las cuestiones que consideren necesarias aunque no hayan sido
incluidas en los términos del mandato. Durante la evaluación, se deberán efectuar controles
periódicos para eliminar posibles errores en la recopilación, el tratamiento y la presentación de
la información.
Si no es posible recopilar todos los datos estadísticos que se consideran necesarios en relación
con los indicadores de logro o la evaluación del impacto del proyecto, los evaluadores deben
determinar y explicar qué aspectos de los términos del mandato deberían modificarse a fin de
abordar los principales propósitos de la evaluación y así atender las necesidades de los
interlocutores del proyecto.
Las fuentes de información o los resultados deberían ser tratados de manera confidencial
asegurándose de que no se pueda identificar ninguna declaración que figure en el informe con
una determinada persona o institución.
4. Características y responsabilidades
de los evaluadores independientes
Generalmente, los profesionales contratados para llevar a cabo evaluaciones independientes
tienen un amplio conocimiento y una gran experiencia de los principales problemas económicos
y sociales de los países considerados. También deben tener un sólido conocimiento del campo
técnico abarcado por el proyecto que debe ser evaluado.
El proceso de evaluación se facilita si uno de los miembros del equipo de evaluación es un
especialista en materia de evaluación o está al menos familiarizado con los conceptos básicos de
diseño, seguimiento y evaluación de proyectos. Asimismo, si los términos del mandato de la
misión de evaluación consideran en particular algunas de las cuestiones de interés especial para
la OIT mencionadas en el punto 1.2, algún miembro del equipo debería saber integrar estas
cuestiones en el ejercicio de evaluación. Si ninguno de ellos posee esos conocimientos, debería
proporcionarse al equipo de evaluación una amplia información previa antes de que comience
su labor.
Antes de comenzar la misión, los miembros del equipo también deberían familiarizarse con los
valores y las características culturales de los grupos de la población beneficiaria prevista. De
esta forma, estarían mejor equipados para entender y respetar las prácticas, la creencias y las
costumbres locales a lo largo de la labor de evaluación.
Los evaluadores deberían conocer y respetar las normas internacionales del trabajo aplicables al
proyecto y, en particular, las que se refieren a los derechos humanos fundamentales. En caso de
que exista un conflicto entre las tradiciones y las prácticas culturales y los derechos humanos
10
fundamentales, la misión de evaluación debería atenerse a los principios de las normas
internacionales del trabajo respectivas.
La evaluación de un proyecto no suele incluir apreciaciones sobre el desempeño individual del
personal del proyecto. No obstante, los evaluadores pueden observar errores, irregularidades o
transgresiones de los procedimientos establecidos al evaluar la ejecución concreta y las
funciones de la dirección del proyecto, las instituciones de contrapartida, los funcionarios de la
sede encargados del apoyo técnico, el equipo multidisciplinario y las oficinas de la OIT
interesadas. En tales casos, la evaluación debería evitar exponer los casos individuales en el
informe y en cambio recomendar modificaciones en las funciones de gestión específicas o de las
responsabilidades del personal y de los interlocutores del proyecto. Si la misión de evaluación
estima necesario recomendar cambios en el personal, el asunto debería ser considerado
separadamente con las personas interesadas, sus supervisores y los funcionarios superiores de la
OIT responsables de la ejecución del proyecto.
5. Papel de los copartícipes
Antes de nada, los interlocutores del proyecto (beneficiarios, instituciones gubernamentales,
organizaciones de empleadores y de trabajadores, ONG, etc.) se deberán poner de acuerdo sobre
los aspectos del diseño, la ejecución y el desempeño del proyecto que deben ser abordados por
la misión de evaluación.
Durante la evaluación, la dirección del proyecto, los principales interlocutores del proyecto
(agencia de ejecución, agencia de financiación, instituciones de contraparte, etc.) así como toda
otra agencia que coopere con el proyecto, deberán proporcionar apoyo técnico, administrativo y
logístico al equipo.
Los destinatarios directos y beneficiarios previstos son los principales utilizadores de los
resultados del proyecto. Son los mejores jueces del impacto y los efectos del mismo. Pueden
comprobar si fueron ellos u otros los que recibieron los beneficios esperados del proyecto. Su
participación en la evaluación es importante no sólo por esa razón sino además porque aumenta
las probabilidades de que consideren que el informe de evaluación les pertenece en parte, y por
tanto, de que apliquen las recomendaciones que éste contenga.
Como regla general, si el proyecto tiene un componente de apoyo directo, la población
beneficiaria deberá ser consultada. Si se trata principalmente de desarrollo institucional, además
de los destinatarios directos (funcionarios de la institución) también se deberá consultar a los
beneficiarios previstos (usuarios de la institución).
11
12
ANEXO 1
Presentación de la organización de una evaluación independiente *
Fases
Fase
preparatoria
Fase de
evaluación
*
Acción
Persona(s) u organización(es)
responsable(s)
Fuentes de información
· Decisión de evaluar
Agencias de financiación o
ejecución e instituciones
contraparte (interlocutores del
proyecto)
Plan de evaluación incluido en el
documento de proyecto
· Preparación del anteproyecto de los
términos del mandato
Iniciador de la evaluación,
generalmente la unidad de la OIT
interesada o la agencia donante
Documento de proyecto, informes de
avance y de autoevaluación y otra
correspondencia pertinente sobre el
proyecto
· Comentarios sobre el anteproyecto de
TOR por parte de la Unidad de
Evaluación de la OIT
Unidad de evaluación de la OIT
Anteproyecto de TOR
· Selección de los evaluadores
Copartícipes del proyecto
Anteproyecto de TOR
· Aprobación de los TOR
Copartícipes del proyecto
Anteproyecto de TOR
· Organización de la documentación de
referencia y de las consultas y
visitas in situ
Unidad de apoyo de la OIT
Dirección del proyecto
TOR final
· Revisión de la documentación
pertinente y preparación, de ser
necesario, de un plan de trabajo
para la evaluación
Miembros de la misión de
evaluación
Documento de proyecto, archivos,
informes técnicos, exámenes de avance e
informes de evaluación, actas de las
reuniones de la comisión
directiva/consultiva del proyecto, etc.
Se puede obtener la lista de los pasos a seguir para la organización y la realización de una evaluación independiente mediante solicitud a la Unidad de Evaluación (PROG/EVAL), en la sede
de la OIT, Ginebra.
Fases
Fase de
medidas
complementar
ias
Acción
Persona(s) u organización(es)
responsable(s)
Fuentes de información
· Realización de la evaluación
- recopilar datos, informaciones y
opiniones
- analizar datos e informaciones
- resumir los principales resultados
- formular las primeras conclusiones
y recomendaciones
- extraer enseñanzas
- preparar el anteproyecto de informe
- organizar seminarios de evaluación
Miembros de la misión de
evaluación
Consultas y visitas in situ con los
responsables de los recursos, como
corresponde, por ejemplo, la dirección del
proyecto, la contraparte nacional, los
representantes de las agencias receptoras,
los grupos beneficiarios, etc.
· Preparar el informe final
· Distribuir el informe final a los
copartícipes del proyecto para
tomar medidas complementarias
y a la Unidad de Evaluación de
la OIT
Jefe del equipo y miembros de la
misión
Anteproyecto de informe
Informe de evaluación (versión final)
· Discutir el informe de evaluación en
una reunión de examen del
proyecto para adoptar las
medidas de acción
complementarias a tomar
· Resumir y registrar el informe final en
una base de datos computarizada
Dirección del proyecto,
copartícipes del proyecto,
Unidad de apoyo de la OIT
interesada
Informe de evaluación (versión final)
Unidad de Evaluación de la OIT
13
ANEXO 2
Propuesta de esquema para los términos del mandato de una misión de
evaluación independiente
Los términos de referencia (TOR) constituyen la base de una evaluación independiente. Garantizan que
todas las partes involucradas comprenden y comparten los propósitos de la evaluación de un determinado
proyecto, las cuestiones que examinará, y la metodología que será aplicada.
Los términos del mandato son elaborados por la dirección del proyecto, el funcionario de apoyo técnico del
equipo multidisciplinario, de la oficina regional o de la sede de la OIT, o por un consultor. Es importante
que la persona encargada de su preparación posea un amplio conocimiento del proyecto. Los términos del
mandato deberían ser examinados por la Unidad de Evaluación para su aprobación antes de ser sometidos a
los otros interlocutores del proyecto, (por ejemplo, la agencia de financiación, las organizaciones de
contraparte y los grupos de población beneficiaria).
La portada de los términos del mandato debería incluir la siguiente información:
Título del proyecto
Número del proyecto
Agencia(s) de financiación
Agencia(s) de ejecución
Tipo de evaluación (intermedia, final o a posteriori)
Area geográfica
Fecha y duración de la evaluación (probables)
Fecha de preparación
Los títulos de los capítulos de los términos del mandato deberían incluir:
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
14
Antecedentes y justificación
Alcance y propósito
Examen del proyecto
Diseño
Ejecución
Desempeño
Cuestiones de interés especial para la OIT
Resultados, conclusiones y recomendaciones
Enseñanzas extraídas
Composición de la misión
Cronograma e itinerario
Fuentes de información
Consultas
Informe final (preparación y distribución)
Anexos
ANEXO 3
Propuesta de esquema para el informe de evaluación independiente
Al preparar el informe de evaluación independiente, los miembros del equipo consideran principalmente
los propósitos especificados en los términos de referencia (TOR) de la evaluación. Toda cuestión
relacionada con los TOR que haya sido abandonada o agregada durante la misión de evaluación debe
también ser tratada en el informe.
La portada del informe de evaluación debería incluir:
Título del proyecto
Número del proyecto
Agencia(s) de financiación
Agencia(s) de ejecución
Instituciones de contraparte
Tipo de evaluación (intermedia, final o a posteriori)
Area geográfica
Fecha y duración de la evaluación (probables)
Fecha de preparación
Los títulos de los capítulos del informe de evaluación deberían incluir:
1.
2.
3.
4.
5.
Recapitulación de los resultados y recomendaciones
Introducción
Diseño
Contexto socioeconómico y cultural
Verificación del análisis del problema
Objetivo de desarrollo y objetivos inmediatos
Validez general del diseño
Ejecución
Insumos internacionales
Insumos nacionales
Actividades
Productos
Gestión y coordinación
Factores externos
Desempeño
Pertinencia
Eficacia
Sustentabilidad
Eficiencia
Causalidad
Efectos imprevistos
Estrategias alternativas
15
6.
7.
8.
9.
16
Cuestiones de interés especial para la OIT
Normas internacionales del trabajo
La igualdad entre hombres y mujeres
Protección del medio ambiente
Resultados, conclusiones y recomendaciones
Enseñanzas extraídas
Anexos
ANEXO 4
Cuestionario propuesto en relación con los principales propósitos de la
evaluación
I.
Validez del diseño
¿Están adecuadamente enunciados los objetivos? ¿Describen correctamente las soluciones de los
problemas y necesidades identificados?
¿Están los indicadores de logro claramente definidos? ¿Describen los cambios que se desean
obtener?
¿Han sido identificados los factores externos que afectan a la ejecución del proyecto? ¿Son válidos
los supuestos?
¿Es el proyecto de documento lógico y coherente? ¿Vincula los insumos, las actividades y los
productos a cada objetivo inmediato?
¿Están las funciones y los compromisos de los distintos interlocutores claramente definidos?
¿Existe algún motivo para revisarlo?
II.
Proceso de ejecución
¿Se ha orientado la ejecución general del proyecto hacia el logro de los objetivos?
¿Han contribuido los distintos interlocutores a la ejecución del proyecto conforme a lo planeado?
¿Han actuado los distintos interlocutores de manera coordinada?
III.
Desempeño
Pertinencia
¿Existen aún los problemas o necesidades que originaron el proyecto, han cambiado o existen
nuevas prioridades que deberían ser consideradas?
¿Ha sido el proyecto una respuesta apropiada a los problemas o necesidades que se identificaron a
su inicio?
¿Sigue siendo el proyecto apropiado para responder a los problemas o necesidades identificados?
¿Han cambiado las prioridades dadas a los componentes básicos del proyecto, por ejemplo, entre el
desarrollo institucional y el apoyo directo? De ser así, explíquense las razones.
¿Siguen siendo válidos los objetivos o deben ser reformulados?
Eficacia
¿En qué medida ha logrado el proyecto su objetivo inmediato?
¿Han sido recopilados por el proyecto datos relativos a los indicadores de logro? ¿Proporcionan
pruebas adecuadas con respecto a los efectos y al impacto del proyecto? ¿Es necesario recopilar más
datos?
¿Han participado los grupos beneficiarios en la formulación y la ejecución del proyecto?
¿Los beneficios del proyecto han sido realmente de provecho para la población a la que se
destinaban?
17
Eficiencia
¿Los resultados esperados del proyecto siguen justificando los gastos incurridos?
¿Se han gastado los recursos de la forma más económica ?
¿Han sido complementarias las acciones de los distintos interlocutores?
¿Existen maneras más eficientes de obtener más y mejores productos s insumos disponibles?
Sustentabilidad
¿Cuál es la probabilidad de que los beneficios del proyecto perduren después del retiro del apoyo
externo?
¿Existen condiciones que garanticen que los resultados del proyecto tengan efectos duraderos?
Causalidad
¿Qué factores o acontecimientos especiales han influido en los resultados del proyecto?
Esos factores, ¿son internos o externos al proyecto?
Efectos imprevistos
¿Tiene el proyecto algún efecto imprevisto (negativo o positivo) importante?
¿Qué podría hacerse para incrementar o disminuir dichos efectos a fin de aumentar el impacto
general del proyecto?
Estrategias alternativas
¿Existe o podría haber existido una manera más eficaz de abordar los problemas y de satisfacer las
necesidades a fin de lograr los objetivos?
¿Sigue siendo válida la estrategia del proyecto o debería ser reformulada?
IV. Cuestiones de interés especial
Normas internacionales del trabajo
¿Ha cumplido el proyecto con los principios y las disposiciones de las normas pertinentes?
¿Ha fomentado el proyecto la aplicación o la ratificación de las normas pertinentes?
La igualdad entre hombres y mujeres
¿Ha sido realizado un análisis de género de las personas de la población beneficiaria?
¿Ha sido realizada una planificación de las cuestiones relativas al género de las personas para
considerar las diferentes necesidades de los hombres y las mujeres de la población beneficiaria?
¿Se han incrementado equitativamente los beneficios recibidos por los hombres y las mujeres de la
población beneficiaria?
Protección del medio ambiente
18
¿Han sido observados o abordados los efectos (negativos o positivos) relativos al medio ambiente?
¿Ha realizado el proyecto acciones explícitas o implícitas a fin de proteger y conservar el medio
ambiente?
Documentos de referencia
Commission of the European Communities: Gestion du cycle de projet: Approche intégrée et
cadre logique, Série méthodes et instruments pour la gestion du cycle de projet, No 1.
Février 1993.
Commission of the European Communities: Manual for appraising project and programme
dossiers, Bruxelles, 1985.
How to assess evaluations of educational programmes: The programme evaluation standars,
Sage Publications, Inc., 2nd edition, 1994.
Lewin E.: Evaluation manual for SIDA, Swedish International Development Authority,
Stockholm, 1994.
OIT: Diseño, seguimiento y evaluación de programas y proyectos de cooperación técnica;
Manual de capacitación, OIT, Ginebra, 1996.
OIT: Guía para la aplicación del sistema de seguimiento, evaluación y presentación de informes
(MERS) de la OIT, Ginebra, 1996.
OIT: Guía para la preparación de planes de trabajo, informes de avance e informes de
autoevaluación para programas y proyectos de cooperación técnica, OIT, 1994.
OIT: Guía para la preparación de un esquema resumido de proyecto para el financiamiento
multibilateral, Ginebra, 1991 (Rev. 1997).
OIT: Pautas para facilitar la complementariedad entre las actividades normativas y las
actividades de cooperación técnica, Ginebra, 1997 (en preparación).
OIT: Pautas para integrar las cuestiones relacionadas con el género de las personas en el
diseño, seguimiento y evaluación de los programas y proyectos de la OIT, Ginebra, 1995.
OIT: Procedimientos para el diseño y la evaluación de proyectos de la OIT (revisado), Ginebra,
1981.
PNUD: Directrices relativas a la formulación de proyectos y al formato de los documentos de
proyecto, Nueva York, 1988.
PNUD: Manual de programación y de proyectos: Capítulo sobre supervisión, evaluación y
presentación de informes, Nueva York, 1987.
Scriven, M.: Evaluation Thesaurus, Sage Publications, Inc., 1994.
UNDP: Guidelines for evaluators, including project evaluation information sheet, New York,
1993.
UNESCO: Evaluation manual, Paris, 1983.
UNESCO: Guidelines for the evaluation of development co-operation projects, Paris, 1993.
19