TEMA 1 CONCEPTOS BÁSICOS EN EVALUACIÓN DE PROGRAMAS

TEMA 1
CONCEPTOS BÁSICOS EN EVALUACIÓN DE
PROGRAMAS
Contenidos
1. Definiciones
2. Qué es un programa
3. Componentes básicos de la E.P.
4. Qué intenta responder la E.P.
5. Fases en la historia de la E.P.
6. Modelos teóricos en E.P.
7. Evaluación y ética
8. Aspectos polémicos en la E.P.
9. Evaluación y otros estudios
10. El futuro de la E.P.
1. DEFINICIONES
Riecken, 1972
„ Es la medición de las consecuencias deseables o indeseables de una acción
psicosocial ejecutada para facilitar la obtención de metas perseguidas por el
sujeto
Perloff, Perloff y Sussna, 1976
„ Es la determinación de la medida en que un programa logró uno o más de
sus objetivos, las razones por las cuales no los alcanzó y la relación existente
entre los efectos del programa y una amplia diversidad de variables y
características del programa
Spaniol, 1975
„ Es un proceso sistemático y continuo que proporciona información acerca del
efecto o impacto de un programa, con el objeto de contribuir a adoptar una
decisión política de trascendencia
Ato, Quiñones, Romero y Rabadán (1989)
„ La evaluación de programas es un proceso que consiste en valorar si un
programa consiguió o no en alcanzar los objetivos para cuya consecución fue
ideado
Fernández Ballesteros, 1995
„ Es la sistemática investigación a través de métodos científicos de los efectos,
resultados y objetivos de un programa, con el fin de tomar decisiones sobre
él.
Freeman y Rossi, 1993
„ Es la aplicación sistemática de procedimientos de investigación social para
evaluar la conceptualización, diseño, implementación y utilidad de los
programas de intervención social
Rossi, Freeman y Lipsey, 1999
„ Es el uso de procedimientos de investigación social para investigar
sistemáticamente la efectividad de programas de intervención social
„ Requiere:
– Recolección de datos
– Existencia de criterios de valoración
Perspectiva de Fernández-Ballesteros (1995):
„
Evaluación → forma de investigación científica
„
Debe maximizar la objetivación de resultados
„
Control, manipulación adecuada y medición → garantías de trabajo
riguroso
„
El evaluador se sitúa como experto, frente a otros valoradores de la misma
realidad
2. PROGRAMA
„ Conjunto especificado de acciones humanas y recursos materiales, diseñados
e implantados organizadamente en una determinada realidad social, con el
propósito de resolver algún problema que atañe a un conjunto de personas
Características básicas de un programa
„ Especificación previa
„ Implantación coordinada
Objetivos del programa
„ De forma general, mejorar alguna de las condiciones humanas
„ Objetivo de la evaluación: mejorar el programa
3. COMPONENTES BASICOS DE LA EVALUACION DEL PROGRAMA
„ Programa
→ supone un tratamiento: Conjunto de manipulaciones que han sido
programadas
para
ser
implantadas
en
una
determinada
realidad
socioambiental.
→ se aplica a una serie de unidades: Conjuntos de sujetos a los que se ha
implantado una determinada intervención.
→ pasa por la observación de operaciones en las unidades en las que se ha
aplicado el programa: expresión de objetivos a cubrir con el programa o bien
efectos que el tratamiento ha producido en las unidades
→
la evaluación se realiza sobre unos tratamientos, aplicados a unas unidades
en un contexto o situación específicos.
4. QUÉ INTENTA RESPONDER LA EVALUACIÓN DE PROGRAMAS
Respuestas externas en evaluación
•
Certificación de calidad / acreditación externa al programa
•
Fundamentar decisiones de distribución de recursos
•
Mejorar decisiones de futuros programas
•
Promover el conocimiento sobre qué y cómo se ha hecho
•
Proporcionar información pública sobre los logros conseguidos
Respuesta a necesidades internas del programa
•
Comprobar la utilidad del programa
•
Servir de base para el mejoramiento continuo
•
Promover procesos de aprendizaje colectivo e individual sobre lo que se hace
y cómo se hace
•
Comprender los límites y aciertos de un programa
5. FASES EN LA HISTORIA DE LA E.P (Cook, 1988)
„
„
1965-1975 Scriven y Campbell
–
Periodo asociado a teorías altamente objetivistas
–
Base: método científico
1975-1982 La crítica
–
Descripción válida y comprensiva de cómo operan los programas
sociales
–
Más uso de métodos cualitativos que cuantitativos.
–
Evaluación → Búsqueda de efectos más que la comprobación de
hipótesis apriorísticas.
–
„
Autores: Weiss, Stake y Guba
Intentos de síntesis posteriores a 1980 (Cronbach)
–
Teorías de evaluación prácticas
–
Menos limitadas tanto en métodos, selección de cuestiones y rol del
evaluador
6. MODELOS TEÓRICOS EN LA E.P
Chacón, López y Pérez, 1992.
Evaluación centrada hacia los objetivos (Tyler, 1942)
„ Valora la coincidencia entre los objetivos del programa y los resultados
reales.
„ La evaluación se considera un proceso recurrente: se reordenan los objetivos
en función de los resultados.
„ No se explicita un diseño concreto.
Evaluación responsiva (Stake, 1975)
„ Se amplía la perspectiva anterior, incluyendo el examen de antecedentes,
procesos, normas y juicios, además de resultados.
„ Presenta un método pluralista, flexible, holístico, subjetivo y orientado al
servicio.
Planificación evaluativa (Cronbach, 1982)
„ Propone una evaluación asentada en una planificación previsora y flexible de
las actividades evaluativas.
„ Presenta el modelo de los UTOS.
Evaluación orientada a la toma de decisiones (Stufflebeam, 1985)
„ La evaluación es un proceso que proporciona información útil para la toma
de decisiones.
„ Estructura básica → CIPP: Contexto, Entrada, Proceso, Producto.
„ Metodología tanto cuantitativa como cualitativa
Método científico de evaluación (Campbell y Stanley, 1966; Cook y
Campbell, 1979)
„ Plantea que no hay diferencias metodológicas entre evaluación y método
científico.
„ Utilización del método quasi-experimental.
Modelo evaluativo orientado hacia el consumidor libre de metas
(Scriven, 1974)
„ El evaluador es un sustituto informado del consumidor.
„ El evaluador investiga todos los efectos del programa independientemente de
sus objetivos.
„ Diseños experimentales, pre-experimentales, análisis de costes y método
libre de metas.
EVALUACIÓN BASADA EN LA TEORÍA
„ Las creencias y supuestos que subyacen a un programa pueden expresarse
en términos de una secuencia de causas y efectos, delimitada en fases
(Weiss, 1997)
„ Dificultades para explicar la teoría subyacente
„
Percepción de teoría como algo abstracto y poco claro.
→ No obstante → teoría = conjunto de creencias y supuestos que rodean
las actividades de un programa.
„
La teoría que se explicita puede no ser la única que subyace al programa.
→ Los efectos pueden producirse por caminos distintos a los predichos en
la teoría.
Cambio que se produce
Evaluación
Cómo se produce el cambio
„
„
„
Confusión en los componentes de la teoría
Teoría
de
implementación:
Retroalimentación de cómo está
funcionando el programa
Teoría del
cambio
Teoría
del
programa:
Comprensión de cómo se logran
los efectos del programa
Fuentes básicas de información
„ Dificultad para identificar o construir teorías de los programas.
„
Primer paso
Documentos
Poca
Información
de
los
participantes
Dificultad de articular
teorías
Teoría de las Ciencias Sociales
Investigación previa
Observación de programas en
acción
Razonamiento lógico
Evaluación basada en la teoría:
→ Recoge datos en proceso y resultados, analizando las relaciones entre
ellos.
→ Busca especificar los mecanismos que logran el cambio, no las
actividades asociadas al cambio.
„
Impone grandes exigencias en datos y recursos
→ El evaluador debe recoger datos de todos los pasos que le sea posible
→ Se necesitan fuentes adecuadas.
→ Consume tiempo y es caro, pero produce buenos resultados para la
evaluación.
„
Los resultados no pueden generalizarse.
→ Como en otros modelos de evaluación, ésta no puede aplicarse
mecánicamente a otros lugares.
→ Sin embargo, aporta información sobre pequeñas conexiones, que
pueden ser útiles para otros sitios.
→ Los decisores pueden analizar los hallazgos obtenidos y sus
explicaciones, tratando de averiguar los patrones que emergerán en el
futuro.
„
Necesidad de comparación
→Las intervenciones a nivel comunitario hacen difícil las asignaciones
aleatorias.
→ Evaluación basada en la teoría
→ permite apoyar la existencia de
relaciones causales.
→ No obstante → necesidad de estudios experimentales para garantizar la
causalidad.
„
Excesivo racionalismo
→ La labor evaluativa va dirigida a metas preestablecidas.
→ Tales objetivos a menudo cambian en el transcurso de la evaluación.
„
La evaluación no permite comprobar teorías.
„ Medida del error.
→ Problema general en ciencias sociales.
→ Se incrementa aquí: muchos constructos a medir.
„ Exigencias del análisis de datos
→ Análisis que permitan enlazar las teorías postuladas (análisis de vías,
LISREL, análisis de supervivencia).
→ Análisis cualitativos y cuantitativos (emparejamiento de patrones
JUSTIFICACION DEL USO DE E. B. T.
Tipo de pregunta
planteada
Diseño de la evaluación
En programas que se esperan resultados
positivos, negativos o inconsistentes
Recursos en costes y
tiempo
Cómo y por qué
a) Pocas intervenciones
b) Cambios a largo plazo
c) De complejidad
moderada
Descubrimiento de los
mecanismos
operativos
Diseñadores del
programa
VENTAJAS PARA LAS DISTINTAS AUDIENCIAS
Técnicos
Decisiones
más
acertadas
Confrontan sus teorías de
cómo funciona el
programa
Destaca los aspectos más relevantes
Evaluadores
Da información de logros parciales
Da sufiente información final para
permitir recomendaciones
Directivos
Directivos y
promotores de
otros programas
Políticos y
público
Permite determinar qué aspecto fracasa y
dónde
Ayuda a comprender qué, cómo y
por qué funciona un programa
Facilita explicaciones
más comprensibles a
estas audiencias
7. EVALUACIÓN Y ÉTICA
„ Necesario ofrecer guías sobre diversos aspectos: derechos de publicación, a
quien dar la información, etc.
„ Dos guías en USA:
– JOint Committee on Standars for Educational Evaluation publicó en 1994
los estándares para E.P.
– American Evaluation Association
Guiding principles for evaluators
„ Estándares de calidad
„ Competencia
„ Respeto a los participantes
„ Responsabilidades para el bienestar general: articular la diversidad de
intereses y valores
8. ASPECTOS POLÉMICOS EN LA E.P.
Cualitativo - cuantitativo
„ Primer enfoque: cuantitativo
„ Las dificultades inherentes de la investigación aplicada cuestionan la utilidad
de los métodos cuantitativos
„ Metodología cualitativa: una forma más comprensiva de apresar la realidad
„ Alternativa: multiplismo :
„
Utilizar múltiples enfoques teóricos
„
Probar múltiples modelos causales multivariados
„
Plantear múltiples hipótesis rivales
„
Establecer múltiples definiciones operacionales de las múltiples variables
implicadas
„
Plantear cuestiones valorativas procedentes de las múltiples audiencias
implicadas
„
Establecer objetivos múltiples que permitan múltiples análisis de
resultados
„
Utilizar múltiples métodos de evaluación
„
Realizar múltiples análisis de datos y contrastes de hipótesis.
Ciencia frente a política
„ La evaluación de programas pretende maximizar el cientifismo de la
evaluación
„ La Ciencia es un producto social
„ Mientras lo político interviene más en las primeras fases del ciclo evaluativo,
los aspectos científicos ganan prioridad en el diseño, planificación,
implantación y valoración de los programas.
Lo político
„ En ocasiones, los resultados de una evaluación tienen poco peso en las
decisiones en torno al programa
„ El político tiene un tiempo distinto al investigador, por lo que puede presionar
a este a entregar resultados antes de tiempo
„ La evaluación tiene un objetivo práctico y político en su propia naturaleza
„ Si el problema es polémico, requerirá rigor
Mudabilidad de los programas sociales
„ Los recursos, prioridades y la influencia de los financiadores de los
programas sociales tiende a ser dinámica
„ Pueden producirse cambios, a veces drásticos, en el curso del desarrollo del
programa
„ El evaluador debe estar preparado para asumir tales cambios
9. Diferencias entre evaluación y otras actividades
•
Auditoria:
– Cumplimiento de normas, regulaciones o estándares financieros
– Contabilidad de recursos
– Auditoria de gestión. Eficiencia
Imprescindible la independencia para asegurar la imparcialidad
•
Investigación
– Desarrollar conocimiento
– Generalización de resultados
– Realizado por y para la comunidad científica (principalmente)
•
Medición de realizaciones
– Procesos descriptivos
– Estudios de validez y fiabilidad en el proceso de obtención de información
•
Análisis de políticas (Policy analysis)
– Formulación de políticas
– Análisis de viabilidad financiera
– Análisis de coste-beneficio
•
Plan estratégico
– Estudio de las tendencias de evolución posibles de la Institución o la zona
geo-política para trazar:
– Objetivos a corto, medio y largo plazo
– Estudio de DAFO: Debilidades, amenazas, fortalezas y oportunidades
– Concretar las metas a conseguir, estableciendo objetivos estratégicos
–Sistematizar el conjunto de evidencias y parámetros de medición que
permitirán verificar los resultados de la evolución
–Definir las reglas de adaptación que nos permitirán cambiar de estrategia a lo
largo de todo el proceso.
•
Evaluación
– Proceso sistemático de obtención de información objetiva y útil
– Objetivo: apoyar el juicio de valor sobre un programa o intervención
– Finalidad:
•
Comprensión de los resultados obtenidos
• Toma de decisiones sobre futuras actuaciones
Comparación entre evaluación y otras investigaciones
La evaluación de programas debe cubrir
„ Estándares idóneos de calidad de investigación científica
„ Estar totalmente dedicado a las necesidades de información requerida por los
decisores del programa
„ En ocasiones, tales objetivos se vuelven contradictorios
Diferencias
„ Toma de decisiones: la investigación se centra en la búsqueda de
conocimiento, la E.P. en la aplicación
„ La evaluación tiene en cuenta la opinión del decisor.
„ La evaluación compara lo que es con lo que debería ser
„ La evaluación se produce en un marco de acción, donde lo más importante
que está ocurriendo es el programa.
„ Es frecuente que se produzcan conflictos entre roles.
„ Muchos informes evaluativos quedan sin publicar.
Semejanzas
„
La evaluación trata de comprender la relación entre variables y de
establecer una relación causal.
„
Los métodos evaluativos representan un compromiso entre lo ideal y lo
factible
„
El evaluador tiene que tener un amplio conocimiento de metodología de
investigación, y aplicarlo en el mundo real.
10. FUTURO DE LA E.P. (Chelimsky y Shadish, 1997)
„
Idiosincrasia en cada país
– Los evaluadores en cada país del globo utilizan sus propias
infraestructuras para apoyar sus esfuerzos,
„
Global,
– Los esfuerzos realizados trascienden y se difunden por el planeta.
„
Transnacional,
– Los problemas y los programas que han de evaluarse trascienden las
fronteras de una nación, de un continente y de un hemisferio