docíndice en PDF - Editorial Síntesis
download 
Demanda Transcripción
índice en PDF - Editorial Síntesis
EVALUACIÓN DE PROGRAMAS DE INTERVENCIÓN SOCIAL OTRA FORMA DE MIRAR A LOS NIÑOS EVALUACIÓN DE PROGRAMAS DE INTERVENCIÓN SOCIAL ENRIQUE REBOLLOSO BALTASAR FERNÁNDEZ-RAMÍREZ PILAR CANTÓN EDITORIAL SINTESIS Vallehermoso, 34 28015 MADRID Telf: (91) 593 20 98 Fax: (91) 445 86 96 Consulte nuestra página web: www.sintesis.com En ella encontrará el catálogo completo y comentado © Enrique Rebolloso Baltasar Fernández-Ramírez Pilar Cantón © EDITORIAL SÍNTESIS, S. A. Vallehermoso, 34. 28015 Madrid Teléfono: 91 593 20 98 http://www.sintesis.com ISBN: 978-84-975656-9-1 Depósito legal: M-16.981-2008 Impreso en España. Printed in Spain Reservados todos los derechos. Está prohibido, bajo las sanciones penales y el resarcimiento civil previstos en las leyes, reproducir, registrar o transmitir esta publicación, íntegra o parcialmente, por cualquier sistema de recuperación y por cualquier medio, sea mecánico, electrónico, magnético, electroóptico, por fotocopia o cualquier otro, sin la autorización previa por escrito de los editores y de Editorial Síntesis, S. A. Índice Introducción ........................................................................................................................................................ PARTE I DISEÑO DE POLÍTICAS Y PROGRAMAS DE INTERVENCIÓN SOCIAL Capítulo I. Políticas, programas y evaluaciones............................................................................. 13 15 Conceptos clave......................................................................................................................................... 1.1. Qué es la investigación de evaluación.............................................................................. 1.2. Evaluación e investigación social.......................................................................................... 1.3. Desarrollo histórico de la investigación de evaluación........................................... 1.4. Situación actual de la investigación de evaluación..................................................... 1.5. Características del proceso de evaluación..................................................................... 1.6. Delimitación final del concepto de evaluación............................................................ 16 17 18 21 24 25 29 Capítulo 2. Propósitos y actividades principales del proceso evaluativo ..................... 35 Conceptos clave......................................................................................................................................... 2.1. Razones o motivos principales de las evaluaciones.................................................. 2.2. Propósitos de la evaluación.................................................................................................... 2.2.1. Evaluación para la responsabilidad.................................................................... 2.2.2. Evaluación para el desarrollo............................................................................... 2.2.3. Evaluación para el conocimiento....................................................................... 2.3. Actividades generales de evaluación................................................................................. 2.3.1. Conceptualización y diseño.................................................................................. 2.3.2. Dirección y responsabilidad en la implementación................................. 2.3.3. Valoración de la utilidad del programa .......................................................... 35 37 41 41 42 42 43 43 44 45 6 Evaluación de programas de intervención social 2.4. Diseño de la evaluación ........................................................................................................... 2.4.1. Elementos de decisión............................................................................................. 2.4.2. Diseño según el tipo de intervención social............................................... 2.5. El proceso de intervención social....................................................................................... 46 46 47 49 Capítulo 3. Procedimientos diagnósticos ......................................................................................... 53 Conceptos clave......................................................................................................................................... 3.1. La evaluación de contexto dentro del proceso de intervención social ....... 3.2. Problemas sociales....................................................................................................................... 3.3. Métodos diagnósticos................................................................................................................ 3.3.1. Evaluaciones proactivas........................................................................................... 3.3.2. Análisis de problemas .............................................................................................. 3.3.3. Evaluación de necesidades .................................................................................... 3.3.4. Revisión de investigaciones ................................................................................... 3.3.5. Revisión de las mejores prácticas (benchmarking) ................................... 3.4. Selección de la población objetivo..................................................................................... 3.4.1. Definición ........................................................................................................................ 3.4.2. Conceptos ...................................................................................................................... 3.5. Métodos para identificar la población objetivo del programa ........................... 3.5.1. Entrevistas con informantes clave ..................................................................... 3.5.2. Foro comunitario........................................................................................................ 3.5.3. Índices bajo tratamiento......................................................................................... 3.5.4. Indicadores sociales................................................................................................... 3.5.5. Entrevistas....................................................................................................................... 3.5.6. Técnicas de encuesta ............................................................................................... 3.5.7. Registro de documentos o datos de archivo ............................................. 3.5.8. Censos comunitarios................................................................................................ 54 55 59 62 62 63 64 65 65 66 66 67 69 69 69 70 70 70 71 71 72 Capítulo 4. Evaluación de entrada y planificación del programa........................................ 73 Conceptos clave......................................................................................................................................... 4.1. Programas de intervención social....................................................................................... 4.2. El marco turbulento de las instituciones de servicios ............................................. 4.1.1. Contexto social de los programas.................................................................... 4.1.2. Dificultades para la evaluación ............................................................................ 4.3. Objetivos de los programas................................................................................................... 4.3.1. Misión y objetivos de los programas............................................................... 4.3.2. Definición de los objetivos del programa..................................................... 4.3.3. Elementos del programa ........................................................................................ 4.4. Planificación y ajuste de las evaluaciones........................................................................ 4.5. La evaluación de entrada dentro del proceso de intervención social........... 4.6. Evaluación de la evaluabilidad ............................................................................................... 74 75 78 78 79 81 81 83 84 85 87 90 Índice 7 4.7. Evaluaciones orientadas por la teoría............................................................................... 4.7.1. Elementos de la teoría del programa ............................................................. 4.7.2. El sistema de implementación............................................................................. 92 93 95 PARTE II EVALUACIÓN SISTEMÁTICA DE LOS PROGRAMAS DE INTERVENCIÓN SOCIAL Capítulo 5. Evaluación de proceso y seguimiento del programa....................................... 101 Conceptos clave......................................................................................................................................... 5.1. Seguimiento del programa...................................................................................................... 5.2. Implementación del programa ............................................................................................. 5.2.1. Macroimplementación y microimplementación......................................... 5.2.2. Seguimiento, composición y factores de la implementación.............. 5.2.3. La evaluación formativa de McClintock .......................................................... 5.3. Seguimiento de la participación........................................................................................... 5.4. La evaluación de la implementación dentro del proceso de intervención social................................................................................................................ 5.5. Evaluación para el desarrollo organizacional................................................................ 102 103 107 107 108 109 110 112 116 Capítulo 6. Estrategias para la evaluación de resultados e impactos.............................. 119 Conceptos clave......................................................................................................................................... 6.1. La evaluación de resultados e impactos dentro del proceso de intervención social................................................................................................................ 6.2. La experimentación social....................................................................................................... 6.3. La emisión de juicios de valor............................................................................................... 6.4. Criterios de valor y variables de resultado ................................................................... 120 120 124 126 128 Capítulo 7. Diseños aleatorizados y no aleatorizados para las evaluaciones de resultados e impactos.................................................................................................. 131 Conceptos clave......................................................................................................................................... 7.1. Diseños aleatorizados................................................................................................................ 7.1.1. Elección del diseño.................................................................................................... 7.1.2. Ideas fundamentales.................................................................................................. 7.2. Diseños no aleatorizados ........................................................................................................ 7.3. Diseños cuasiexperimentales ................................................................................................ 7.4. Diseño de grupos unitarios para la evaluación de resultados e impactos ............................................................................................................................. 132 133 134 136 139 140 146 8 Evaluación de programas de intervención social PARTE III EVALUACIONES ECONÓMICAS Capítulo 8. Evaluación de la eficiencia ................................................................................................ 151 Conceptos clave......................................................................................................................................... 8.1. Evaluación de la eficiencia ....................................................................................................... 8.2. Aspectos esenciales en el ciclo de los programas o proyectos sociales ...... 8.2.1. Estado de pre-inversión.......................................................................................... 8.2.2. Estado de inversión ................................................................................................... 8.2.3. Estado de operación................................................................................................. 8.3. Puntos de vista analíticos......................................................................................................... 8.4. Consideraciones diferenciales según los grupos de personas afectadas...... 8.4.1. La perspectiva del participante objetivo ....................................................... 8.4.2. La perspectiva del patrocinador del programa ......................................... 8.4.3. La perspectiva de la sociedad en su conjunto........................................... 8.5. Identificación y estimación del valor de los componentes................................... 8.6. Categorización de costes ........................................................................................................ 8.6.1. Monetarios y no monetarios ............................................................................... 8.6.2. De capital y de operación ..................................................................................... 8.6.3. Recurrentes y no recurrentes ............................................................................. 8.6.4. Manifiestos y escondidos........................................................................................ 8.6.5. Fijos y variables ............................................................................................................ 8.6.6. Añadidos y consumidos.......................................................................................... 8.6.7. Directos e indirectos ................................................................................................ 8.6.8. Medios y marginales.................................................................................................. 8.7. Algunas cuestiones de interés analítico ........................................................................... 8.7.1. Escala del proyecto.................................................................................................... 8.7.2. Unidades del análisis ................................................................................................. 8.7.3. Estimación ajustada de costes ............................................................................. 8.7.4. Estimación de beneficios y costes futuros.................................................... 8.7.5. Destinatarios de costes y beneficios ............................................................... 8.8. Críticas a los análisis de la eficiencia .................................................................................. 8.8.1. Beneficios psicológicos............................................................................................. 8.8.2. Valor de la vida humana ......................................................................................... 8.8.3. Degradación de la vida humana......................................................................... 8.8.4. Requerimiento de asunciones y estimaciones ........................................... 8.8.5. Falta de completitud ................................................................................................. 8.9. Presentación e interpretación de resultados................................................................ 8.9.1. La demanda de información ................................................................................ 8.9.2. El informe de evaluación........................................................................................ 8.10. Papel del evaluador en los análisis de la eficiencia .................................................... 152 153 156 156 158 159 160 162 163 163 164 164 165 166 166 167 167 167 167 168 168 169 169 171 172 173 173 175 175 176 176 177 177 179 179 180 182 Índice 9 Capítulo 9. Análisis coste-beneficio ..................................................................................................... 187 Conceptos clave......................................................................................................................................... 9.1. Antecedentes del análisis coste-beneficio...................................................................... 9.2. Marco analítico de referencia................................................................................................ 9.2.1. Definición del programa......................................................................................... 9.2.2. Formulación de objetivos y su traducción a declaraciones de evaluación ................................................................................................................ 9.2.3. Descripción de la población objetivo ............................................................. 9.2.4. Identificación de alternativas ................................................................................ 9.2.5. Diferenciación del modelo de análisis ............................................................ 9.3. Áreas sustantivas del ACB ...................................................................................................... 9.3.1. Estimación de la magnitud de los impactos................................................. 9.3.2. Valoración económica de los impactos ......................................................... 9.3.3. Agregación de costes y beneficios valorados............................................. 9.3.4. Estimación de costes totales y promedio..................................................... 9.4. Puntos de vista analíticos en el ACB................................................................................. 9.4.1. Un ejemplo de cálculo de coste-beneficio .................................................. 9.4.2. Sensibilidad de los resultados del ACB.......................................................... 9.5. Consideraciones de interés en la estimación............................................................... 9.5.1. Duración del programa........................................................................................... 9.5.2. Compras de capital ................................................................................................... 9.5.3. Funcionamiento en efectivo y funcionamiento de base acumulativa.... 9.5.4. Cambios incurridos en los costes ..................................................................... 9.5.5. Práctica estándar de presupuesto..................................................................... 9.6. Comparación de costes y beneficios................................................................................ 9.6.1. Valor neto actual......................................................................................................... 9.6.2. Tasa interna de retorno .......................................................................................... 9.6.3. Relación coste-beneficio......................................................................................... 9.7. El tiempo en los análisis de la eficiencia .......................................................................... 9.8. Aspectos distributivos y éticos ............................................................................................. 9.9. Ventajas e inconvenientes del ACB ................................................................................... 188 189 191 192 193 193 194 195 197 197 198 206 209 212 215 217 219 219 219 220 221 221 222 223 223 224 225 227 229 Capítulo 10. Análisis coste-efectividad............................................................................................... 235 Conceptos clave......................................................................................................................................... 10.1. Antecedentes del análisis coste-efectividad.................................................................. 10.2. Aplicación del ACE ..................................................................................................................... 10.3. La cuantificación de beneficios en los programas sociales ................................... 10.4. Metodología del ACE exante ................................................................................................ 10.4.1. Primera fase. Definición del problema........................................................... 10.4.2. Segunda fase. Diagnóstico de la situación.................................................... 10.4.3. Tercera fase. Planteamiento de alternativas de solución ..................... 10.4.4. Cuarta fase. Selección de la mejor alternativa .......................................... 236 237 240 243 246 247 248 250 252 10 10.5. 10.6. 10.7. 10.8. 10.9. Evaluación de programas de intervención social 10.4.5. Quinta fase. Elaboración del proyecto definitivo ..................................... 10.4.6. Sexta fase. Incertidumbre y tests de sensibilidad..................................... 10.4.7. Séptima fase. Enmarque de los proyectos y programas en las prioridades sectoriales............................................................................... Metodología del ACE expost................................................................................................. 10.5.1. Primera fase. Identificación precisa de los objetivos del programa ........ 10.5.2. Segunda fase. Traducción de objetivos a indicadores y dimensiones cuantificables ................................................................................................................ 10.5.3. Tercera fase. Descripción de sujetos posiblemente afectados por el programa .......................................................................................................... 10.5.4. Cuarta fase. Establecimiento de las alternativas a evaluar ................ 10.5.5. Quinta fase. Medición de los recursos afectados en valores monetarios ..................................................................................................................... 10.5.6. Sexta fase. Valoración comparativa de las alternativas ......................... La matriz de costes..................................................................................................................... 10.6.1. Costes totales ............................................................................................................. 10.6.2. Servicios anuales prestados (SAP) y oferta total anual (OTA)........ 10.6.3. Coste por unidad de servicio (CUS) y coste por unidad de producto (CUP)................................................................................................... 10.6.4. Expresión final de la matriz................................................................................... Análisis integrado coste-efectividad................................................................................... 10.7.1. Efectividad en el logro de los objetivos (ELO).......................................... 10.7.2. Peso relativo asignado a cada objetivo (W)................................................ 10.7.3. Relaciones coste-efectividad o coste-impacto (CUE)........................... 10.7.4. Diferencias en valores absolutos y en valores relativos........................ 10.7.5. Relaciones coste-efectividad de los sistemas.............................................. Ventajas e inconvenientes del ACE.................................................................................... El análisis coste-utilidad............................................................................................................. 252 253 254 255 256 257 258 259 260 260 261 262 265 266 267 269 269 271 271 272 274 275 278 PARTE IV PROBLEMAS PRÁCTICOS Y CALIDAD DE LAS EVALUACIONES Capítulo 11. El movimiento cualitativo en evaluación.............................................................. 281 Conceptos clave......................................................................................................................................... 11.1. El debate cuantitativo-cualitativo......................................................................................... 11.2. Situación actual del debate..................................................................................................... 11.3. Métodos combinados en evaluación ................................................................................ 11.4. Evaluaciones cualitativas ........................................................................................................... 11.4.1. Evaluación respondente.......................................................................................... 11.4.2. Evaluación centrada en el uso............................................................................. 11.4.3. Evaluación de caso único ....................................................................................... 282 283 285 287 290 291 293 295 Índice 11 11.4.4. Evaluación de cuarta generación....................................................................... 296 11.4.5. Evaluación democrática deliberativa................................................................ 298 11.5. Criterios de calidad de las evaluaciones cualitativas ................................................ 299 Capítulo 12. El uso de los resultados evaluativos ....................................................................... 303 Conceptos clave......................................................................................................................................... 12.1. El concepto de uso ..................................................................................................................... 12.2. Tipología de los usos.................................................................................................................. 12.3. La utilidad como criterio de calidad de las evaluaciones ...................................... 12.4. El problema del uso.................................................................................................................... 12.4.1. Problemas del uso en la fase diagnóstica...................................................... 12.4.2. Problemas del uso en la fase de planificación ............................................ 12.4.3. Problemas del uso en la fase de intervención ........................................... 12.4.4. Problemas del uso en la fase de evaluación de resultados................. 12.4.5. Problemas del uso en la fase de utilización de los resultados .......... 12.4.6. Problemas del ambiente político ....................................................................... 12.5. Teoría de la influencia de las evaluaciones..................................................................... 12.6. Estrategias para aumentar el uso ........................................................................................ 12.6.1. El factor personal........................................................................................................ 12.6.2. Cómo potenciar el uso político de las evaluaciones.............................. 12.6.3. La difusión de resultados........................................................................................ 12.6.4. Los informes de evaluación .................................................................................. 12.6.5. El problema de las recomendaciones............................................................. 12.6.6. Evaluaciones internas de alto impacto ........................................................... 304 305 307 309 311 312 313 313 314 314 316 317 321 321 322 322 324 324 325 Capítulo 13. Factores clave para aumentar el uso...................................................................... 327 Conceptos clave......................................................................................................................................... 13.1. Factores humanos........................................................................................................................ 13.1.1. Características del evaluador ............................................................................... 13.1.2. Características del usuario..................................................................................... 13.2. Factores contextuales................................................................................................................ 13.2.1. Compromisos de evaluación preexistentes................................................ 13.2.2. Hechos organizacionales ........................................................................................ 13.2.3. Características del programa ............................................................................... 13.3. Factores de evaluación.............................................................................................................. 13.3.1. Procedimientos de evaluación ............................................................................ 13.3.2. Diálogo informativo................................................................................................... 13.3.3. Naturaleza de la información evaluativa ....................................................... 13.3.4. Informe de evaluación ............................................................................................. 13.4. Conclusión ....................................................................................................................................... 327 328 329 334 340 340 342 345 346 346 349 350 352 354 12 Evaluación de programas de intervención social Capítulo 14. Concepto, procedimiento y criterios de metaevaluación ........................ 355 Conceptos clave......................................................................................................................................... 14.1. Concepto de metaevaluación............................................................................................... 14.2. Funciones de la metaevaluación .......................................................................................... 14.3. Tipos de metaevaluación......................................................................................................... 14.4. El proceso de metaevaluación.............................................................................................. 14.5. Criterios de metaevaluación.................................................................................................. 14.5.1. Criterios de calidad científica............................................................................... 14.5.2. Normas profesionales.............................................................................................. 14.5.3. Principios éticos de los evaluadores ................................................................ 14.5.4. La lista de control de Scriven .............................................................................. 14.5.5. Criterios para evaluaciones sistemáticas....................................................... 14.5.6. Criterios para evaluaciones democráticas y emancipadoras............. 356 357 358 359 360 363 363 365 366 369 370 371 Capítulo 15. El contexto social de las evaluaciones................................................................... 375 Conceptos clave......................................................................................................................................... 15.1. El ambiente político de las evaluaciones......................................................................... 15.2. Relaciones del evaluador con los demás grupos ....................................................... 15.2.1. Relaciones del evaluador con los equipos gestores ............................... 15.2.2. El miedo a ser evaluado.......................................................................................... 15.3. La posición ética de los evaluadores................................................................................. 15.4. Roles del evaluador..................................................................................................................... 15.5. Evaluaciones de pequeña escala.......................................................................................... 15.6. La profesión de evaluador ...................................................................................................... 376 377 380 381 382 383 388 391 393 Bibliografía ............................................................................................................................................................ 399
