Efectividad en Promoción de la Salud y
Transcripción
Efectividad en Promoción de la Salud y
Efectividad en Promoción de la Salud y Salud Pública Reflexiones sobre la práctica en América Latina y propuestas de cambio CEDETES Centro para el Desarrollo y Evaluación de Políticas y Tecnología en Salud Pública Escuela de Salud Pública - Facultad de Salud CEDETES Centro para el Desarrollo y Evaluación de Políticas y Tecnología en Salud Pública Escuela de Salud Pública - Facultad de Salud Centro Colaborador de la OMS/OPS en Evaluación, Capacitación y Abogacía en Promoción de la Salud Ligia de Salazar Efectividad en Promoción de la Salud y Salud Pública Reflexiones sobre la práctica en América Latina y propuestas de cambio CEDETES Centro para el Desarrollo y Evaluación de Políticas y Tecnología en Salud Pública Esta publicación financiada conderecursos de los Centers for Disease Control Escuelaha de sido Salud Pública - Facultad Salud and Prevention, CDC, de los Estados Unidos, a través del Acuerdo de Cooperación CDC-CEDETES-Universidad del Valle 5 U13 DP000618-03/ 3 U13 DP000618-03W1 CEDETES Centro para el Desarrollo y Evaluación de Políticas y Tecnología en Salud Pública Escuela de Salud Pública - Facultad de Salud Centro Colaborador de la OMS/OPS en Evaluación, Capacitación y Abogacía en Promoción de la Salud Universidad del Valle - Programa Editorial Efectividad en Promoción de la Salud y Salud Pública. Reflexiones sobre la práctica en América Latina y propuestas de cambio Autora: Ligia de Salazar, Ph.D ISBN 978-958-670-763-3 Cali, Colombia, noviembre de 2009 Esta publicación corresponde a un producto de conocimiento del CEDETES-Universidad del Valle, en el marco de la línea de investigación y del grupo de “Evaluación en Salud Pública y Promoción de la Salud”. Recopila aprendizajes y desarrollos del CEDETES, por más de diez años, en evaluación de efectividad en salud pública y promoción de la salud, así como las experiencias y lecciones aprendidas de un amplio proceso de construcción de capacidad en evaluación y evidencias, a nivel latinoamericano, apoyado también por diversas organizaciones internacionales, especialmente por los Centers for Disease Control and Prevention, CDC, de los Estados Unidos; la Organización Panamericana de la Salud, OPS; y la Unión Internacional de Promoción y Educación para la Salud, UIPES. CEDETES. Escuela de Salud Pública, Facultad de Salud, Universidad del Valle. [email protected] [email protected] www.cedetes.org Rector de la Universidad del Valle: Iván Enrique Ramos Calderón Director Programa Editorial: Víctor Hugo Dueñas Rivera Revisión de estilo: Jenny Andrea Vélez Vidal Diseño carátula y diagramación: Departamento de Arte y Diseño Impresora Feriva S.A. Imagen carátula: Guarda aborigen argentina. Cortesía de Portón Artesano www.portonartesano.com.ar Fotografías: Cortesía archivos proyectos latinoamericanos de salud pública y promoción de la salud Impresión: Feriva S.A. @ Universidad del Valle @ Ligia de Salazar Este libro o parte de él no puede ser reproducido por ningún medio sin autorización escrita de la Universidad del Valle. Ligia de Salazar La autora Ligia de Salazar, Ph.D Doctorada en Evaluación de McGill University, Canadá. Master in Public Health University of Liverpool, Inglaterra. Magíster en Administración de Salud y Enfermería, de la Universidad del Valle, en Colombia. Creadora y directora del Centro para el Desarrollo y Evaluación de Políticas y Tecnología en Salud Pública, CEDETES, y profesora titular de la Escuela de Salud Pública, de la Facultad de Salud de la Universidad del Valle, en Cali, Colombia. Es la directora del Programa Latinoamericano de Evaluación en Promoción de la Salud, apoyado por los Centers for Disease Control and Prevention, CDC, de Estados Unidos, en el marco de un acuerdo de cooperación entre CDC y CEDETES. Así mismo coordinó y fue la líder regional para América Latina del Proyecto Regional de Evidencias de Efectividad en Promoción de la Salud, promovido por la International Union for Health Promotion and Education, IUHPE. Ha sido la única latinoamericana designada por la Organización Mundial de la Salud, OMS, como miembro de un panel mundial de expertos en promoción de la salud (2009-2013); es miembro del grupo científico de evaluación y producción de evidencias en promoción de la salud, que impulsa el National Center for Chronic Disease Prevention and Health Promotion de los CDC, y hasta el 2007, miembro del Comité Asesor de Investigaciones en Salud, de la Organización Panamericana de la Salud, OPS. 5 Efectividad en Promoción de la Salud y Salud Pública Es reconocida internacionalmente por su trabajo en evaluación, conferencista internacional y miembro de comités científicos de las conferencias mundiales en torno a temas como la evaluación de efectividad de políticas y programas en salud pública y promoción de la salud y la vigilancia de factores de riesgo de comportamiento. Consultora de varias organizaciones internacionales, ministerios de Salud y organizaciones no gubernamentales de diferentes países del mundo. Ha escrito libros y artículos sobre evaluación y vigilancia en salud pública y promoción de la salud. En 2009 fue premiada como profesora distinguida de la Universidad del Valle. Actualmente es investigadora principal en un proyecto multicéntrico latinoamericano, orientado al desarrollo de un modelo de evaluación de efectividad de intervenciones en salud pública, usando los resultados de sistemas de vigilancia en salud pública. Así mismo, coordina la adaptación e implementación latinoamericana del curso de Salud Pública Basada en Evidencias, promovido por la Escuela CARMEN, de OPS; así como diferentes proyectos para la documentación, sistematización y evaluación de intervenciones sobre enfermedades crónicas, entre otros. 6 Ligia de Salazar Contribuciones especiales Jorge Alberto Saravia Valverde Autor “Marco lógico en intervenciones en Promoción de la Salud y Salud Pública”. Ph.D. en estudios sobre el Desarrollo, University of Wisconsin; MSc. Sociología Rural, University of Wisconsin. Diploma en Economía, Economics Institute, University of Colorado. MPH Planificación en Salud, Johns Hopkins University. B.Sc. Ingeniería Sanitaria, Universidad del Valle. Cursos cortos sobre Diseño de Experimentos, Muestreo de Poblaciones, Planificación Regional y Preparación y Evaluación de Proyectos. Experto en planificación estratégica, diseño, administración y finanzas de proyectos de investigación y desarrollo. Ha sido jefe de la Oficina de Proyectos y jefe de la Unidad de Apoyo a la Ciencia y el Desarrollo del Centro Internacional de Agricultura Tropical, CIAT, en Colombia, durante dieciséis años. También se ha desempeñado como Junior Research Fellow, The Rockefeller Foundation; Consultor para el Banco Mundial en misiones de factibilidad y seguimiento en proyectos de desarrollo en Ecuador, República Dominicana, Perú, y Bolivia. Conferencista y profesor universitario desde 1972. Facilitador de talleres para investigadores, docentes universitarios, administradores de proyectos en formulación de proyectos sociales y gerencia de proyectos. 7 Efectividad en Promoción de la Salud y Salud Pública Jenny Andrea Vélez Vidal Autora de “La comunicación, puente entre la evaluación, la política y la práctica”. Comunicadora Social, Magíster en Salud Pública de la Universidad del Valle. Diploma de posgrado en Psicología del Consumidor. Gerente de Proyectos del Centro para el Desarrollo y Evaluación de Políticas y Tecnología en Salud Pública, cedetes. Presidente de la Fundación para el Desarrollo de la Salud Pública Colombiana, fundesalud. Coordinadora Operativa Programa Latinoamericano de Evaluación de Efectividad en Promoción de la Salud CDC-cedetes. Asistente para América Latina del Proyecto Regional de Efectividad en Promoción de la Salud, de la UIPES. Desde el 2003, docente invitada de la Maestría de Salud Pública de la Universidad del Valle del curso de Comunicación y Salud Pública. Docente de comunicación en organizaciones del tercer sector, en la Pontifícia Universidad Javeriana, Cali. Responsable del desarrollo del componente de comunicación y uso de los resultados de la investigación en los proyectos del cedetes. Ha sido desempeñado como asesora y consultora en el diseño de estrategias nacionales de comunicación pública de la ciencia, así como en diversos proyectos de salud pública, especialmente en los campos de mercadeo social en salud y media advocacy para la promoción de la salud. 8 Ligia de Salazar Revisores Ricardo Granero Médico, Magíster en Epidemiología y Postdoctoral Fellow en Epidemiología y Prevención. Co-fundador y presidente de la Red Americana de Vigilancia de Enfermedades Crónicas, AMNET. Miembro de la Unidad de Investigación Clínica y Epidemiológica de la Asociación Cardiovascular Centroccidental, Ascardio, en Venezuela. Coordinador de la encuesta mundial sobre tabaquismo en jóvenes, EMTAJOVEN para Venezuela. Francisco Yepes Dr. PH y MSc. de Harvard University. Magíster en Salud Pública y Médico de la Universidad de Antioquia. Director Ejecutivo de la Asociación Colombiana de la Salud, ASSALUD y profesor de la Universidad Javeriana en Bogotá. Fue Secretario General del Ministerio de Salud, Vicepresidente del Instituto de Seguros Sociales y ha dirigido extensos proyectos de investigación en Colombia, entre ellos la evaluación de los programas de salud pública del Ministerio de la Protección Social (2004). 9 Efectividad en Promoción de la Salud y Salud Pública Mario Mosquera Doctorado (Ph.D) en Salud Pública y Políticas de Salud de la Escuela de Higiene y Medicina Tropical de la Universidad de Londres, Reino Unido. Magíster en Educación para la Atención Primaria de Salud, de la Universidad de Manchester, Inglaterra. Comunicador Social y periodista de la Universidad del Valle en Colombia. Es profesor asociado adscrito al Departamento de Comunicación Social de la Universidad del Norte en Barranquilla, Colombia. Tiene más de veinte años de experiencia en investigación, ejecución y evaluación de programas e intervenciones en salud pública, con particular énfasis en educación y comunicación en salud en varios países latinoamericanos y recientemente en Asia. 10 Ligia de Salazar Contenido Agradecimientos y reconocimientos 13 Prólogo 15 Introducción 19 Capítulo I. Conceptos, posiciones y controversias en evalua- 27 ción en promoción de la salud y salud pública Capítulo II. La formulación de preguntas y el alcance de la 87 evaluación Capítulo III. Propuestas y desafíos alrededor de los enfoques metodológicos de evaluación Capítulo IV. Reflexiones sobre la práctica de la evaluación y propuestas para el fortalecimiento de la promoción 115 171 de la salud y la salud pública Capítulo V. Contribuciones especiales • El marco lógico en intervenciones en promo- 241 245 ción de la salud y salud pública • La comunicación, puente entre la evaluación, la política y la práctica 11 282 Efectividad en Promoción de la Salud y Salud Pública Anexos Anexo 1. Ejemplos de casos latinoamericanos de evaluación 321 en promoción de la salud y salud pública Anexo 2. Programa Latinoamericano de Evaluación y Evidencias de Efectividad en Promoción de la Salud y Salud Pública, 2004-2009 12 351 Ligia de Salazar Agradecimientos y reconocimientos El CEDETES y la autora agradecen y reconocen la valiosa participación y colaboración de diferentes organizaciones y personas de toda América Latina y de otras regiones, que contribuyeron al desarrollo de esta publicación y de las experiencias, intervenciones y casos que sirvieron como insumos para los análisis de la práctica de la salud pública y la promoción de la salud, presentados en este documento. A los y las participantes de los diferentes cursos y seminarios-taller de evaluación y evidencias llevados a cabo en diversos lugares del continente, quienes con gran apertura, responsabilidad y actitud de aprendizaje aportaron sus experiencias e intervenciones y contribuyeron al análisis de las fortalezas y limitantes de la práctica de la promoción de la salud y la salud pública en América Latina. A los y las participantes de la red latinoamericana de evidencias de efectividad, quienes contribuyeron en las consultas y foros realizados, así como en el aporte de documentos de reflexión, en el marco del Proyecto Regional de Evidencias de Efectividad en Promoción de la Salud, liderado por la Unión Internacional de Promoción y Educación para la Salud, UIPES. A los y las participantes de la prueba del Curso Virtual Latinoamericano de Evaluación de Efectividad en Promoción de la Salud (Argentina, Guatemala y Colombia) así como a quienes contribuyeron en la elaboración de los casos de evaluación ilustrativos para este curso (Argentina, Chile, Brasil, Perú, Uruguay y Colombia), ya que con su evaluación 13 Efectividad en Promoción de la Salud y Salud Pública brindaron importantes aportes para el mejoramiento de los contenidos que sirvieron como versiones preliminares de esta publicación. A los Centers for Disease Control and Prevention, CDC, y especialmente a David McQueen, Mary Hall y Ángel Roca por el apoyo para el desarrollo del Programa Latinoamericano de Evaluación en Promoción de la Salud, del cual se destinaron los recursos para esta publicación. A la Organización Panamericana de la Salud, OPS, especialmente a las asesoras regionales Branka Legetic, por su respaldo y confianza para poner en manos del CEDETES y de FUNDESALUD el desarrollo latinoamericano del curso de Salud Pública Basada en Evidencias; y a Marilyn Rice por su permanente apoyo y búsqueda de alternativas para promover la aplicación y uso de los desarrollos regionales en evaluación, y por su constante respaldo al CEDETES, en esta línea. A la Unión Internacional de Promoción y Educación para la Salud, UIPES, especialmente a sus funcionarias Marie-Claude Lamarre y Catherine Jones, por el apoyo al programa de construcción de capacidad en evaluación para América Latina y al Proyecto Regional de Evidencias de Efectividad, así como por su permanente atención e interés en diseminar y promover los desarrollos latinoamericanos en la materia. A los profesores Ricardo Granero, de Venezuela, y Francisco Yepes y Mario Mosquera de Colombia, por sus valiosos aportes y contribuciones como revisores académicos de esta publicación. A las diferentes instancias que promueven la investigación y la difusión de la misma en la Universidad del Valle, especialmente al Programa Editorial, la Vicerrectoría de Investigaciones y la Vicedecanatura de Investigaciones de la Facultad de Salud. A todos los profesionales vinculados al CEDETES que han participado activamente en el desarrollo y consolidación de la línea de evaluación, así como en las diferentes ofertas de formación y quienes han brindado sus aportes para la producción de este libro. A todos y cada uno de ellos especiales agradecimientos y reconocimientos. 14 Ligia de Salazar Prólogo Sin duda, la promoción de la salud es hoy en día una actividad global; sin embargo, hay grandes esfuerzos locales y regionales en la práctica cotidiana, que deben reconocerse y ser analizados. “Efectividad en Promoción de la Salud y Salud Pública: reflexiones sobre la práctica en América Latina y propuestas de cambio” de la doctora Ligia de Salazar, es justamente un reflejo de esta universalidad de la promoción de salud, al tiempo que rescata específicamente la experiencia de América Latina. Este libro refleja claramente las diversas tendencias y enfoques actuales de la promoción de salud, al tiempo que da un fuerte énfasis a la evaluación de efectividad en este campo y responde a algunas preocupaciones básicas de la misma, en el contexto latinoamericano, al resaltar la existencia de valiosas iniciativas e investigaciones que orientan la búsqueda de evidencias de efectividad en la región. Lo anterior es particularmente importante, pues se debe reconocer que la profundidad y en general, el ámbito de la evaluación en América Latina no es apreciado en muchas partes del mundo. Por tanto, es de resaltar que esta publicación es un aporte fundamental que contribuirá a reconocer y distinguir las perspectivas de evaluación y de la práctica de la promoción de la salud y la salud pública en América Latina, de las que se presentan en la literatura europea o de América del Norte. Un elemento crucial en esta 15 Efectividad en Promoción de la Salud y Salud Pública publicación es la ilustración de la práctica de la evaluación con ejemplos o casos reales de la práctica cotidiana de los países. Al adentrarnos en sus contenidos, se reitera que este libro refleja diversos temas críticos para el campo de la evaluación de la promoción de salud hoy en día. Al empezar, hay una fructífera discusión en torno a los conceptos, las posturas y las controversias de la evaluación de la promoción de salud y la salud pública. A pesar de muchos años intentando tener claridad conceptual en la promoción de salud, hay que reconocer que las ideas fundamentales del campo no son totalmente claras y no necesariamente están ancladas en una teoría sistémica de la promoción de salud. Naturalmente, eso no es culpa de quienes están en América Latina cumpliendo con la evaluación y la investigación en promoción de la salud. Lo que intento explicar es que debemos reconocer que falta una definición que, globalmente, contribuya a dar claridad sobre el alcance y las características intrínsecas de este campo. En parte, puede decirse que lo anterior se debe a la falta de teoría sólida en la salud pública en general, pero hay especificidades que aplican a la promoción de salud y, especialmente, en relación con su origen en las ciencias sociales y en la educación en salud. Mientras el campo de la promoción de salud se desarrollaba, se amplió para incluir no solamente el concepto de estilos de vida, sino también la noción de que los estilos de vida están envueltos en un contexto complejo de determinantes estructurales que los definen. Una perspectiva tan amplia conllevó necesariamente a amplias controversias sobre el carácter de la promoción de salud y, por tanto, ha influenciado y afectado las nociones de lo que debe ser evaluado. Aspectos claves de esta controversia son retomados en esta publicación. Las controversias conceptuales llevan fácilmente a poner el foco en las metodologías y en lo que caracteriza una evaluación “de 16 Ligia de Salazar verdad.” Se ha aclarado que los enfoques metodológicos que tienen origen en el llamado “modelo científico duro”, algunas veces son totalmente inadecuados para la evaluación de intervenciones en promoción de salud y salud publica. En ese sentido, hemos sido testigo de la desaparición del ensayo clínico controlado y aleatorizado, como el “patrón de oro” para la evaluación en promoción de salud. Éste se ha sustituido con diversos enfoques alternativos y más importante aún, con la noción de que la evaluación tiene que ser contextual y participativa. Muchos practicantes de la promoción de la salud que están trabajando en América Latina han hecho grandes esfuerzos para fortalecer el concepto de la evaluación contextual y dan ejemplos significativos al resto del mundo, algunos de los cuales se mencionan en este libro. Sin duda la evaluación de la promoción de salud está siendo enriquecida por la experiencia latinoamericana y, por tanto, es esencial que sus resultados y éxitos sean publicados y puestos a disposición de una audiencia tan amplia como sea posible. No hay duda de que mucha de la práctica de la evaluación de la promoción de salud en América Latina ha sufrido a causa de falta de capacidad y de infraestructura para realizar investigación relevante. Hay necesidad de construir una cultura de evaluación de la promoción de salud y eso es verdad particularmente en América Latina. Sin embargo, esa cultura exige una infraestructura para cumplir este trabajo. América Latina es un ejemplo de cuánta capacidad necesita ser agregada si queremos tener fortaleza y solidez para cumplir con evaluaciones de calidad y demostrar la efectividad o falta de efectividad de las intervenciones en promoción de salud. Este libro ilustra bien que lo anterior puede ser logrado, aun con limitados recursos y capacidad, pero también ilustra el potencial que se requiere fortalecer para que este propósito pueda ser cumplido con recursos –humanos y de capital– realmente adecuados. 17 Efectividad en Promoción de la Salud y Salud Pública Este libro es enormemente bienvenido como una contribución para ampliar el alcance de la investigación y las fuerzas analíticas de la práctica de la región latinoamericana. Ojalá que a esta publicación le siga un desarrollo y una adopción importante y duradera de los conceptos y principios que fundamentan la promoción de salud en la región, así como el surgimiento de nuevos procesos de fortalecimiento de capacidad en evaluación. A largo plazo, es mi convicción que esta publicación aportará significativamente a la agregación de esfuerzos en torno a la promoción de la salud a nivel global, así como a la evaluación y ampliación de los resultados de efectividad de las intervenciones en promoción de salud. Finalmente, deseo expresar mis felicitaciones a la autora y a todos los colaboradores de esta publicación por su diligencia y esfuerzos para producir un libro respetable que sin duda, contribuye al avance de la teoría y la práctica de la evaluación en promoción de la salud en la región y relevará el impacto latinoamericano en este campo, en un ámbito global. David McQueen Director Programa de Salud Global National Center for Chronic Disease Prevention and Health Promotion Centers for Disease Control and Prevention, CDC 18 Ligia de Salazar Introducción La evaluación en promoción de la salud y salud pública ha ocupado la atención de muchos teóricos, funcionarios, académicos y algunos políticos en todo el mundo, quienes han reconocido esta actividad como una práctica obligada e inaplazable y, a su vez, un desafío metodológico e imperativo ético, no solo para dar cuenta de decisiones en política pública e inversión de recursos, sino también, especialmente, para fortalecer la teoría y la práctica de la promoción de la salud y la salud pública mismas. Como resultado de este reconocimiento se han impulsado a nivel internacional iniciativas importantes, orientadas a crear capacidades individuales e institucionales para desarrollar teorías y enfoques metodológicos que respondan a este desafío y fortalezcan la práctica de la evaluación. Son entendibles, por tanto, las permanentes demandas por parte de personas e instituciones interesadas en continuar apoyando estos esfuerzos, así como mostrar ejecutorias y resultados concretos. De igual forma, es comprensible la permanente solicitud de quienes tienen responsabilidad e interés en la evaluación, en diferentes países de América Latina, por tener insumos teóricos, prácticos y replicables para ejercer esta función. Con estas consideraciones, esta publicación se constituye en un intento por responder a estas demandas y una contribución, a nuestro modo de ver, importante, para valorar tanto la magnitud del esfuerzo hecho como sus resultados en la región, no sin antes mencionar que, tal vez por falta 19 Efectividad en Promoción de la Salud y Salud Pública de publicaciones o desconocimiento de experiencias en curso, muchas iniciativas no han sido tenidas en cuenta en las reflexiones que sobre el tema se hacen en este documento. Dentro de las iniciativas internacionales han tenido gran relevancia las orientadas a crear capacidad técnica en la región latinoamericana para evaluar políticas y programas, y más importante aún, para usar los resultados de estas evaluaciones en el fortalecimiento de la teoría y la práctica de la promoción de la salud y la salud pública, mediante procesos de comunicación de conocimientos y uso de evidencias para cualificar los procesos de toma de decisiones. La construcción de capacidad es entendida como un enfoque para el desarrollo sostenible de habilidades, estructuras organizacionales, recursos y compromisos para lograr mejoras en la salud y bienestar, a fin de prolongar y multiplicar ganancias en el tiempo. La construcción y fortalecimiento de capacidad en América Latina para llevar a cabo iniciativas en promoción de la salud y salud pública, sostenibles, es crucial para mejorar la salud y reducir inequidades en nuestra región. Esto significa el incremento de personas con conocimiento y habilidades para formular, implementar y evaluar iniciativas de naturaleza simple y compleja, al igual que flexibilidad para afrontar los desafíos de trabajar en ambientes políticos, generalmente inestables y cambiantes. La evaluación de efectividad de intervenciones debe estar ligada a la gerencia y al actuar político; de allí que es fundamental considerar su sentido práctico y de utilidad para quienes van a usar sus resultados como soporte en la toma de decisiones. Por tanto, se propone, igualmente, que este libro sea una contribución más a este proceso de construcción de capacidad, dada la naturaleza y procesos de obtención y análisis de información que aquí se presentan, los cuales han sido parte de un esfuerzo colectivo de aprendizaje. Para la producción de este documento se han tenido en cuenta los frutos de un trabajo articulado y de largo tiempo en América Latina, de distintas organizaciones internacionales y nacionales, así como de 20 Ligia de Salazar diversos profesionales. El enfoque latinoamericano de esta publicación es estratégico para el objetivo central de construcción de capacidad, por cuanto recoge posiciones, conocimientos y teorías mundiales en torno a la temática, los contrasta y examina en el contexto de nuestra situación y problemáticas latinoamericanas, y anima a generar propuestas para fortalecer los avances en el tema de evidencias y evaluación logrados hasta la fecha. Se parte de reconocer que América Latina cuenta con situaciones únicas, propias de su contexto político, social, económico y cultural, las cuales deben ser tenidas en cuenta, tanto en la formulación de intervenciones para promover y mantener la salud de nuestros pueblos, como en la evaluación de las mismas. Después de veinte años de operación de la promoción de la salud, surgen preguntas relacionadas con el éxito de las políticas e intervenciones en este campo, con los factores que han determinado su éxito o fracaso y con los costos económicos, sociales, políticos y culturales que conlleva alcanzarlos. Estos interrogantes, sumados a la complejidad para realizar evaluaciones confiables y útiles, animan a continuar la búsqueda de respuestas que satisfagan no solo nuestro intelecto, sino igualmente nuestra responsabilidad social, al ser partícipes activos en procesos de desarrollo poblacional y territorial. Los contenidos del libro están organizados y presentados al lector de tal forma que paulatinamente vaya adentrándose en el proceso evaluativo, considerando asuntos críticos de la realidad latinoamericana en el tema, los principales desarrollos teóricos y conceptuales en el campo y las alternativas metodológicas para abordar la práctica de la evaluación. El documento no constituye una guía de evaluación, aunque sí se proponen algunas orientaciones básicas para que los interesados complementen o revisen procesos evaluativos en marcha. Este libro está principalmente dirigido a profesionales y estudiantes latinoamericanos, con interés en profundizar en el campo de la evaluación de políticas y programas en promoción de la salud y salud pública. 21 Efectividad en Promoción de la Salud y Salud Pública Los tres primeros capítulos presentan una sección introductoria que plantea los principales hechos, debates y desarrollos en torno al tema central que se aborda. Posteriormente amplía los contenidos teóricos y metodológicos pertinentes al tema, y al final, se propone al lector “re-visitar” su práctica evaluativa al ofrecerle algunas orientaciones específicas para el desarrollo de esta actividad. El primer capítulo presenta diversos conceptos, posiciones y controversias en evaluación en promoción de la salud y salud pública, que configuran el panorama mundial y latinoamericano de la teoría y la práctica de las mismas. Además, establece los sinergismos entre la estrategia de la promoción de la salud y la salud pública y plantea los desafíos que deben encararse al proponerse evaluar intervenciones de esta naturaleza. Para desarrollar lo anterior presenta una amplia definición sobre la complejidad de las intervenciones en salud pública y promoción de la salud y analiza las implicaciones en la evaluación de efectividad. Finalmente, establece conexiones entre la evaluación, las evidencias y los procesos políticos, y propone bases metodológicas, premisas generales, así como enfoques y paradigmas para la evaluación de efectividad de intervenciones complejas, actuantes en sistemas igualmente complejos. El segundo capítulo aborda un paso crucial del proceso evaluativo, como es la pregunta de evaluación. Resalta la importancia y a la vez los desafíos para formularla, especialmente en el marco de la evaluación de intervenciones complejas. La formulación de la pregunta de evaluación reitera también la imperiosa necesidad de la documentación y esclarecimiento del marco lógico que fundamenta las intervenciones. Así mismo, enfatiza en la comprensión de los factores que influencian dicha formulación, entre ellos la naturaleza y definición teórica y operativa de las intervenciones, el significado y alcance dados a la evaluación, el contexto en el que se realiza la evaluación, el tiempo de implemen- 22 Ligia de Salazar tación de las intervenciones, las expectativas e intereses de diferentes individuos e instituciones involucrados y el uso que se pretenda dar a los resultados de la evaluación. El capítulo plantea alternativas para la formulación apropiada de la pregunta y presenta los diferentes tipos de preguntas que se pueden abordar en estas evaluaciones. El capítulo tres hace énfasis en los enfoques metodológicos para la evaluación en promoción de la salud y salud pública. Se plantean al lector los desafíos metodológicos, políticos y éticos que implica la evaluación de intervenciones complejas como las de promoción de la salud y salud pública, al tiempo que se explicitan las características particulares de este tipo de evaluación, considerando además el contexto donde se ejecutan, los escenarios de decisión y los usos que se darán a la evaluación. Igualmente, en este capítulo se orienta al lector en torno a herramientas metodológicas posibles para desarrollar iniciativas de evaluación, las cuales responden a los diferentes tipos de preguntas y alcances de la evaluación. Igualmente, se brindan insumos para facilitar la comprensión y análisis de aspectos críticos que quienes estén interesados en la evaluación deberán tener en cuenta para producir, juzgar y usar información sobre el desempeño, impacto y efectividad de las intervenciones. También se describen y discuten los fundamentos teóricos y operativos de enfoques metodológicos, en primer lugar, para la evaluación del proceso de implementación de las intervenciones y, en segundo lugar, para la evaluación de efectividad, que permita establecer atribuciones entre intervención y resultados. Se deja también planteada la alternativa de la evaluación económica y su contribución a la generación de evidencias de efectividad. En el cuarto capítulo la autora se arriesga a plantear aspectos críticos y reflexiones sobre la práctica de la evaluación, así como contribuciones al fortalecimiento de la promoción de la salud y la salud pública en América Latina. Este capítulo es de especial relevancia pues se propo- 23 Efectividad en Promoción de la Salud y Salud Pública ne sintetizar un panorama del estado actual de la práctica de la salud pública y la promoción de la salud, así como de la evaluación de estas intervenciones en la región. Para ello, desarrolla un extenso análisis de experiencias y casos de evaluación de diferentes países, así como de consultas y opiniones de practicantes de salud pública y promoción de la salud en América Latina, al igual que de información proveniente de otras fuentes, recopiladas en el marco de una iniciativa continental en torno al fortalecimiento de la capacidad regional en evaluación y evidencias, la cual viene sucediendo en la región desde hace casi diez años, con el apoyo de diversos organismos internacionales. Con este análisis se pretende responder si en el campo de la promoción de la salud y la salud pública en América Latina estamos haciendo lo que debemos, o solo lo que podemos, con el ánimo, además, de contribuir a fortalecer la teoría y formular nuevas hipótesis acerca de los supuestos o bases sobre los cuales se fundamenta y opera la promoción de la salud y la salud pública en el contexto latinoamericano. En el análisis de la práctica que se plantea en este libro se reconoce una alta motivación por el desarrollo y evaluación de la promoción de la salud y salud pública y diversos avances en varios países de nuestro continente. Sin embargo, también se dejan al descubierto una amplia serie de falencias y necesidades en el tipo, cantidad, enfoques metodológicos y alcance de los estudios. Entre las falencias y necesidades se hace mención a la formulación de iniciativas en promoción de la salud que incorporen el abordaje de los determinantes de salud y los cambios estructurales que moldean el impacto de las intervenciones en promoción de la salud y salud pública; se percibe una limitada capacidad para realizar estudios evaluativos, que ameriten conocimiento y habilidades en el método científico; hay limitaciones en la comprensión del alcance de la evaluación y su ne- 24 Ligia de Salazar cesaria articulación a la gerencia de los programas; falta de habilidades para escribir artículos científicos e informes de interés para tomadores de decisión e inequidades en el acceso a publicaciones y capacidad para difundir y comunicar resultados. Igualmente, con el ánimo de reconocer y rescatar algunos ejemplos de experiencias de evaluación con los cuales se han alcanzado importantes avances en esta práctica en los países, se ofrece al lector una síntesis de algunas intervenciones y experiencias o propuestas de evaluación en marcha en la región. Todo el acervo de conocimiento en torno a la teoría y la práctica de la salud pública y la promoción de la salud que se sintetiza en los primeros capítulos del libro, se ven complementados en el quinto capítulo con dos contribuciones consideradas cruciales para fortalecer, en el primer caso, el inicio del ciclo evaluativo y, en el segundo caso, para el cierre de este ciclo. Son éstos la contribución en torno a la metodología del marco lógico de intervenciones en promoción de la salud y salud pública, y la contribución de la comunicación, como puente entre la evaluación, la política y la práctica. Las experiencias y la amplia revisión de la literatura ponen al descubierto la escasez de material bibliográfico en torno a la evaluación en promoción de la salud y salud pública, producido en nuestro idioma y acorde con el contexto regional latinoamericano. Por tanto, consideramos que esta publicación, si bien, no es un documento prescriptivo y es susceptible de posteriores construcciones, sí aporta insumos conceptuales y prácticos, así como reflexiones y cuestionamientos críticos, útiles para motivar no sólo nuevas prácticas evaluativas, sino procesos sustanciales de transformación en la formulación de políticas y programas. Con esta publicación esperamos abrir nuevas puertas y oportunidades para fortalecer y mantener el trabajo conjunto, la construcción colectiva, la consolidación de la práctica de la salud pública y promoción de la 25 Efectividad en Promoción de la Salud y Salud Pública salud en la región, al igual que la generación de nuevas y más fortalecidas propuestas de evaluación, cuyos resultados contribuyan al progreso y calidad de vida de nuestros pueblos. Finalmente, con esta publicación la autora pretende compartir los aprendizajes que ha obtenido sobre el tema por parte de diferentes profesionales en el mundo, así como sus propias posiciones y desarrollos, como parte de su compromiso ético y responsabilidad social con la socialización del conocimiento. 26 Capítulo I Conceptos, posiciones y controversias en evaluación en promoción de la salud y salud pública Ligia de Salazar Contenido del capítulo Presentación 29 Hechos, debates y desarrollos sobre promoción de la salud y salud pública 31 1. 2. ¿Qué está pasando en América Latina? 31 ¿Hacia dónde giran los debates? 33 ¿Cuáles son los principales desarrollos en la región? 34 Promoción de la salud y salud pública: estrategias y procesos sociales y políticos para producir y mantener la salud de las poblaciones 38 El poder de la práctica para fortalecer la teoría y el proceso de cambio 41 Complejidad de las intervenciones en promoción de la salud y salud pública e implicaciones en la evaluación de efectividad 43 Evidencias en promoción de la salud y salud pública 48 Decisiones basadas en evidencias 52 Evaluación, evidencias y procesos políticos 3. 54 Evaluación de efectividad en promoción de la salud y salud pública 59 Bases metodológicas de la evaluación de efectividad 60 Premisas generales para la evaluación de intervenciones complejas 67 Enfoques y paradigmas de la evaluación de efectividad 69 Bibliografía 75 Revisitando la práctica de la evaluación 80 Caracterización de la intervención y definición del alcance de la evaluación 80 29 Efectividad en Promoción de la Salud y Salud Pública Presentación En este capítulo se presenta un panorama en torno a la teoría, práctica y evaluación de intervenciones en promoción de la salud y salud pública y se establecen contrastes entre sus diferentes concepciones. Así mismo, se plantean algunas reflexiones en torno al alcance de la práctica de la evaluación, fundamentadas en hallazgos y experiencias alrededor de la evaluación de proceso y de efectividad de estas intervenciones. La teoría y la práctica de la promoción de la salud y de la salud pública demandan el abordaje de temas que, tradicionalmente, han estado ausentes de los esfuerzos para crear respuestas efectivas a situaciones y problemáticas de salud, en el ámbito comunitario y poblacional. En ese sentido la evaluación de estas intervenciones frecuentemente ignora los principios y valores sobre los cuales se fundamentan las iniciativas y los verdaderos propósitos que las impulsan, por lo que aspectos críticos asociados estrechamente con su alcance y efectividad, son relegados a un segundo plano. Es así como los determinantes sociales de la salud, la equidad, la justicia social, el desarrollo local, la sostenibilidad de procesos para la producción social de salud, la autonomía y el empoderamiento de los sujetos y grupos sociales y la gestión de políticas públicas, en no pocas ocasiones se quedan en la retórica de políticos e impulsadores de estas iniciativas. En este documento se hará referencia a salud pública desde una perspectiva más integral, la cual abarca los planteamientos de promoción de la salud, con el objeto de resaltar el carácter diná30 Ligia de Salazar mico, contextual, sociopolítico, articulador e indivisible de estas iniciativas, las cuales hacen parte de un esfuerzo permanente por atemperar las intervenciones en salud poblacional a las necesidades y situaciones particulares de las comunidades y territorios, a fin de crear, mantener y conservar la salud de las poblaciones. Salud pública con enfoque de promoción de la salud implica acciones en los campos social y político, a fin de abordar las inequidades en salud y los determinantes socioeconómicos que la influencian y que son influenciados por ésta. De allí que la construcción de capacidad para modificarlos, a través de la creación de escenarios promotores de salud y el incremento de la viabilidad de procesos de cambio, desde contextos sociopolíticos específicos, constituyen indicadores para valorar la efectividad de estas intervenciones. Por último, en este capítulo se brindan insumos teóricos y prácticos sobre la concepción, operación y uso de resultados de la evaluación de efectividad de iniciativas de promoción de la salud y salud pública, los cuales deben ser tomados como contribuciones, más que como prescripciones sobre lo que debe hacerse. La aplicación de estos insumos dependerá de los intereses, recursos y contextos en los cuales se realice la evaluación. 31 Efectividad en Promoción de la Salud y Salud Pública Hechos, debates y desarrollos sobre promoción de la salud y salud pública ¿Qué está pasando en América Latina? Aunque la reflexión teórica en torno a la operacionalización de la salud pública y la promoción de la salud en América Latina ha sido poco sistemática, los escenarios que se han generado a través de diferentes iniciativas internacionales y en los focos de pensamiento de organismos académicos e investigativos de diferentes países, nos llevan a identificar hitos claves del desarrollo de estos campos en la región. A continuación se presentan algunas consideraciones importantes en torno a la salud pública y la promoción de la salud en Latinoamérica, las cuales si bien no constituyen en sí mismas un análisis exhaustivo sobre el tema, son hechos que no pueden desconocerse y que ilustran la ruta de los desarrollos que hemos tenido en estos campos. • Uso de conceptos “prestados” de países que tienen realidades y contextos diferentes. Uno de los principales hechos que ha generado amplios debates en América Latina es que la promoción de la salud en esta región ha sido instituida con base en modelos foráneos. Por tanto, hay necesidad de identificar los componentes esenciales de su definición, teoría y práctica en el contexto de nuestros países, tomando en consideración características culturales, sociales, políticas y económicas propias. • Desarrollos en salud pública y promoción de la salud que, conceptual y estratégicamente, conectan la salud a procesos 32 Ligia de Salazar de desarrollo. Hay necesidad de identificar y analizar en forma crítica y propositiva los fundamentos de estos procesos de cambio en la región, sus avances, los factores dinamizadores y limitantes, al igual que las oportunidades de articulación tanto en el campo teórico como en el práctico. Este esfuerzo no sólo repercutirá en la relevancia e integridad de las respuestas a la situación de salud, sino que influenciará la sostenibilidad y efectividad de las iniciativas a largo plazo. • Mayoría de intervenciones y evaluaciones orientadas a la prevención y control, a través de cambios en el comportamiento individual, ignorando otros factores de la cadena causal, cuya influencia en el comportamiento individual y colectivo al igual que en la efectividad de las intervenciones, es incuestionable. Poco se sabe sobre efectividad de prácticas para aumentar la capacidad para decidir y actuar modificando situaciones adversas y promoviendo estructuras institucionales y comunitarias favorecedoras de prácticas saludables. Igualmente es limitado el conocimiento sobre la efectividad de intervenciones que se inscriben y son cobijadas por referentes que abordan iniciativas de desarrollo territorial y bienestar. • Poco desarrollo de evaluación de intervenciones que incorporen indicadores de desarrollo social y territorial. Como fue mencionado, las intervenciones en salud pública con enfoque de promoción de la salud incorporan varios niveles de acción, que van más allá de las intervenciones para prevención y control, al tiempo que incluyen acciones políticas e intersectoriales dirigidas a poblaciones y territorios. De allí que los indicadores de evaluación usados tradicionalmente sobre morbilidad, mortalidad y factores de riesgo, no captan en su totalidad elementos del proceso de cambio, al igual que el impacto de éste en la salud de la población. • Insuficiente reflexión en la región sobre las implicaciones de llevar a la práctica la estrategia de la promoción de la salud. Si bien los principios e intencionalidades de la promoción de la salud son altamente compartidos, las expresiones de esta 33 Efectividad en Promoción de la Salud y Salud Pública estrategia se reducen a lo que es factible realizar, según sistemas políticos específicos, recursos y legislación en salud. Lo anterior hace que la efectividad de la práctica de la promoción de la salud sea altamente dependiente del contexto; de allí que haya que promover, monitorear y evaluar el impacto de los procesos de cambio necesarios para hacer viable y sostenible esta estrategia. ¿Hacia dónde giran los debates? La revisión de la literatura, la experiencia latinoamericana y la participación en diversos escenarios académicos e investigativos, muestran que los debates y controversias en relación con las concepciones y la práctica de la salud pública y la promoción de la salud en América Latina, así como de la evaluación de su desempeño y resultados, giran en relación con las siguientes preguntas problematizadoras. Es precisamente la búsqueda de respuesta a estos interrogantes, lo que centra la atención de la presente publicación, por lo que dichas preguntas son consideradas para su reflexión y análisis a lo largo de la misma. Ellas son: • ¿Cómo se define operacionalmente la promoción de la salud en América Latina y cuál es la articulación conceptual y operativa con salud pública? • ¿Qué se entiende por evidencia de efectividad en promoción de la salud y salud pública? • ¿Qué enfoques metodológicos son los más apropiados para evaluar la efectividad de intervenciones en promoción de la salud y salud pública? • ¿Es diferente la definición de evidencia si nos referimos a salud pública y a promoción de la salud? • ¿Cómo influencian las diferentes concepciones de salud pública y de la promoción de la salud los enfoques metodológicos de la evaluación de efectividad? 34 Ligia de Salazar • ¿Qué influencia tiene en la evaluación el hecho de que la salud pública desde la perspectiva de la promoción de la salud, sea considerada un proceso político y una práctica social? • ¿Permiten estos enfoques evaluar el proceso de construcción de capacidad para tomar decisiones e intervenir en causas estructurales de enfermar y morir? • ¿Son pertinentes y aplicables los criterios epidemiológicos establecidos para valorar la validez y confiabilidad de la información, producida por evaluaciones de efectividad de intervenciones complejas? ¿Cuáles son los principales desarrollos? Salud pública centrada en prevención y control La salud pública ha sido definida como un esfuerzo científico y técnico, al igual que social y político, para mejorar la salud y el bienestar de comunidades y poblaciones. Así mismo, ha sido considerada como un proceso de movilización y articulación de los recursos locales, estatales, nacionales e internacionales para crear condiciones a fin de que la población esté saludable (Rychetnik et al., 2004). Para Rychetnik et al., las acciones en salud pública que deben ser hechas son determinadas por la naturaleza y magnitud de los problemas que afectan la salud de la comunidad; mientras que las acciones que pueden ser hechas son determinadas por el conocimiento científico y los recursos disponibles; y finalmente, las que se hacen son determinadas por la situación social y política existente en un tiempo y lugar específicos al igual que la capacidad de respuesta institucional, colectiva e individual. A pesar de la amplitud y alcance de las definiciones, y de la naturaleza y magnitud de los problemas centrales de la salud pública, el conocimiento en torno a las intervenciones en este campo en América Latina muestra que éstas se han orientado principalmente a la prevención y control de enfermedades, sus consecuencias 35 Efectividad en Promoción de la Salud y Salud Pública y los riesgos que aumentan la probabilidad de enfermar y morir. Así mismo, estas probabilidades se fundamentan en asociaciones causales simples –lineales– que involucran aspectos biológicos y comportamentales individuales y comunitarios, pero desconocen otras variables asociadas al contexto y los territorios en donde estas enfermedades se producen, las cuales son, en últimas, las causas estructurales de las condiciones de salud de la población. Si las causas de los problemas quedan solamente representadas por asociaciones lineales entre dos o más variables, las soluciones y los indicadores para valorar avances y efectividad serán igualmente dependientes de estas asociaciones y no de aquellas sobre las cuales no se conoce nada o poco se conoce. Si las variables del contexto no son consideradas, las intervenciones pueden parecer menos complejas, pero también en muchas ocasiones menos coherentes o representativas de la realidad. La tendencia anterior ha incidido para que los enfoques metodológicos para evaluar el éxito de las intervenciones en promoción de la salud y salud pública se ajusten más a diseños de estudios, donde la validez de los resultados está dada, entre otros aspectos, por el tamaño de la muestra, la ubicación aleatoria del grupo intervenido y un grupo control, la capacidad de controlar variables que podrían influenciar los resultados o aplicación de técnicas para reducir los sesgos, propios de estudios epidemiológicos analíticos, como los observacionales y experimentales. Igualmente, se considera la validez externa con la intencionalidad de extrapolar los resultados a otros grupos y poblaciones de interés, que aparentemente tienen situaciones similares. Es de tener en cuenta que muchos de los supuestos y premisas de este tipo de estudios, no son valorados o no son posibles de cumplir cuando se aplican a intervenciones complejas, como la mayoría de las que se fundamentan en los principios de la promoción de la salud. Hay que considerar que en este tipo de intervenciones la interacción entre las distintas variables –conocidas y desconocidas– no es constante y que a esto se debe sumar la influencia de la variable “tiempo” y el carácter social y político de estas intervenciones. 36 Ligia de Salazar Promoción de la salud, centrada en creación de capacidad para el cambio La promoción de la salud fue definida en la Carta de Ottawa como el proceso para proporcionar a los pueblos los medios necesarios para mejorar su salud y ejercer un mayor control sobre la misma (WHO, 1986). La creación de capacidad busca crear condiciones favorables a la salud e influenciar positivamente los aspectos estructurales que determinan la posibilidad de individuos y grupos de intervenir en decisiones que afectan su salud y de acceder a oportunidades y servicios. Por ello, los determinantes comportamentales y socioeconómicos, al igual que la acción política y social para reducir las inequidades en el acceso a oportunidades y servicios, son temas de análisis en la evaluación en promoción de la salud. Cualquier esfuerzo evaluativo, además de valorar el éxito o resultados finales de las intervenciones, debe valorar el proceso de construcción de capacidad y los resultados intermedios en relación con este proceso. Cinco áreas operacionales constituyen el quehacer de la promoción de la salud, estando interconectadas de tal forma que los alcances y resultados que se tengan en cada una de ellas, están determinados por lo que suceda en las otras, comportándose como un sistema complejo: 1. Formulación de políticas públicas, que además de orientar la acción en salud poblacional, den cumplimiento a los principios y valores que impulsan la promoción de la salud. 2. Fortalecimiento de las acciones comunitarias y de la participación de los individuos y grupos en las decisiones y acciones relacionadas con su salud –empoderamiento–. 3. Creación de ambientes favorables tanto en sus dimensiones físicas como sociales, y fortalecimiento del sistema de apoyo social de la comunidad. 4. Desarrollo de las aptitudes personales para tomar decisiones saludables y soportar presiones negativas para la salud. 37 Efectividad en Promoción de la Salud y Salud Pública 5. Reordenamiento de los servicios de salud para hacer mayor hincapié en la salud y las posibilidades que ofrecen las instituciones de atención sanitaria como escenarios desde donde ésta se promueve. Estas áreas operacionales articulan los ámbitos institucional, comunitario e individual. Su aplicación efectiva implica condiciones y, en ocasiones, requisitos tales como: la intersectorialidad –entendida como la planificación y cooperación entre sectores para crear mejores oportunidades para la vida saludable que favorezcan la participación de diversas disciplinas y sectores–; el empoderamiento, como un proceso de acción social que promueve la participación de las personas, organizaciones y comunidades para lograr un mayor control individual y comunitario de su salud, y la eficacia política, orientada al mejoramiento de la calidad de vida y el logro de la justicia social (Wallerstein, 1992). Estrechamente vinculados a estos conceptos y como aspectos estratégicos de las intervenciones en promoción de la salud se encuentran las alianzas entre diversos actores sociales y la generación de redes sociales. Si bien la Carta de Ottawa plantea los principios y valores que soportan la estrategia de promoción de la salud, su operación tiene múltiples expresiones y es moldeada, entre otros, por el pensamiento de las organizaciones que la impulsan, el contexto y escenario sociopolítico donde se conciben e implementan, los resultados de experiencias previas, el clima social y el equilibrio de las relaciones de poder. 38 Ligia de Salazar 1. Promoción de la salud y salud pública Estrategias y procesos sociales y políticos para producir y mantener la salud de las poblaciones Teóricos de la salud pública y la promoción de la salud han identificado las bases epistemológicas que fundamentan conceptualmente estas estrategias. A pesar de esto, en América Latina se encuentra una amplia variedad de expresiones prácticas de éstas, mediadas por la influencia de aspectos socioculturales y políticos del contexto donde se implementan, los cuales incluso, en ocasiones, distorsionan sus significados reales. El uso de términos como promoción de la salud, medicina social, salud pública, salud colectiva, prevención de enfermedades y protección de la salud, sugieren alcances diferentes en el abordaje de la salud de la población. El esclarecimiento conceptual y el escudriñamiento de las raíces históricas que dan cuenta de las diferencias de estos abordajes son fundamentales para identificar evidencias de efectividad. Es claro que con referentes paradigmáticos distintos, los modelos de intervención no pueden ser sujetos a un mismo mecanismo de evaluación (CastroAlbarrán, 1998). La promoción de la salud y la salud pública abarcan la valoración de la salud de las poblaciones, así como la formulación de políticas y programas para prevenir y controlar daños y promocionar escenarios y ambientes saludables, a través de un esfuerzo organizado de la sociedad. 39 Efectividad en Promoción de la Salud y Salud Pública Ambas promueven la acción social para invertir en condiciones de vida que creen, mantengan y protejan la salud. Lo anterior cubre un amplio rango de intervenciones orientadas a mejorar la salud, que incluyen varios niveles y tipos de acción. La promoción de la salud expande No es lo mismo evaluar la efectividad de las intervenciones en salud pública desde una perspectiva médico-preventivista enfocada en la enfermedad, que bajo una visión orientada al consumo individual de estilos de vida saludables, al cambio de conductas, u orientadas al “desarrollo a escala humana”, la lucha por la equidad, la calidad de vida y la acción sociopolítica transectorial. Los diversos paradigmas de la salud pública y de las ciencias sociales determinan las interpretaciones y las prácticas de la promoción de la salud y por ende, deben ser referentes explícitos en cada caso, para el estudio de las evidencias de su efectividad (Castro-Albarrán, 1998). la visión tradicional de la salud pública, abarcando la complejidad de los cambios sociales y no sólo la actuación en el problema de la desmedicalización y reorientación de servicios y prácticas de salud, sino, sobre todo, en la esfera del desarrollo sostenible y del fortalecimiento local, en la defensa de políticas públicas y en un desarrollo nacional más eficaz y justo (De Salazar y Anderson, 2008). Carvalho, Bodstein, Hartz y Matida (2004) afirman que la promoción de la salud actualiza y extiende el debate sobre los determinan- tes sociales, culturales, políticos y económicos del proceso de saludenfermedad, mientras se reafirma la salud como un imperativo ético y un derecho del ciudadano. La estrategia de promoción de la salud ha recibido gran atención, sobre todo a partir de la década de los setenta, no sólo por parte de quienes se desempeñan en el campo de la teoría y la práctica de la salud pública, sino también por quienes se ocupan de las políticas sociales y de salud. Los centros académicos y de investigación, los gobiernos, los ministerios de salud pública y los organismos de colaboración internacional en salud, han dedicado importantes espacios de debate a este tema, en 40 Ligia de Salazar especial en torno a su significado y alcance, al igual que en relación con las limitaciones de las estrategias y programas para alcanzar los objetivos y propósitos que persigue. Una de las declaraciones de promoción de la salud más conocidas en el mundo es la Carta de Ottawa (WHO, 1986), de la que se han derivado otros documentos y orientaciones internacionales, los cuales dan especial importancia a aquellas iniciativas que inscriben la salud como parte clave de procesos de desarrollo humano y territorial y, al mismo tiempo, ven la acción sectorial articulada a otros sectores del bienestar. La Organización Panamericana de la Salud, OPS, y la Organización Mundial de la Salud, OMS, plantearon una definición que explicita los responsables de la promoción de la salud, identificándola como la “suma de las acciones de la población, los servicios de salud, las autoridades sanitarias y otros sectores sociales y productivos, encaminados al desarrollo de las mejores condiciones de salud individual y colectiva” (OPS/OMS, 1995). Estas responsabilidades son analizadas por Mittelmark (2001) al afirmar que el vincular salud con derechos humanos y equidad no sólo cambia las fronteras de la responsabilidad del gobierno por la salud, sino que implica cambios en la manera como los problemas de salud pública son conceptualizados y analizados; el proceso para determinar intervenciones relevantes; el diseño e implementación de las intervenciones, al igual que en los enfoques e indicadores para monitorear el proceso de cambio y evaluar el éxito de estas intervenciones, introduciendo otros indicadores relacionados, por ejemplo, discriminación, equidad, equilibrio de relaciones de poder y participación de la comunidad en decisiones que afectan su salud y su vida. Es importante reconocer que la promoción de la salud es un ‘proceso’ y no se trata de una mera definición académica. Por ejemplo, si alguien deja de consumir alcohol, ¿lo hace porque ha visto un anuncio, ha hablado con un médico, sus amigos le han presionado, ha tenido un pariente que 41 Efectividad en Promoción de la Salud y Salud Pública ha muerto de cirrosis hepáti- Es reconocido que un aspecto esencial en promoción de la salud es la política pública que promueva condiciones bajo las cuales las personas vivan de manera saludable, trabajen, aprendan y participen en la vida comunitaria. Dado que lala política depende del proceso en que se forma y mantiene, su evaluación debe dar cuenta de estos aspectos, qué la afecta, de qué forma y cómo usar el conocimiento (Milio, 1987; Minkler, 1997). ca, o existe un control social y legal a través de legislación y normas sociales, o todas las anteriores? Frecuentemente tenemos limitaciones para averiguar la verdadera causa del cambio de comportamiento, o existe una serie de variables que han influido. Sin embargo, lo importante es que la persona ha cambiado un comportamiento que la pone en riesgo, y que el proceso o elementos del proceso que dieron como resultado este logro, pueden ser repetidos en otras circunstancias. Se reconoce que la promoción de la salud puede desempeñar un papel fundamental en el abordaje de algunas de las crisis sociales y contribuir a la reducción de las desigualdades, a través, entre otras, de estrategias como el empoderamiento de las personas y grupos comunitarios, brindando apoyo a la democracia local y constituyéndose en un medio para ayudar a desarrollar comunidades fuertes y unidas. El poder de la práctica para fortalecer la teoría y el proceso de cambio Aunque se puede reconocer una definición conceptual universal de promoción de la salud derivada de la Carta de Ottawa, su definición operacional, refiriéndose con ello a la forma como es implementada y evaluada, obedece a varias perspectivas y enfoques filosóficos, tanto desde su contribución para mejorar las condiciones de salud, como desde su potencial para crear y mantener procesos de cambio social y político, capaces de modificar los determinantes de la salud. De allí 42 Ligia de Salazar que sea imperioso dar cuenta de la implementación de la intervención y factores que la influencian, a fin de disponer de insumos reales para fortalecer la teoría y la práctica de estas intervenciones. La promoción de la salud, como proceso social y político, es en sí misma cambiante y está supeditada al contexto y condiciones específicas de cada lugar, las cuales moldean tanto su naturaleza como su alcance, al igual que la implementación y el éxito de la misma. Sin embargo, los elementos del contexto y cómo éstos influencian o determinan el rumbo de las intervenciones, no son necesariamente identificados o entendidos al iniciar dichas intervenciones, de allí que sea necesario la observación y análisis permanente de este proceso, utilizando técnicas como la documentación y la sistematización, las cuales serán descritas más adelante. Los principios y valores que fundamentan las acciones en promoción de la salud no siempre encuentran escenarios propicios para ponerlos en práctica; en especial si nos referimos a los sistemas políticos y la legislación vigente en cada país. Un ejemplo de esto son las reformas en salud enfocadas a la provisión de servicios y a la rentabilidad económica institucional, las cuales están operando en varios países. De otra parte, no debe pasar desapercibida la dificultad para definir y operar intervenciones complejas, ahondado por el hecho de que las causas de los problemas no son propiamente agentes, sino producto de un sistema en el cual ocurre el fenómeno salud-enfermedad en la población, y en donde la población es concebida como grupos organizados, con propiedades relacionales, más que meros agregados de individuos. Cada problema en cada contexto requiere una respuesta social específica consistente en una combinación de acciones. Las acciones de promoción de la salud de mayor impacto son las poblacionales, a diferencia de las acciones de recuperación que se realizan fundamentalmente sobre individuos. Las acciones poblacionales, como por ejemplo la elevación del nivel educativo, la mejoría de la situación alimentaria y nutricional 43 Efectividad en Promoción de la Salud y Salud Pública y la construcción de infraestructura sanitaria, intervienen sobre los determinantes de la salud, más que sobre riesgos y daños específicos. Se entiende que promoción y prevención son conceptos diferentes pero complementarios, aunque en ocasiones se confunden. De las tres grandes estrategias de la salud pública –promoción, prevención y control–, la promoción de la salud es la más social, la más integral, la que más impacto potencial tiene en las causas estructurales de la problemática de la salud y la que menos depende de la acción de los servicios de salud. También, con alguna frecuencia, se ha asimilado la promoción de la salud a educación para la salud. La educación para la salud es uno de los recursos con que cuenta la promoción de la salud para sus intervenciones, pero esta última es una estrategia mucho más amplia. Cuando la promoción de la salud es reducida a acciones sobre los estilos de vida individuales, se debe tener en cuenta que éstos están influenciados por las condiciones en que viven los grupos. No es lo mismo promover cambios en los estilos de vida en personas con un alto nivel socioeconómico, que en quienes viven en situación de pobreza. De allí que cobre tanta importancia, en promoción de la salud, la modificación de las condiciones estructurales que influyen en la salud y en las condiciones de vida. Es así como estrategias orientadas a producir cambios en las condiciones sociales, económicas y del entorno, son parte importante de nuestro accionar y no sólo los servicios sanitarios. Aunque algunos de estos cambios no son responsabilidad directa del sector salud, sí lo son las acciones de abogacía y negociación para comprometer a otros sectores y niveles, y para las cuales la evaluación de las intervenciones es un insumo importante. Complejidad de las intervenciones en salud pública y promoción de la salud, e implicaciones en la evaluación de efectividad Antes de evaluar una intervención es necesario preguntarse qué tipo de intervención estamos evaluando. En otras palabras, se debe tener 44 Ligia de Salazar claridad sobre cuál es la naturaleza y alcance de la intervención que produce los cambios, cuáles son las características de estos cambios y cuáles son los ingredientes claves de estas intervenciones que hacen que dichos cambios se produzcan en determinados contextos. Responder a la anterior pregunta no es fácil, porque, como se mencionó antes, las intervenciones que buscan cambios poblacionales en su dimensión política, social y cultural, están fuertemente ligadas al contexto en donde se realizan; por tanto, sufren modificaciones durante el ciclo de vida y su definición operativa no necesariamente es estandarizable. Chapman (1992) citado por Stead, Hasting y Eadie (2002), afirma que, en su mayoría, las intervenciones mencionadas son difíciles de describir en términos de programas y no conducen a afirmaciones precisas sobre las variables independientes cuyos efectos pueden ser medidos y fácilmente replicados. Las intervenciones que buscan cambios políticos tienen desafíos adicionales. Clark y McLeroy (1998) citados por Stead, Hasting y Eadie (2002) afirman que, idealmente, la evaluación debe demostrar que la estrategia de la intervención produjo los cambios políticos, pero hacer esta conexión –atribución–, es casi imposible. Considerando las controversias sobre los tipos y enfoques de las intervenciones, para efectos de la evaluación se plantea que más allá de establecer si se trata de intervenciones de salud pública o de promoción de la salud, hay también que considerar el alcance y la complejidad de las mismas, dada la influencia que esta complejidad tiene en todo el proceso evaluativo –selección de la pregunta de evaluación, de los indicadores, del enfoque metodológico y de la estrategia de comunicación para promover el uso de los resultados–. Diversos autores han expresado sus puntos de vista en relación con el concepto de complejidad y su influencia en la evaluación de las intervenciones (Stead, Hasting y Eadie, 2002; Hawe, Shiell y Riley, 2004; Shiell, Hawe y Gold, 2008). La investigación en salud frecuentemente usa el 45 Efectividad en Promoción de la Salud y Salud Pública término “complejo” para referirse a intervenciones que tienen múltiples componentes. Pero una forma alternativa es ver la complejidad desde la perspectiva del sistema en donde se implementa la intervención. Así, según Shiell, Hawe y Gold (2008) la complejidad tiene dos connotaciones: la primera, referida a una propiedad de la intervención y la segunda, como propiedad del sistema en donde la intervención es implementada. La distinción entre estas perspectivas es importante en evaluación. Los autores consideran que una intervención compleja es construida por una serie de componentes, los cuales pueden actuar en forma independiente o interdependiente. Esto es lo que hace difícil definir las características particulares o los “ingredientes activos” que componen la intervención y tener seguridad de cuáles de estos componentes o combinaciones de componentes son más importantes. Argumentan que cuanta más dificultad ¿Qué hace que una intervención sea compleja? haya para definir concretamente los ingredientes críticos de una 1. El número de componentes que interactúan dentro de la intervención intervención y cómo se relacionan entre ellos, es mayor la probabilidad de que se esté frente a una 2. Las formas de relacionamiento e interacción de los componentes intervención compleja. 3. El número y la dificultad de los comportamientos requeridos por aquellos que suministran o reciben la intervención La segunda perspectiva planteada por Shiell, Hawe y Gold (2008) hace referencia a las explicaciones dadas por las ciencias de la 4. El número de grupos o de niveles organizacionales que son blanco de la intervención complejidad, que sostienen que la complejidad es una propiedad 5. La cantidad y variabilidad de los resultados de un sistema y no de una intervención. Un sistema complejo 6. El grado de flexibilidad o ajuste permitido a la intervención es definido por los autores como aquel que se adapta a los cam- (Shiell, Hawe, y Gold, 2008) bios en el ambiente local, está 46 Ligia de Salazar compuesto por otros sistemas complejos y se comporta en forma no lineal. Las intervenciones en estos escenarios pueden ser simples o complejas, pero el enfoque de sistemas complejos hace considerar las ramificaciones de intervenir y estar atentos a las interacciones que ocurren entre componentes de la intervención, al igual que entre la intervención y el contexto. Para los autores, la distinción entre los dos enfoques –intervenciones complejas y sistemas complejos– es poco clara, porque ambos comparten características comunes; por ejemplo, imposibilidad de estandarización de la práctica y multiplicidad de resultados e interacciones. Más aún, mencionan que las intervenciones complejas pueden presentar las características de sistemas complejos, dado que es imposible separar la intervención de las agencias humanas requeridas para su implementación. Complejidad, en síntesis, es definida como una teoría científica, la cual reconoce que algunos sistemas presentan fenómenos comportamentales que son completamente inexplicables por medio de análisis convencionales de cualquiera de las partes que constituyen dichos sistemas; e indicando, además, que el reducir un sistema complejo a la cantidad de componentes que lo integran, sería una pérdida irrecuperable de lo que hace que funcione como sistema, pues la intervención no es la suma de las partes (Hawe, Shiell y Riley, 2004). Por otro lado, Campbell et al. (2000), citados por Stead, Hasting y Eadie (2002), afirman que en intervenciones complejas se debe dar cuenta no sólo de los resultados sino de los insumos y procesos, a fin de comprender las comunidades como sistemas complejos y cómo los problemas de salud o fenómenos de interés son producidos por el sistema. Mencionan, además, que aunque una intervención sea definida como compleja, el pensamiento de intervenciones simples puede, en ocasiones, prevalecer cuando se trata de describir la intervención. Los autores advierten que los sistemas complejos no deben de ser tomados como una excusa para significar que cualquier cosa puede suceder. 47 Efectividad en Promoción de la Salud y Salud Pública Como resultado de la complejidad es frecuente encontrar que al inicio de la intervención no se tenga claridad sobre la racionalidad de la misma, los cambios que se pueden esperar y, menos aún, cómo son alcanzados estos cambios. Una propuesta para hacer frente a este problema es desarrollar un entendimiento teórico del probable proceso de cambio, obteniendo evidencia existente y teoría, complementando, si es necesario, con investigación primaria (Craig, et al., 2008). Hawe, Shiell y Riley (2004), proponen un análisis crítico de la lógica de la intervención -marco lógico- para ayudar a construir o reconstruir intervenciones y evaluaciones más fundamentadas y efectivas. El marco lógico de la intervención hace referencia a la caracterización de la misma. Éste permite conocer cuáles son los objetivos de la intervención, las actividades que se implementan, sus propósitos y las estrategias a través de las cuales se quieren cumplir. El marco lógico es la organización de la información sobre la intervención, que da una panorámica sobre qué es la intervención y cuáles son, probablemente, sus “ingredientes activos”. Para una aplicación efectiva se debe realizar ejercicios de documentación y sistematización de la intervención, de manera rigurosa y periódica, tomando como insumos fundamentales los reportes y registros, así como las opiniones y percepciones de quienes participan en ella. En el capítulo V se ampliará y detallará la metodología de este marco lógico y su utilidad en la evaluación de las intervenciones. Finalmente, es necesario resaltar que la intervención debe ser desarrollada al punto que sea razonablemente esperado un efecto positivo. El primer paso para lograr este objetivo es identificar lo que es ya conocido en intervenciones similares y los métodos que se han usado para evaluarlas. Si no hay información actualizada y de calidad, ésta debe ser obtenida. 48 Ligia de Salazar 2. Evidencias en promoción de la salud y salud pública Evidencia ha sido definida por Rychetnik et al. (2004) como hechos o testimonios que soportan una conclusión, afirmación o creencia, y algo que sirve como prueba. Los autores señalan que aunque esta definición es genérica sirve como punto de entrada, aunque en ella no se especifica qué cuenta como evidencia, cuándo y para quién. Salud pública basada en evidencia, por otro lado, ha sido definida como un esfuerzo mediante el cual se hace un explícito y prudente uso de la evidencia derivada de cualquiera de las diversas formas de ciencia e investigación de las ciencias sociales y métodos de evaluación. Dada la naturaleza compleja de las Cuando se estudia el comportamiento de individuos, organizaciones o procesos políticos, el poder explicativo de la ciencia es limitado, pues hay dificultad para encajar las reglas de las ciencias naturales con las de las ciencias sociales. intervenciones en promoción de la salud y salud pública, es difícil establecer evidencias de estas intervenciones bajo el parámetro de comprobación de causalidad, porque los criterios para valorar dicha causalidad hacen alusión a la cien- cia biomédica y a una noción probabilística de una variable que, cuando precede a otra, produce un efecto. De allí que algunos autores señalen que cuando se estudia el comportamiento de individuos, organizaciones o procesos políticos, el poder explicativo de la ciencia es limitado, pues 49 Efectividad en Promoción de la Salud y Salud Pública hay dificultad para encajar las reglas de las ciencias naturales con las de las ciencias sociales (Tang, Ehsani y McQueen, 2003). Aunque los hallazgos de una intervención pueden no constituir hechos científicos, por lo descrito antes, sí pueden ser piezas de evidencia, debido a que son hechos obtenidos como resultado de una evaluación de proceso y mediante uso de métodos apropiados. Por tanto, se ha argumentado la necesidad de expandir el rango y alcance de lo que consideramos como evidencia válida. Para Potvin (2007, 11 de julio) la evidencia se construye a través de la relación entre teoría, las observaciones empíricas y la práctica, es sensible al contexto y no es estática. Por eso la autora recomienda la investigación y evaluación permanente, no para sumar experiencias, sino para fortalecer el fundamento teórico, para tener un conocimiento más completo y actualizado de los fenómenos estudiados. La autora plantea la distinción entre tres tipos de evidencias. En primer lugar, la evidencia empírica que aplica la lógica inductiva, incluye una serie de observaciones que corresponden a unos criterios de disciplina y acepta la premisa de que hay que tener un conocimiento que permita suponer o predecir lo que va a pasar, a través de la disciplina. En segundo lugar, la evidencia teórica, donde no hay necesidad de una asociación constante entre intervención y efecto, porque hay una interacción mayor con las situaciones. La autora plantea que se debe analizar la teoría para desarrollar las intervenciones y convertir la evaluación en un aparato reflexivo para la intervención –como una manera de entender cómo funciona nuestro mundo–. Finalmente, la evidencia basada en la práctica, en donde la evidencia se desarrolla no porque se esté adaptando el conocimiento puro a una situación de la vida real, sino que, por el contrario, se está tratando de derivar un conocimiento que es importante. La principal limitante de esta evidencia basada en la práctica es saber cuál es la intervención. 50 Ligia de Salazar Este tipo de evidencia no dice cómo se hace la intervención, por lo que nosotros debemos pensar en qué y cómo vamos a intervenir. En los estudios evaluativos la ventaja de la evidencia basada en la práctica es que se soporta en el contexto. Por otro lado, el énfasis para determinar la fortaleza de la evidencia ha sido puesto en alcanzar tres reglas de la investigación científica, las cuales no siempre se cumplen en intervenciones complejas: 1. Previsible: se dice que es alcanzada cuando una intervención implementada apropiadamente produce los resultados esperados; esto se debe a que los elementos claves de la intervención son conocidos. 2. Replicable: se refiere a la aplicación universal de la intervención, independiente del tiempo y del lugar. En otras palabras, la intervención da iguales resultados donde quiera y cuando quiera que se lleve a cabo, lo cual es poco viable debido a su alta dependencia del contexto. 3. Fiable: La intervención debe ser rechazada como una intervención efectiva, en caso que no sea capaz de demostrar que funciona y no hace daño, aplicando métodos rigurosos de evaluación investigativa. Como ya fue indicado, las intervenciones en promoción de la salud y Las intervenciones en promoción de la salud y salud pública son parte de procesos políticos de acción social, que permanentemente deben repensarse para hacerlos coincidentes con las necesidades, intereses y expectativas de los actores, y para que sean producto de interpretaciones colectivas de la realidad y de una visión común para transformarla. salud pública son parte de procesos políticos de acción social, que permanentemente deben repensarse para hacerlos coincidentes con las necesidades, intereses y expectativas de los actores, y para que sean producto de interpretaciones colectivas de la realidad y de una visión común. 51 Efectividad en Promoción de la Salud y Salud Pública La evaluación de estas iniciativas hace parte de procesos sistémicos, permanentes y circulares de investigación, reflexión y acción, mediante los cuales se trata de responder a preguntas de diferente complejidad, aplicando diversos enfoques metodológicos para obtener información sobre procesos y beneficios comparativos de estas intervenciones. Este tipo de evaluación ha ocupado la atención de muchos teóricos, funcionarios y académicos, quienes han reconocido la investigación evaluativa de intervenciones en promoción de la salud y salud pública, como un desafío político y metodológico. La anterior afirmación se fundamenta en los debates sobre el tema, la literatura escrita, los esfuerzos realizados y las limitantes identificadas para desarrollar esta actividad (Speller, Learmonth y Harrison, 1997; McDonnal, Veen y Tones, 1996; De Salazar, 2002; WHO, 2001). En un estudio sobre el estado del arte de evidencias de efectividad en promoción de la salud en América Latina (De Salazar, Vélez y Ortiz; 2003) realizado en el marco de un proyecto promovido por la Unión Internacional para la Educación y Promoción de la Salud, UIPES, se encontró que los temas abordados en la evaluación se han restringido a acciones de prevención; de igual forma, la planificación de los programas y los diseños metodológicos para evaluarlos se han caracterizado por la debilidad y poca relevancia en relación con la teoría de la promoción de la salud. Los resultados del anterior estudio señalan la necesidad de replantearse aspectos de la evaluación relacionados con los sujetos y objetos de evaluación; el alcance de ésta; los métodos para seleccionar las preguntas; los indicadores para establecer su efectividad; los criterios para definir la validez y confiabilidad de la información; las relaciones entre evaluadores y tomadores de decisión; y las estrategias para comunicar y promover el uso de los resultados (De Salazar, 2002). Por otro lado, son necesarias y urgentes la formulación y la aplicación de métodos apropiados para identificar, entender y valorar procesos 52 Ligia de Salazar y resultados de las intervenciones, en su dimensión política, social y económica, y en su contribución a la equidad y calidad de vida de las poblaciones. Esta doble intencionalidad de la evaluación está orientada tanto a procesos, como a resultados y consecuencias, y se relaciona con la construcción de capacidad para lograr efectos positivos en el estado de salud y en los determinantes de la salud y bienestar de la población. De allí que, más allá de explicaciones etiológicas obtenidas ante situaciones ideales o controladas, la evaluación produce información sobre efectividad de intervenciones ante situaciones reales, mediante un proceso en el cual tanto la misma intervención como las variables abordadas, en lugar de ser controladas son identificadas y comprendidas para explicar los cambios. Igualmente, se debe obtener información para comprender el proceso que produjo los resultados y establecer la asociación entre intervención y resultados. Decisiones basadas en evidencias Aunque existe un amplio consenso en el mundo sobre la necesidad de que la promoción de la salud y la salud pública demuestren su efectividad y desempeñen un papel cada vez más importante en el conjunto de las políticas de salud pública, diferentes argumentos se han esbozado alrededor del tema de las evidencias en este campo. Algunos creen que el futuro de la promoción de la salud dependerá de su habilidad para demostrar científicamente que es un campo efectivo para la acción de la salud pública (Potvin y McQueen, 2008). Campostrini (2007) opina que es casi imposible encontrar la verdad absoluta en intervenciones de promoción de la salud y propone que lo mejor es observarla –medirla– y analizarla a través de su sombra –las evidencias– para interpretar la realidad. Por tanto, el autor recomienda que aquellos interesados en valorar la efectividad de intervenciones en promoción de la salud deben buscar cuál “sombra” es la más apropiada, según la metáfora anterior. 53 Efectividad en Promoción de la Salud y Salud Pública Sin embargo, en el transcurso de los últimos veinte años, diversos interrogantes han surgido en torno a la relevancia y éxito de las políticas e intervenciones basadas en evidencias y acerca de las consecuencias económicas, sociales, políticas y culturales que su abordaje plantea. La necesidad de disponer de información sobre la efectividad y rentabilidad social de intervenciones en promoción de la salud y salud pública, ha sido reconocida en diversos escenarios y cada día crecen las demandas para que se tomen decisiones informadas, fundamentadas en evidencias, sobre la efectividad, relevancia y utilidad de las políticas y programas. A pesar del reconocimiento público y de la importancia, dadas a la articulación entre la evidencia científica y la toma de decisiones en salud, en la práctica existen obstáculos para que esta articulación sea efectiva. Uno de ellos se relaciona con el concepto de evidencia y su aplicación. Por otro lado, el limitado uso de los resultados de las evaluaciones es en parte consecuencia de la falta de conocimiento y comprensión de los evaluadores sobre la racionalidad detrás de los procesos de toma de decisiones. En la práctica, hay que notar que la evidencia sola es insuficiente para fundamentar la toma de decisiones. La evidencia externa puede informar, pero nunca reemplazar el expertismo de los practicantes individuales. Es este expertismo el que decide si la evidencia externa aplica para el grupo objetivo de una intervención y, si es el caso, cómo debe usarse para lograr la efectividad. El uso concienzudo y juicioso de la evidencia es sólo un elemento necesario pero no suficiente para lograr valorar si una iniciativa es efectiva (Tang, Ehsani y McQueen, 2003). Estas últimas frecuentemente se toman respondiendo a valores, intereses y prioridades del momento, independiente de la evidencia disponible. Dado que los tomadores de decisión generalmente muestran poco interés en estudios que obtengan resultados a largo plazo y tienden más a valorar lo que pueden presentar como producto de su gestión, la evaluación debe responder 54 Ligia de Salazar a esta necesidad, pero además mostrar claramente aquellos beneficios que se podrían conseguir a largo plazo, si determinadas condiciones del contexto se sostienen. Para ello, los estudios y proyecciones basados en asociaciones establecidas por otros investigadores, podrían ser de gran ayuda. Evaluación, evidencias y procesos políticos Si bien el término evidencia es, a menudo, restringido a hechos cuantitativos derivados de diseños experimentales aleatorizados, que no capturan la complejidad inherente a la promoción de la salud (McQueen y Anderson, 2000), algunos autores argumentan que en una amplia noción de evidencias también se incluye la evidencia cualitativa de experiencias vividas e historias de casos. Este tipo de evidencia es importante porque refuerza la comprensión del comportamiento humano, promueve el pensamiento holístico y ofrece datos cualitativos del contexto que rebasan lo que algunos críticos llaman “meras opiniones” (Madjar y Walton, 2001). Para los tomadores de decisión existen otros criterios para valorar la evidencia de éxito o efectividad de una intervención, los cuales también deben ser tenidos en cuenta. Simon et al. (1986) en su estudio sobre la selección en circunstancias de incertidumbre, inconsistencia e información incompleta, se refieren a un fenómeno aún vigente. Según los autores, cuando a las personas se les da información acerca de la probabilidad de ciertos eventos y luego reciben información adicional relacionada con la ocurrencia del evento, tienden a ignorar las probabilidades previas en favor de información incompleta y muchas veces irrelevante acerca de un evento particular. Este hecho se refleja claramente en la influencia de los medios masivos de comunicación. El uso que los tomadores de decisión o grupos de interés darán a la evaluación también determina lo que para ellos puede constituir evidencia. En el proceso de reconocimiento de los potenciales usos que se 55 Efectividad en Promoción de la Salud y Salud Pública le dará a la evaluación, se debe diferenciar entre aquellos que usarán los resultados para reorientar y fortalecer la intervención y los que tienen interés en usar las recomendaciones para tomar decisiones relacionadas con la continuidad y extensión de los programas. En síntesis, los primeros toman decisiones más de carácter técnico y los segundos de tipo político. Nutbeam et al. (1990) citados por Potvin, Haddad y Frohlich (2001) brindan información que ayuda a definir el tipo de participación de cada uno de los potenciales involucrados en la evaluación. Criterios para valorar el éxito o efectividad de una intervención Existen diferencias importantes de perspectiva y énfasis con respecto a aquello que representa el éxito de un programa de promoción de la salud, lo cual depende de quién lo valore. Por ejemplo, entre estas perspectivas se encuentran las de los siguientes actores: • Los responsables de elaborar las políticas y los gestores de presupuestos, que deben tener la capacidad de juzgar el éxito –o posible éxito– de los programas, con el fin de adoptar decisiones relativas a cómo asignar recursos y rendir cuentas de sus decisiones. Este éxito suele definirse en términos de la relación que existe entre la inversión y el logro de los resultados de salud a corto plazo. • Los profesionales de la promoción de la salud, que deben ser capaces de juzgar, con una dosis razonable de confianza, el posible éxito en la ‘vida real’ de un programa, con respecto al logro de sus objetivos. Este éxito se podría definir en términos de la factibilidad de implantación de un programa y de las posibilidades de lograr que las personas y las organizaciones se comprometan con la iniciativa. 56 Ligia de Salazar • La población que se beneficiará de la acción de promoción de la salud, que valore el proceso por medio del cual se lleva a cabo un programa, principalmente si éste es participativo o no y si aborda o no prioridades que la propia comunidad haya identificado. Este éxito se podría definir en términos de relevancia con respecto a las necesidades percibidas y de las oportunidades de participación de la comunidad. • Los investigadores académicos, que identifican el éxito con el fin de mejorar el conocimiento y la comprensión de la asociación entre las intervenciones y los efectos observados, aplicando ‘reglas de evidencia’ científica. Este éxito se podría juzgar en términos de rigor metodológico, mantenimiento de la integridad de los programas y el logro de resultados predeterminados. Estas perspectivas son diferentes, sin ser mutuamente excluyentes. Cada una de ellas puede tener interés en modificar los determinantes de la salud y lograr una mejora de la salud, pero presentan diferencias marcadas en cuanto al énfasis que ponen en el proceso mediante el cual alcanzan sus resultados y la importancia que atribuyen a la inversión y a la factibilidad de la implantación. En consecuencia, existe actualmente un amplio espectro de métodos y medidas que se utilizan en la evaluación y establecimiento de la evidencia. Esta variación refleja no solamente las distintas perspectivas mencionadas, sino también las importantes diferencias de estructura y punto de partida de las intervenciones. (Adaptado de: UIPES, 1999) 57 Efectividad en Promoción de la Salud y Salud Pública Algunos autores han afirmado que los resultados de la evidencia y la evaluación son usados en una variedad de formas para orientar, justificar o apoyar el desarrollo de políticas y estudiar la relación entre evidencia y política (Nutbeam y Harris, 2004; Weiss, 1999; Milio, 1987) y han explicado las diferentes formas en las cuales la evidencia ha sido usada para guiar el proceso de formulación de políticas (Lin y Gibson, 2003). Si bien es deseable que las decisiones se fundamenten en información confiable acerca de las relaciones causales entre variables, es reconocido que en diversas ocasiones la formulación de políticas se basa en el uso de medidas menos precisas. Por tanto, los evaluadores deben dar cuenta de esas limitaciones y dar a conocer la validez, aplicabilidad y restricciones de la evaluación y las recomendaciones que de ella se deriven (Dowed y Town, 2002). Según Nutbeam y Harris (2004) la El factor político y ético de la evaluación de evidencia de efectividad, ha sido señalado por Ray y Mayan (2001), al hacer la pregunta “¿quién determina qué se considera como evidencia, cuáles son los indicadores apropiados, y estándares de comparación? Por otro lado, también hay que preguntarse ¿cómo lograr consenso acerca de los criterios para juzgar la evidencia cuando se encuentran diferentes expectativas y racionalidades? política puede ser influenciada por la evidencia en los siguientes casos: si la evidencia está disponible y es asequible al momento de ser necesitada, si la evidencia encaja dentro de la visión política y si la evidencia se orienta a acciones en donde el poder y los recursos están o pueden estar disponibles, al igual que si existen los sistemas, estructuras y capacidad para actuar. Las anteriores consideraciones marcan claramente la necesidad de relacionar evidencia con toma de decisiones en determinados contextos; en otras palabras, evaluación y proceso político. También plantean la necesidad de ahondar sobre los requerimientos de información de las 58 Ligia de Salazar diferentes audiencias y tener en cuenta esta información para seleccionar el enfoque metodológico y diseño evaluativo, al igual que el técnico, siendo cuidadosos de no afectar la validez del estudio. Lo anterior lleva a entender que, de la misma manera que para los implementadores no será suficiente –y es más bien contraproducente– esperar al final de la intervención para evaluar sus resultados, para los financiadores y planificadores, quizás algunos resultados intermedios –datos cualitativos y percepciones centradas en el proceso político– no constituyan evidencias de éxito y, por tanto, no se pueda influir tan fácilmente en la toma de decisiones. Como una respuesta a los anteriores planteamientos se propone el uso de diseños de evaluación que contribuyan a establecer la asociación entre intervención y resultados intermedios –proximales– y efectos a más largo plazo –distales–; asociaciones explicadas no sólo por los resultados de pruebas estadísticas, sino por análisis relevantes y plausibles, basados en marcos lógicos actualizados, construidos socialmente, y utilizando información sobre la documentación del proceso político y metodológico de implementación de la intervención, combinando métodos e instrumentos de investigación cualitativa y cuantitativa, al igual que información proveniente de varias fuentes y momentos del ciclo de vida de las intervenciones. 59 Efectividad en Promoción de la Salud y Salud Pública 3. Evaluación de efectividad en promoción de la salud y salud pública La evaluación ha sido definida desde varias perspectivas, en las cuales, por un lado, cumple una función instrumental y, por otro, responde a una función formadora y constructora de capacidad para comprender los procesos de cambio e intervenirlos (Brownson, Baker, Leet y Gillespie, 2003). En términos generales, la evalua- La evaluación es un proceso de aprendizaje desde el cual se contribuye al éxito de la intervención. Desde esta perspectiva, la evaluación es vista como un medio para negociar y fortalecer la capacidad para hacer uso de los resultados y para lo que Smutylo (2001) acertadamente señala, develar las contribuciones no visibles, en un esfuerzo por mejorar en lugar de probar y de entender en lugar de crear responsables; visualizando la evaluación como generadora de conocimientos y no como otorgadora de méritos. ción se ha definido como la comparación y valoración del cambio de un evento en relación con un patrón de referencia y como consecuencia de una determinada intervención. Según Rychetnik et al. (2004) evaluación es un proceso que intenta determinar, lo más sistemática y objetivamente posible, la relevancia, efectividad e impacto de determinadas actividades, a la luz de sus objetivos. Otros autores definen la evaluación como la “valoración sistemática y objetiva de un proyecto, programa o política que se está desarrollando 60 Ligia de Salazar o se ha completado el ciclo de diseño, implementación y resultados. La evaluación debe brindar información creíble y útil que posibilite la incorporación de las lecciones aprendidas en el proceso de toma de decisiones” (OECD, 1998). Según Hawe, Degeling, Hall y Brierley (2003) la evaluación es el juicio alrededor de algo, y añaden que la forma como juzguemos depende de las expectativas, experiencias pasadas, lo que pensamos que es importante o lo que pensamos que no es importante. Lo anterior afecta la forma como se realiza la evaluación, los intereses que ella sirve y los métodos que usamos. Por ello no hay una forma estandarizada de hacer la evaluación, ni de definir los productos que de ella se obtendrán. De otra parte, de acuerdo con Brownson, Baker, Leet y Gillespie (2003) la evaluación es el proceso de analizar programas y políticas, así como el contexto dentro del cual ellas ocurren, para determinar si en su implementación se requiere hacer cambios y valorar las consecuencias intencionales y no intencionales; lo anterior incluye, pero no se limita a determinar si se están alcanzando las metas y objetivos. Mediante la evaluación se puede reorientar el curso de los programas o políticas; ayudar a determinar si el programa o política ha sido efectivo; y obtener información para formular y planificar el próximo programa o política. Bases metodológicas de la evaluación de efectividad Como se ha mencionado, la evaluación plantea en sí misma desafíos técnicos, políticos y culturales. Al concebir la salud pública desde la perspectiva que plantea la promoción de la salud, como un proceso político de construcción de capacidad para proteger y mantener la salud, y controlar sus determinantes, se entenderá que la evaluación debe centrarse tanto en la evolución de este proceso de cambio, como en sus efectos en la salud y bienestar de la población. 61 Efectividad en Promoción de la Salud y Salud Pública La evaluación de efectividad de intervenciones complejas deberá considerar, entre otros aspectos, el hecho de que las iniciativas en estos campos responden a procesos dinámicos los cuales son de naturaleza participativa, multifactorial y multidimensional; la existencia en forma concomitante de diversas intervenciones con objetivos específicos, aunque complementarios; que son intervenciones en permanente cambio, definidas en un proceso también permanente de reflexión-acción; que están orientadas a grupos comunitarios, en diversas ocasiones con una alta movilidad; que tienen efectos a largo plazo, muchas veces difíciles de medir y costear; que se articulan a planes de desarrollo intersectoriales, más que a planes sectoriales y que los beneficios pueden ser frecuentemente intangibles para los tomadores de decisión. Igualmente, la evaluación de estas intervenciones demanda reflexiones y acciones concretas alrededor de la articulación de las ciencias políticas, sociales, económicas y biológicas en el análisis e interpretación de los resultados; la definición en términos medibles de los principales principios y valores que impulsan estas iniciativas, así como la necesidad potencial y también la dificultad para generalizar y predecir resultados. De la misma forma, debe considerar la influencia del tipo de diseño de evaluación en la credibilidad, oportunidad, relevancia y replicabilidad de los resultados; la diversidad y, en algunos casos, los intereses opuestos de los grupos de interés o denominados stakeholders –evaluadores, financiadores, usuarios y teóricos–; y la forma en que se conduce la evaluación dada la frecuente escasez de recursos. ¿Qué se considera efectivo? Los conceptos diferenciados de eficiencia, eficacia y efectividad siempre han producido confusión cuando se aplican a políticas, programas y tecnologías en salud, resultado de la amplia diversidad de definiciones adoptadas por diferentes autores. 62 Ligia de Salazar En los últimos tiempos ha ido ganando creciente aceptación la siguiente distinción entre eficacia y efectividad, según la definición de la Oficina de Evaluación de Tecnología, OTA, de los Estados Unidos: • Eficacia: La probabilidad de que individuos de una población definida obtengan un beneficio de la aplicación de una tecnología en salud a un problema determinado en condiciones ideales de uso –controladas–. • Efectividad: La probabilidad de que individuos de una población definida obtengan un beneficio de la aplicación de una tecnología en salud a un problema determinado en condiciones normales de uso –no controladas–. El concepto de efectividad y la complejidad de intervenciones explican la dificultad de hacer afirmaciones precisas acerca del beneficio real para la salud de una tecnología, y la atribución de los resultados –efectividad–, a una intervención específica. Es frecuente que la efectividad medida durante la etapa de innovación de una tecnología se establezca en condiciones ideales de uso; en consecuencia, se produce una estimación de la eficacia más que de la efectividad. Si la evaluación se hace en periodos más largos y en condiciones normales de uso, se evalúa la efectividad de la intervención, pero el problema es identificar la interacción e influencia en los resultados de otras variables (Panerai y Mohr, 1990). Last (1988) define la efectividad como la capacidad de una iniciativa para alcanzar lo que se propuso, cuando es implementada en condiciones no controladas. En forma simple, cuando nos referimos a efectividad estamos evaluando si una intervención sirve para lo que fue creada, cuando funciona en condiciones reales. 63 Efectividad en Promoción de la Salud y Salud Pública El elemento crítico aquí es el referente de comparación –criterios de éxito– que permita determinar que algo funciona o sirve para lo que fue creado. La construcción de este referente de comparación no es una simple cuestión técnica, sino que involucra una concepción filosófica sobre la salud, el derecho y la oportunidad de los ciudadanos para obtenerla y la responsabilidad social de los diferentes actores para construirla, lo cual se explicita en los principios que orientan la intervención (Panerai y Mohr, 1990). Se propone que la evaluación de efectividad de intervenciones complejas se constituya en un proceso sistemático, de sucesivas aproximaciones, por lo que no se trata de un ejercicio en un momento único, sino de una tarea cuya periodicidad se extiende durante el tiempo de la implementación de la intervención y más allá de su finalización. Esto implica integrar la evaluación en la cotidianidad del desarrollo de la intervención y a la gerencia de la misma. El enfoque sistémico de la evaluación demanda la interrelación lógica entre sus componentes, y de éstos con el contexto en el cual se inscribe. La búsqueda permanente de las interrelaciones entre los componentes dará las bases para la obtención de las señales de efectividad de las intervenciones. Si estamos de acuerdo en que la evaluación hace parte del proceso de implementación de las intervenciones, la propuesta es que ésta se oriente a responder a los diferentes intereses y preguntas según el ciclo de vida de dichas intervenciones, y según los resultados esperados en el momento de la evaluación. Desde esta perspectiva se logrará una construcción sistemática de “señales” de efectividad y una reflexión sobre el proceso de implementación de la intervención en diferentes momentos. El estudio del proceso, además de brindar información para redireccionar los programas e intervenciones, se convierte en el insumo más 64 Ligia de Salazar importante para entender y explicar el por qué de un determinado resultado o efecto. El llamado es a evaluar no sólo los resultados e impacto de las intervenciones, sino el proceso político y social para lograr los objetivos de la intervención y resultados intermedios que nos lleva a ellos. Según Nutbeam y Harris (2004) las intervenciones pueden tener diversos niveles de resultado y diferentes efectos en el tiempo, y la evaluación de impacto representa el primer nivel de resultados de un programa. Niveles de resultado en promoción de la salud Los resultados de la promoción de la salud representan los factores personales, sociales y estructurales que se pueden modificar con el fin de cambiar los determinantes de la salud. Algunos de estos resultados representan también el impacto más inmediato de las actividades planificadas de promoción de la salud. Éstos se suelen expresar como resultados personales o sociales, tal como calidad de vida, independencia funcional y equidad, o más a menudo, en términos de resultados de salud, expresados como mortalidad, morbilidad, discapacidad o disfuncionalidad. Existe una relación dinámica entre los diferentes resultados y las tres acciones expuestas (educación, movilización social y abogacía). No hay una relación lineal o estática. La acción de promoción de la salud se puede dirigir al logro de distintos resultados en este campo si se modifica la orientación o el énfasis de una intervención. Decidir cuál es el mejor punto de partida y cómo se deben combinar las diversas acciones con el fin de alcanzar los resultados deseados, es esencial para una práctica exitosa de la promoción de la salud. (Adaptado de: UIPES, 1999) 65 Efectividad en Promoción de la Salud y Salud Pública Se debe considerar que la evaluación de efectividad ha sido concebida como la simultánea medición, descripción y juicio para identificar y valorar cambios, al igual que para establecer la asociación entre variables alrededor de una medida de éxito o fracaso de la intervención. Por tanto, este tipo de evaluación debe responder a un interés por conocer si la intervención funcionó y si alcanzó los objetivos para los que fue creada, así como a qué tanto y cómo se explican los cambios, producto de la intervención. La parte política y ética de la evaluación de efectividad ha sido abordada por Ray y Mayan (2001), cuando preguntan sobre los significados de evidencia, los indicadores y los estándares apropiados. Por ello, no sólo es importante preguntarse por la efectividad de una determinada intervención sino por el proceso que fue capaz de producir esos resultados, en el corto, mediano y largo plazo (WHO, 2001). Las respuestas a preguntas como: Las evaluaciones en promoción de la salud pueden orientarse a valorar la implementación de la intervención, reconociendo las fortalezas, frustraciones, grado de satisfacción de los usuarios, reacciones de interesados y opositores, entre otros; a valorar el impacto en cuanto al cumplimiento de sus objetivos y a generar nuevo conocimiento mediante la prueba de hipótesis. A este respecto Speller, Learmonth y Harrison (1997) señalan dos tipos de evidencia: la primera es utilizada para “vender” promoción de la salud, la cual debe tener validez externa; y la segunda es orientada a construir teoría, por lo cual debe tener validez interna. Ambos se complementan, según el propósito de la evaluación. qué queremos saber, qué información esperamos obtener con la evaluación o quiénes son los interesados en los resultados, serán de gran utilidad para definir las preguntas de evaluación apropiadas, el grado de precisión requerida y el diseño más indicado para dicha evaluación. Con el fin de establecer una evidencia más convincente del impacto y resultados de las intervenciones de promoción de la salud y la salud pública, es necesario planificar estas iniciativas en función de una valoración 66 Ligia de Salazar completa de la evidencia derivada de la investigación epidemiológica, conductual y social, que indique la existencia de relaciones razonables entre el impacto a corto y mediano plazo de las intervenciones y cambios posteriores en los determinantes de la salud y en las condiciones de salud (UIPES, 1999). Para Dobrow, Goel y Upshur (2004) citados por Kemm (2006), la respuesta a la pregunta si una intervención funcionó debe tener en cuenta no sólo la intervención y los resultados, sino también la asociación entre estos dos, al igual que el contexto, algunas veces llamado contexto externo. En ese sentido, es necesario prestar atención a las condiciones en las que fue creado e implementado el programa y a cuáles favorecieron su éxito. Entre otras, implica conocer si había suficiente conciencia pública y política sobre el tema y la necesidad de acción; la capacidad para llevar a cabo el programa, por ejemplo, en términos del nivel de formación del personal sanitario; si se garantizaron los recursos necesarios para implantar y sostener el programa y, finalmente, si el programa de intervención tiene una amplitud, duración y sofisticación suficientes para arrojar cambios y que éstos sean detectables. Con base en lo anterior y en la complejidad inherente a estas intervenciones, es posible afirmar que no puede existir un único método o medida que se considere ‘correcto’ y que se pueda utilizar para evaluar la efectividad de los programas, así como tampoco una forma ‘absoluta’ de evidencia. La evidencia de la efectividad está relacionada con el punto de entrada –tema, población o escenario–, el método de intervención de promoción de la salud y los públicos –responsables de elaborar las políticas, profesionales sanitarios, investigadores académicos, entre otros–. No existe una definición estandarizada de lo que se considera ideal en evaluación. Por el contrario, esto puede ser irrelevante en la práctica de la promoción de la salud y la salud pública. 67 Efectividad en Promoción de la Salud y Salud Pública Premisas generales para la evaluación de intervenciones complejas • La evaluación debe dar cuenta tanto de los cambios en los componentes esenciales de la intervención, como de los cambios en el estado de salud y determinantes sociales que influyen en las condiciones de salud y bienestar de la población. • La evaluación debe ser innovativa para establecer asociaciones causales en torno a la efectividad de intervenciones interdisciplinarias, multienfoque y producto de ambientes complejos y en continuo cambio. • La evaluación debe estar fundamentada, en primer lugar, en modelos y métodos que den cuenta de la naturaleza cambiante y multiestratégica de las intervenciones; y, en segundo lugar, en asociaciones lógicas dentro del contexto social en que se desenvuelve el programa o intervención y no sólo en asociaciones estadísticas. Por tanto, la evaluación debe aplicar una combinación de métodos y técnicas cualitativas y cuantitativas apoyadas, cuando sea posible, en técnicas de triangulación de información. • La evaluación debe incorporar en su diseño metodológico formas eficientes y confiables de información, para que pueda ser viable y realizarse con la periodicidad requerida, haciendo uso de las fuentes existentes y creando nuevas opciones en caso necesario. Ejemplos de ello son los sistemas de vigilancia epidemiológica, las estadísticas vitales, los registros municipales, las formas autóctonas de comunicación, relatos e informes de progreso de proyectos comunitarios, informes de monitoreo y evaluación, observatorios epidemiológicos y sociales, entre otros. • La evaluación debe considerar como fuentes de información importantes los sistemas formales e informales de comunicación e información, que hacen parte de la cotidianidad de las comunidades e instituciones, al igual que los resultados de otros ejercicios de evaluación participativa (OPS, 2003). 68 Ligia de Salazar • La evaluación debe tomar en cuenta en el diseño metodológico la naturaleza cambiante de estas intervenciones en salud y, más importante aún, explicitar las razones que inducen a los cambios. Esta actividad se logra si hay un proceso permanente de documentación y reflexión sobre la experiencia; o sea si existe un proceso de sistematización de la misma (De Salazar, 2002). La sistematización de las intervenciones suministra información para dar cuenta del proceso de cambio y, como tal, se constituye en el insumo central para comprender las transformaciones y hallazgos. Se debe reconocer que es improcedente evaluar efectividad de intervenciones, cuando no hay certeza de qué fue lo que se implementó y del contexto en el cual se desarrollaron dichas intervenciones. La sistematización, incorporada a los programas, se convierte en una herramienta efectiva para aportar la información necesaria para el proceso evaluativo, dada su bondad para generar análisis crítico y reflexivo de las experiencias vividas en un trabajo colectivoparticipativo, originado en quienes tomaron parte directamente de las intervenciones. • La evaluación debe surgir y ser realizada por coaliciones entre los sectores y actores comprometidos en la intervención, a fin de garantizar su activa y permanente participación, recogiendo sus percepciones, intereses, aportes y puntos de encuentro, así como sus puntos de vista para la interpretación de la correlación entre variables o categorías de estudio. Esta participación debe contribuir a la selección de preguntas que se desean responder y a las formas de comunicar y utilizar los resultados. • La evaluación debe ser integral y con compromiso social. La evaluación se reconoce como un proceso sistémico que descompone sus elementos constitutivos para efectos de observación, descripción, relación y valoración, pero los integra en el análisis para explicar los fenómenos sociales en la realidad y considerarlos en los 69 Efectividad en Promoción de la Salud y Salud Pública planes de mejoramiento o para la adopción o creación de nuevos programas. No se debe olvidar que tanto la investigación como la toma de decisiones son procesos; de allí que si deseamos influir en la formulación de una política, es necesario tener en cuenta toda la secuencia investigativa, más que una simple conclusión (Lomas, 2000). Enfoques y paradigmas de la evaluación de efectividad Para Hawe, Degeling, Hall y Brierley (2003) la investigación evaluativa tiene diferencias con otros tipos de investigación debido a que involucra dos procesos: observación y medida, al igual que comparación de lo que se observa con algunos criterios o estándares que son indicadores de buen desempeño. Los autores sostienen que no hay una forma correcta o incorrecta de evaluar, sino que depende de las diferentes percepciones y exigencias de los usuarios de la información en relación con lo que es considerado como “evidencia” de que algo funciona, al igual que el momento en que se realiza la evaluación. Ha habido considerable discusión en la literatura sobre la diversidad de paradigmas empleados en investigación evaluativa. Muchas de las diferencias en los paradigmas usados para guiar las preguntas de evaluación son epistemológicas –o sea que reflejan diferentes perspectivas en la relación entre quien establece la pregunta y lo que puede conocerse–, y ontológicas –que reflejan las diferentes perspectivas sobre la naturaleza de la realidad y lo que puede saberse sobre ésta–. Es esencial reconocer que la opción que uno seleccione influencia la recolección e interpretación de los datos y la utilización de resultados de la evaluación. Por ejemplo, mientras muchos estarían de acuerdo en que la evaluación en ausencia de los grupos de involucrados o llamados stakeholders, no es muy útil, hay casos donde la evaluación se conduce después de que el programa ha finalizado y los datos ya han sido reunidos, lo cual limita el potencial para el involucramiento de los 70 Ligia de Salazar stakeholders en las decisiones sobre los tipos de preguntas y los datos que deben ser recolectados. Alternativamente, hay casos donde el foco de la evaluación y el tipo de datos recolectados son decididos por los implementadores del programa, sin la entrada de un grupo más amplio de stakeholders debido a la creencia que el involucrar a estos grupos podría, de algún modo, “contaminar” los resultados de la evaluación. Por otro lado, en el dilema en torno a los paradigmas en la búsqueda de evidencias, debemos considerar a Wilber (1992) citado por Labonte (1993), quien delimita tres categorías epistemológicas de la investigación hacemos referencia a dos de ellas: la analítica y la hermenéutica. La analítica, estudia hechos reales independientes de nuestra percepción; es también llamada positivista. Este paradigma se caracteriza por su adherencia a la creencia en una sola realidad, independiente de cualquier interés del observador; las explicaciones de causalidad; su presunción de que una verdad universal puede ser encontrada y su preocupación por la predicción vía la prueba –certeza–. La segunda categoría, la hermenéutica, considera las percepciones individuales de fenómenos que se vuelven modelos de la realidad socialmente construidos. Es la epistemología constructivista, la cual inicia con la creencia fundamental que existen múltiples realidades socialmente construidas, las cuales no están gobernadas por leyes universales. Wilber, según Labonte (1993) añade que la “verdad” es la más informada y sofisticada declaración de entendimiento del cual hay un consenso razonable. El investigador está interconectado con el aspecto bajo investigación, mostrando los hallazgos como creación del proceso de investigación, más que mostrando los hechos. Su metodología es un proceso de interacción, análisis, crítica, reiteración y síntesis, que lleva a la emergencia de algunos entendimientos compartidos de un caso o 71 Efectividad en Promoción de la Salud y Salud Pública conjunto de relaciones. En resumen, la teoría constructivista se ocupa del significado, vía entendimiento. Analizando la evaluación de efectividad en promoción de la salud desde estos paradigmas, se podría plantear que el constructivista podría ser más apropiado. La reflexión es si los resultados que se obtienen con este enfoque, constituyen evidencia y son suficientes para satisfacer las necesidades de información de los tomadores de decisión. El contestar preguntas como ¿qué queremos saber?; ¿cuál información esperamos obtener con la evaluación?; ¿para qué evaluamos?; ¿qué haremos con la información? y ¿quién requiere la evaluación?, será de gran utilidad para definir la pregunta de evaluación y posteriormente el diseño más adecuado para responder a la misma. Hay una considerable variación en los métodos usados para evaluar programas y, sin embargo, hay mucha más variación en el lenguaje usado para describir cada una de las distintas técnicas de evaluación. Pero más que calificar los tipos de evaluación se deben señalar las diferencias y la complementariedad entre ellas, sin forzar o desestimar las bases teóricas sobre las que se sustentan. Un aspecto central para lograr esta complementariedad es saber el vínculo entre los resultados intermedios y los finales, según el marco lógico en que se fundamenta la intervención. La evaluación de efectividad en promoción de la salud debe articular estos enfoques. Por otro lado, el diseño metodológico de la evaluación debe propender a una interpretación y comprensión integral de los fenómenos encontrados a partir de un análisis comprehensivo del contexto, el proceso y los resultados. Por ejemplo, a este respecto, Hoppe (1999) afirma que los investigadores han sido criticados como ingenuos políticamente, al creer que pueden producir evidencias, libres de la influencia de la política y fallan al entender cómo la investigación debe ser sintetizada y presentada con el fin de que sea útil a los formuladores de las políticas. El autor 72 Ligia de Salazar plantea que el modelo en el cual los investigadores emplean el enfoque de “decir la verdad al poder”, rastreando evidencia para identificar la mejor solución a un determinado problema, para ser adoptada por formuladores de políticas, muestra no solo una comprensión inadecuada del proceso de formulación de políticas, sino que utiliza un enfoque poco riguroso para producir evidencia. Esto ha obligado a evaluadores y tomadores de decisión a debatir el tema, teniendo como referentes factores que compiten, tales como precisión, validez y oportunidad de la información versus sentido y utilidad de la misma para la toma de decisiones; temporalidad de la investigación evaluativa versus proceso político y gerencial; información para promotores del proceso versus información para formuladores e implementadores de políticas e investigadores interesados en la teoría que fundamenta la promoción de la salud; evidencia de efectividad versus evidencia de rentabilidad social; factores técnicos y económicos versus éticos; entre otros. Por lo anterior, los evaluadores nos enfrentamos a situaciones conflictivas creadas por la necesidad de implementar estrategias para incrementar el uso de los resultados de la evaluación. Otro aspecto clave que se debe tener en cuenta es la perspectiva de los evaluadores y en general de las personas interesadas en los resultados de la evaluación. Dado que pueden haber muchos interesados y no tener la misma perspectiva o parámetros para valorar el éxito de los resultados de la intervención, es conveniente indagar sobre este aspecto y llegar a consenso. La evaluación según la perspectiva de un sólo usuario puede producir resultados “sesgados” dado que la perspectiva de éste no necesariamente refleja la de otros actores, aunque sí orienta la evaluación y fija el referente para comparar y valorar si algo funciona o es efectivo. A este respecto, Gupta (2001) cuestiona la neutralidad al asignar un valor al señalar que en un mundo de ideologías, es imposible ser completamente neutral cuando se hace un análisis político. Menciona que “debemos aceptar la existencia de normas, valores e ideologías sin per73 Efectividad en Promoción de la Salud y Salud Pública mitir que ellas nos detengan de usar el análisis sistemático. Si nosotros reconocemos estas limitaciones externas las podemos incorporar en nuestro razonamiento científico”. La cuestión de la perspectiva se vuelve crítica en el análisis político cuando consideramos el análisis desde la perspectiva de un sólo “cliente” o usuario de la información, dado que los analistas pueden subordinar la metodología a los intereses de ese cliente. Le invitamos a reflexionar sobre dos preguntas que hace Gupta en relación con la selección de la perspectiva de análisis: ¿cómo la ideología y la percepción afectan la interpretación de los resultados de la evaluación?; y ¿puede esta disputa ser resuelta con herramientas analíticas objetivas? Es necesario tener presente que las diferentes perspectivas, en lugar de contradecirse u oponerse, son parte de un proceso de sucesivas aproximaciones, en donde el énfasis de la evaluación y los indicadores para valorar su efectividad dependen frecuentemente del momento o ciclo de vida de la intervención y, por tanto, de la viabilidad de observar los resultados de interés. Por tanto, un modelo de evaluación esclarecedor debe ser aplicado, de tal forma que los resultados de la investigación se filtren e influencian la forma como los problemas están siendo fraseados y se establezca un diálogo permanente entre investigadores y formuladores de políticas, a fin de que ambos aprendan de cada uno. Finalmente, se han identificado dificultades en relación con el establecimiento de asociaciones causales que den cuenta de evidencias de efectividad de intervenciones de naturaleza compleja, como son la mayoría de iniciativas en salud pública y promoción de la salud; sumado a limitaciones y problemas en relación con la relevancia, complejidad, utilidad y viabilidad de aplicar diseños evaluativos propios de la investigación etiológica, cuya validez depende del rigor científico y supuestos que demandan este tipo de estudios analíticos (WHO, 2001; Susser, 1994 citado por Borja-Aburto, 2000). 74 Ligia de Salazar Además de lo anterior, los participantes en el Programa Latinoamericano sobre Creación de Capacidad en Evaluación, han identificado otras dificultades para llevar a cabo la evaluación de efectividad de intervenciones en salud pública y promoción de la salud. Algunas de las más sobresalientes son: • Involucrar los intereses de los actores sociales, involucrados en la intervención, en un diseño de evaluación comprehensivo y relevante, que permita la combinación de diversos enfoques y técnicas para responder a sus racionalidades y expectativas. • Seleccionar un diseño metodológico que incorpore los elementos centrales de la estrategia, el cual esté centrado en valores y principios como equidad, intersectorialidad e interdisciplinariedad en las intervenciones, dirigido a grupos e instituciones, conectado con procesos políticos y sociales y que incorpore a la comunidad como actor activo. • Realizar una interpretación y comprensión integral de los fenómenos encontrados a partir de un análisis comprehensivo del contexto, el proceso y los resultados. • Tener la disponibilidad y acceso a los resultados para la toma de decisiones, articulando tiempos políticos y tiempos técnicos. • Fortalecer la teoría a través de hallazgos y experiencias evaluativas desde el análisis, reflexión y comprensión de la práctica. 75 Efectividad en Promoción de la Salud y Salud Pública Bibliografía Borja-Aburto, V. H. (2000, noviembre - diciembre), “Estudios ecológicos”, en Salud Pública de México, vol. 42, núm. 6. Brownson, R.C., Baker, E.A., Leet, T.L. & Gillespie, K.N. (2003), Evidencebased public health. New York, Oxford University Press. Campbell, M., Fitzpatrick, R., Haines, A., Kinmonth, A. L., Sandercock, P., Spiegelhalter, D. & Tyrer, P. (2000), “Framework for design and evaluation of complex interventions to improve health”, en British Medical Journal, vol. 321, pp. 694–696. Campostrini, E. (2007), “Measurement and effectiveness. Methodological considerations, issues and possible solutions”. en D. McQueen, C. Jones (edits.) Global perspectives on health promotion effectiveness. New York, Springer. Carvalho, A., Bodstein, R., Hartz, Z. & Matida, A. (2004), “Concepts and approaches in the evaluation of health promotion”, en Ciencia & Saude Colectiva, vol.9, núm.3, pp.521-529. Castro-Albarrán, J. (1998), “Marcos conceptuales de la promoción de la salud: reflexiones para la práctica”, en A.S. Del Bosque, M. J. González y A.T. Del Bosque (comp.) ¡Manos a la salud! Mercadotecnia, comunicación y publicidad: herramientas para la promoción de la salud. México, Universidad Autónoma Metropolitana. Chapman, S. (1992), “Upgrading the academic respectability of advocacy studies in tobacco policy implementation”, en Tobacco Control, vol. 2, pp. 81–83. Clark, N. M. & McLeroy, K. R. (1998), “Reviewing the evidence for health promotion in the United States”, en J.K. Davies, & G. MacDonald (edits.), Quality, Evidence and Effectiveness in Health Promotion. Routledge, London, pp. 21–46. Craig, P., Dieppe, P., Macintyre, S., Mitchie, S., Nazareth, I. & Petticrew, M. (2008), “Developing and evaluating complex interventions: the new Medical Research Council guidance”, en Research Methods & Reporting, vol. 337:a1655. 76 Ligia de Salazar De Salazar, L., Anderson, L. (2008), “Health promotion evaluation in the Americas: divergent and common ground”, en L. Potvin, D. McQueen (edits.), Health promotion evaluation practices in the Americas. Values and research. New York, Springer. De Salazar, L., Vélez, J.A. & Ortiz, Y. (2003), Estado del arte de evidencias de efectividad en promoción de la salud en América Latina. Proyecto Regional Latinoamericano de Evidencias de Efectividad en Promoción de la Salud. UIPES. Santiago de Cali, Colombia. De Salazar, L. (2002), Municipios y comunidades saludables. El reto de la evaluación. Centro para el Desarrollo y Evaluación de Políticas y Tecnología en Salud Pública, CEDETES, Universidad del Valle, Santiago de Cali, Colombia. Dobrow, M.J., Goel, V. & Upshur, R.E.G. (2004), “Evidence-based health policy: context and utilisation”, en Social Science and Medicine, vol. 58, pp. 207-17. Dowed, B. & Town, R. (2002, septiembre), Does X really cause Y?. Changes in Health care Financing and Organization, Academy Health Advancing Research, Policy and Practice, Washington D.C. Gupta, D. (2001), Analyzing public policy: concepts, tools, and techniques. Washington D.C., CQ Press A Division of Congressional Quarterly Inc. Hawe, P., Degeling, D., Hall, J. & Brierley, A. (2003), Evaluating Health Promotion: A Health Worker Guide. Sydney, Australia, Maclennan and Petty Ltd. Hawe, P., Shiell, A. & Riley, T. (2004), “Complex interventions: how “out of control” can a randomized controlled trial be?”, en British Medical Journal, vol.328, pp.1561-1563. Hoppe, R. (1999), “Policy analysis, science and politics: from ‘speaking truth to power’ to ‘making sense together’”, en Science and Public Policy, vol. 26, núm. 3, pp. 201-210., [en línea], disponible en: http://www.cddc.vt.edu/tps/e-print/s&pparticle.pdf, recuperado: 2 de septiembre de 2009. 77 Efectividad en Promoción de la Salud y Salud Pública Kemm, J. (2006), “The limitations of evidence-based public health”, en Journal of Evaluation in Clinical Practice, vol.12, núm. 3, pp. 319 – 324. Labonte, R. (1993), Health promotion and empowerment: practice frameworks. Toronto, Centre for Health Promotion, University of Toronto, Canadá. Last, J.M. (edit.), (1988), A dictionary of epidemiology. 2nd edit., Oxford Medical Publications, New York, Oxford University Press. Lin, V. & Gibson, B. (2003), Evidence-based health policy: problems and possibilities. Melbourne, Oxford University Press. Lomas, J. (2000), “Connecting research and policy”, en Canadian Journal of Policy Research, vol.1, pp. 140 –144. Madjar, I., & Walton, J. (2001), “What is problematic about evidence?”, en J. Morse, J. Swanson & A. Kuzel (edits.), The Nature of Qualitative Evidence. Thousand Oaks: Sage. McDonald, G., Veen, C. & Tones, K. (1996), “Evidence for success in health promotion: suggestions for improvement”, en Health Education Research, vol. 11, núm. 3, pp. 367-376. McQueen, D., & Anderson, L. (2000), Evaluation in health promotion. Principles and perspectives. WHO Regional Publications European series, No 92. Milio, N. (1987), “Making healthy public policy: developing the science by learning the art”, en Health Promotion International, vol. 2, pp. 263-274. Nutbeam, D. (2004), Engaging in the policy process: improving policy outcomes for health .The politics, science, and art of tackling health inequalities in the UK. Ponencia presentada en el marco de: World Conference on Health Promotion & Health Education, Melbourne. Minkler, M. (edit.), (1997), Community organizing and community building for health, New Brunswick, Rutgers. 78 Ligia de Salazar Mittelmark, M. (2001),”Promoting social responsibility for health: health impact assessment and healthy public policy at the community level”, en Health Promotion International, vol. 16, núm. 3, pp: 269-274. Nutbeam, D. & Harris, E. (2004), Theory in a nutshell, a practical guide to health promotion theories. Second edition, McGraw-Hill. Nutbeam, D., Smith, C. & Catford, J. (1990), “Evaluation in health education: a review of progress, possibilities and problems”, en Journal of Epidemiology and Community Health, vol.44, pp.83-89. OECD (1998), Review of the DAC principles for evaluation development assistance. Organization for Economic Co-operation and Development, OECD. [OPS] Organización Panamericana de la Salud (2003), Evaluation of healthy municipalities: a practical toolkit. Healthy Municipalities Evaluation Group. Washington. [OPS/OMS], (1995), Los proyectos locales de promoción de la salud. Nuevos escenarios para el desarrollo de la salud pública. Serie Desarrollo de la Representación en Cuba. Panerai, R.B. & Mohr, P.J. (1990), Evaluación de tecnologías en salud. Metodologías para países en desarrollo. Washington, Organización Panamericana de la Salud. Potvin, L. (2007, 11 de julio), “Evidence in public health and health promotion: a debate; a response under construction; a key aspect in the research agenda”, [conferencia], Seminario Taller Internacional de Evaluación de Efectividad en Salud Pública, Un Enfoque desde los Determinantes Sociales y la Promoción de la Salud, Cali, Colombia. Potvin, L., Haddad, S., & Frohlich, K. (2001), “Beyond process and outcome evaluation: a comprehensive approach for evaluating health promotion programmes”. En Rootman, M. Goodstadt, B. Hyndman, D.V. McQueen, L. Potvin, J. Springett, E. Ziglio (edits.), Evaluation in health promotion: principles and perspectives. World 79 Efectividad en Promoción de la Salud y Salud Pública Health Organization, WHO, Regional Publications, European Series, núm. 92. Potvin, L. & McQueen, D. (edits.), (2008), Health promotion evaluation practices in the Americas. Values and research. New York, Springer. Ray, L. D., & Mayan, M. (2001), “Who decides what counts as evidence?”. En Morse, Swanson & Kuzel (edits.), The nature of evidence in qualitative research. Thousand Oaks: Sage, pp. 50–73. Rychetnik, L. Hawe, P., Waters, E., Barratt, A. & Frommer, M. (2004), “A glossary for evidence based public health”, en Journal of Epidemiology and Community Health, vol.58. pp. 538-545. Simon, H., Dantzig, G., Hogarth, R. , Piott, C., Raiffa, H., Schelling, T. et al. (1986), “Decision making and problem solving”, [en línea], disponible en: http://www.dieoff.org/page163.htm, recuperado: 2 de septiembre de 2009. Shiell, A. Hawe, P. & Gold, L. (2008), “Complex interventions or complex systems? Implications for health economic evaluation”, en British Medical Journal, vol. 336, pp. 1281-1283. Smutylo, T. (2001), Impacto latente, atribución oculta: cómo superar las amenazas al aprendizaje en los programas de desarrollo. Ottawa, Canadá, Unidad de Evaluación, Centro Internacional de Investigaciones para el Desarrollo, CIID-IDRC. Speller. V., Learmonth, A. & Harrison, D. (1997), “The search for evidence of effective health promotion”, en British Medical Journal, vol. 315, pp. 361-363. Stead, M., Hasting, G. & Eadie, D. (2002, junio), “The challenge of evaluating complex interventions: a framework for evaluating media advocacy”, en Health Education Research, vol. 17, núm 3, pp. 351-364. Susser, M. (1994), “The logic in ecological. The logic of analysis”, en American Journal of Public Health, vol. 84, núm.5, pp.825-829. 80 Ligia de Salazar Tang, K. C., Ehsani, J. P. & McQueen, D. V. (2003), “Evidence based public health policy and practice. Evidence based health promotion: recollections, reflections, and reconsiderations”, en Journal of Epidemiology and Community Health, vol. 57. pp.841-843. [UIPES] Unión Internacional de Promoción de la Salud y Educación para la Salud (1999), La evidencia de la eficacia de la promoción de la salud: configurando la salud pública en una nueva Europa. Un informe de la Unión Internacional de Promoción de la Salud y Educación para la Salud, para la Comisión Europea. Parte Dos. Libro de Evidencia. Wallerstein, N. (1992, enero-febrero), “Powerlessness, empowerment and health: implication for the health promotion programs”, en American Journal of Health Promotion, vol.6, núm.3, pp. 197 – 205. Weiss, C. (1999), “The Interface between Evaluation and Public Policy,” en Evaluation, vol. 5, núm. 4, pp. 468 – 486. [WHO] World Health Organization (2001), Evaluation in health promotion. Principles and perspectives. Editado por: Irving Rootman et al. WHO Regional Publications, European Series, No 92 [WHO] World Health Organization (1986), Ottawa charter for health promotion. First International Conference, Geneve, World Health Organization. Wilber, K. (1992), (comp.), El paradigma holográfico. Kairós. Barcelona. 81 Efectividad en Promoción de la Salud y Salud Pública Revisitando la práctica de la evaluación Caracterización de la intervención y definición del alcance de la evaluación La realización de una propuesta de evaluación de intervenciones complejas como son las iniciativas de salud pública y de promoción de la salud, no es un trabajo individual. Será el resultado de una propuesta colectiva, de un grupo de trabajo, en el marco de las estrategias y planes de una organización o institución. Por tanto, es muy importante que se disponga del apoyo de la organización para la realización de la evaluación. Caracterizar la intervención que desea evaluar El primer paso para iniciar la evaluación de efectividad es la caracterización de la intervención que desea evaluar. Para orientar adecuadamente su evaluación, usted requiere un amplio conocimiento de su proyecto o intervención. Esto le dará elementos para discutir y precisar con los tomadores de decisión, la viabilidad, factibilidad y alcances de la evaluación. Usted deberá realizar esta tarea con el grupo evaluador que haya conformado. Se espera que, con su liderazgo, el grupo seleccione, clasifique y analice el proyecto o intervención que deseen evaluar. El primer paso es aclarar la naturaleza y alcance de la intervención en el campo de la salud pública y de la promoción de la salud: identificando la coherencia y suficiencia de los componentes que la constituyen, la complejidad de su diseño e implementación según marco lógico. Tenga en cuenta que la intervención que seleccione para la evaluación debe: • Integrar varios componentes (políticas públicas, desarrollo sostenible, ambientes promotores de salud, reorientación de servicios, acción intersectorial; capacidades individuales, colectivas e institucionales para actuar sobre determinantes de la salud, entre otros). 82 Ligia de Salazar • Disponer de información parcial o total sobre el contexto de desarrollo del proyecto, el proceso y los resultados intermedios o finales, relacionados con los objetivos del proyecto. • Ser “gobernable” por usted; esto significa que tiene la posibilidad de decidir la realización de la evaluación y reorientar la intervención, si ésta aún está en curso. Para caracterizar la intervención usted y su grupo deben realizar un análisis de los componentes de la intervención; es decir, elaborar un perfil del proyecto o reconstrucción del marco lógico del programa, teniendo en cuenta los siguientes componentes: • Problema o situación específica al que responde la intervención • Objetivo de la intervención • Resultados / productos / componentes • Actividades • Insumos (recursos) • Contexto Tenga en cuenta… La propuesta inicial de la intervención y sus planes de trabajo pueden ser una fuente importante de información. Muchas veces los proyectos cuentan con perfiles o marcos lógicos construidos durante el proceso de maduración de la idea y de planificación. Sin embargo, es muy común que estos marcos estén débilmente planteados y requieran una revisión y ajuste; como también lo es, especialmente en proyectos integrales de promoción de la salud y salud pública, que estos marcos hayan cambiado en el transcurso de la implementación de la intervención. Es posible que la intervención se haya reorientado de manera intencionada o no, en respuesta a: los cambios en el contexto; los resultados del seguimiento y el monitoreo; los resultados de evaluaciones intermedias que hicieron evidente la necesidad de cambiar enfoques, objetivos específicos o resultados del proyecto. 83 Efectividad en Promoción de la Salud y Salud Pública Cómo reconstruir el marco lógico del proyecto Es muy común que quien evaluará una intervención conozca parcialmente sus intencionalidades y el contexto en el que se ha desarrollado. Decidir qué evaluar y cómo hacerlo depende de este conocimiento. Se recomienda identificar los componentes de su intervención y analizar la suficiencia y coherencia de los mismos, en sentido vertical y horizontal, revisando que los indicadores estén bien definidos y midan los productos y objetivo (s) propuestos. Esto lo puede hacer empleando la metodología del marco lógico. Para ampliar información al respecto le sugerimos revisar el capítulo V de esta publicación. Sin embargo, aquí sintetizamos algunos de sus principales componentes: • Problema central al que responde. Son situaciones valoradas desfavorablemente por el evaluador. Usted y su equipo registrarán el problema usando una oración gramatical con sujeto, verbo y predicado, que describa un hecho desfavorable existente –no la falta de solución–. La descripción debe ser específica y en términos operativos, que lleve a pensar en una solución y sugiera un tipo particular de intervención. • Objetivo. El objetivo debe ser la expresión del resultado que se espera con la intervención. Debe formularse como la acción que conduce a una situación bien definida. Debe dar cuenta de qué se quiere lograr, qué acción de cambio está involucrada en la consecución del resultado, dónde y cuándo se logrará. • Resultados / productos. Son los hechos cumplidos como efecto del desarrollo de los componentes y actividades de la intervención. En su totalidad y en su interrelación son necesarios para el cumplimiento del objetivo del proyecto. • Actividades. Una actividad es una acción necesaria para cumplir con los productos esperados del proyecto. Por cada producto habrá una o más actividades. • Insumos (recursos). Los insumos son todos los recursos que se van a usar en el proyecto, tales como presupuesto, personal, equipos, 84 Ligia de Salazar servicios, entre otros. Elementos que deben estar disponibles para conseguir los productos necesarios. • Contexto. El contexto de desarrollo de un proyecto determina sus características e influencia potencial positiva o negativa, tanto en el proceso como en los resultados. Conocer el contexto es útil para formular la pregunta y los indicadores de evaluación, como también para interpretar los resultados de la evaluación. Este ejercicio dará insumos para identificar el valor agregado obtenido y repensar sus conceptos y experiencias en el componente analítico de la formulación de proyectos. Elabore una descripción del contexto del proyecto considerando y recolectando información disponible sobre aspectos importantes del ambiente en el cual se ha desarrollado (histórico, político, geográfico, demográfico, social y económico). 85 Efectividad en Promoción de la Salud y Salud Pública Argentina Dramatización realizada por promotoras de salud, en el marco del Programa “Guarda corazón”. Intervención comunitaria para promoción de estilos de vida saludables y prevención de factores de riesgo cardiovasculares, en Argentina. Foto cortesía archivo Programa “Guarda corazón”, Universidad de La Plata, Argentina. 86 Ligia de Salazar Brasil Jóvenes promotores de municipios saludables en Brasil, que realizan actividades como limpieza de ríos, como parte de su compromiso con el cambio de la realidad local. La intervención “Práctica de los promotores de los Municipios Saludables de la Red Pernambucana de Municipios Saludables”, en 2009, cuenta con más de 140 promotores para 29 municipios. Foto cortesía archivo Universidad Federal de Pernambuco, Brasil. 87 Efectividad en Promoción de la Salud y Salud Pública Colombia Actividades de participación de jóvenes, en el análisis e interpretación de los resultados del sistema comunitario de vigilancia de riesgos de comportamiento para población adolescente, SIVEA, diseñado e implementado por el CEDETESUniversidad del Valle en Colombia. Foto cortesía archivo CEDETES, Universidad del Valle, Colombia. 88 Capítulo II La formulación de la pregunta y definición del alcance de la evaluación Ligia de Salazar Contenido del capítulo Presentación 89 Hechos, debates y desarrollos sobre la pregunta de evaluación 91 ¿Qué está pasando en América Latina? 91 ¿Hacia dónde giran los debates? 93 ¿Cuáles son los principales desarrollos? 94 1. Identificación y formulación de la pregunta de evaluación 2. Tipos de preguntas 96 103 Bibliografía 109 Revisitando la práctica de la evaluación 111 Formulación de la pregunta de evaluación 111 91 Efectividad en Promoción de la Salud y Salud Pública Presentación En este capítulo se hace referencia a uno de los aspectos críticos de la evaluación en salud pública y promoción de la salud: la pregunta de evaluación que se pretende responder. Para ello se exploran las estrategias y principales desafíos para definir preguntas relevantes e investigables al reconocer que existe un rango amplio de factores políticos contextuales que influencian esta definición. La pregunta de evaluación puede responder a diferentes momentos de la vida de una intervención, al igual que a diversos intereses según la intencionalidad de la evaluación y los potenciales usos de sus resultados. En fenómenos sociales complejos como son las intervenciones en salud pública y promoción de la salud, en donde las adaptaciones a condiciones específicas de cada contexto pueden significar cambios en la estructura conceptual de la intervención y en su implementación, hay un riesgo grande de que no se documenten estos cambios o que no se tenga conciencia de ellos y, por tanto, que se evalúe lo que no se ha implementado. En ese sentido se debe considerar que la formulación de la pregunta está influenciada por múltiples factores, entre ellos la naturaleza y definición teórica y operativa de las intervenciones, el significado y alcance dados a la evaluación, el contexto en el que se realiza la evaluación, el tiempo de implementación de las intervenciones, las expectativas e intereses de diferentes individuos e instituciones involucradas y el uso que se pretenda dar a los resultados de la evaluación y los recursos para desarrollarla. Cada intervención puede 92 Ligia de Salazar dar lugar a diferentes preguntas de evaluación, lo que depende de los aspectos mencionados. La pregunta de evaluación, al igual que otros componentes claves de la evaluación, influencia la decisión sobre el diseño del estudio evaluativo y el enfoque metodológico, lo mismo que las técnicas para evaluar la efectividad de las iniciativas en salud pública y promoción de la salud. 93 Efectividad en Promoción de la Salud y Salud Pública Hechos, debates y desarrollos sobre la pregunta de evaluación ¿Qué está pasando en América Latina? Si bien existe en la región latinoamericana una variedad de iniciativas orientadas a cumplir con los principios y valores que impulsan la promoción de la salud y salud pública, la comprensión y valoración de sus resultados ocupa poco espacio en la agenda investigativa. Igualmente, poco se ha explorado sobre la lógica y relevancia del diseño de las intervenciones, las hipótesis sobre las que se basa su formulación y los supuestos y marcos lógicos sobre los que ésta se fundamenta, las preguntas que orientan los juicios sobre su éxito y la influencia del contexto tanto en la implementación como en los resultados y en la valoración de dicho éxito de las intervenciones. En relación con las preguntas de evaluación, la revisión y análisis de las propuestas de evaluación de efectividad de intervenciones en promoción de la salud y en salud pública, producto de búsquedas de material publicado o documentado en América Latina, así como el análisis de los casos presentados para los distintos cursos de evaluación, señalan vacíos en la formulación de las preguntas de evaluación y muestran que generalmente se formulan preguntas que: • No están relacionadas con la naturaleza y alcance de la intervención. • No son investigables. 94 Ligia de Salazar • No se corresponden con los objetivos y grado de implementación de la intervención, ni con los resultados esperados al momento de evaluar. • No tienen en cuenta resultados intermedios sino resultados finales, los cuales, frecuentemente son difíciles de obtener a corto o mediano plazo. • No dan cuenta del cumplimiento de principios y valores que fundamentan la intervención, porque no se identifican indicadores apropiados, que se correspondan con el tipo de diseño aplicado en la evaluación, o porque no existen instrumentos para hacer las mediciones. • Responden sólo a intereses de los investigadores y pocas veces a los usuarios primarios de la información que arroje la evaluación. Así mismo, en muchas ocasiones las preguntas de evaluación responden solo a necesidades coyunturales y se observa poco interés por: • Responder preguntas que contribuyan a crear teoría alrededor de la promoción de la salud, la salud pública y la evaluación de su efectividad. • Obtener información sobre condiciones necesarias para hacer exitosas y replicables las intervenciones, a lo cual, como se mencionó en el capítulo I, algunos autores denominan los “ingredientes activos” de la intervención (Stead, Hasting y Eadie, 2002; Hawe, Shield y Riley, 2004). Es de resaltar que, en lo observado en las propuestas de evaluación consultadas, la mayoría de las preguntas de evaluación se relacionan con indagaciones en torno al éxito de las intervenciones; es decir, a los logros alcanzados y al cumplimiento de las metas frente a las actividades programadas. Lo anterior refleja una tendencia de los evaluadores por valorar el desempeño del programa, y el poco valor dado a la confrontación de los supuestos e hipótesis en las cuales se fundamentan las intervenciones y su implementación; lo cual es fundamental en la construcción de teoría y en la orientación de un proceso de cambio. 95 Efectividad en Promoción de la Salud y Salud Pública ¿Hacia dónde giran los debates? Como se ampliará más adelante, se debe reconocer que la formulación de la pregunta de evaluación es mucho más que un mero ejercicio técnico y, por tanto, esta definición es influenciada por: • El concepto de complejidad en intervenciones en salud pública y promoción de la salud y su influencia en la evaluación. • La definición teórica y operacional de la intervención objeto de evaluación. • El significado y alcance de la evaluación. • La definición operativa de efectividad y los criterios empleados para juzgarla. • El contexto en el cual se implementa y evalúa la intervención. • Quiénes son los interesados en la intervención y en la evaluación. • El interés de los usuarios de los resultados de la evaluación. El interés puede ser establecer asociaciones entre problema y causas, entre problemas e intervenciones, o comprender los cambios en el diseño de la intervención como consecuencia de la experiencia práctica. • La medición, descripción y valoración de la asociación entre variables, alrededor de indicadores para juzgar éxito o fracaso de las intervenciones. • La viabilidad para obtener los resultados esperados. • El interés y uso de resultados intermedios para tomadores de decisión y los usuarios principales de los resultados de la evaluación. • El establecimiento de prioridades en evaluación cuando hay varios usuarios o interesados en los resultados. Es de resaltar que hay dificultad para responder al mismo tiempo varias preguntas con diferentes alcances. 96 Ligia de Salazar • El conocimiento sobre el contexto donde se toman las decisiones. Una pregunta de evaluación que aborde el contexto se orienta a contestar el “por qué ahora y aquí”. • Las contribuciones de la evaluación a la toma de decisiones y fortalecimiento de la teoría y práctica, respondiendo a las siguientes preguntas: - ¿Es necesario modificar la fundamentación teorica de la intervención? ¿Se validaron las hipótesis y cumplieron los supuestos? - ¿Es la evaluación una herramienta de investigación que sirve para apoyar el proceso de toma de decisiones?, ¿o para apoyar decisiones que ya se han tomado? - ¿Nos referimos a efectividad del proceso para construir capacidad o estamos interesados en el impacto y efectos de la intervención?; ¿son las anteriores categorías de análisis parte de un continuo o son categorías de análisis independientes? - ¿Es la evidencia científica “ libre” o está ligada y es sensible al contexto? - ¿Qué tan estandarizable, útil y generalizable debe ser la evidencia de efectividad en intervenciones complejas, como la estudiada? - ¿Cómo hacer corresponder las preguntas de evaluación con los intereses de los usuarios, sin perder relevancia y validez? ¿Cuáles son los principales desarrollos? Se reconoce actualmente que el ejercicio de formulación de la pregunta de evaluación debe responder a diferentes criterios relacionados con la teoría que sustenta la intervención, los intereses de los usuarios frente a la evaluación, el propósito de la misma, los indicadores para valorar su éxito, el contexto en el que se implementa la intervención y la viabilidad y factibilidad de obtener los objetivos propuestos. 97 Efectividad en Promoción de la Salud y Salud Pública La pregunta de evaluación debe responder también a los intereses de los usuarios de la información y a los usos que éstos darán a la misma. Lo anterior también dependerá de las posibilidades reales de investigar la pregunta; no solo en relación con los objetivos propuestos para la evaluación, sino considerando el ciclo de vida del programa al momento de evaluar. En general, el énfasis de la pregunta de evaluación debe estar orientado a responder aspectos claves, que hagan de la evaluación un instrumento útil para favorecer la toma de decisiones y fortalecer la teoría y practica de estas intervenciones. Lo anterior conlleva que la pregunta de evaluación debe surgir, en primer lugar, del consenso entre los involucrados en la intervención, a través de su activa participación en las diferentes etapas del proceso de evaluación. Este consenso se constituye en un ejercicio de negociación, para el cual se pueden emplear diferentes metodologías. 98 Ligia de Salazar 1. Identificación y formulación de la pregunta de evaluación La formulación de la pregunta de evaluación es altamente influenciada por el grado de complejidad de la intervención que se pretende evaluar; por los intereses de evaluadores y usuarios directos de los resultados; por la capacidad de ser respondida; y por la probabilidad de la intervención de producir los cambios esperados en cierto tiempo y ante un cierto grado de implementación de la intervención. Una pregunta de evaluación pobremente formulada podría tener repercusiones negativas en la orientación del gasto y por ende en la salud actual y futura de la población beneficiaria de las intervenciones. Por tanto, las consecuencias de su selección son de orden político, social, económico, técnico y ético. Analicemos algunos de los factores que influencian la formulación de la pregunta: La definición teórica y operativa de la intervención evaluada Potvin, Haddad and Frohlich (2001) han afirmado que la formulación de la pregunta de evaluación exige una comprensión integral de la intervención o programa que se pretende evaluar. Si bien en el capítulo I se hace alusión a este tema, es necesario reflexionar aquí sobre aspectos adicionales expuestos por Craig et al. (2008), en 99 Efectividad en Promoción de la Salud y Salud Pública relación con conceptos y alcances de las intervenciones complejas. Los autores señalan que para desarrollar y evaluar una intervención compleja se requiere un buen entendimiento de la teoría -de la racionalidad- sobre la forma como la intervención produce un cambio, identificando los vínculos débiles en la cadena causal, a fin de fortalecerlos. Señalan que la ausencia de efectos positivos puede significar fallas en la implementación de la intervención, más que un fracaso para cumplir los objetivos; por ello es necesario realizar una evaluación de proceso de implementación de la intervención, para a través de ésta identificar falencias en su operación. Otro de los aspectos que se debe tener en cuenta cuando se define la pregunta de evaluación, es la naturaleza cambiante del contexto. Este último se entiende como el escenario en el cual la intervención es implementada y donde tienen lugar las condiciones políticas, sociales y culturales que influencian el desarrollo y los resultados de la intervención. Es precisamente este carácter dinámico del contexto y de la intervención lo que demanda un conocimiento permanente del proceso de implementación, a fin de formular preguntas que se correspondan con la intervención real, en la práctica, no con la que inicialmente se planeó hacer. Los intereses de los usuarios de los resultados, sus creencias y representaciones acerca de la intervención y cómo es percibida la evaluación La evaluación es percibida como un campo de investigación multidisciplinario y aplicado, el cual intenta estudiar aspectos del mundo real en forma oportuna (Benjamin, Perfetto y Greene, 1995). Para el IDRC (2005) la evaluación es parte integral de un programa y de la gerencia de un proyecto. Es una herramienta de aprendizaje 100 Ligia de Salazar organizacional orientada al fortalecimiento de la responsabilidad institucional. Por otro lado, Milio (1978) citada por Brewer y de Leon (1983), argumenta que los estudios para la evaluación de políticas buscan identificar las brechas entre lo que es y lo que debiera ser, en términos de políticas, objetivos y resultados, La pregunta de evaluación debe responder, hasta donde sea posible, a intereses y preocupaciones de los principales usuarios de la información, incluyendo a formuladores de políticas, gerentes, proveedores de servicios, investigadores y beneficiarios de la intervención, entre otros. Igualmente, se ha reconocido la importancia de la participación de las personas que están cerca de la intervención. o entre fines y medios. Con base en lo anterior, la pregunta de evaluación debe responder, hasta donde sea posible, a intereses y preocupaciones de los principales usuarios de la información, que incluye a formuladores de políticas, gerentes, proveedores de servicios y beneficiarios de la intervención, entre otros (Guba y Lincoln, 1985, 1989; Stake, 1975, Stake y Abma, 2005). Igualmente, se ha reconocido la importancia de la participación de las personas que están cerca de la intervención; es decir, quienes han participado directamente de ella y quienes han vivido la experiencia objeto de evaluación (Earl, Carden y Smutylo, 2001; Jara, 1994; Francke y Morgan, 1995; Gobierno de Chile, 2004; De Salazar, 2004). El propósito de la evaluación Los interesados en la evaluación deben establecer consenso acerca del propósito de ésta: ¿qué exactamente debe ser evaluado?, ¿debe la evaluación focalizarse en el diseño, el proceso de implementación, el impacto o en los resultados?, ¿cuáles son las variables e indicadores para valorar el éxito? Las respuestas a estas preguntas facilitarán el proceso de identificación y formulación de la pregunta de evaluación. 101 Efectividad en Promoción de la Salud y Salud Pública Existen muchas razones por las cuales realizamos una evaluación, incluyendo el interés científico; justificar una decisión tomada; la necesidad de fundamentar decisiones relacionadas con la suspensión, extensión o reemplazo de una intervención; exigencias de agencias financiadoras y para mejorar el proceso de implementación de la intervención. Esta última intencionalidad de la evaluación es abordada por Smutylo (2001) al abogar por una evaluación cuyo interés se centre en el mejoramiento de la intervención, más que en probar la asociación entre intervención y resultados. La propuesta es comprender, más que identificar responsables y crear conocimiento más que contribuir a establecer méritos por sí misma. Los criterios para juzgar el éxito o fracaso de las intervenciones En esta publicación, la efectividad es considerada como la prueba de que una intervención alcanzó el objetivo propuesto, como producto de la implementación de dicha intervención. Autores como Ray y Mayan (2001) han traído a discusión aspectos políticos y éticos relacionados con la evaluación de efectividad, con preguntas como: quién determina qué se cuenta como evidencia de que algo funcionó y cuáles son los indicadores apropiados para juzgar la efectividad. La WHO (2001) llama la atención sobre la necesidad de incluir no sólo indicadores de efectividad sino también indicadores que den cuenta del proceso que dio origen a los resultados. Esta información reviste gran importancia para comprender las intervenciones, para incrementar la relevancia de la información, para formular una pregunta de evaluación apropiada, al igual que para ejercer la responsabilidad social de implementar las recomendaciones de la evaluación. El contexto en el cual se realiza la intervención y la viabilidad para responder la pregunta de evaluación Para definir preguntas de evaluación relevantes es necesario no sólo conocer la intervención sino tener un profundo conocimiento acerca 102 Ligia de Salazar del contexto en el cual la intervención tiene lugar y es evaluada. Información sobre el ciclo de vida de la intervención, el grado de aceptación de diferentes interesados –tanto beneficiarios como tomadores de decisión–, las políticas y la legislación actuales que influencian el éxito de la intervención y el interés por continuar el programa, ayudan a esclarecer y comprender factores modificadores del efecto o impacto de la intervención. La literatura sobre promoción de la salud muestra un creciente interés por articular conocimiento, política y acción. Los países en desarrollo recientemente han mostrado interés por trabajar más de cerca con los hacedores de políticas y el público en general, a En promoción de la salud, más que en cualquier otra iniciativa de salud poblacional, el contexto está estrechamente ligado al concepto y valoración de evidencia y efectividad de intervenciones. Sin embargo, hay divergencias entre diversos autores acerca de la influencia del contexto en la búsqueda de la evidencia y efectividad de las intervenciones. fin de hacer uso de los resultados de las investigaciones. Para el logro de este propósito se recomienda responder a preguntas complementarias que ayudan a caracterizar el escenario de la evaluación. En promoción de la salud, más que en cualquier otra iniciativa de salud poblacional, el contexto está estrechamente ligado al concepto y valoración de evidencia y efectividad de intervenciones. Sin embargo, hay divergencias entre diversos autores acerca de la influencia del contexto en la búsqueda de la evidencia y efectividad de las intervenciones. Según Lomas (2000) la evidencia científica puede ser categorizada como “libre del contexto” -verdad absoluta- y, por otro lado, está la evidencia que es “sensible al contexto”. Oxman, Fretheim y Schünemann (2006) argumentan que toda evidencia es sensible al contexto, dado que todas las observaciones son realizadas en uno específico. Para esta publicación se adopta esta última posición, además de las razones dadas, por la naturaleza social y política que ca103 Efectividad en Promoción de la Salud y Salud Pública racteriza las intervenciones en promoción de la salud y salud pública. La evidencia en estas circunstancias es plural y por tanto, el conocimiento local debe ser triangulado con otros enfoques investigativos. La anterior posición plantea otros elementos y cuestionamientos para el debate, que también influyen en la definición de la pregunta de evaluación; entre ellos: ¿qué tan útil y relevante es la estandarización de intervenciones que hayan mostrado evidencia de efectividad?; ¿cómo dar cuenta de las especificidades y complejidades de los contextos en los diferentes territorios y poblaciones?; ¿quiénes son los tomadores de decisión?, ¿cuáles son sus necesidades e intereses? La racionalidad y perspectivas con que los evaluadores valoran las intervenciones no necesariamente se corresponden con los tomadores de decisión; tampoco el significado de evidencia es el mismo para ellos. Por ejemplo, los financiadores y las agencias de financiamiento pueden tener mayor interés en conocer los resultados y los beneficios que trae la intervención para grupos especiales; al tiempo que las preguntas de los financiadores tienden a concentrarse en los beneficios desde la perspectiva de la sociedad, para ubicar recursos financieros y humanos (PAHO, 2007). Pero ¿cómo adaptar las preguntas de evaluación a los intereses de los usuarios sin sacrificar relevancia, calidad y oportunidad de la evaluación? La negociación es una de las respuestas a esta pregunta. Para ello, es necesario tener información no sólo sobre resultados de la intervención sino sobre las condiciones que hicieron posible esos resultados. En la negociación de la pregunta el evaluador asume el papel de facilitador, intérprete y generador de condiciones para la interacción y negociación entre participantes, en un ambiente de compartir y aprender. La viabilidad y factibilidad de obtener los objetivos de la evaluación La evaluación está influenciada por la disponibilidad y calidad de la información para responder la pregunta que la orienta, al igual que por 104 Ligia de Salazar la disponibilidad de recursos, por la urgencia con que se necesitan los datos, por el tipo y precisión que se busca con la información, entre otros. Para aquellos que utilizarán los resultados de la evaluación para tomar decisiones sobre la continuidad, extensión o suspensión de la intervención, la información sobre el impacto y resultados finales, es importante. Este no es el caso para aquellos que implementan la intervención, dado que no es recomendable esperar hasta el final para tener resultados del desempeño de la intervención y resultados intermedios. Por ello, preguntas de evaluación que den cuenta de estos resultados son muy importantes para tomar decisiones orientadas a mejorar la viabilidad y calidad de la intervención. La pregunta es el insumo central para definir el proceso evaluativo; por tanto, esta tarea debe ser producto de la concertación y negociación de intereses entre los usuarios potenciales de los resultados de la evaluación. Las variables y los indicadores de evaluación convierten la pregunta en aspectos concretos, medibles y específicos. Estas dos tareas son los referentes de análisis para hacer ajustes o propuestas alternas en relación con el alcance de la evaluación y su orientación metodológica. 105 Efectividad en Promoción de la Salud y Salud Pública 2. Tipos de preguntas Autores como Craig et al. (2008), definen tres tipos de preguntas de evaluación en intervenciones complejas como las descritas: el primer tipo se refiere a preguntas orientadas a responder si las intervenciones son efectivas en la práctica diaria. En este caso, es necesario comprender la cantidad de efectos y cómo varían entre los recipientes de la intervención o en los diferentes lugares y en tiempos específicos. El segundo tipo de preguntas se refiere a cómo la intervención funciona, cuáles son los ingredientes activos y cómo ellos producen el efecto deseado. Un tercer tipo de preguntas se refiere a cómo algo debe ser hecho para obtener los resultados esperados. Las respuestas a estas preguntas ayudarán a diseñar intervenciones efectivas y aplicarlas apropiadamente, según grupos y escenarios. Como se mencionó, la pregunta es el insumo central para definir el proceso evaluativo; por tanto, esta tarea debe ser producto de la concertación y negociación de intereses entre los usuarios potenciales de la información. Las variables y los indicadores de evaluación convierten la pregunta en aspectos concretos, medibles y específicos. Estas dos tareas son los referentes de análisis para hacer ajustes o propuestas alternas en relación con el alcance de la evaluación y su orientación metodológica. Una vez las variables sean identificadas, deben descomponerse en características o atributos más simples, lo que hace que sean más fáciles 106 Ligia de Salazar de medir; esto se conoce como operacionalización de las variables, lo cual implica pasar de variables generales a intermedias y de allí a indicadores. Aunque para la implementación resulta útil pensar la intervención como fases, en la práctica la intervención no sigue una secuencia lineal o cíclica. De allí que autores como Craig et al. (2008), recomienden usar la teoría apropiada y la mejor evidencia disponible, para después probarla con un cuidadoso enfoque por fases, e iniciar una serie de estudios piloto enfocados a cada una de las incertidumbres del diseño y moviéndose a una evaluación exploratoria y luego definitiva. Si se usan estudios no experimentales, los investigadores deben estar conscientes de las limitaciones para interpretar los resultados, por lo que deben hacerlo en forma cautelosa. Cuando sea posible, la evidencia puede combinar varias fuentes que no compartan las mismas debilidades (Craig et al, 2008). Es frecuente que los interesados en la evaluación y los tomadores de decisión deseen evaluar aspectos que rebasan las intenciones iniciales o el objetivo de la intervención; en este caso hay que hacer claridad recordando los reales alcances de ésta y recurrir al marco lógico y a la documentación de la intervención para negociar las preguntas. Lo importante, como ya se indicó, es estar claro sobre qué es evaluable en un determinado momento, para qué se quiere la evaluación, quiénes serán los usuarios de la información y qué uso se dará a ella. El evaluador debe analizar la factibilidad de responder la pregunta; es decir, valorar previamente la viabilidad técnica, los recursos y el tiempo disponible para realizar la evaluación y tener en cuenta que la pregunta deberá ser concertada con los tomadores de decisión, de manera que la información que se produzca también responda a sus intereses, sea útil para sus propósitos y prevea la exploración de los beneficios que se quieren demostrar. 107 Efectividad en Promoción de la Salud y Salud Pública Aspectos claves para definir la pregunta de evaluación • Marco lógico de la intervención: objetivos, resultados intermedios e indicadores de evaluación de efectividad la intervención. • Etapa en que se encuentra la intervención y plausibilidad para producir los resultados. • Intereses de los involucrados o perspectiva de los interesados. • Acceso a información de calidad o viabilidad para obtenerla en un tiempo determinado. • Factibilidad de responderla: tiempo y recursos. • Contexto donde se desarrolla la evaluación: lugar y tiempo. • Presencia de otras intervenciones o actividades con objetivos similares. • La población a la que se orienta la intervención. Tener en cuenta que no se podría evaluar el efecto o los resultados sobre poblaciones que no fueron parte del estudio. Se reconocen, al menos, cinco tipos o categorías de preguntas, las cuales si no necesariamente se refieren directamente a preguntas de evaluación, sí están estrechamente relacionadas con esta última: 1. Preguntas en torno a la magnitud y prioridad de los problemas. Indican que “algo” debe hacerse. 2. Preguntas en relación con el tipo de intervención requerida para responder a una situación que se desea cambiar –definición y características de la intervención–. Indican qué puede hacerse. 3. Preguntas sobre replicabilidad y estandarización de las intervenciones; es decir, sobre aspectos que se deben tener en cuenta para 108 Ligia de Salazar implementar la intervención y tener éxito. Indican qué puede y debe ser estandarizable. 4. Preguntas frente al logro de los objetivos, relacionadas con la atribución del impacto y los resultados de la intervención. 5. Preguntas sobre la viabilidad y factibilidad de la intervención. Se relacionan con el proceso de implementación y desempeño de la intervención. Los últimos tres tipos de preguntas se relacionan estrechamente con la investigación evaluativa y son las que se abordan en esta publicación. Se parte del supuesto de que las dos primeras categorías de preguntas se soportan en otros tipos de estudios de investigación, En esta publicación se enfatiza en el tipo de preguntas relacionadas con la investigación evaluativa. Estas se orientan a valorar el proceso y resultados de la implementación de la intervención, a juzgar la efectividad de la intervención y a identificar la viabilidad y factibilidad de la intervención. que tienen como objetivo encontrar asociaciones entre variables de interés y, en la mayoría de casos, en condiciones “ideales” controladas. A continuación se hace referencia a estas tres últimas categorías de preguntas. Como se dijo, la primera se refiere a valorar el proceso y resultados de la implementación de la intervención; la segunda, a la efectividad de la intervención; y la tercera, a la viabilidad y factibilidad. Con la primera categoría interesa identificar las características del ciclo de vida del programa o intervención, las interrelaciones entre actores, los dinamizadores y limitantes del cambio, los cambios, la razón de los mismos, la influencia del contexto y los resultados progresivos. Las preguntas de la primera categoría indagan sobre información relacionada con el qué –cambios–, cómo se produjeron dichos cambios y por qué, desde la perspectiva de los involucrados en la intervención, 109 Efectividad en Promoción de la Salud y Salud Pública tanto usuarios como proveedores de servicios y tomadores de decisión. Los cambios, para el caso de las intervenciones en promoción de la salud, se relacionan más con la construcción de capacidad individual, colectiva e institucional, para responder a los problemas de salud y sus determinantes sociales. Para la segunda categoría de preguntas que pretenden identificar la efectividad de la intervención hay interés en conocer si ésta funcionó y si cumplió con los objetivos para lo que fue creada. Responde a “qué”, “cuánto” y “cómo” se explica el cambio en el estado de salud o sus determinantes, debido a la intervención. El tercer tipo de preguntas sobre viabilidad y factibilidad, puede hacerse antes y durante la implementación de la intervención, teniendo en cuenta los imprevistos y el surgimiento de nuevas situaciones o recrudecimiento de otras que no fueron tenidas en cuenta al inicio. Es de resaltar que las preguntas de resultados intermedios aluden a los avances esperados en un momento determinado de la intervención, como producto de las actividades implementadas para lograr los resultados y objetivos propuestos. El paso preliminar para la definición de la pregunta de evaluación es revisar el modelo teórico –marco lógico– de la intervención y explorar con los grupos involucrados sus intereses en la evaluación. Una vez se establezcan los resultados esperados para el logro de los objetivos y propósitos de la intervención, se precisan las primeras listas de aspectos que se deben evaluar. 110 Ligia de Salazar Criterios para la selección de la pregunta de evaluación La formulación de la pregunta de evaluación está orientada por varios criterios estrechamente relacionados: El consenso: La pregunta seleccionada debe ser producto de consenso, luego de someter a consideración del grupo de evaluación, preguntas presentadas por cada participante de manera individual. La relevancia: La pregunta debe orientarse a explorar aspectos de interés y prioridad para los grupos de interés y para la intervención en general, en el contexto de los referentes teóricos, estratégicos y operativos del mismo. La viabilidad y factibilidad de investigarla: Se refiere a la posibilidad de contestarla en términos económicos, sociales, políticos y técnicos, considerando, además, el momento de la vida del programa en el que se hace la evaluación. La integralidad: Capacidad de la pregunta para abordar las situaciones de forma sistémica, permitiendo explorar los insumos, el proceso y los resultados según el ciclo de vida de la intervención. La coherencia y utilidad para la toma de decisiones: Su contribución para encontrar respuestas para que los tomadores de decisiones u usuarios de la información, adquieran más y mejores elementos para el análisis del programa o intervención. 111 Efectividad en Promoción de la Salud y Salud Pública Bibliografía Benjamin, K. Perfetto, E. & Greene, R. (1995), “Public policy and the application of outcomes assessments: paradigms vs. politics”, en Medical Care, vol. 33, núm.4, pp. AS299-306. Brewer, G. & de Leon, P. (1983), Foundations of policy analysis. Homewood, Dorsey. Craig, P., Dieppe, P., Macintyre, S., Mitchie, S., Nazareth, I. & Petticrew, M. (2008), “Developing and evaluating complex interventions: the new Medical Research Council guidance”, en Research Methods & Reporting, vol. 337:a1655. De Salazar, L. (2004), “La sistematización de experiencias en promoción de la salud”, en Efectividad en promoción de la salud. Guía de evaluación rápida. Cali, CEDETES, Universidad del Valle. Earl, S., Carden, F. & Smutylo, T. (2001), Outcome mapping: building learning and reflection into development programs. Canadá, International Development Research Centre, IDRC. Francke, M. & Morgan, M. (1995), La sistematización: apuesta por la generación de conocimientos a partir de las experiencias de promoción. Lima, Materiales Didácticos No 1, Escuela para el Desarrollo. Gobierno de Chile, Programa Orígenes (2004), Estudio y sistematización participativa de experiencias de salud intercultural en las comunidades Mapuche y establecimientos de salud existentes en las comunas focalizadas por el programa de desarrollo integral de comunidades indígenas. Guba, E. G. & Lincoln, Y. S. (1981), Effective evaluation. Beverly Hills, Sage. Guba, E. G., & Lincoln, Y. S. (1989), Fourth generation evaluation. Beverly Hills, Sage. Hawe, P., Shiell, A. & Riley, T. (2004), “Complex interventions: how out of control can a randomized controlled trial be?”, en British Medical Journal, vol.328, pp. 1561-1563. 112 Ligia de Salazar IDRC (2005), Guiding principles of IDRC’s evaluation unit. [en línea], disponible en: http://www.idrc.ca/en/ev-124010-201-1-DO_TOPIC. html , recuperado: 3 de septiembre de 2009. Jara, O. (1994), “Tres posibilidades de la sistematización: comprensión, aprendizaje y teorización”, en La Piragua, vol.9, p. 123, segundo semestre. Lomas, J. (2000), “Connecting research and policy”, en Canadian Journal of Policy Research, vol.1, pp. 140 –144. Oxman, A.D., Fretheim, A., & Schünemann, H.J. (2006), “Improving the use of research evidence in guideline development: 1. Guidelines for guidelines”, en Health Research Policy and Systems, vol. 4, núm. 13. Pan American Health Organization (PAHO), (2007), Guide to economic evaluation in health promotion. Washington, PAHO. Potvin, L., Haddad, S., & Frohlich, K. (2001), “Beyond process and outcome evaluation: a comprehensive approach for evaluating health promotion programmes”. En I. Rootman, M. Goodstadt, B. Hyndman, D.V. McQueen, L. Potvin, J. Springett, E. Ziglio (edits.), Evaluation in health promotion: principles and perspectives. World Health Organization, WHO, Regional Publications, European Series, núm. 92. Ray, L. D. & Mayan, M. (2001), “Who decides what counts as evidence?”, en J.M. Morse, J.M. Swanson, & A.J. Kuzel (edits.), The nature of evidence in qualitative research. Thousand Oaks, Sage, pp.50–73. Smutylo, T. (2001), Impacto latente, atribución oculta: cómo superar las amenazas al aprendizaje en los programas de desarrollo. Unidad de Evaluación, Ottawa, Canadá, Centro Internacional de Investigaciones para el Desarrollo, CIID-IDRC. Stake, R. E. (1975), “To evaluate an arts program”, en R.E. Stake (edit.), Evaluating the arts in education: a responsive approach. Columbus Ohio, Merrill, pp. 13–31. 113 Efectividad en Promoción de la Salud y Salud Pública Stake, R. E. & Abma, T. A. (2005), “Responsive evaluation”, en S. Mathison (edit.), Encyclopedia of evaluation. Thousand Oaks, Sage, pp. 376–379. Stead, M., Hasting, G. & Eadie, D. (2002, junio), “The challenge of evaluating complex interventions: a framework for evaluating media advocacy”, en Health Education Research, vol. 17, núm. 3, pp. 351-364. [WHO] World Health Organization (2001), Evaluation in health promotion. Principles and perspectives. Editado por: Irving Rootman et al. WHO Regional Publications, European Series, No 92. 114 Ligia de Salazar Revisitando la práctica de la evaluación Formulación de la pregunta de evaluación Para continuar con el proceso evaluativo, proponga una pregunta de evaluación para su intervención, que cumpla con las características y los criterios mencionados en este capítulo. Posteriormente, modere con su grupo una discusión para analizar y refinar la pregunta, teniendo en cuenta los siguientes aspectos: Relevancia para el grupo: ¿La pregunta formulada responde al interés de los tomadores de decisión? Tenga en cuenta la exploración sobre los intereses de los decisores, en relación con los resultados de la intervención. Aquí es muy importante el tipo de tomadores de decisión, de usuarios y el uso que se dará a los resultados de la evaluación. Factibilidad de cumplirla: Responda si la pregunta puede ser contestada en corto, mediano y largo plazo. Considere también si su pregunta es factible de contestar en la etapa en que se encuentra su proyecto o intervención. Amplitud del ámbito y concreción: ¿Al formular la pregunta se define un ámbito temático, poblacional y geográfico concreto y específico de la intervención? Coherencia: ¿La pregunta es coherente con el problema, los objetivos, las acciones y los resultados esperados de la intervención? Utilidad: ¿Contestar la pregunta aportará a la toma de decisiones de las entidades u organizaciones relacionadas con el desarrollo de la intervención? 115 Efectividad en Promoción de la Salud y Salud Pública Una vez realice este análisis, usted y el equipo evaluador tienen la opción de reformular la pregunta, de tal forma que responda a los criterios anteriores. El objetivo de la evaluación se formulará luego de definir la pregunta, recordando que éste debe ser alcanzable y no confundirse con actividades o resultados de la evaluación. Una vez formulada la pregunta y el objetivo de la evaluación, compártalos con los demás involucrados en la intervención que no hagan parte del equipo evaluador. Si es posible, realice con ellos reuniones periódicas o busque otros mecanismos para informarlos acerca del desarrollo de la evaluación; en caso de que surjan dudas, sugerencias u observaciones por alguno de ellos, es importante tenerlas en cuenta, socializarlas entre el grupo evaluador y hacer los ajustes o aclaraciones necesarios para continuar. 116 Ligia de Salazar Colombia Imágenes de actividades de diseminación, debate y concertación con candidatos a la alcaldía municipal, concejales, representantes políticos municipales, ex secretarios de Salud y otros tomadores de decisión, realizadas como parte de las estrategias de abogacía y negociación del proyecto “Construcción social del nuevo modelo de salud para Cali”. El proyecto fue liderado por el CEDETES-Universidad del Valle, en coordinación con la Secretaría de Salud Pública Municipal. Fotos cortesía archivo CEDETES-Universidad del Valle, Colombia 117 Efectividad en Promoción de la Salud y Salud Pública Cuba Promotora de la campaña “Busca tu tiempo”, para la prevención del cáncer ginecológico, en Santiago de Cuba, desarrollada en el marco del proyecto “Intervención educativa en el tema de cáncer de mama y cuello de útero”, promovida por el Centro Provincial de Promoción y Educación para la Salud, CPPES - Ministerio de Salud Pública, con participación de otras entidades nacionales y organizaciones de cooperación internacional. Foto cortesía archivo Centro Provincial de Promoción y Educación para la Salud, CPPES, - Ministerio de Salud Pública, Cuba. 118 Capítulo III Propuestas y desafíos alrededor de los enfoques metodológicos de evaluación Ligia de Salazar Contenido del capítulo Presentación 117 Hechos, debates y desarrollos sobre los enfoques metodológicos de la evaluación en promoción de la salud y salud pública 119 ¿Qué está pasando en América Latina? 119 ¿Hacia dónde giran los debates? 120 ¿Cuáles son los principales desarrollos? 121 1. Desafíos metodológicos, políticos y éticos de la evaluación 124 2. Características especiales de la investigación evaluativa 131 3. Herramientas metodológicas de la evaluación 133 3.1 La evaluación de proceso: develando la “caja negra” de la implementación 134 3.2 La evaluación de efectividad: respondiendo a preguntas sobre logro de objetivos 147 3.3 La evaluación económica: seleccionando opciones en términos de costos y consecuencias 157 Bibliografía 164 Revisitando la práctica de la evaluación 168 Definición de enfoques metodológicos y técnicas de evaluación 168 121 Efectividad en Promoción de la Salud y Salud Pública Presentación En este capítulo se abordan temas que están en la agenda internacional sobre el alcance, posiciones, desafíos y diseños metodológicos alrededor de la evaluación de impacto y efectividad. Igualmente se analiza la pertinencia de los enfoques metodológicos para responder a diversas preguntas de evaluación, teniendo como referente la naturaleza compleja de las intervenciones en promoción de la salud y salud pública y el contexto donde éstas se producen, así como los escenarios de decisión y usos de los resultados de la evaluación. Con lo anterior se busca brindar insumos para facilitar la comprensión y análisis de aspectos críticos que se deben tener en cuenta para producir, juzgar y usar información sobre el desempeño, impacto y efectividad de las intervenciones. Para dar cuenta del proceso de implementación y comportamiento durante la operación de las intervenciones que serán evaluadas, se exponen los fundamentos teóricos y operativos de enfoques metodológicos como la documentación y la sistematización de experiencias. Se presentan también diseños metodológicos para abordar la evaluación de efectividad, en el marco de la atribución de los resultados a la intervención sujeto de evaluación. Igualmente, se introduce el tema de la evaluación económica, dados los incipientes desarrollos del mismo en Latinoamérica y la necesidad de estimular la reflexión sobre la relevancia y uso de este tipo de evaluación en el contexto de nuestros países. 122 Ligia de Salazar Se analizan los aspectos relacionados con las ganancias y pérdidas en cuanto a credibilidad, oportunidad, relevancia y reproducibilidad de los resultados; ventajas y desventajas de combinar métodos y técnicas de evaluación y las maneras de conducir la evaluación en circunstancias específicas, como es el disponer de escasos recursos y la necesidad de producir resultados a corto tiempo, sumado a la presencia de diferentes perspectivas e intereses de los usuarios de los resultados. Es no sólo probable, sino deseable, que después de la lectura de este capítulo surjan más preguntas de las que inicialmente el lector tenía, pero se espera que, precisamente éste sea el aliciente para continuar trabajando en la búsqueda de opciones metodológicas más acordes con la realidad y los desafíos que plantea la complejidad y práctica de la promoción de la salud y la salud pública en el contexto latinoamericano. 123 Efectividad en Promoción de la Salud y Salud Pública Hechos, debates y desarrollos sobre los enfoques metodológicos de la evaluación en promoción de la salud y salud pública ¿Qué está pasando en América Latina? La evaluación ha sido vista como un proceso sistemático, diseñado para valorar la relevancia, eficiencia, suficiencia y efectividad de políticas, programas y proyectos. Este proceso está compuesto de un conjunto de ciclos complementarios, que tratan de responder a diferentes preguntas e intereses. Por tanto, estos ciclos tienen diversos énfasis y deben ser soportados por enfoques metodológicos que atiendan a dichos énfasis. Hay varios aspectos interrelacionados que influencian directamente la decisión sobre el diseño de los estudios, los enfoques metodológicos y las técnicas para evaluar la efectividad de iniciativas en promoción de la salud y salud pública. Éstos incluyen la naturaleza y características de la intervención que será evaluada, el contexto en donde la intervención se implementa, el propósito y alcance de la evaluación, la pregunta que se desea responder y el tipo de información requerida para que los resultados de la evaluación sean tenidos en cuenta por sus potenciales usuarios, según los intereses y expectativas frente a la evaluación. En los últimos quince años hemos estado frente a un debate y replanteamiento en torno a los enfoques metodológicos que hasta el momento se han aplicado para evaluar las intervenciones en promoción de la salud y salud pública. La experiencia muestra que, en América Latina, la escogencia del enfoque metodológico para realizar la evaluación ha dependido más 124 Ligia de Salazar de los recursos y del conocimiento y habilidades del evaluador, que de un análisis juicioso e informado sobre la relevancia, ventajas y desventajas de usar uno o varios enfoques, dependiendo de las circunstancias y necesidades del momento. Igualmente, la selección ha obedecido a las orientaciones que la epidemiología clínica y las revistas o agencias de publicación, han impartido para juzgar la validez y confiabilidad de los estudios. Lo anterior, sumado a los incipientes desarrollos acerca de la evaluación de intervenciones complejas en América Latina, ha forzado a los evaluadores a conformarse con evaluaciones incompletas, irrelevantes, dependientes de los supuestos que demandan los paradigmas tradicionales de la ciencia, desconociendo en muchas ocasiones el cumplimiento de los mismos. Como consecuencia de esta situación, cuando en el mejor de los casos hacemos evaluación, los resultados son espurios, insuficientes y desactualizados. Sin embargo, esta situación ha empezado a cambiar y, al momento, no solo tenemos un cuerpo de profesionales, directivos y proveedores de servicios más concientes y familiarizados con el tema de la evaluación, sino también atentos a desarrollar capacidades para llevarla a la práctica. ¿Hacia dónde giran los debates? Es reconocido que el evaluador se enfrenta a situaciones de conflicto cuando debe decidir sobre el enfoque metodológico más apropiado para responder a la pregunta de evaluación, de tal forma que la información producida sea confiable, útil y válida. En la evaluación de efectividad existe intención por establecer asociación entre la intervención y los cambios que aparentemente son producto de ésta. Por tanto, el asunto central que se debe resolver no es el permanente dilema entre el uso de métodos cualitativos o cuantitativos, sino definir cuáles serían los criterios más apropiados para evaluar la efectividad y juzgar la evidencia de ésta. La efectividad de intervenciones en promoción de la salud y salud pública ha estado asociada a la evidencia y esta última, tradicional125 Efectividad en Promoción de la Salud y Salud Pública mente, se ha apoyado en enfoques positivistas que se fundamentan en el cumplimiento de criterios para estimar y valorar la validez de la información producida, tales como: representatividad de la muestra, estandarización de las intervenciones, existencia de un grupo control apropiado, valoración de la magnitud de los cambios alcanzados, estimación de la probabilidad de error mediante pruebas de significancia estadística, precisión de instrumentos de medición y control de factores de confusión, entre otros. Sin embargo, los anteriores criterios no necesariamente pueden cumplirse al valorar la efectividad de intervenciones complejas; por tanto, el uso de diseños que requieren de estos criterios puede llevar a resultados errados. Si este es el caso, el evaluador deberá seleccionar otro método alternativo que dé cuenta de las posibles correlaciones y asociaciones entre la intervención, los procesos de cambio y los resultados alcanzados durante la vida de la intervención, aunque este método no se corresponda con el enfoque positivista. La evaluación, desde esta perspectiva, supera el papel instrumental para constituirse en un ente transformador y promotor del cambio. ¿Cuáles son los principales desarrollos? Si bien importantes avances en el conocimiento han sido el resultado de evaluaciones de efectividad que han surgido de la aplicación de estudios aleatorizados controlados –RCT, por sus siglas en inglés–, las intervenciones evaluadas no necesariamente corresponden al tipo de intervenciones abordadas en este documento, o la evaluación ha sido realizada sobre un componente específico de la intervención, el cual es fácilmente controlable y se ajusta a protocolos que permanecen constantes en el transcurso de la implementación y permiten de esta forma establecer asociaciones lineales de causa-efecto. Es frecuente que los RCT sean demasiado restrictivos para las intervenciones complejas como las de promoción de la salud y salud pública. Así mismo, la jerarquía de evidencia que ha gobernado hasta este momento los estudios evaluativos, no necesariamente se aplica a la evaluación de intervenciones como las descritas. 126 Ligia de Salazar Igualmente, estudios que utilizan paradigmas constructivistas han hecho importantes contribuciones a la evaluación. La evidencia cualitativa es importante en el contexto de promoción de la salud, porque incrementa la comprensión del comportamiento humano, promueve el pensamiento holístico, ofrece información contextual y articula la perspectiva de la comunidad y grupos de interés (UIPES, 2000). Por ello, se ha recomendado que en la evaluación de políticas públicas –uno de los componentes centrales de la promoción de la salud– se tenga en cuenta la influencia de factores sociales sobre los riesgos, usando enfoques cualitativos que estudien el comportamiento de individuos, organizaciones y el ambiente (Luepker et al., 1994; Mittlemark, 1993; Fischer, 1995). Milio (2001) llama la atención sobre la influencia que tiene en el estudio de asuntos políticos la información sistemática, verificable mediante paradigmas no positivistas, como la información que proveen los involucrados a través de su juicio y experiencia personal. La autora afirma que las evaluaciones deben involucrar una red conformada por políticas, organizaciones y comunidades, con el fin de aprender qué acciones funcionan y cómo se logra el éxito. Se necesitan, por tanto, nuevos modelos de práctica y métodos de investigación de las ciencias sociales para examinar la validez del constructo teórico de las intervenciones y establecer asociaciones causales que no sólo se apoyen en la lógica positivista, sino en la lógica de quienes las implementaron y recibieron sus beneficios. El reconocimiento de que un solo estudio es incapaz de dar cuenta de la complejidad de la evaluación de fenómenos sociales influenciados por una combinación de factores dentro de un determinado contexto cultural y sociopolítico, fundamenta la gradual demanda por crear enfoques de evaluación que utilicen análisis multinivel, no reducidos a la adición de variables en una red de causación; así como por la combinación de diferentes enfoques y métodos, como un continuo que incluye en el análisis el fundamento teórico de la intervención, el proceso de implementación, al igual que el impacto 127 Efectividad en Promoción de la Salud y Salud Pública y resultados a corto, mediano y largo plazo. Por lo anterior, la evaluación debe ser producto de coaliciones entre los sectores, actores y disciplinas comprometidos con la intervención, a fin de garantizar su activa participación en la identificación y explicación de correlaciones y asociaciones entre variables. 128 Ligia de Salazar 1. Desafíos metodológicos, políticos y éticos de la evaluación Propósito y alcance de la evaluación Como se ha insistido en los capítulos precedentes, antes de iniciar la evaluación es necesario identificar y entender la intencionalidad, perspectiva y propósito de ésta. Siempre que evaluamos lo hacemos para obtener información que permita fundamentar decisiones, bien sea para mejorar y reorientar el proceso de implementación de la intervención, aumentar su viabilidad, justificar una decisión tomada, valorar los resultados –efectividad y beneficios– de las intervenciones, construir un proceso de aprendizaje sostenido en torno a la intervención desarrollada, aportar al conocimiento, generar nuevos temas y líneas de reflexión e investigación, entre otros. Como se comprenderá, además de determinar si existe una relación causal entre intervención y resultados o, en otras palabras, si podemos atribuir a la intervención los resultados o cambios alcanzados, la evaluación se convierte en un proceso de aprendizaje que contribuye al éxito de la intervención. En este último caso, la evaluación es vista como un insumo para negociar y fortalecer la capacidad para usar los resultados y para lo que Smutylo (2001) acertadamente señala, develar las contribuciones no visibles, en un esfuerzo por mejorar, en lugar de probar y por comprender, en lugar de encontrar responsables, visualizando la evaluación como generadora de conocimientos y no sólo como buscadora de méritos. 129 Efectividad en Promoción de la Salud y Salud Pública Por otro lado, la evaluación es un componente crítico del proceso de gerencia y gestión de las políticas, los programas y los proyectos y, como tal, debe estar articulada a la gerencia de las instituciones que los impulsan. En ese sentido, la evaluación no finaliza con un informe; más bien cumple su objetivo cuando se logra que la información y las lecciones que arroja sean consideradas en las decisiones para reorientar o fortalecer la intervención o para decidir su finalización o extensión. Igualmente, cuando los resultados son tenidos en cuenta para validar o formular nuevas hipótesis sobre la teoría que soporta la intervención. La evaluación de políticas, programas en salud pública y en promoción de la salud ha enfrentado desafíos políticos para negociar su alcance y desafíos metodológicos para seleccionar los enfoques La articulación de las diferentes investigativos y métodos más dimensiones de análisis del proceso apropiados, según la naturaleza y evaluativo contribuye a la construcción progresiva de evidencias, a fin características específicas de este de obtener información confiable tipo de intervenciones. Uno de los sobre la relevancia, la eficiencia, principales desafíos es desarrollar el desempeño en la implementa- metodologías de evaluación que ción, la efectividad y el impacto valoren procesos y resultados en de la intervención en la salud de su dimensión política, social y la población. Perder esta visión de económica y en su contribución conjunto no sólo fragmentaría el a la equidad y calidad de vida de análisis de la información, sino que impediría visualizar las relaciones las poblaciones, más allá de resul- entre los componentes y variables tados numéricos. del proceso, al tiempo que sería La evidencia del desempeño y un obstáculo para hacer un mejor efectividad de la intervención uso de la información que arroja evaluada se obtiene mediante el cada ciclo. análisis e interpretación de la asociación entre los componentes de la evaluación: el objetivo, los indicadores de efectividad, la influencia 130 Ligia de Salazar de las variables tiempo y lugar, los enfoques metodológicos aplicados y la relevancia, complementariedad y coherencia entre las diferentes dimensiones de análisis. Ha sido reconocido que la búsqueda de evidencias de efectividad de una intervención no debe restringirse al uso de un solo enfoque metodológico, sino que es necesario entender que lo importante es destacar la interacción que existe entre sujeto y objeto en la práctica investigativa, independiente desde donde se aborde, privilegiando lo epistemológico y no tanto la forma en que se procede para producir conocimiento (McQueen y Anderson, 2000). El problema radica cuando se cree que el conocimiento es más preciso, dependiendo de si se emplea un método en particular, y se deja de lado la discusión por entender cuál método establece mejor la interacción sujeto-objeto. En ese mismo sentido, la disyuntiva entre lo cuantitativo y lo cualitativo, más que ser una verdad empírica, ha sido una falsa idea, producto de planteamientos de diferentes paradigmas y escuelas, “a veces con mucha resistencia para establecer compatibilidad y complementar las dos tendencias” (Cerda, 1994). Lo anterior lleva a reafirmar lo dicho anteriormente, en torno a que ningún método puede ser señalado como superior, sin antes analizarlo a la luz del propósito y alcance de la evaluación, los resultados esperados, el financiamiento, el tiempo para ejecutar la evaluación y el contexto. Entre los aspectos críticos que se deben considerar para seleccionar el enfoque metodológico de evaluación apropiado, se resaltan los siguientes: 1. La complejidad de las intervenciones y la plausibilidad para producir los resultados esperados, bajo influencia de variables contextuales que están por fuera del control del investigador. Hay que considerar que variables no previstas inicialmente pueden entrar en juego e interactuar con las existentes, recrudeciéndolas o creando 131 Efectividad en Promoción de la Salud y Salud Pública nuevas situaciones y, como consecuencia de esto, se producen cambios conscientes e inconscientes en el marco lógico de la intervención. La mayoría de intervenciones en salud pública y en promoción de la salud responden a problemas de salud de la población, que presentan dinámicas propias, no necesariamente reproducibles, las cuales influencian tanto los problemas como la efectividad de las intervenciones que se aplican para atender dichos problemas. Así mismo, la complejidad de estas intervenciones está dada por su misma naturaleza, por el hecho de que son frecuentemente multipropósito y pretenden lograr cambios en varios niveles –desde cambios en comportamiento hasta cambios estructurales, políticos y sociales–. Sin embargo, no es frecuente que los evaluadores exploren la interface entre teoría y práctica, ni tampoco tengan en cuenta cuáles aspectos sociales, territoriales, organizacionales o políticos afectan la asociación entre la intervención y los resultados o, en otras palabras, cuáles aspectos influencian la evaluación de efectividad en relación con el cumplimiento de objetivos de las intervenciones, al disminuir la capacidad de atribuir el impacto y los resultados alcanzados a la intervención. 2.Evidencia y efectividad: conceptos complejos y difíciles de aplicar al momento de evaluar. Si aceptamos la máxima “la conexión entre causa y efecto no tiene principio y puede no tener fin” (Tolstoi, 1957) podemos comprender la complejidad de los conceptos y significados prácticos de evidencia y efectividad y su influencia en los enfoques metodológicos. Como evaluadores, debemos tener en cuenta que diversos factores entran en juego cuando son formuladas definiciones operativas de las variables y cuando de juzgar evidencia y efectividad se trata. Un mismo concepto puede tener diferentes significados y alcance; igualmente, se pueden utilizar diferentes indicadores y técnicas para valorar la aplicación práctica del mismo. 132 Ligia de Salazar 3. Causalidad La concepción de evidencia ha estado ligada a la noción de causalidad; la mayoría de las veces la evidencia y la efectividad van de la mano, para mostrar causalidad: si hacemos A habría un producto X. El concepto de causalidad es un “mantra” de la ciencia positivista y se ha tomado las ciencias de la salud. Cronbach et al. (1980) afirman que lo que tratamos de hacer Cronbach et al. (1980) nos invitan a pensar en el mundo empírico. ¿Lo que nosotros observamos será verdad?, ¿o será una serie de instrumentos que no necesariamente constituyen un efecto?, ¿observamos la respuesta o las consecuencias de una intervención que hemos hecho? Los autores mencionan que a esto se llama un raciocinio a partir de la intervención. Lo anterior indica que el efecto no está en la lectura que se haga de este instrumento, sino en la transformación de cómo se traduce esta lectura en algo significativo: un indicador. como evaluadores es vincular de manera significativa lo que pasa en una unidad, a la intervención; es decir, vincular los objetos de la intervención –las personas en un determinado contexto– a la intervención, para estudiar lo que pensamos. Luego utilizamos la observación, la medida, el resultado y los indicadores, para evaluar las consecuencias. Potvin (2007, 11 de julio) se refiere, igualmente, a la generalización de evidencias, mediante la cual se extraen experiencias y lecciones, sumando observaciones para que sean algo mayor, de modo que el primer agregado es transformar estos efectos pequeños en algo más grande, empíricamente generalizable. En otras palabras, sumar evidencias, extraer un elemento y tratar de transportarlo a otro lugar para que sea equivalente a los otros. La autora llama la atención a que esto se convierte en un problema cuando se aplican técnicas de análisis sofisticados centrándose sólo en la proyección de números para producir estos resúmenes y conclusiones, pues al hacer esto se esconde la otra realidad; de allí que invite 133 Efectividad en Promoción de la Salud y Salud Pública a contestar las siguientes preguntas: ¿qué estamos comparando?, ¿qué estamos sumando?, ¿son unidades comparables y se pueden sumar? 4.Indicadores para valorar efectividad –cumplimiento de objetivos– y medidas de resultados Los evaluadores necesitan definir cuáles resultados son los más importantes, cuáles son secundarios y cómo van a manejar los múltiples resultados en el análisis. Un resultado primario o un número pequeño de resultados secundarios son los más fáciles de emplear para un análisis estadístico, pero puede que no representen la realidad. Puede que se requieran resultados a largo plazo para conocer si los resultados intermedios o próximos ocurren, o si los cambios a corto plazo persisten. Aunque estudios que respondan esto no son comunes, sí son altamente informativos. Se debe tener en cuenta también que, en ocasiones, la evaluación se realiza por presión de los financiadores en la búsqueda de evidencias para justificar su inversión, seleccionando indicadores de éxito no apropiados, bien sea porque no son coherentes con el marco lógico de la intervención, o porque no es tiempo de obtener esos resultados y se requiere un plazo mayor. Es de reconocer que hay dificultad para identificar indicadores de éxito según intereses de tomadores de decisión y otras audiencias, en intervenciones que son, con frecuencia, pobremente definidas. Por tanto, los indicadores deben ser vistos como medidas de hasta dónde los objetivos han sido alcanzados. 5. El tiempo como variable importante en la determinación de la evidencia de efectividad Al igual que los factores del contexto que influencian tanto la implementación de la intervención como sus resultados, el tiempo para lograr los cambios es una variable no solo importante, sino una condición necesa- 134 Ligia de Salazar ria para realizar evaluaciones de calidad. Conocer la prevalencia de un riesgo o enfermedad ayuda a valorar la magnitud del problema, pero si vamos a intervenir es necesario también conocer los factores asociados, al igual que los recursos necesarios para darles respuesta. La plausibilidad para producir los resultados esperados está condicionada por la influencia de las variables tiempo y lugar, la integralidad de la intervención y el comportamiento durante la operación, el cual es también influenciado por el contexto. Este último puede escapar del control del evaluador y de los implementadores de la intervención. Este dinamismo de los procesos de cambio hace que, con relativa frecuencia, se seleccionen enfoques metodológicos para evaluar una intervención que es diferente a la que se formuló inicialmente y, de igual forma, se valoren los resultados de ella sin tener en cuenta los factores que intervinieron para producirlos. 135 Efectividad en Promoción de la Salud y Salud Pública 2. Características especiales de la investigación evaluativa Validez, flexibilidad y utilidad de la información son características a las cuales debe responder cualquier diseño evaluativo de intervenciones de salud pública y de promoción de la salud. Por tanto, se sugiere la selección de diseños que, sin renunciar al objetivo de obtener información válida y confiable, cumplan con estas características: • Validez: Los resultados de la evaluación deben fundamentarse en enfoques metodológicos y técnicas apropiadas, según la naturaleza y ciclo de vida de la intervención, guardando coherencia entre concepciones teóricas y criterios para valorar su efectividad, a fin de aproximarse a la realidad. • Utilidad: La evaluación debe brindar insumos coherentes con la intencionalidad de la misma. En ese sentido, debe producir información que sirva a los principales usuarios de la información, entre ellos, tomadores de decisión a diferentes niveles, implementadores de la intervención y teóricos de la salud pública y la promoción de la salud. • Construcción sistemática: La evaluación debe ser producto de un proceso de sucesivas aproximaciones; es decir, resultado de una construcción sistemática para lograr la coherencia entre teoría, observación y práctica, a fin de crear insumos para acercarse a los principios y valores que fundamentan la intervención, su práctica y para orientar las políticas públicas. 136 Ligia de Salazar • Inclusión y participación: Dado el carácter político y técnico de la evaluación, se requiere que los resultados de ésta respondan a las necesidades de los usuarios de la información, a través de estrategias que aseguren su participación en el ciclo de la evaluación. • Viabilidad y factibilidad: La evaluación debe ser planificada de manera que tenga en cuenta la infraestructura y recursos disponibles, priorice las fuentes de recolección de información y promueva alianzas para hacer uso óptimo de los recursos. • Eficiencia: Una evaluación tiene que incorporar en su diseño metodológico formas eficientes y confiables para obtener, analizar, sintetizar y usar información, haciendo uso de los datos existentes. Un ejemplo de ellos son los sistemas de vigilancia epidemiológica, las estadísticas vitales, formas autóctonas de comunicación, relatos e informes de progreso de proyectos comunitarios, historias, casos, informes de monitoreo y evaluación. Los sistemas formales e informales de comunicación e información que hacen parte de la cotidianidad de las comunidades e instituciones deben ser incorporados como insumo para documentar la experiencia. • Responsabilidad social: Dado que la evaluación se realiza para tomar decisiones, establecer correctivos, y propiciar la creación de capacidad, la actividad evaluativa debe cubrir la fase de difusión de la información, así como acciones de abogacía y gerencia social para utilizar los resultados en la toma de decisiones y para el fortalecimiento de la intervención. Sin embargo, es necesario considerar que basarse únicamente en el método o en la evidencia empírica para tomar decisiones puede ser riesgoso. Se reconoce que el método es muy importante, pero no es lo último. Igualmente, basar una decisión en los resultados de un solo caso es como usar una receta para el fracaso, porque en el mundo real hay muchas interacciones que afectan los mecanismos que tratamos de aislar en las investigaciones y ellos interactúan con el mundo real; por lo que en cualquier situación, todas esas interacciones entran en juego. 137 Efectividad en Promoción de la Salud y Salud Pública 3. Herramientas metodológicas de la evaluación Esta sección tiene como objetivo describir las principales características, fortalezas limitaciones y usos de herramientas metodológicas de evaluación, sin profundizar en los aspectos técnicos de cada una de ellas, ya que se considera que lo más importante es brindar elementos de reflexión y análisis para hacer una selección apropiada de los enfoques y técnicas para obtener, analizar e interpretar la información sobre desempeño, impacto y efectividad de las intervenciones. Para facilitar la comprensión se hará referencia a tres categorías de evaluación que representan los intereses de cada una: 1. Evaluación del proceso de implementación de la intervención. 2. Evaluación de impacto y efectividad, o valoración de resultados a corto, mediano y largo plazo. 3. Evaluación económica o comparación de resultados en relación con la inversión. A continuación se mencionan los aportes, posiciones y contradicciones que se han presentado en la evaluación de políticas y programas en promoción de la salud y salud pública y el empleo de las categorías de evaluación indicadas. Estos aportes provienen de grupos de expertos de diferentes lugares que trabajan en el tema, así como de la experiencia práctica de profesionales de América Latina que nos hemos dado a la tarea de evaluar iniciativas de la naturaleza descrita. 138 Ligia de Salazar 1. La evaluación de proceso: Develando la “caja negra” de la implementación La evaluación de proceso, como herramienta metodológica, se orienta a comprender y responder preguntas sobre comportamiento e interacciones de los componentes esenciales de la intervención, avances y factores de contexto que influencian tanto la intervención como los resultados. La evaluación, usualmente, se orienta a valorar el cumplimiento del producto final y poco a explorar los factores que permitieron alcanzar este producto, durante cada una de las fases del ciclo de vida de la intervención: experimentación, implantación, generalización y declive. En cada una de éstas se responden preguntas diferentes y, por tanto, se usan enfoques metodológi- El proceso de implementación de intervenciones en promoción de la salud y salud pública usualmente es una “caja negra” cuya característica central es la carencia o insuficiente información para dar cuenta del comportamiento de la intervención, de los aspectos que han influenciado la implementación y los cambios que se han producido, la adherencia a los protocolos, el grado de cumplimiento de los supuestos y cómo este cumplimiento podría haber afectado los resultados. cos distintos para responderlas. El proceso de implementación de intervenciones en promoción de la salud y salud pública usualmente es una “caja negra” cuya característica central es la carencia o insuficiente información para dar cuenta del comportamiento de la intervención, de los aspectos que han influenciado la implementación y los cambios que se han producido, la adherencia a los protocolos, el grado de cumplimiento de los supuestos y cómo podrían haber afectado los resultados. No sólo es importante en la evaluación responder a la preguntas sobre qué funcionó, sino también para quién, cómo y en qué circunstancias. La evaluación de proceso brinda insumos para identificar y comprender la interacción de las variables que actúan en la implementación de la intervención; establecer la coherencia entre la teoría que fundamenta 139 Efectividad en Promoción de la Salud y Salud Pública la intervención y la práctica y, finalmente, definir lo que significó la intervención en la práctica. La información anterior, al mismo tiempo, facilita la reorientación y ajuste del marco lógico de la intervención y coadyuva al logro de los objetivos e impacto de la intervención. Para este tipo de evaluación es importante considerar que el desarrollo, como objetivo fundamental de las intervenciones de salud pública y de promoción de la salud, es visto como un proceso complejo, producido en circunstancias en las cuales un programa no se puede aislar de los diversos factores con los que tiene que convivir, al igual que de los factores del contexto que lo influencian. Es por esto que, autores como Stake y Abma (2005) abogan por la inclusión de enfoques que den peso al término contribución –más que atribución–, el cual implica condicionalidad o contextualización. En este sentido Pawson (2001, 2002, 2003) recomienda el estudio total del sistema de relaciones entre las variables y para ello sugiere dividir la intervención en sus componentes: mecanismos, contexto y resultados. Los mecanismos se refieren a las formas en las cuales uno de los componentes produce cambios; el proceso es definido como la forma en que los sujetos interpretan y actúan sobre la estrategia de la intervención, conocida como mecanismos del programa; y contexto se refiere al lugar y sistema de relaciones interpersonales y sociales. De allí que se haya reconocido que el uso de métodos cualitativos puede ayudar a adquirir un mayor entendimiento del significado práctico de la iniciativa evaluada y de la complejidad de las interacciones. Los métodos cualitativos pueden también ser empleados para lograr la generalización de resultados o posibilitar transferencias, usando la noción de representatividad en el concepto, cuando la representatividad de la muestra no puede ser alcanzada (Tang, Ehsani y McQueen, 2003). Enfoques metodológicos para la evaluación de proceso La elección de los enfoques metodológicos para realizar la evaluación de proceso es influenciada por el papel que asumirá el evaluador. Según 140 Ligia de Salazar sea la intencionalidad de la evaluación, el evaluador debe comportarse como facilitador, interpretador y creador de condiciones para la interacción y negociación entre participantes, en un ambiente colaborativo y de aprendizaje. Diferentes métodos han sido desarrollados para evaluar y comprender el proceso de implementación de la intervención. A continuación se describen algunos de ellos: Documentación y sistematización de experiencias Como fue mencionado anteriormente, la mayoría de las intervenciones en salud pública y en promoción de la salud, en especial aquellas orientadas a responder a factores estructurales que influencian la salud poblacional, son multinivel, de largo plazo, comprometen diferentes sectores y dimensiones de práctica y están sujetas a cambios del contexto, los cuales influencian tanto el marco lógico que las sustenta como el cumplimiento de los objetivos. Las anteriores características demandan la documentación permanente del proceso de implementación de las intervenciones, a fin de disponer de información para identificar y comprender las variables que intervienen, así como sus relaciones, más allá de controlar las variables que influencian los resultados. Aunque la documentación y la sistematización no son enfoques metodológicos de la evaluación, sus resultados sí son insumos importantes para ésta, porque ayudan a formular la pregunta de evaluación dentro de un proceso complejo que se desarrolla a partir de un conocimiento completo e integral de la intervención. Se requiere conocer cómo aconteció la intervención y por qué razón se realizó de la manera en que se hizo. Es justo desde esta intención que la sistematización de experiencias y la documentación permiten construir referentes comprensivos e interpretativos de la intervención, aportando elementos para que la pregunta de evaluación sea más pertinente y responsable, de acuerdo con las características propias del contexto. 141 Efectividad en Promoción de la Salud y Salud Pública La sistematización de experiencias es una herramienta de investigación cualitativa que busca comprender e interpretar el desempeño de las intervenciones. “Desde esta óptica se da un lugar privilegiado a la voz de los actores, exaltando la construcción de sentido que éstos hacen de su realidad, la cual está atravesada La sistematización de experiencias es una herramienta de investigación cualitativa que busca comprender o interpretar el desempeño de las intervenciones. La sistematización y la documentación permiten construir referentes comprensivos e interpretativos de la realidad, aportando elementos para que la pregunta de evaluación sea más pertinente y responsable, de acuerdo con las características propias del contexto. por el lenguaje, la influencia de las instituciones sociales y los significados que se construyen en la interacción. En este enfoque lo importante son los procesos a través de los cuales se estudia y conoce la realidad” (cedetes, 2008). El proceso de documentación es un insumo fundamental para el buen desarrollo de la sistematización, que hace posible recuperar la racionalidad y el desarrollo operativo de las intervenciones. Es un ejercicio riguroso, a partir de la aplicación de diferentes instrumentos de recolección de información, que de manera cronológica y operativa ordena la intervención desarrollada. A través de la documentación se recupera, de manera descriptiva e interpretativa, lo que ha sido la intervención. La documentación proporciona las herramientas necesarias para que la intervención pueda registrar y narrar la historia de su desempeño de principio a fin, y la sistematización brinda a los implementadores de una intervención, un sistema permanente para reflexionar de manera holística y estratégica sobre cómo se consiguieron o conseguirán determinados resultados esperados. Realizar este procedimiento requiere tener claridad frente a la experiencia que se quiere sistematizar, así como de los objetivos y finalidad de la misma. Para tal fin debe realizar y presentar a la institución que avala 142 Ligia de Salazar el proceso un documento propuesta con lo que se quiere realizar. A esto se le denomina proyecto o protocolo de sistematización. La documentación es fortalecida por la sistematización. Se trata así de recuperar lo que los actores saben de la experiencia en la cual participan. Las interpretaciones que se producen sobre la experiencia y la práctica misma que los sujetos asumen como premisas. Lo que interesa son los significados que las acciones tienen para los actores que las promueven y los resultados que éstas tienen, de acuerdo con los propósitos que ellos mismos establecieron. Igualmente, la sistematización ha sido considerada, como una estrategia para descubrir y comprender los cambios en el protocolo de la intervención, la implementación y beneficios, de acuerdo con la percepción de los participantes y sus interacciones (De Salazar, Díaz y Magaña, 2002). Este ejercicio reconoce la naturaleza cambiante de las intervenciones y ayuda a hacer explícitas las razones de cambio, por lo que permite entender la lógica y el sentido de los procesos y resultados de un programa o intervención, en el marco del contexto de desarrollo del mismo. Los resultados de procesos de documentación y sistematización son insumos importantes que pueden ser usados por cualquiera de los tipos de evaluación que se describen más adelante, complementando la información que surge de la aplicación de otros enfoques metodológicos. Existen muchas y distintas propuestas para realizar la sistematización. A continuación se exponen algunos aspectos claves para elaborar este ejercicio: 1. Defina qué le interesa sistematizar, una parte de la intervención o el proceso completo. Recuerde que cuanto más específico sea lo que le interese sistematizar, habrá mayor nivel de profundización. 2. Justifique por qué razón la sistematización es el procedimiento pertinente para recuperar el proceso del programa implementado. 143 Efectividad en Promoción de la Salud y Salud Pública 3. Explicite en qué contexto –político, geográfico e histórico– se llevará a cabo el ejercicio. 4. Defina el para qué de la sistematización, el qué se sistematizará, y en qué periodo y lugar se realizará. Además precise los ejes de sistematización, es decir, aquellos aspectos que interesan recuperar de la experiencia. 5. Precise conceptualmente aquellos aspectos que le interesa sistematizar. Si no se han definido desde el programa, elabórelos. De esta manera sabrá específicamente cuál es su objeto de indagación. 6. Defina la metodología más apropiada para recuperar la experiencia: el concepto de sistematización en el cual se sustenta el proyecto, el enfoque, la ruta metodológica y las fuentes a través de las cuales reconstruirá la práctica. 7. Plantee en cuánto tiempo piensa llevar a cabo este ejercicio y qué requiere para desarrollarlo –apoyos técnicos, logísticos, otros–. La sistematización se convierte en un recurso o herramienta que potencia y complementa el ejercicio de la evaluación y aporta información clave en cada uno de los momentos de la evaluación. Los resultados de la sistematización se convierten en un insumo importante para la evaluación de intervenciones al permitir establecer asociaciones entre el cumplimiento de los objetivos y las acciones realizadas. Es también una herramienta fundamental que amplía las posibilidades de participación de los individuos, familias y comunidades en la gestión de las iniciativas. Recuerde que son las personas involucradas en la experiencia, quienes tienen la mayor información sobre qué y cómo se desarrolló. La sistematización contribuye a la evaluación, mediante la generación de información que ayuda: • A comprender las intervenciones. 144 Ligia de Salazar • A construir indicadores del proceso que dieron origen a los resultados de la evaluación. • A la formulación de la pregunta. La sistematización se hace sobre todo necesaria cuando se quiere comprender, más que identificar, responsables y crear conocimiento más que contribuir a establecer méritos por sí misma. • A la definición de preguntas relevantes. Brinda un profundo conocimiento sobre la influencia del contexto en el cual las intervenciones tienen lugar y son evaluadas. • A brindar información sobre las condiciones que hicieron posible los resultados de la evaluación. cómo funciona la intervención, cuáles son los ingredientes activos y cómo ellos producen el efecto deseado. • A la toma de decisiones orientadas a mejorar la viabilidad y calidad de la intervención. Por tanto, sistematizar las intervenciones que se quieren evaluar se convierte en un procedimiento obligado y en una herramienta para posteriormente valorar el impacto y resultados de las mismas. Por su carácter reflexivo y generador de conocimiento a partir de la práctica, sistematizar es una tarea que debe hacer parte del desarrollo de las intervenciones en promoción de la salud y salud pública, con el fin de explicar y comprender sus dinámicas, alcances y logros. En este sentido, el reto es promover una cultura de la sistematización con el objetivo de tener insumos para comparar, contrastar, triangular información y acumular los conocimientos producidos a través de dicha práctica. Por otro lado, la sistematización también plantea limitaciones, siendo la principal el hecho de que sus resultados hacen referencia a una intervención específica; es decir, arroja conocimiento particular y significativo para la intervención que ha sido sistematizada. Su objeto de interés es la cualidad de los procesos implementados y no la generalización de 145 Efectividad en Promoción de la Salud y Salud Pública resultados. Por lo tanto, es muy probable que dichos resultados no se presenten en otras situaciones, o que los participantes de la intervención no hagan la misma interpretación del proceso en otro contexto. Si se tiene en cuenta que el objetivo de la evaluación es presentar resultados intermedios y finales de una intervención e indagar por la efectividad de la misma, la sistematización aporta recomendaciones que pueden complementar dichos resultados, pero en ningún caso éstas podrán ser tomadas como sugerencias generales de la iniciativa. Sistematización y evaluación: procesos de investigación complementarios En síntesis, la sistematización y la evaluación hacen parte de un solo proceso para comprender, explicar y cambiar la realidad vinculada a procesos políticos y sociales que condicionan la salud poblacional. De allí que si bien la sistematización de experiencias y la evaluación tienen puntos en común y se complementan, presentan igualmente diferencias epistemológicas y metodológicas que deben ser tenidas en cuenta al momento de diseñarlas y al usar el conocimiento que cada una de ellas produce. A continuación se detallan algunas de estas diferencias y complementariedades según categorías de análisis, con el ánimo de relievar su carácter investigativo, al igual que su compromiso social para dar cuenta de procesos de cambio y orientar la toma de decisiones en pro de la salud y bienestar de la población. Categorías Origen Relación sistematización y evaluación La sistematización como proceso de investigación es relativamente reciente y aún es vista con recelo en diversos ámbitos. Sin embargo, su uso es cada vez más frecuente en las instituciones, pues permite recuperar la experiencia, describirla y analizarla y así volver sobre ella para fortalecerla. Por otro lado, la evaluación como tradición investigativa cuenta con mayor reconocimiento académico e institucional. Su legitimidad está sustentada, en parte, por su desarrollo histórico y por sus aportes para valorar la eficiencia y efectividad de políticas, programas y tecnologías. 146 Ligia de Salazar Categorías Definición Relación sistematización y evaluación La sistematización es concebida como una acción intencionada; es decir, que su propósito es generado por el investigador o grupo institucional que la promueve, los cuales deben hacerle preguntas a la experiencia y responderlas mediante un proceso de recolección, ordenación y clasificación de información que ha sido requerida y encontrada de acuerdo con el problema objeto de trabajo, para hacer posible una descripción coherente y organizada de la práctica y experiencia que se quiere interrogar. […] la sistematización significa elaboración reflexiva de la experiencia, con un carácter contextual y cuya importancia va más allá de resolver un problema o remover un obstáculo a la marcha de la experiencia. Por esto mismo no es una respuesta empírica, reducida a un registro, ordenación y clasificación de una información. Su orientación es a comprender (Ramírez, citado por Puerta, 1997). De igual forma, la evaluación también es una acción intencionada pero motivada por otro tipo de intereses y prácticas. Esta ha sido concebida de muchas formas, partiendo de ser un instrumento de la gerencia de un programa o proyecto, hasta una herramienta de aprendizaje y negociación; por tanto, constituye en sí un instrumento político. La naturaleza gerencial de la evaluación es reconocida por Millio (1990) al señalar que ésta busca valorar las brechas entre lo que es y lo que debe ser. Según la intencionalidad y los enfoques metodológicos para alcanzarla, la evaluación se acerca o se aleja de la sistematización. Si su intención es explicar y valorar la asociación entre intervención y resultados, y atribuir los efectos o resultados de una iniciativa a una, o un conjunto de intervenciones, mediante la aplicación de enfoques metodológicos que se soportan en paradigmas positivistas, su aproximación a la sistematización es más lejana. Si su intencionalidad es, como lo señala Perfecto & Green, citados por McQueen (2007) abordar diferentes aspectos de la realidad de forma oportuna, desde una práctica interdisciplinaria y endógena, en la medida que recoge la riqueza de posiciones de los actores de la práctica, para comprenderla e intervenirla, su aproximación a la sistematización es más estrecha. Un ejemplo son los procesos democráticos de empoderamiento y participación de la sociedad civil para la formulación de políticas públicas, los cuales requieren del concurso de varios actores y sectores en forma sostenida; demandando para ello, un conocimiento a profundidad y actualizado sobre el tipo e interacción de factores y variables que hacen parte de esta realidad. Puede decirse que tanto la sistematización como la evaluación son intentos para explorar la realidad y los factores que intervienen, con la intención de crear respuestas para lograr modificarlos positivamente. La diferencia central entre las dos está en el cómo y desde qué paradigma se analiza e interpreta esta realidad. 147 Efectividad en Promoción de la Salud y Salud Pública Categorías Relación sistematización y evaluación Características La concepción y alcance de la investigación evaluativa ha evolucionado profundamente en los últimos veinte años, en buena parte debido a nuevos paradigmas de salud que se apoyan en el carácter político y social de la salud poblacional y al reconocimiento de que la desigualdad –problema crítico en salud poblacional– no es una propiedad fija de las sociedades y, por tanto, es potencialmente susceptible de cambio y de valoración. Estos planteamientos, unidos a la naturaleza compleja, tanto de las intervenciones en promoción de la salud y salud pública, como de los sistemas en donde se desarrollan, han cuestionado el carácter determinístico de la evaluación, al momento de establecer asociaciones causales para valorar el éxito de una intervención. A este respecto, Potvin (2002) aboga por lo que acertadamente señala como el carácter reflexivo e histórico para comprender las relaciones entre prácticas humanas y estructuras sociales. En primer lugar, se refiere a la ausencia de un determinismo absoluto entre estructuras sociales y prácticas humanas, dado por la capacidad para transformar las estructuras sociales; por otro lado, el carácter histórico se refiere a la concepción de que en cualquier momento el estado de un objeto de estudio, llámese programa, estado de salud o cualquier otro, no puede ser aislado del contexto que le da significado. Si bien la evaluación aún permanece en la búsqueda de evidencias de efectividad de intervenciones y para ello aplica enfoques metodológicos positivistas, también se ocupa de los procesos que han hecho posible los cambios. Es esta última característica de la evaluación la que permite su articulación conceptual y operativa con la sistematización. Es algo cercano a lo que Lomas (2000) denomina “evidencia coloquial”, la cual no sólo representa información relevante personal y contextual, como valores de la sociedad, conocimiento experimental, juicio político, recursos, hábitos y tradiciones, sino que representa también las interpretaciones de los involucrados sobre estos fenómenos. Por otro lado, la evaluación desde el paradigma positivista presenta algunas características que la diferencian de la sistematización, tales como su orientación a valorar el cumplimiento de objetivos; la validez de la información es juzgada aplicando supuestos y criterios establecidos por disciplinas orientadas por el paradigma biomédico y no por un conjunto de disciplinas que interactúan y se influencian para producir los resultados esperados. En ese sentido, los enfoques econométricos orientados a la medición de eventos son en algunos casos reemplazados o complementados con enfoques constructivistas que añaden sentido y valor a los hallazgos y evidencias científicas. Con esta afirmación no se pretende restar el valor y naturaleza específica de la sistematización sino, por el contrario, rescatar su aporte único, producto de la aplicación de un paradigma diferente para conocer y comprender la realidad. 148 Ligia de Salazar Categorías Finalidad Relación sistematización y evaluación Quizás las dos palabras que mejor describen la finalidad de la evaluación y sistematización de experiencias son: comprender y explicar o atribuir. La sistematización se preocupa más por comprender la realidad, el papel e interacciones de los agentes, del mismo modo que las situaciones contextuales que precipitan que la acción se presente de una u otra forma, para finalmente, generar nuevos aprendizajes sobre las prácticas, los cuales son utilizados para fortalecerla. La evaluación, por otro lado, enfoca su atención en obtener información y evidencias sobre la asociación entre intervención y resultados, con la intención de hacer recomendaciones a tomadores de decisión. Un aspecto clave en relación con la intención de la evaluación es la noción de evaluación como experimentación y evaluación como negociación, en donde Potvoin & Bisset (2007) plantean que el énfasis de la evaluación como negociación está en los actores sociales, al reconocer que los programas son sistemas sociales, en los cuales las acciones e interacciones entre los actores constituyen las principales dimensiones de interés; de allí que los evaluadores como actores, focalizan su práctica en la gente, quienes actúan y son directamente afectados por el programa. Mapeo de Resultados Otro enfoque que se relaciona con la sistematización es el denominado “Mapeo de Resultados” –Outcome Mapping– (Earl, Carden y Smutylo, 2001) desarrollado por el Centro Internacional de Investigación para el Desarrollo, CIID-IDRC. Este enfoque parte del supuesto de que la complejidad del proceso de desarrollo de las intervenciones hace difícil evaluar su impacto –atribución–, reconociendo que la evaluación debe estar al servicio del aprendizaje y es fundamental comprender sus contribuciones esenciales. Por otra parte, los autores de esta metodología señalan que el hecho de enfocar la evaluación en los impactos a largo plazo sobre el desarrollo, no necesariamente brinda el tipo de información y de realimentación que los programas necesitan para mejorar su desempeño. Por estos motivos, el Mapeo de Resultados se concentra sobre los alcances de las intervenciones, en lugar del impacto y resultados finales, aun149 Efectividad en Promoción de la Salud y Salud Pública que reconoce la importancia del impacto como meta definitiva que los programas pretenden alcanzar. Con este enfoque se incrementan el valor y la atención dados a los resultados obtenidos por las contribuciones de aspectos previos al impacto (Earl, Carden y Smutylo, 2001). Por tanto, es importante no sólo valorar los cambios sino mo- El Mapeo de Resultados se concentra sobre los alcances, en lugar del impacto y resultados finales. Con este enfoque se incrementan el valor y la atención dados a los resultados obtenidos por las contribuciones de aspectos previos al impacto. Para este enfoque es importante no sólo valorar los cambios, sino monitorear y evaluar las estrategias y actividades y cómo ellas funcionan como una única unidad. nitorear y evaluar las estrategias y actividades y cómo ellas funcionan como una única unidad. El Mapeo de Resultados reconoce que las intervenciones en promoción de la salud y salud pública son procesos complejos que van conformándose de procesos paralelos. No sólo sirven para consolidar un entendimiento de los cambios que se producen en el entorno del desarrollo en el que se desenvuelve un programa, sino que también sigue y evalúa las estrategias y actividades de este último y la manera en que funciona como unidad organizacional. Como tal, el Mapeo de Resultados valora la intervención de manera integral y parte del supuesto de que al programa en cuestión no le basta con estar al tanto de los resultados en cuanto al desarrollo, sino que también tiene que saber los procesos que se han seguido para conseguirlo y conocer su propia efectividad interna. Un aspecto muy importante de este enfoque es que la pregunta de evaluación se orienta a medir la contribución de la intervención con respecto a su visión –por medio de sus socios directos–, sin que se trate de saber si esta visión logró convertirse en realidad o no. En otras palabras, la pregunta está dirigida a averiguar “¿quién hace qué? y ¿cómo?” La visión representa el ideal que busca la intervención y debe ser lo suficientemente amplia y motivadora como para mantener 150 Ligia de Salazar su importancia con el transcurso del tiempo, pese a las circunstancias cambiantes. Evaluación participativa La Organización Panamericana de la Salud, OPS, ha publicado una guía para orientar el uso de la metodología de evaluación participativa, en donde se involucra un proceso de acopio, análisis e interpretación del proceso de implementación de la intervención, con una activa participación de sus implementadores (OPS/OMS, 2005). La evaluación participativa se entiende como un conjunto de orientaciones para realizar un proceso de evaluación más amplio, que se centre en los cambios logrados en los territorios. Esta evaluación se orienta a fortalecer la relación entre la planificación, la gestión y los procesos de evaluación; es una herramienta de referencia para tomadores de decisiones, especialmente a nivel municipal; facilita que sus usuarios conozcan mejor a su comunidad, comprendan la importancia de realizar evaluaciones y adquieran pericia en las mismas; contribuye a identificar señales de cambio, indicadores de proceso y avance y a desarrollar habilidades de vigilancia social en la comunidad (OPS/OMS, 2005). Evidencia cualitativa sobre efectividad: “Responsive evaluation” La llamada Responsive evaluation, sugerida por Guba y Lincoln (1981); Lincoln y Guba (1985); Guba y Lincoln (1989); Stake y Abma (2005) es definida como una orientación a la evaluación para generar evidencia cualitativa acerca de la efectividad, medida por resultados intermedios del programa. Este enfoque de evaluación genera evidencias acerca de la efectividad de una intervención, fundamentado en resultados intermedios, con información cualitativa. Se parte de la premisa de que los criterios para evaluar la efectividad de un programa no se derivan solamente de las intenciones 151 Efectividad en Promoción de la Salud y Salud Pública de los tomadores de decisión, sino que incluyen un rango amplio de aspectos que provienen del mayor número de actores posible. Todos estos enfoques metodológicos descritos facilitan la identificación y comprensión de los componentes esenciales de la intervención, su comportamiento e interacciones en varios contextos y momentos, siendo sus principales usuarios los promotores e impulsadores de la intervención y no necesariamente los tomadores de decisión y políticos. Por tanto, estrategias de comunicación que logren articular este proceso con los resultados finales esperados, son necesarias para que la evaluación de proceso tenga mayor relevancia e importancia en la esfera política. 2. La evaluación de efectividad Respondiendo a preguntas sobre logro de objetivos Como ya se mencionó, la evaluación de efectividad se refiere a la medición, descripción y valoración o juicio acerca de la asociación entre intervención y resultados. Desde esta perspectiva, la atribución de los resultados a una determinada intervención no solo debe ser establecida mediante análisis estadístico, sino por la lógica de las asociaciones producto del estudio sistemático del proceso y de la interacción de los factores que influencian, tanto la implementación de la intervención como los resultados. Lo primero que hay que considerar es que establecer asociaciones entre intervención y resultados –asociación causal– mediante análisis lineales es contradictorio cuando nos referimos a intervenciones complejas. Por ello, se ha reconocido que un solo estudio es incapaz de dar 152 La evaluación de efectividad se refiere a la medición, descripción y valoración o juicio acerca de la asociación entre intervención y resultados. Sin embargo, hay que considerar que establecer asociaciones entre intervención y resultados -asociación causal- mediante análisis lineales es contradictorio cuando nos referimos a intervenciones complejas. Ligia de Salazar cuenta de la efectividad de una intervención, mucho más de aquellos fenómenos sociales en los cuales es inherente la interacción de diferentes variables sociopolíticas y culturales. Este hecho explica en buena parte el creciente interés por enfoques metodológicos que aplican análisis multinivel y contextual y no simplemente la adición de variables a la red de causación (Diez-Roux, 1998). Así mismo, se ha reclamado mayor atención sobre aspectos como el desarrollo de estudios piloto, la utilización de modelos no lineales para evaluar proceso, la integración de la evaluación de proceso y de resultados, el reconocimiento de que las intervenciones complejas pueden funcionar mejor cuando se ajustan a los contextos locales, en lugar de estandarizarlas y, finalmente, el disponer de mayores insumos provenientes de la teoría de la complejidad y sistemas adaptativos (Craig et al., 2008). Enfoques metodológicos para la evaluación de efectividad A continuación se describen brevemente algunos diseños de estudios, los cuales se caracterizan por su interés en valorar la efectividad de la intervención a través de los resultados finales o cumplimiento de objetivos, más que por el proceso y resultados intermedios. Estudios experimentales y cuasi-experimentales Como se mencionó anteriormente, los estudios aleatorios controlados –RCT– han sido tradicionalmente considerados como la “prueba reina” para establecer evidencias de efectividad en salud pública, aunque también se ha señalado su inoperancia cuando se buscan asociaciones entre variables que no siguen los supuestos con los cuales se soporta la validez de este tipo de estudios. Si bien la mayoría de las veces, los diseños experimentales son preferidos a los observacionales, estos no siempre son practicables. Los diseños experimentales, según la OMS, citada por Hawe, Shiell y Riley (2004), requieren que las intervenciones sean estandarizadas o parezcan iguales 153 Efectividad en Promoción de la Salud y Salud Pública y afirma que la adaptación al contexto para que la intervención funcione es obstaculizada por el diseño del estudio. La clave está en dejar de mirar los elementos de un sistema en forma simple, para observar funciones y procesos de sistemas complejos. Al optar por este tipo de estudios, el reconocimiento de si estamos evaluando una intervención compleja o una intervención en un sistema complejo, es extremadamente importante. Igualmente lo es responder a la pregunta de si las características dinámicas del sistema importan lo suficiente como para cambiar el enfoque de evaluación. Shiell, Hawe y Gold (2008) mencionan que el asumir que la complejidad tiene relación con los sistemas en los cuales las intervenciones se implementan es importante, tanto en evaluación económica como en otros tipos de evaluación. La dificultad para atribuir causalidad en un sistema complejo, según los autores, se debe a que el sistema es Una limitante para aplicar diseños metodológicos experimentales en evaluación de intervenciones complejas, tiene que ver con que en este tipo de intervenciones coexiste e interactúan múltiples variables y niveles operativos para lograr el objetivo, pero no todas estas variables son fácilmente identificables y controlables, y cuando se pueden identificar, el establecimiento de su contribución o atribución al producto final es difícil o imposible. sensible a condiciones iniciales y pequeñas diferencias en la línea de base pueden traer grandes diferencias en los resultados. Es por ello que la aleatorización –incluso en el nivel de cluster– puede que no elimine todos los sesgos, aun si se remueven todas las diferencias observables entre los grupos. La alternativa propuesta por Hawe, Shiell y Riley (2004) para responder a esta situación es dejar a un lado la forma como las intervenciones comunitarias han sido concebidas. Si bien esto podría liberar a las intervenciones de explicar la influencia del contexto local mediante el uso de diseños controlados, antes de decidir sobre esta posibilidad se debe valorar esta opción con sumo cuidado. 154 Ligia de Salazar Como se indicó en el capítulo I, al citar a Clark y McLeroy (1998), para analizar los cambios de una política, idealmente, la evaluación debe demostrar que la intervención produce los cambios en la política, que los cambios en la política producen los resultados deseados en los comportamientos y que los comportamientos contribuyen a los resultados en salud. Sin embargo, también se reconoce que puede ser imposible hacer estas conexiones; por lo tanto, se deben desarrollar nuevos diseños que incorporen enfoques para valorar la adecuación y plausibilidad de las intervenciones. Existen diferentes limitantes para aplicar los estudios experimentales en evaluación de intervenciones en promoción de la salud y salud pública. Una de ellas tiene que ver con que en este tipo de intervenciones coexiste e interactúan múltiples variables y niveles operativos para lograr el objetivo, pero no todas estas variables son fácilmente identificables y controlables, y cuando se pueden identificar, el establecimiento de su contribución o atribución al producto final es difícil o imposible. Adicionalmente, existe dificultad para encontrar grupos control, los cuales idealmente deberían diferenciarse de la población intervenida, solo por no haber estado expuestos a la intervención; y para controlar o impedir la influencia de factores del contexto, que podrían influenciar o cambiar el protocolo del programa, como también los resultados. En muchas ocasiones estos factores deben ser identificados, comprendidos y tenidos en cuenta en el análisis e interpretación de resultados, más que ser controlados. En estos casos la lógica del control no parece tener razón de ser. Al respecto, Loomis y Wings (1990) afirman que esta complejidad refleja mejor la realidad que los modelos multicausales que prevalecen hoy en día. Tanto la aleatorización como la estandarización han sido tema de estudio y debate en los diseños experimentales. La primera, siempre ha 155 Efectividad en Promoción de la Salud y Salud Pública sido considerada como el método más robusto para prevenir sesgos de selección. En caso de que la intervención deba ser aplicada a toda la población o implementada a gran escala, no es viable el estudio experimental y, en ese caso, un estudio cuasi-experimental o uno observacional debe ser realizado. En algunas circunstancias la aleatorización puede ser innecesaria y otros diseños son preferibles; sin embargo, se considera que son limitados los estudios de este tipo que producen estimativos confiables del efecto (Hawe, Shiell y Riley, 2004). Por otro lado, ha existido la creencia que la estandarización y los ensayos controlados aleatorizados van de la mano. El tener una intervención que funciona igual en diferentes lugares se considera extraordinario; pero a su vez, ésta puede ser la razón de que muchas intervenciones comunitarias obtienen resultados muy pobres o distorsionados. Instituciones líderes en el tema como el Consejo de Investigación Médica de Inglaterra, citado por Hawe, Shiell y Riley (2004), afirman que los estudios de intervenciones complejas deben consistentemente probar que son lo más similares posible, estandarizando el contenido y la implementación de la intervención, y argumentan que ésta no es una razón para rechazar los ensayos controlados aleatorizados. Hawe, Shiell y Riley (2004) piensan que algo debe cambiar y que una forma alternativa de ver la estandarización podría ser conocer el estado del arte de las intervenciones de este tipo –y aquellas que son diferentes en diferentes sitios–, a fin de ser más efectivos al hacer evaluaciones con mayor significado o más informativas. Estos autores señalan que si bien el documento del Consejo de Investigación Médica de Inglaterra sobre la evaluación de intervenciones complejas, llama la atención sobre la estandarización, también éste reconoce la necesidad de realizar una fase exploratoria para describir los componentes, variables y constantes de una intervención replicable. 156 Ligia de Salazar Los autores proponen una forma alternativa de pensamiento en relación con la estandarización e indican que los aspectos fijos de la intervención son las funciones esenciales de la intervención –ingredientes activos– y el aspecto variable es su forma en diferentes contextos (Hawe, Shiell y Riley, 2004). Una intervención evaluada en forma pragmática, en el mundo real, no sería definida al azar, como sucede en ocasiones, cuando los investigadores no fueron capaces de alcanzar el componente estandarizado que ellos idealizaron. Todo lo contrario sucedería si teorizamos acerca del contexto en el mundo real. Los estudios poblacionales y comunitarios deberían iniciar tratando de ver a las comunidades como sistemas complejos y de entender que los problemas de salud o fenómenos de interés son producidos por el sistema. Las intervenciones complejas funcionan mejor cuando son diseñadas de acuerdo con las circunstancias locales, más que estandarizándolas completamente. De allí que los informes deban incluir una descripción detallada de la intervención para facilitar la réplica, la síntesis de evidencia y una implementación más amplia. Los resultados de la evaluación de proceso dentro del ensayo comunitario pueden ser usados para estudiar la fidelidad y calidad de la implementación, clarificar mecanismos causales e identificar factores contextuales asociados con la variación de los resultados; pero ésta no puede ser un sustituto de la evaluación de resultados. Esta evaluación provee información valiosa de por qué una intervención falla o tiene consecuencias inesperadas o por qué una intervención funciona y cómo puede ser optimizada. Por otro lado, como se ha mencionado ampliamente, la adherencia al protocolo no necesariamente sucede en intervenciones complejas. Cuando se están buscando los ingredientes activos de la intervención se requiere una estricta estandarización y controles para evitar variación en la implementación, pero algunas intervenciones están diseñadas para adaptarse a los contextos. Por tanto, lo importante es definir qué tanta 157 Efectividad en Promoción de la Salud y Salud Pública adaptación es permitida y documentar las variaciones en la implementación, de tal forma que la fidelidad puede ser evaluada en relación con el grado de estandarización que el protocolo del estudio requiere (Craig et al., 2008). Existen varios criterios para seleccionar entre un estudio aleatorizado y uno no aleatorizado. Los siguientes criterios han sido mencionados por Craig et al. (2008): • Tamaño y tiempo de los efectos: la aleatorización puede ser innecesaria si los efectos de la intervención se presentan en forma inmediata o a largo plazo. En este último caso se observan variables confusoras del efecto y es poco probable que las tendencias expliquen las diferencias en resultados antes y después de la exposición. • Probabilidad de sesgos de selección: la aleatorización es necesaria si la exposición a la intervención es probable que esté asociada con otros factores que influencian el resultado. Por lo tanto, se requieren ajustes después del estudio y su efectividad está limitada por errores en la medición o variables de confusión y la dificultad de manejar variables de confusión desconocidas. • Factibilidad y aceptabilidad de la experimentación: la aleatorización puede ser impráctica si la intervención es usada ampliamente, o si las decisiones claves acerca de cómo debe ser implementada la intervención ya se han tomado, como es el caso de cambios políticos y de intervenciones cuyos efectos en salud son secundarios en relación con su mayor propósito. • Costo: si un estudio experimental es factible y proveería información más confiable que un estudio observacional, pero al mismo tiempo cuesta más, el costo adicional debe ser sopesado con el valor de tener mejor información. 158 Ligia de Salazar Estudios observacionales: cohorte, casos y controles Si bien estos estudios son útiles para establecer la asociación entre una política y un programa de salud pública o de promoción de la salud, también presentan limitaciones para encontrar apropiados grupos control, al mismo tiempo que dificultades para hacer acopio de datos a mediano y largo plazo e identificar cambios, por ejemplo, en las prevalencias de Enfermedades Crónicas No Transmisibles, ECNT y riesgos asociados. • Estudio de cohorte: Es un estudio analítico observacional en el cual un grupo o grupos de individuos son vigilados por un periodo definido y seleccionados sobre la base de su exposición a un determinado riesgo o evento, en nuestro caso a una determinada intervención. • Estudio de casos y controles: El estudio de casos y controles es otro tipo de estudio analítico observacional, en donde los sujetos son seleccionados teniendo en cuenta la presencia o ausencia de un determinado evento bajo análisis. Revisión sistemática La revisión sistemática se refiere a la síntesis de la recolección comprehensiva de información sobre un tópico en particular (Brownson, Baker, Leet y Gillespie, 2003). La revisión sistemática inicia con la necesidad de integrar la información existente con el fin de proveer información confiable y suficiente para una toma racional de decisiones (Campostrini, 2007; Murlow, 1994; Greenhalg, 1997). El proceso de revisión sistemática se soporta en un proceso riguroso para identificar estudios sobre un aspecto específico, valorarlos y presentar los principales hallazgos y limitaciones (Balk, Lau y Bonis, 2005; Mercille, 2008). Los análisis narrativos sistemáticos son usados para describir el alcance de la evidencia obtenida de estudios heterogéneos. Cuatro criterios 159 Efectividad en Promoción de la Salud y Salud Pública básicos son usados para juzgar la calidad de la evidencia: la calidad de los estudios originales –validez interna–, el número de estudios, la coherencia de la evidencia y la consistencia de los resultados. Meta análisis Es un subgrupo de la revisión sistemática que usa métodos estadísticos para combinar datos cuantitativos dentro de un indicador acumulativo. Usa la síntesis de resultados de múltiples estudios de investigación, mediante un enfoque cuantitativo, implementando cuatro pasos: identificación de estudios relevantes, identificación de criterios de inclusión y exclusión, procesamiento de datos, análisis estadístico, incluyendo la exploración de heterogeneidad de los estudios (Brownson, Baker, Leet y Gillespie, 2003). Según Balk, Lau y Bonis (2005), la revisión sistemática en el campo de la promoción de la salud y de la salud pública debe considerar los desafíos inherentes a la descripción hecha anteriormente de estas intervenciones, sobre todo su complejidad, su acción multipropósito y en diferentes niveles y su énfasis en cambios poblacionales más que individuales. Vigilancia Es un proceso sistemático en salud pública, en donde datos sobre variables de interés son recogidos de acuerdo con una periodicidad, ofreciendo insumos para identificar evidencia sobre el cambio en dichas variables –tendencia de prevalencias–. Esta información puede convertirse en evidencia de efectividad cuando los componentes de la intervención se relacionan con variables rutinariamente recolectadas a través de la vigilancia en salud pública. El diseño de evaluación que valora la efectividad de intervenciones en promoción de la salud y salud pública, articulando la vigilancia en salud pública –distribución de prevalencias y tendencias– con cambios en el 160 Ligia de Salazar contexto y factores que influencian los resultados, es altamente recomendado por las razones dadas anteriormente. Este enfoque puede ser fortalecido al combinar los resultados de la vigilancia con información proveniente de la documentación y la sistematización de la intervención evaluada y otras fuentes, después de valorar su relevancia y calidad (De Salazar, 2009). Campostrini (2007) y McQueen (2007) resaltan el valor de la vigilancia en salud pública para proveer información de calidad y confiable, que permita actuar en diferentes niveles y especialmente en el nivel local, basado en necesidades y prioridades. De igual forma, Campostrini (2007), llama la atención sobre el uso de medidas de prevalencia –tendencias– para monitorear cambios, al señalar que estas medidas son importantes, pero que es igual de importante conocer su evolución en el tiempo. De allí que preguntas como: ¿cuándo se deben entregar los resultados de la evaluación?, ¿cuál es el horizonte de tiempo para visualizar los cambios?, ¿qué tipo de cambios se pueden producir en este tiempo?, entre otras, son útiles al momento de formular el diseño de la evaluación. Dos estrategias podrían incrementar la validez y credibilidad de este tipo de estudios: la primera, el usar varias mediciones, para identificar tendencias del cambio, en lugar de medidas puntuales; y la segunda, disponer de información acerca de la implementación de la intervención y el contexto en donde se desarrolla. Un ejemplo del uso de sistemas de vigilancia en la evaluación de la efectividad y costo efectividad de programas, fue la evaluación de un programa de salud escolar, en donde se combinaron técnicas cuantitativas y cualitativas para valorar tendencias de prevalencias 161 La selección de un determinado diseño para la evaluación depende de cada situación y, especialmente, de la intencionalidad de la evaluación. En ese sentido, se recomienda un análisis riguroso de los supuestos y requisitos de cada diseño y el cumplimiento de los mismos, según la naturaleza de la intervención evaluada. Efectividad en Promoción de la Salud y Salud Pública de factores de riesgo en esta población, con técnicas para identificar y comprender los procesos de cambio, tales como la documentación y la sistematización (PAHO, 2007; De Salazar, 2004). Hasta aquí se han revisado los principales aspectos que se deben tener en cuenta para definir el diseño de la evaluación y, como fue planteado al inicio de este capítulo, no se recomienda la aplicación de alguno en particular, ya que esto depende de cada situación, y sobre todo de la intencionalidad de la evaluación, referida en la formulación de la pregunta. Lo que sí se recomienda en forma perentoria es el análisis riguroso de los supuestos y requisitos de cada diseño y el cumplimiento de los mismos según la naturaleza de la intervención evaluada. Igualmente, se invita a trascender la visión disciplinar y reduccionista que algunos diseños plantean, para abrir paso a una visión que recoja la riqueza y complejidad de intervenciones poblacionales como las señaladas, así como la verdadera intencionalidad de la evaluación, dada por la contribución que ésta podría hacer a la teoría y práctica de la promoción de la salud y salud pública. 3. La evaluación económica Seleccionando opciones en términos de costos y consecuencias La evaluación, además de ocuparse de los procesos y la efectividad de las intervenciones, se debe preocupar por sus costos y por el valor agregado de invertir en una de varias opciones para obtener los mejores resultados con la inversión realizada. La evaluación económica permite al evaluador ocuparse de este último componente, pues ésta se entiende como el conjunto de técnicas orientadas a examinar y seleccionar las mejores opciones en términos de sus costos y consecuencias; por consiguiente, las tareas básicas de este tipo de evaluación son identificar, medir, valorar y comparar costos y resultados (Drummond, O´Brien, Stoddart y Torrance, 1997). 162 Ligia de Salazar Esta definición contiene dos aspectos fundamentales que la caracterizan: el primero, la consideración de los costos y los beneficios en un solo análisis; y el segundo, la comparación de dos o más opciones en términos de los costos y los beneficios, como criterio para seleccionar la que produzca igual o mejores resultados por el mismo costo, o a un costo que pueda ser asumido por la institución. Este tipo de evaluación se preocupa por aplicar los conceptos básicos de la economía al establecimiento de prioridades, al orientar la inversión hacia el máximo beneficio, según preferencias. La búsqueda de la eficiencia es la base de la evaluación económica; éste es un criterio económico que revela la capacidad de producir el máximo de resultados con el mínimo de recursos. Es importante tener en cuenta que la mejor opción no es necesariamente la que genere la mayor productividad económica, pues en la mayoría de los casos el objetivo no es obtener rentabilidad financiera, sino elegir la alternativa que resuelva mejor un determinado problema con la menor inversión de recursos. La evaluación económica es, en suma, una herramienta analítica que permite poner en una balanza las ganancias y las pérdidas, o en términos más estrictos, los costos y los beneficios de una intervención, para la asignación de recursos en la dirección más eficiente, convirtiéndose en herramienta vital para la toma de decisiones (PAHO, 2007). Como métodos más comunes de la evaluación económica están el Análisis Costo-Efectividad y el Análisis Costo-Beneficio y los derivados de ellos. El primero, sirve para resolver el problema de eficiencia técnica, al determinar la forma menos costosa de obtener unos resultados deseados. El segundo, procura resolver el problema de eficiencia en la asignación, al determinar cuál es el resultado más deseado –valorado– por la sociedad. Del Análisis Costo-Efectividad se derivan el Análisis Costo-Utilidad y el Análisis de Costo-Consecuencia. Las implicaciones de los dos significados de complejidad descritos anteriormente, tienen implicaciones en la evaluación económica de 163 Efectividad en Promoción de la Salud y Salud Pública estas iniciativas. Es decir, existen abordajes diferentes en la evaluación económica cuando nos referimos a complejidad de las intervenciones o a la complejidad de los sistemas en los cuales la intervención es implementada. Shiell, Hawe, y Gold (2008), definen una intervención compleja como aquella que es construida de un número de componentes, los cuales pueden actuar independiente o interdependientemente. Como ya se señaló, esto hace que sea complicado definir los ingredientes activos de la intervención El principal desafío al evaluar intervenciones complejas surge porque los elementos activos de la intervención están sujetos a más variación que en el caso del estudio de un medicamento, por ejemplo. Esto hace difícil especificar de qué se trata la intervención, qué es lo más efectivo y cómo replicar la intervención fuera de los escenarios originales. y estar seguros de cuál componente o qué combinación de componentes es más importante. Por otro lado, un sistema complejo se adapta a los cambios en su ambiente local, está compuesto de otros sistemas complejos y se comporta en forma no lineal –cambios en los resultados no es proporcional a cambios en los insumos–. Es así como la operación, estructura y relaciones que existen en sistemas como los hospitales, escuelas, organizaciones comunitarias, deben ser estudiadas y comprendidas. El principal desafío al evaluar intervenciones complejas surge porque los elementos activos de la intervención están sujetos a más variación que en el caso del estudio de un medicamento, por ejemplo. Como ya se mencionó, esto hace difícil especificar de qué se trata la intervención, qué es lo más efectivo y cómo replicar la intervención fuera de los escenarios originales. Al parecer en la evaluación económica, el problema de especificar la intervención es menor, porque los economistas comparan el valor de lo que entra –recursos– y lo que sale –resultados–. Si podemos identificar los insumos y salidas con suficiente claridad para asegurar que los cambios 164 Ligia de Salazar en recursos usados y los beneficios pueden ser medidos y valorados, no es necesario saber cómo funciona o trabaja la intervención. Sin embargo, una evaluación económica de una intervención caracterizada por ser multicomponente, presenta ciertos desafíos, pues es más difícil dibujar límites acerca de la evaluación. Intervenciones multicomponentes para reducir el consumo de drogas, por ejemplo, pueden traer beneficios para otras personas, incluyendo la familia y la comunidad; la cuestión es identificar cómo estos beneficios pueden ser incluidos en la evaluación. Pero, igualmente, otras intervenciones simples que dan respuesta a este problema de drogadicción, también presentan la misma dificultad. En contraste, la evaluación de eficiencia económica de intervenciones dirigidas a cambiar las propiedades de los sistemas complejos, sí presenta grandes desafíos. Los sistemas complejos revelan determinadas características como la tendencia a auto-organizarse, son sensitivos a condiciones iniciales y tienen una fase de transición no lineal –saltan de una posición a otra muy diferente–, presentan propiedades emergentes y es importante la interacción de efectos y realimentación. Estas características afectan la medida de efectividad que debe ser incluida en la evaluación económica y el cómo las consecuencias de la intervención son valoradas. ¿Qué debe ser evaluado? Los economistas se preocupan por lo que implica el mejoramiento en los resultados finales. Sin embargo, las características de los sistemas complejos demandan el lograr mucho más que esto. La evaluación de resultados involucra la medida de cambios de salud a nivel individual y la sumatoria de éstos para valorar el efecto social. Estas propiedades no son vistas en ninguna parte de un sistema complejo; tampoco son ellas sumas de partes individuales –entre ellas, empoderamiento de la comunidad o exclusión social e ingresos inequitativos, las cuales son 165 Efectividad en Promoción de la Salud y Salud Pública categorías emergentes de la salud de población–. De esta forma, los resultados deben ser medidos en múltiples niveles dentro de un sistema complejo, con herramientas diseñadas con este propósito. Así mismo, debido al relativo corto periodo de seguimiento de las intervenciones y al hecho de que en sistemas complejos es difícil observar el cambio no lineal en sus etapas tempranas, hay un alto riesgo de perder resultados importantes y concluir prematuramente que la intervención no es efectiva. Para minimizar el riesgo de una evaluación prematura y de establecer atribuciones erróneas, economistas como Shiell, Hawe y Gold (2008) recomiendan que para sentirse cómodos se debería trabajar con evidencias de cambios intermedios, bien sea de proceso o de impacto, las cuales actúan como precondiciones en una fase de transición. Un indicador importante de cambio del sistema es el movimiento de actores claves en la estructura que forma el sistema complejo y dentro de éste; por ejemplo, cambios en sus relaciones con otros actores y agencias. Se debe considerar que para capturar estos efectos se requieren datos relacionales, recogidos individualmente, pero analizados a nivel de redes, con métodos de análisis de redes sociales. En intervenciones en escuelas, por ejemplo, una reducción en el número de niños y maestros que han estado “aislados socialmente” y un mejoramiento en las redes sociales dentro del entorno escolar, podrían ser algunas evidencias de estos efectos. Aunque los economistas prefieren usar medidas de cambios finales, como modificaciones en las condiciones de salud y bienestar, los resultados intermedios, como los organizacionales y de fortalecimiento de redes sociales, se constituyen en evidencias de que la intervención está teniendo un efecto sobre el sistema. En intervenciones inmersas en sistemas complejos nada puede ser asumido como constante, dado que todo está ligado con algo más. Lo anterior tiene dos consecuencias: en primer lugar, el hecho de que se 166 Ligia de Salazar esperan efectos en varios lados; es decir, que las consecuencias de cambios en el sistema son múltiples y multiplicadas, con costos y resultados inducidos que van más allá de lo que se pensó en el protocolo original. En segundo lugar, una de las cosas Aunque los economistas prefieren usar medidas de cambios finales, como modificaciones en las condiciones de salud y bienestar, los resultados intermedios, como los organizacionales y de fortalecimiento de redes sociales, se constituyen en evidencias de que la intervención está teniendo un efecto sobre el sistema. que los economistas suponen que no cambia es el valor que la gente le da a la intervención. Este supuesto es probable que se sostenga a nivel de sistemas. Un ejemplo es el control de tabaco, donde la acción concertada de salud pública que aboga por reducir los daños asociados con el uso del cigarrillo, cambia comportamientos y normas. Por ejemplo, el apoyo para poner avisos sobre prohibición del consumo en sitios públicos, frecuentemente aumenta una vez que la política se implementa. Esto significa que el valor de una intervención que cambia la dinámica de un sistema complejo, es probable que sea una función de la intervención; y que, en ese caso, la gente valora la intervención mucho más después de la implementación, que antes. En conclusión, las preferencias no son estables y esto disminuye la validez de los métodos que los economistas usan para asignar un valor a una intervención. Según Shiell, Hawe y Gold (2008), los desafíos que plantea la evaluación económica de intervenciones complejas, obligan a explorar “nuevas formas de pensamiento, particularmente uno que sea sensible a la teoría ecológica, a las interacciones entre variables en los niveles macro y micro, a la no linealidad, a la consideración de los múltiples efectos posibles y al hecho de que los valores individuales son influenciados por las intervenciones que tratamos de evaluar y el contexto donde buscamos el cambio”. La pregunta que queda es ¿será que estamos dispuestos y capacitados para emprender este viaje? 167 Efectividad en Promoción de la Salud y Salud Pública Bibliografía Balk, E.M., Lau, J. & Bonis, P.A.L. (2005), “Reading and critically appraising systematic reviews and metaanalyses: a short primer with a focus on hepatology”, en Journal of Hepatology, vol. 43, pp. 726-729 Brownson, R.C., Baker, E.A., Leet, T.L. & Gillespie, K.N. (2003), Evidencebased public health. New York. Oxford University Press. Campostrini, E. (2007), “Measurement and effectiveness. Methodological considerations, issues and possible solutions”. En D. McQueen, C. Jones (edits.) Global perspectives on health promotion effectiveness. IUHPE. New York, Springer. CEDETES (2008), Guía para sistematización de intervenciones en promoción de la salud y salud pública. Cali, Universidad del Valle. Cerda, G.H. (1994), La investigación total. La unidad metodológica en la investigación científica. Mesa Redonda Magisterio. Colombia. Clark, N. M. & McLeroy, K. R. (1998), “Reviewing the evidence for health promotion in the United States”, en J.K. Davies, & G. MacDonald (edits.), Quality, Evidence and Effectiveness in Health Promotion. Routledge, London, pp. 21–46. Craig, P., Dieppe, P., Macintyre, S., Mitchie, S., Nazareth, I. & Petticrew, M. (2008), “Developing and evaluating complex interventions: the new Medical Research Council guidance”, en Research Methods & Reporting, vol. 337:a1655. Cronbach, L. J., Hambrón, S. R., Dornbusch, S. M., Hess. R. D., Hornick R. C, Phillips, D.C. et al. (1980), Toward reform of program evaluation: aims, methods, and institutional arrangements. San Francisco, Jossey-Bass. De Salazar, L., Díaz, C. & Magaña, A. (2002), Municipios y comunidades saludables. El reto de la evaluación. Cali, Colombia, Universidad del Valle. 168 cedetes, Ligia de Salazar De Salazar, L. (2004), “La sistematización de experiencias en promoción de la salud”, En Efectividad en promoción de la salud. Guía de evaluación rápida. Cali, CEDETES, Universidad del Valle. Diez-Roux, A.V. (1998), “Bringing context back into epidemiology: variables and fallacies in multilevel analysis”, en American Journal of Public Health, vol. 88, Issue 2, pp. 216-222. Drummond, M., O´Brien, B., Stoddart, G. & Torrance, G. (1997) Methods for the economic evaluation of health care programmes. 2da. edit., New York, Oxford Medical Publications, pp. 233. Earl, S., Carden, F. & Smutylo, T. (2001), Outcome mapping: building learning and reflection into development programs. Canadá, International Development Research Centre, IDRC. Fischer, F. (1995), Evaluating public policy. Chicago, Nelson Hall. Greenhalgh, T. (1997), “How to read a paper: assessing the methodological quality of published papers”, en British Medical Journal, vol.315, pp. 305-308. Guba, E. G. & Lincoln, Y. S. (1981), Effective evaluation. Beverly Hills, Sage. Guba, E. G. & Lincoln, Y. S. (1989), Fourth generation evaluation. Beverly Hills, Sage. Hawe, P., Shiell, A. & Riley, T. (2004), “Complex interventions: how “out of control” can a randomized controlled trial be?”, en British Medical Journal, vol.328, pp.1561-1563. Lincoln, Y. S. & Guba, E. G. (1985), Naturalistic inquiry. Beverly Hills, Sage. Lomas, J. (2000), “Connecting research and policy”, en Canadian Journal of Policy Research, vol.1, pp. 140 –144. Loomis, D. & Wing, S. (1990),”Is molecular epidemiology a germ theory for the end of the twentieth century?”, en International Journal of Epidemiology, vol. 19, pp. l-3. 169 Efectividad en Promoción de la Salud y Salud Pública Luepker, R. , Murray, D. , Jacobs, D. Jr, Mittelmark, M., Bracht, N., Carlaw, R., et al. (1994), “Community education for cardiovascular disease prevention: risk factor changes in the Minnesota Heart Health Program”, en American Journal of Public Health, vol. 84, pp.1383-93. McQueen, D. V. & Anderson, L. M. (2000), “ What counts as evidence: issues and debates on evidence relevant to the evaluation of community health promotion programs”, En I. Rootman, M. Goodstadt, D. McQueen, L. Potvin, J. Springett and E. Ziglio (edits.) Evaluation in health promotion: principles and perspectives. Copenhagen, WHO (EURO). McQueen, D. (2007), “Evidence and theory. Continuing debates on evidence and effectiveness”. En D. McQueen, C. Jones (edits.) Global perspectives on health promotion effectiveness. IUHPE, New York, Springer. Mercille, G. (2008), “A realist approach to the systematic review”. En: Health promotion evaluation practices in the Americas. Values and research. New York, Springer. Milio, N. (2001), “Glossary: healthy public policy”, en Journal of Epidemiology and Community Health, vol.55, pp. 622–623. Mittlemark, M.B., Hunt, M.K., Heath, G.W., Schmid, T.L., et al. (1993), “Realistic outcomes: lessons from community-based research and demonstration programs for the prevention of cardiovascular disease”, en Journal Public Health Policy, vol.14, núm. 4, pp.437-62. Murlow, C.D. (1994), “Rational for systematic reviews”, en British Medical Journal, vol.309, pp. 597- 599. OPS/OMS (2005), “Guía de evaluación participativa para municipios y comunidades saludables”, [en línea], disponible en: http://www. bvsde.paho.org/bvsdemu/fulltext/guiaeval/guiaeval.html, recuperado 13 de junio de 2008. Pan American Health Organization (PAHO), (2007), Guide to economic evaluation in health promotion. Washington, Pan American Health Organization. 170 Ligia de Salazar Pawson, R. (2001), Evidence and policy and naming and shaming. ESRC UK Centre for Evidence Based Policy and Practice. Pawson, R. (2002), “Evidence-based policy: the promise of realist synthesis”, en Evaluation vol. 8, núm. 3, pp. 340-358. Pawson, R. (2003), “ Nothing as practical as a good theory” en Evaluation, vol. 9, núm 4, pp. 471-490. Potvin, L & Bisset, S. (2007) “There is more to methodology than method”. En D. McQueen, C. Jones (edits.) Global perspectives on health promotion effectiveness. IUHPE, New York, Springer. Potvin, L. (2007, 11 de julio), “Evidence in public health and health promotion: a debate; a response under construction; a key aspect in the research agenda” [conferencia], Seminario Taller Internacional de Evaluación de Efectividad en Salud Pública: un enfoque desde los determinantes sociales y la promoción de la salud, Cali, Colombia. Potvin, L. (2002) “Splendor and misery of epidemiology for the evaluation of health promotion”, en Rev. Bras. Epidemiol. Vol. 5, supl. 1. Shiell, A. Hawe, P. & Gold, L. (2008), “Complex interventions or complex systems? Implications for health economic evaluation”, en British Medical Journal, vol. 336, pp. 1281-1283. Smutylo, T. (2001), Impacto latente, atribución oculta: cómo superar las amenazas al aprendizaje en los programas de desarrollo. Unidad de Evaluación, Centro Internacional de Investigaciones para el Desarrollo, IDRC, Ottawa, Canadá. Stake, R. E. & Abma, T. A. (2005), “Responsive evaluation”. En S. Mathison, (edit.), Encyclopedia of evaluation. Thousand Oaks: Sage, pp. 376–379. Tang, K.C., Ehsani, J. P., & McQueen, D. V. (2003), “Evidence based health promotion: recollections, reflections, and reconsiderations”, en Journal of Epidemiology and Community Health, vol.57, pp.841–843. 171 Efectividad en Promoción de la Salud y Salud Pública Tolstoy, L. (1957), War and peace. Viking UIPES (2000), La Evidencia de la efectividad de la promoción de la salud. Configurando la salud pública en una nueva Europa. Parte dos, Libro de Evidencia. Un informe de la Unión Internacional de Promoción de la Salud y Educación para la Salud para la Comisión Europea, Madrid, Rumagraf, S.A. 172 Ligia de Salazar Revisitando la práctica de la evaluación Definición de enfoques metodológicos y técnicas de evaluación Identifique el enfoque metodológico más apropiado para contestar la pregunta de evaluación que definió en el capítulo anterior. Recuerde que para identificarlo tiene que tener en cuenta varios aspectos, entre ellos, la naturaleza y características de la intervención, el propósito y alcance de la evaluación, el interés o intención para realizarla, los recursos disponibles y el tiempo que dispone el evaluador para responder la pregunta. Tome tiempo para discutir cuál método es más apropiado, o si tal vez la triangulación metodológica sea la mejor alternativa. Hágalo inicialmente de manera muy intuitiva, rescate lo que cree y posteriormente compare este ejercicio con la documentación pertinente, por ejemplo: proyecto de intervención, información de la implementación y lecturas especializadas sobre enfoques y técnicas de investigación evaluativa. Complemente la matriz a continuación, siguiendo el orden numérico de las casillas. El producto final de este ejercicio es una única propuesta metodológica, consolidada y concertada colectivamente. Revísela cuidadosamente y haga los últimos ajustes. Con esta ayuda proceda a diseñar los instrumentos y el plan de trabajo que le permitirá acopiar la información que necesita para su evaluación. Definición de métodos y técnicas de evaluación 1. 2. Nombre de Defina brevela interven- mente las caracción. terísticas de la intervención 3. 4. 5. 6. ¿Qué interés Pregunta ¿Quiénes tie Enfoque se tiene para de evalua- nen interés en Metodolórealizar esta ción que los resultados? gico evaluación? se desea ¿En cuánto responder tiempo? 173 7. Métodos y Técnicas Efectividad en Promoción de la Salud y Salud Pública El Salvador Mujeres de la comunidad La Tabla, municipio Nejapa, en El Salvador, en actividades agrícolas. Estas mujeres tienen un papel protagónico en una intervención en promoción de la salud dirigida a la construcción participativa de letrinas y uso adecuado de las mismas, como contribución a la disminución de enfermedades diarreicas y el parasitismo intestinal, en esta comunidad. La iniciativa es implementada conjuntamente entre la Asociación Salvadoreña de Ayuda Humanitaria, PROVIDA, los grupos comunitarios y la Universidad Centroamericana José Simeón Cañas, UCA, que está desarrollando su evaluación. Foto cortesía archivo Universidad Centroamericana José Simeón Cañas, UCA, El Salvador. 174 Ligia de Salazar México Miembros de la comunidad de Santa Cruz, municipio de Nicolás Flores, estado de Hidalgo, participantes de una iniciativa de organización comunitaria para la promoción de la salud, realizando una dinámica de reflexión y consenso colectivo, como parte del taller de revisión de la Guía de Evaluación Participativa, con funcionarios de la Organización Panamericana de la Salud. Foto cortesía archivo Secretaría de Salud del estado de Hidalgo, México. 175 Capítulo IV Reflexiones sobre la práctica de la evaluación y propuestas para el fortalecimiento de la promoción de la salud y la salud pública Ligia de Salazar Contenido del capítulo Presentación 173 1. Construcción de capacidad en evaluación en promoción de la salud y salud pública en América Latina 176 2. Lecciones desde la práctica: ¿Estamos haciendo lo que debemos o lo que podemos?: 191 3. Comentarios generales: ¡Hacemos lo que podemos, no lo que debemos! 229 Bibliografía 235 179 Efectividad en Promoción de la Salud y Salud Pública Presentación El presente capítulo es un ejercicio de reflexión crítica en torno a la evaluación de efectividad en promoción de la salud y salud pública en Latinoamérica, tratando de responder a las preguntas ¿estamos haciendo lo que debemos, o lo que podemos?, según circunstancias y realidades diferentes y ¿sí estamos haciendo realmente promoción de la salud? Para ello se considera como eje central de la reflexión no sólo la experiencia práctica de la autora, sino los resultados de un importante acervo de casos o experiencias de evaluación reportados por representantes de diferentes países de la región latinoamericana, que han participado en una amplia iniciativa regional de creación de capacidad en torno a la evaluación de efectividad, la cual viene ocurriendo en nuestro continente desde hace más de diez años. Esta iniciativa de construcción de capacidad ha sido liderada por la Fundación para el Desarrollo de la Salud Pública Colombiana, fundesalud, y por el cedetes de la Universidad del Valle, en Colombia, a través de su línea de investigación en evaluación, y ha contado con el impulso y soporte financiero de importantes organismos internacionales como la Unión Internacional de Promoción y Educación para la Salud, UIPES; los Centros para la Prevención y Control de Enfermedades, CDC; y la Organización Panamericana de la Salud, OPS. Este esfuerzo se plantea como un fin y un medio para contribuir al fortalecimiento de la teoría y la práctica de la promoción de la salud y la salud pública en América Latina. En ese sentido, ha 180 Ligia de Salazar puesto el foco en el desarrollo de la evaluación de intervenciones, como una “puerta de entrada” para explorar la vigencia, relevancia, viabilidad y resultados de iniciativas que pretenden ser receptoras y transmisoras de intencionalidades, principios, valores y prácticas relacionados con la salud poblacional, desde la perspectiva de la salud como derecho y elemento central del desarrollo humano. La iniciativa de creación de capacidad se constituye en un movimiento continental, originado por el reconocimiento cada vez mayor de la necesidad de dar cuenta, tanto del impacto y éxito de las políticas, programas y, en general, de las intervenciones sobre salud poblacional, como de los procesos y factores que las han influenciado. El análisis se realiza considerando la naturaleza compleja de la gran mayoría de intervenciones en promoción de la salud y salud pública. Como se observa a lo largo de este libro, esta complejidad demanda enfoques metodológicos de evaluación innovativos, que permitan establecer asociaciones válidas entre la intervención y los resultados, al igual que detectar los llamados “ingredientes activos” de las intervenciones y comprender las interacciones entre ellos. El análisis de esta última información permite fortalecer la teoría y formular nuevas hipótesis acerca de los supuestos o bases sobre los cuales se fundamenta y opera la promoción de la salud y la salud pública en el contexto latinoamericano. Por su naturaleza compleja, la evaluación de estas iniciativas se hace utilizando enfoques que se acogen al paradigma positivista, constructivista o a una combinación de ellos. Estos paradigmas exigen claridad y comprensión en torno a los supuestos con los cuales se fundamentan los estudios, al igual que definiciones concretas sobre la naturaleza y alcance de las intervenciones. El subsiguiente análisis de los casos de evaluación en América Latina y el contraste de la teoría con la práctica, mostrará si nuestra región está afrontando 181 Efectividad en Promoción de la Salud y Salud Pública o no este desafío y contribuirá a saber si, en este caso, estamos haciendo lo que debemos o sólo lo que podemos y si realmente estamos haciendo promoción de la salud en nuestra región. Tal como se ha indicado antes, es de resaltar que el estudio permanente de los procesos de formulación y operación de intervenciones como las señaladas, se facilita mediante la instalación de estrategias orientadas a la documentación, análisis y reflexión permanente desde la práctica; sobre la calidad, integridad y plausibilidad del diseño de la intervención; al igual que la viabilidad para visualizar cambios según condiciones específicas, el tiempo de operación y los factores del contexto que influencian tanto el éxito de la implementación como los resultados. De allí que el propósito de este capítulo sea contribuir a esta documentación, análisis y reflexión, desde prácticas que han sido concebidas e implementadas en contextos disímiles y que, pese a la diversidad, comparten no sólo los problemas que motivaron su origen, sino las condiciones y estructuras que las producen e influyen en su éxito o fracaso. Es claro que este documento es limitado para plasmar la riqueza de las enseñanzas que la práctica ha producido en la región. Sin embargo es, sin duda, una respuesta al deseo profundo de participar en la construcción de un proceso de cambio en torno a la salud poblacional en nuestros países. De igual forma, se plantea como una contribución a la recuperación de información y creación de conocimiento sobre el desempeño y evidencias de efectividad de estas iniciativas, desde la visión y experiencia de los beneficiarios potenciales de las mismas y de quienes permanentemente deben generar soluciones ante diversos problemas, sin que para ello dispongan de insumos suficientes, oportunos y de calidad. 182 Ligia de Salazar 1. Construcción de capacidad en evaluación en promoción de la salud y salud pública en América Latina En la búsqueda de respuestas a la pregunta ¿estamos haciendo lo que debemos o lo que podemos?, frente a la evaluación de políticas y programas en promoción de la salud y salud pública en América Latina, es pertinente remontarse a lo que ha sido la construcción de capacidad en este campo en nuestra región. América Latina ha sido protagonista de un amplio y, podríamos decir, cada vez más extendido movimiento para construir capacidad regional y promover la identificación de lo que constituye evidencias de las mejores prácticas y la efectividad de la promoción de la salud y la salud pública en nuestro contexto. La construcción de capacidad se comprende como un enfoque para el desarrollo sostenible de habilidades, estructuras organizacionales, recursos y compromisos para lograr mejoras en la salud y en otros sectores, a fin de prolongar y multiplicar ganancias en el tiempo. Por tanto, se ha entendido que la construcción y el fortalecimiento de la capacidad para llevar a cabo en América Latina iniciativas en promoción de la salud y salud pública que sean sostenibles y de alta calidad, son cruciales para mejorar la salud y reducir las inequidades en nuestra región. Esto significa el incremento de personas con conocimiento y habilidades para formular, implementar y evaluar estas iniciativas, al 183 Efectividad en Promoción de la Salud y Salud Pública igual que flexibilidad para afrontar los desafíos de trabajar en ambientes políticos y estructuras institucionales, generalmente inestables y cambiantes. Es así como este movimiento de construcción de capacidad regional en evaluación de efectividad en salud pública y promoción de la salud, ha sido planteado como un proceso tendiente a fortalecer conocimientos, habilidades y prácticas individuales, al igual que cambios organizacionales para: • Identificar los factores asociados a las condiciones de salud de las poblaciones, desde las perspectivas socio-política, estructural, comportamental y biológica. • Reconocer los aspectos claves de la teoría y la práctica de la evaluación de efectividad de intervenciones en promoción de la salud y salud pública. • Identificar preguntas de evaluación, pertinentes e investigables y aplicar enfoques metodológicos apropiados para responder a dichas preguntas. • Potenciar el papel de metodologías como la documentación y la sistematización para dar cuenta del proceso de implementación de las intervenciones, comprender la interacción de variables que afectan sus resultados y entender la influencia del contexto en la implementación y resultado de las intervenciones. • Identificar el papel de los evaluadores para mejorar las intervenciones, tomar decisiones y aplicar técnicas de abogacía y negociación a fin de crear opinión pública y conciencia en los tomadores de decisión sobre prácticas exitosas y condiciones necesarias para lograr los objetivos. • Fomentar cambios institucionales que favorezcan la formulación y operación de políticas y programas que se acojan a los principios y valores que fomentan la promoción de la salud. 184 Ligia de Salazar A través de esta iniciativa se ha logrado reconocer y generar consenso en torno al alcance teórico y práctico de la promoción de la salud y la salud pública, desde un marco que considere las características, condiciones, recursos, potencialidades y también limitantes de nuestros países. La riqueza de la diversidad de contextos, pero también los aspectos comunes entre los países, han estimulado el establecimiento de diálogos sociales en la perspectiva de fortalecer y consolidar un pensamiento regional y una práctica propia del contexto latinoamericano, la cual debe fortalecerse. Para responder a lo anterior se han adelantado diversos esfuerzos en los países de la región y, especialmente, se han generado alianzas interinstitucionales e interpaíses que promueven la conformación de redes de conocimiento y práctica de acción continental, en la búsqueda de evidencias de efectividad y de metodologías para realizar esta tarea. El cedetes de la Universidad del Valle, mediante su línea de investigación en evaluación de políticas y programas en salud pública y promoción de la salud, y en el marco de su agenda como Centro Colaborador de la OPS/OMS en evaluación y abogacía en promoción de la salud, ha liderado varios de ellos y, en otros, ha participado activamente, con el liderazgo de la Fundación para el Desarrollo de la Salud Pública Colombiana, fundesalud, y de otros organismos internacionales. La OPS, en el marco de sus iniciativas en torno a municipios y comunidades saludables, ha generado y difundido propuestas metodológicas para la evaluación de proceso (OPS/OMS, 2005) y 185 En América Latina se viene desarrollando la iniciativa de construcción de capacidad en evaluación y evidencias de efectividad en promoción de la salud y salud pública, mediante una estrategia de capacitación con amplios componentes prácticos, orientada a la generación de competencias básicas y al desarrollo de casos completos de evaluación. Así mismo, se han generado diversas propuestas metodológicas que buscan hacer factible esta tarea, considerando el contexto, posibilidades, necesidades y recursos de nuestros países. Efectividad en Promoción de la Salud y Salud Pública la evaluación económica (PAHO, 2007), al tiempo que ha promovido consultas y encuestas regionales sobre competencias en promoción de la salud para América Latina y sobre los factores de éxito para la promoción de la salud en nuestra región; esta última con el apoyo de fundesalud (OPS, 2008). Así mismo, con el liderazgo de la Unidad de Enfermedades No Transmisibles y en el marco de la Escuela CARMEN, OPS viene desarrollando iniciativas de construcción de capacidad para obtener y utilizar evidencias en salud pública, para el control y prevención de las enfermedades crónicas. Tal es el caso del Curso de Salud Pública Basada en Evidencias, desarrollado inicialmente por la Universidad de St. Louis, en Estados Unidos, actualmente implementado en América Latina por OPS en asocio con fundesalud y la colaboración del cedetes. Productos de estos cursos son también incluidos en las experiencias que se analizan en este capítulo. La Unión Internacional de Promoción y Educación para la Salud, UIPES, también promovió desde el 2003, un amplio proyecto regional en torno a las evidencias de efectividad en promoción de la salud y construcción de capacidad en evaluación, mediante el cual se logró conformar una red latinoamericana y recopilar información sobre la práctica a través de diversas consultas, encuestas y foros virtuales. Por su parte, las iniciativas de los Centros para la Prevención y Control de Enfermedades, CDC, de los Estados Unidos, han sido soportes claves para posicionar el tema de la promoción de la salud y la valoración de sus ejecutorias. Entre éstas, CDC estableció un acuerdo de cooperación con el cedetes-Universidad del Valle, desde 2006, para desarrollar por cuatro años, el Programa Latinoamericano de Evaluación de Efectividad en Promoción de la Salud, el cual ha servido de marco y motivación para otras actividades en este mismo propósito de creación de capacidad, entre ellas, la presente publicación. 186 Ligia de Salazar Así mismo, alrededor de las mencionadas iniciativas se han implementado propuestas metodológicas para la evaluación, que están siendo empleadas y probadas en diferentes lugares de América Latina. Tal es el caso de la Metodología de Evaluación Rápida de Efectividad, desarrollada por cedetes (De Salazar, 2004), la cual fue publicada con el apoyo de la OPS y los CDC y que a la fecha ha sido obtenida en formato digital por más de 500 contactos en América Latina e incluso en Europa. Más recientemente, con el apoyo del Departamento Administrativo de Ciencia, Tecnología e Innovación de Colombia, Colciencias, el cedetesUniversidad del Valle viene desarrollando y probando en tres países de la región –Venezuela, Argentina y Colombia–, una metodología de evaluación de efectividad de intervenciones en salud pública, basada en el uso de sistemas de vigilancia, con énfasis en la prevención y control de enfermedades crónicas, sus factores de riesgo y determinantes sociales. Las evaluaciones hechas en el marco de esta iniciativa en los tres países participantes también se incluyen en los casos de análisis de este capítulo. Esta iniciativa de construcción de capacidad se ha fundamentado asimismo en una estrategia de capacitación en torno a la evaluación y la generación de evidencias en salud pública y promoción de la salud, la cual se describe a continuación. Programa latinoamericano de capacitación en evaluación y evidencias Como se indicó antes, una estrategia central de la iniciativa de construcción de capacidad señalada, ha sido el desarrollo y validación de un programa latinoamericano de capacitación orientado a fortalecer en los participantes conocimientos, habilidades y competencias necesarias para la evaluación de efectividad, así como la búsqueda de evidencias en promoción de la salud y salud pública. De la misma manera, suministrar bases teóricas y prácticas para valorar y usar la evidencia disponible, en la toma de decisiones. 187 Efectividad en Promoción de la Salud y Salud Pública El programa contempla un conjunto de ofertas de capacitación en torno a evaluación, las cuales han sido desarrolladas mediante una alianza entre el cedetes-Universidad del Valle y fundesalud, con el apoyo de organismos internacionales, en modalidades presencial, semi-presencial y virtual (Tabla 1). En este programa se incluye el desarrollo de una asignatura con duración de seis meses para la evaluación de iniciativas en promoción de la salud y salud pública, la cual es impartida por el programa de Maestría en Salud Pública de la Universidad del Valle. Para complementar la información al lector sobre este particular, detalles del desarrollo de cada una de las ofertas de formación serán presentados en el Anexo 2. Tabla 1. Programa latinoamericano de capacitación en evaluación y evidencias de efectividad en salud pública y promoción de la salud, 2004 - 2009 Año Actividad Primer Curso Latinoamericano de Evalua2004 ción de Efectividad en Promoción de la Salud Curso-Taller Latinoamericano de Evaluación de Efectividad en Promoción de la Salud 2005 Seminario-Taller Internacional Evaluación y Políticas Públicas: respondiendo a los determinantes de la salud Curso de Extensión en Evaluación de Efectividad en Promoción de la Salud Instituciones socias País del curso Asistentes Países participantes Argentina, Colombia, Cuba, México, Puerto Rico, República Dominicana Bolivia, Perú, Colombia, Chile, Uruguay, Honduras, Cuba cedetes, UIPES, fundesalud, OPS, CDC Colombia 17 cedetes, UIPES, fundesalud, OPS, CDC Colombia 38 cedetes, UIPES, OPS/OMS, CDC, ORLA, NARO Colombia 389 Bolivia, Perú, Colombia, Chile, Uruguay, Honduras, Cuba cedetes, UIPES, fundesalud, Pontificia Universidad Católica del Paraná Brasil 31 Brasil, Perú, Chile, Colombia 14 Puerto Rico, México, Cuba, Guatemala, El Salvador cedetes, UIPES, fundesalud, 2006 Curso-Taller de la SuOPS, Universidad bregión México y Caribe de San Carlos de Hispano, de Evaluación Guatemala, Unide Efectividad en Proversidad Virtual moción de la Salud de la Escuela de Salud Pública de Cuba 188 Guatemala Ligia de Salazar Tabla 1. Programa latinoamericano de capacitación en evaluación y evidencias de efectividad en salud pública y promoción de la salud, 2004 - 2009 (continuación). Año Actividad Instituciones socias cedetes-Escuela de Salud Pública, Primer Curso Nacional Universidad del 2006 de Evaluación Socioeco- Valle. Escuela nómica en Salud Pública Nacional de Salud Pública de Cuba Curso-Taller Latinoamericano de Evaluación de cedetes, CDC Efectividad en Promoción de la salud Seminario Internacional de Evaluación de Efectividad en Salud Pública. 2007 Un enfoque desde los determinantes sociales y la promoción de la salud Curso Nacional de Evaluación Socioeconómica en Promoción de la Salud y Salud Pública 2008 Curso Salud Pública Basada en Evidencia País del curso Asistentes Colombia 41 Colombia 17 Argentina, Cuba, Colombia, Ecuador, Guatemala, Paraguay y Venezuela Colombia Países participantes cedetes, CDC, OPS Colombia 237 Argentina, Cuba, Colombia, Ecuador, Guatemala, Paraguay y Venezuela cedetes-Universidad del Valle Colombia 21 Colombia Colombia 21 Argentina, Colombia, Ecuador, Perú y Paraguay Colombia 16 Argentina, Colombia y Guatemala fundesalud, cedetes, OPS (Escuela Carmen), Universidad de St. Louise, Missouri, USA; CDC fundesalud, cedetes-Universidad del Valle, UIPES, CDC Curso Virtual Latinoamericano de Evaluación de Efectividad en Promoción de la Salud Curso-Taller Latinoamericano de Evaluación fundesalud, 2009 de Efectividad en Salud cedetes, CDC Pública y Promoción de la Salud Curso Semipresencial fundesalud, Salud Pública Basada en cedetes, OPS Evidencia (Escuela Carmen) Colombia 24 Colombia 21 Perú, Costa Rica, Argentina, Brasil, El Salvador, Venezuela, Colombia y Cuba Argentina, Bolivia, Brasil, Honduras, Colombia y Perú Es de resaltar que con el propósito de fortalecer el programa de capacitación y potencialmente incrementar la participación de nuevos países y profesionales interesados en la evaluación, se desarrolló y probó un Curso Virtual Latinoamericano de Evaluación de Efectividad, y se pro189 Efectividad en Promoción de la Salud y Salud Pública dujo una Biblioteca Virtual de Evaluación de Efectividad en Promoción de la Salud, como herramienta instruccional de apoyo. En relación con el curso virtual, el diseño tomó como insumos principales las experiencias previas del cedetes y de fundesalud en cursos de evaluación, así como otros cursos realizados previamente con apoyo de CDC y la UIPES. El curso fue desarrollado por fundesalud en el marco del proyecto regional de la UIPES y probado por cedetes, con el apoyo de los CDC de los Estados Unidos. En el marco de este curso virtual se generaron casos de evaluación, que son también considerados en el análisis en torno a la práctica regional, que se plantea en el presente capítulo. Unos casos se generaron como productos de los participantes y otros, como parte de las estrategias instruccionales del curso. Estos últimos fueron producidos por grupos de evaluación en diferentes países, con el ánimo de ilustrar el curso y presentar ejemplos que apoyaran posteriormente a los participantes en el desarrollo de sus evaluaciones. Estos casos se constituyeron en experiencias reales de evaluación y sistematización provenientes de distintas organizaciones que trabajan en promoción de la salud en América Latina. Es de reconocer que estos casos no representan estudios acabados sobre la sistematización y evaluación de experiencias en promoción de la salud, sino procesos de construcción que se ponen a disposición de los interesados para enriquecerlos 190 Con el propósito de fortalecer el programa de capacitación e incrementar la participación de nuevos países y profesionales interesados en la evaluación, se desarrolló e implementó un Curso Virtual Latinoamericano de Evaluación de Efectividad y se produjo una Biblioteca Virtual de Evaluación de Efectividad en Promoción de la Salud, como herramienta instruccional de apoyo al curso. Tanto la calidad del Curso Virtual, así como la usabilidad de la Biblioteca han sido evaluadas por el cedetes, con el apoyo de los CDC, a fin de hacer ajustes que mejoren estos recursos. Ligia de Salazar según su propia experiencia en evaluación y ayudarlos a asumir una actitud crítica al momento de definir opciones metodológicas para responder las preguntas de evaluación, al igual que usar los resultados en la toma de decisiones. En relación con el producto final de los cursos, para todos los casos se solicitó una propuesta de evaluación en torno a intervenciones específicas de salud pública y promoción de la salud en los países, que cumpliera con todas las fases del proceso evaluativo y estuviera orientada a brindar insumos a procesos de toma de decisiones en su respectivo frente de trabajo. El proceso de desarrollo de la propuesta de evaluación se convirtió en insumo –estudio de caso– que se considera en la reflexión que se presenta más adelante. De allí que algunos de los criterios para participar en cualquiera de las ofertas de capacitación fueron: que el aspirante tuviese experiencia práctica en la planificación y operación de intervenciones en salud pública y promoción de la salud; al menos un mínimo de experiencia en investigación y evaluación; que ocupara un cargo que le permitiera extender esta experiencia en su país, mediante la docencia o la realización de proyectos cooperativos y al mismo tiempo, que tuviera gobernabilidad para implementar los ajustes o modificaciones resultantes de su evaluación. También se consideró altamente deseable que en el desarrollo de las iniciativas seleccionadas para evaluación se hubieran articulado la academia, los servicios o instituciones prestadoras de salud, autoridades de salud y organizaciones no gubernamentales. Las ofertas se han dirigido principalmente a profesionales responsables de iniciativas, proyectos, programas y políticas de salud pública y promoción de la salud en los diferentes países de América Latina; evaluadores y tomadores de decisión vinculados a programas de salud en organizaciones internacionales, instituciones de salud públicas y 191 Efectividad en Promoción de la Salud y Salud Pública privadas, ONG y con la academia; también a investigadores, docentes y estudiantes de posgrado. El enfoque dado a las diferentes ofertas se consideró estratégico para aportar al fortalecimiento de la construcción de capacidad, por cuanto, aunque en los cursos se recopilaron conocimientos, aportes y experiencias mundiales en torno a las temáticas centrales de Se ha retomado, sintetizado y analizado la información resultante de una serie de esfuerzos regionales, cursos de capacitación, consultas virtuales y otras fuentes documentales, como insumo central para presentar un panorama general de lo que es la práctica de la evaluación en promoción de la salud y en salud pública en América Latina, así como un ejercicio de reflexión alrededor de la misma, apoyado también en la literatura sobre el tema. evaluación, éstos también fueron la oportunidad para examinar la problemática específica latinoamericana en el tema de evaluación de estas iniciativas y para generar y esbozar una agenda de trabajo. Los procesos de capacitación han facilitado también la realización de consultas sobre la práctica evaluativa, las cuales han aportado a configurar el panorama general de la misma en América Latina, que se presenta en este capítulo. Los participantes han sido consultados y han dado su consentimiento para retomar sus propuestas en este análisis e incluir sus aportes en esta publicación. Finalmente, es de resaltar que para el análisis de este panorama se han considerado la información y los aprendizajes obtenidos en las iniciativas de construcción de capacidad mencionadas y se suman los resultados de los casos o desarrollo de propuestas de evaluación. Se espera que las reflexiones alrededor de las intervenciones en promoción de la salud y salud pública, y de las experiencias de evaluación presentadas en este capítulo, contribuyan a reconocer y valorar la relevancia y coherencia entre la teoría que soporta las intervenciones, los diferentes enfoques de evaluación y la práctica de la misma en la región latinoamericana. 192 Ligia de Salazar La comprensión y valoración de la práctica de la promoción de salud y la salud pública, así como de su evaluación, no es sólo importante sino necesaria, dado que nuestra práctica tiene lugar en contextos diferentes a los que han dado origen a la teoría y enfoques metodológicos que prevalecen hasta este momento; por tanto, estamos obligados a aprender de ella en forma permanente. Desarrollo de los casos de evaluación Para el desarrollo de los casos de evaluación, en los cursos de capacitación se realizaron ejercicios guiados, acompañados de espacios de aprendizaje individual y colectivo, que motivaron a los participantes a analizar la práctica y, según el caso, a replantear el proceso evaluativo en cada una de sus fases o en el conjunto de ellas. En general, las ofertas de formación implementadas contemplaron tres fases: dos de ellas corresponden a tutoriales a distancia, desarrolladas a través de modalidad virtual interactiva, con el apoyo del Campus Virtual de la Dirección de Nuevas Tecnologías y Educación Virtual de la Universidad del Valle en Colombia. Para el caso del curso de Brasil, se empleó el campus virtual de la Pontificia Universidad Católica de Paraná. Así mismo, se desarrolló una fase presencial intermedia, de vital importancia para el cumplimiento de los objetivos, en la cual los participantes intercambiaron experiencias y, especialmente, afianzaron y afinaron sus propuestas de evaluación (Gráfica 1). En la fase preparatoria, o tutorial virtual I, los participantes trabajan en torno a instrumentos claves para el seguimiento y monitoreo de los cursos como el sondeo de experiencias de evaluación y el pre-test de conocimientos en evaluación de efectividad, a fin de valorar su nivel de conocimientos y disponer de un referente para medir los logros, una vez finalizados los cursos. En esta fase se realiza también la caracterización de la intervención objeto de evaluación, con la cual se inicia la construcción de la propuesta de 193 Efectividad en Promoción de la Salud y Salud Pública Gráfica 1. Estructura de las ofertas de capacitación evaluación. Esta caracterización se realiza con base en el marco lógico de la intervención y en una guía diseñada para su reconstrucción. Este ejercicio es de especial importancia para develar los componentes centrales de la intervención, especialmente, sus “ingredientes activos” e interrelaciones, al tiempo que facilita la construcción de una base teórica sólida, que orienta tanto la implementación como la evaluación. Igualmente, se identifican y formulan, de manera preliminar, la pregunta y el objetivo de la evaluación, los cuales son puestos posteriormente a debate con el resto de participantes, y finalmente, esbozan el diseño metodológico de la evaluación. La Gráfica 2 presenta la estructura general de los cursos. Aunque los contenidos de los cursos se organizaron en módulos, como parte de las estrategias pedagógicas se generaron espacios de debate 194 Ligia de Salazar Gráfica 2. Estructura general de los cursos conceptual y conversatorios para el análisis de las alternativas metodológicas, así como actividades de aprendizaje, basadas en casos reales de evaluación o de proyectos de intervención, en marcha actualmente en diferentes países de la región. La Gráfica 3 presenta las estrategias pedagógicas empleadas. En la fase presencial se impulsa la problematización y discusión de alternativas y para ello, se toman los casos reales construidos por los participantes desde la etapa tutorial previa, como un insumo para profundizar en los contenidos de cada módulo de los cursos. Con base en la experiencia de los participantes y apoyándose en grupos de trabajo interpaíses y plenarias de discusión, se extraen problemas –dilemas– y se promueven discusiones alrededor de cada uno de los pasos o fases de la evaluación y de las alternativas para superar las limitaciones y problemáticas encontradas. Un aspecto clave en el éxito del programa de capacitación ha sido que los insumos de aprendizaje son asumidos como guías didácticas y no como prescripciones sobre cómo actuar. Se ha partido de la premisa 195 Efectividad en Promoción de la Salud y Salud Pública Gráfica 3. Estrategias pedagógicas de los cursos de que los participantes, al vincularse a los procesos de capacitación, llegan con conocimientos y experiencias que deben ser capitalizados y aprovechados, pero también con necesidades y debilidades que deben ser atendidas. A fin de potencializar y aprovechar las experiencias de los participantes en los cursos y contribuir a generar nuevos conocimientos en torno al tema, en la mayoría de las ofertas de formación se adoptaron principios y elementos claves de la metodología de Aprendizaje Basado en Problemas, ABP. La metodología se orientó a potenciar los conocimientos y la experiencia propia de cada participante, como ejes centrales para dinamizar su aprendizaje en los cursos, así como a fomentar la construcción de 196 Ligia de Salazar conocimiento colectivo, abriendo espacios para contrastar las experiencias de unos y otros. Para cada oferta se implementaron metodologías y estrategias de comunicación virtual, que permitieron a los participantes interactuar y compartir sus experiencias de aprendizaje, además de generar La comprensión y valoración tanto de la práctica de la promoción de salud y la salud pública, como de su evaluación, es no sólo importante sino necesaria, dado que nuestra práctica tiene lugar en contextos diferentes a los que han dado origen a teorías y enfoques metodológicos que prevalecen hasta este momento; por tanto, estamos obligados a aprender de ella en forma permanente. nuevos conocimientos aplicables a la realidad que se vive en la región en el desarrollo de los programas. El éxito del programa de construcción de capacidad dependió en gran medida de la participación y compromiso de quienes se involucraron. Los principales logros se reflejan en la generación de espacios alternativos de construcción y diálogo regional e interpaíses, que han facilitado que profesionales latinoamericanos de diferentes procedencias, realidades y disciplinas, puedan encontrarse para compartir, debatir y construir alrededor de propuestas en torno a la búsqueda de evidencias y evaluación de efectividad en salud pública y promoción de la salud. 197 Efectividad en Promoción de la Salud y Salud Pública 2. Lecciones desde la práctica ¿Estamos haciendo lo que debemos o lo que podemos? Con el fin de develar el panorama actual y reflexionar acerca de la evaluación y la práctica de la promoción de la salud y de la salud pública en América Latina, se han realizado estudios de caso y análisis de diferentes experiencias, frente a lo que ha sido el diseño, implementación y evaluación de las intervenciones en este campo en nuestra región. Los estudios de caso sirvieron para identificar los puntos de vista, desafíos, perspectivas y propuestas de aquellas personas que están al frente de iniciativas de evaluación en promoción de la salud y salud pública en América Latina. A pesar de que las experiencias provienen de participantes de países con diferentes realidades y desarrollo, podría afirmarse que los hallazgos de este estudio son una expresión de la realidad latinoamericana en cuanto a las fortalezas y debilidades para operar y evaluar intervenciones en promoción de la salud y salud pública, sin ignorar que existen diferencias en cuanto a potencialidades y limitaciones en y entre los países. Si bien las propuestas de evaluación mostraron diferencias sustanciales entre los países en relación con la fundamentación teórica tanto de las intervenciones como de la evaluación, al igual que en su capacidad e infraestructura para desarrollar estas prácticas, el análisis que presen198 Ligia de Salazar tamos se centra en sintetizar los hallazgos y extraer recomendaciones y propuestas generales, con el ánimo de que sirvan de insumo para generar iniciativas que fortalezcan la capacidad de evaluación y de uso de evidencias en los países de la región, más que en presentar comparaciones entre países. Por tanto, dado que se trata de un proceso de construcción aún activo, se espera que, posteriormente, este tema sea motivo de publicaciones futuras. En general, se puede decir que el análisis de las intervenciones reportadas deja al descubierto un gran potencial para actuar en pro de hacer cumplir los propósitos y objetivos que impulsan la promoción de la salud, como también, a disminuir las amplias brechas entre países y entre participantes, y a llenar vacíos en las competencias individuales e infraestructura de los países en relación con su capacidad para diseñar, operar y evaluar las intervenciones. La situación general presentada y las reflexiones que se desprenden de este análisis, tienen una intención tácita de persuadir a los lectores a que confronten los hallazgos de este estudio con lo que han hecho, a fin de que respondan a la pregunta de si están haciendo lo que deben o lo que creen pueden hacer, según su propia realidad; a que se cuestionen frente al largo camino que aún falta por recorrer, y especialmente, a que se motiven a explotar su potencial individual e institucional para posicionar y fortalecer la práctica y la evaluación de iniciativas en promoción de la salud y salud pública, desde la perspectiva política y social que se ha descrito. A continuación se presentan los aspectos más relevantes de este análisis. Definición de la situación problema La definición del problema o la situación que la intervención pretende modificar, establece, hasta cierto punto, el tipo, naturaleza y alcance de dicha intervención, las acciones que deben ser desarrolladas y las dimensiones de la práctica. De igual forma, la visión y conocimiento de 199 Efectividad en Promoción de la Salud y Salud Pública la situación problema y sus potenciales causas influencian el grado de complejidad de las intervenciones. Esta definición es la que da fundamento al marco lógico sobre el que se soporta la intervención. La salud de la población puede ser abordada desde diferentes perspectivas; desde las relacionadas con el cuidado médico y el acceso a servicios de salud, hasta las concernientes a formas más complejas de acción política e intersectorial, ligadas a una agenda de justicia social, en la cual se consideran las condiciones socioeconómicas de las poblaciones e individuos, reflejadas en las diferencias de la distribución de estos factores, como en el gradiente social y las consecuencias en la salud. Lo que tradicionalmente se ha observado es que los análisis de los problemas de salud de las poblaciones se ubican en dos enfoques o paradigmas; el primero parte del supuesto de que las enfermedades o los problemas de salud son productos de la biología; y el segundo, de que son productos de nuestra responsabilidad individual, porque no mejoramos nuestro com- En la mayoría de las experiencias analizadas la naturaleza y alcance de la operación de las intervenciones reflejó un abordaje desde las causas proximales de los problemas de salud, tales como estilos de vida, actividades de información y educación a la comunidad sobre cómo controlar factores de riesgo como dieta no saludable, consumos de sustancias psicoactivas y alcohol, sedentarismo, entre otros. portamiento. Sin embargo, es reconocido que cuando se trata de encontrar las causas de los problemas de salud y de planificar y operar alternativas para darles solución, los determinantes sociales deben ser parte tanto del análisis de los problemas, como de las intervenciones que se diseñan para afrontarlos. Por tanto, el explicar los fenómenos de salud de una población desde una perspectiva más amplia como la determinación social o las políticas, implica reducir el protagonismo de los mencionados paradigmas biológico y comportamental. 200 Ligia de Salazar Si se considera lo anterior, un primer elemento central del análisis de las experiencias latinoamericanas de salud pública y promoción de la salud es que se observa que en la definición de los problemas de salud que estas intervenciones buscan abordar, se desconocen o no se consideran las causas estructurales de las situaciones, así como la influencia de otros sectores diferentes a salud. En la mayoría de las experiencias analizadas, la operación de las intervenciones reflejó una definición y un abordaje de los problemas de salud desde las causas proximales de los mismos, tales como estilos de vida, acciones para informar a la comunidad sobre cómo controlar factores de riesgo como dieta no saludable, consumo de sustancias psicoactivas y alcohol, sedentarismo o acceso y cobertura de salud. Si los problemas son definidos desde enfoques biológicos o comportamentales, las soluciones estarán orientadas exclusivamente por el paradigma médico y de las ciencias del comportamiento individual, dejando de lado la influencia de aspectos estructurales relacionados con la respuesta estatal o los determinantes socioeconómicos y culturales de la salud y bienestar de las poblaciones. Los factores del contexto político, social y cultural, que influencian la definición del problema, el proceso para lograr los cambios, así como los indicadores de éxito o fracaso de las intervenciones, estuvieron ausentes de casi todas las experiencias. De igual forma, y a pesar de que ha sido reconocido que la mala salud de los pobres, el gradiente social de salud dentro de los países y las grandes desigualdades sanitarias son provocadas por una distribución desigual del poder, los ingresos, los bienes y los servicios, y por las consiguientes injusticias que afectan las condiciones de vida de la población de forma inmediata y visible –acceso a atención sanitaria, escolarización, educación, condiciones de trabajo y tiempo libre, vivienda, comunidades, pueblos o ciudades–, y a la posibilidad de tener una vida próspera (WHO, 2006), estos aspectos no fueron considerados en la definición 201 Efectividad en Promoción de la Salud y Salud Pública del problema y por tanto, no fueron tenidos en cuenta en la formulación de las intervenciones y experiencias documentadas. Concluyendo, podemos afirmar que hay una definición incompleta del problema, soportada en cifras sobre la prevalencia y distribución de enfermedades y riesgos, sin contextualizar estas cifras con datos sobre los escenarios en donde se producen. Los políticos deben saber cuáles son los factores que influyen en la salud de la población y cuáles son las consecuencias de no actuar (OMS, 2008). Para ello, debemos evidenciar el porqué, para qué y cómo modificar situaciones adversas y actuar sobre los determinantes sociales de la salud, además de los otros factores. Los datos científicos no son más que uno de los elementos que influyen en las decisiones políticas; la voluntad política y la capacidad institucional también son importantes. • Tipo, alcance y diseño de las intervenciones Tipo de intervenciones El análisis de los casos de evaluación y de las experiencias recopiladas durante varios años en América Latina, dejó al descubierto que la práctica de la salud pública y la promoción de la salud en nuestra región está marcadamente orientada por intervenciones enfocadas a reducir problemas de salud y riesgos, a través de estrategias dirigidas a mejorar el acceso a servicios de salud, cambios de comportamientos y a la modificación de estilos de vida. Nuestra región parece aún bastante lejos de procesos permanentes y de consolidación de estrategias o actividades sostenibles para abordar los determinantes sociales de la salud y para lograr cambios en las políticas y contextos sociales que promueven y mantienen situaciones adversas. Es de resaltar que entre los componentes de las iniciativas se da prioridad a aspectos como la gestión participativa, la organización social y comunitaria, el trabajo en red, el desarrollo de modelos de atención 202 Ligia de Salazar que articulan la Atención Primaria en Salud integral y la educación en salud. Sin embargo, los temas más comunes abordados en la práctica de la salud pública y la promoción de la salud se relacionan con acciones para mejorar la cobertura y el cuidado médico, y con el control y prevención de enfermedades y factores de riesgo desde enfoques relacionados con cambios comportamentales; creación de escenarios promotores de salud, los cuales presentan significados y alcances diferentes entre los países; la promoción de acciones comunitarias para la formación y fortalecimiento de redes sociales, y en menor medida, el uso de evidencias para la toma de decisiones. Políticas públicas orientadas a legislar y potenciar iniciativas que propendan por el ejercicio del derecho a la salud y el cumplimiento de objetivos para reducir y controlar la pobreza como causa estructural de muchos de los problemas de salud, se mencionan pero no se materializan ni tienen expresión real en la práctica. De igual forma, en las intervenciones no se vislumbran estrategias concretas ni planteamientos claros para alcanzar cambios en profundidad sobre algunas áreas de actuación en promoción de la salud, como alianzas estratégicas para influir en decisiones que afectan la salud, creación de capacidad y empoderamiento. En cuanto al empoderamiento de individuos y grupos para influenciar y ser partícipes de cambios que modifiquen favorablemente su salud, lo que se observa es que se ha restringido a actividades y programas educativos relacionados sobre todo con estilos de vida. Tanto en los casos de evaluación analizados, como en el conjunto de experiencias registradas a través de los proyectos y consultas regionales, se muestra que las estrategias para lograr equilibrio de relaciones de poder entre usuarios, beneficiarios o ciudadanos y las estructuras de poder, no son abordadas en forma concreta. En los pocos casos en que 203 Efectividad en Promoción de la Salud y Salud Pública estas acciones son esbozadas, se hace en forma tímida y sin respaldo para su operación. En relación con lo anterior, es de recalcar que las relaciones de poder pueden modificarse a distintos niveles: desde el nivel “micro”, integrado por los individuos, las familias y las comunidades, hasta el nivel “macro”, conformado por las relaciones estructurales entre las instituciones y los actores económicos, sociales y políticos (OMS, 2008). Si bien es esencial dar más poder a los grupos sociales, para permitir que estén representados en los procesos de elaboración de las grandes orientaciones y decisiones políticas, de tal manera que puedan ejercer un amplio conjunto de derechos y garantizar una distribución equitativa de bienes materiales y sociales esenciales entre los distintos grupos de población, también es importante dotarles de los medios necesarios que les permitan actuar en el ámbito local, a través de enfoques ascendentes. Deteniéndonos en el análisis de otros componentes de la promoción de la salud es también llama- La mayoría de los estudios hallados en las revisiones de literatura, sobre promoción de la salud, se concentran en los componentes de habilidades personales y reorientación de servicios; las estrategias para la creación de espacios y entornos saludables y de políticas públicas e inequidades en salud, son abordadas en forma tímida con un enfoque reduccionista tanto del problema como de la solución. Se evidencian inconsistencias entre la teoría y las prioridades de salud de los países. tivo el hecho de que la mayoría de experiencias presentadas se han orientado al componente de reorganización de servicios, a través del cual se refleja la prevalencia del enfoque biológico para abordar la problemática de salud, a pesar de que teóricamente insistan en la necesidad de considerar en las estrategias para intervenir los determinantes de la salud. Sin embargo, hay que rescatar los cambios y logros alcanzados en el componente de reorientación de servicios, sobre todo en relación con 204 Ligia de Salazar nuevos enfoques para mejorar el acceso, los cuales incluyen la atención intra y extramuros, el gerenciamiento participativo, estrategias para mejorar y operar el funcionamiento del sistema de referencia y contra referencia y la articulación de los equipos de salud con las organizaciones comunitarias e instituciones educativas. Al comparar con otras fuentes, la revisión de literatura indexada mostró similares resultados, pues la mayoría de los estudios en promoción de la salud obtenidos en la búsqueda, se concentraron en el componente de habilidades personales, en un 40%; un 17%, sobre teorías y reflexiones en promoción de la salud y un 15% en reorientación de servicios. En esta misma revisión llamó la atención el hecho que del total de publicaciones encontradas, sólo un 8% correspondió al componente de creación de espacios y entornos saludables y un 7% de los artículos a políticas públicas saludables, si se considera la prioridad de estos temas y los ingentes esfuerzos que diversos países y organizaciones han tenido al respecto. Pellegrini (2000) ya advertía en su estudio las inconsistencias que presentaba América Latina entre las temáticas de las publicaciones y las prioridades en salud de los países. Por otro lado, un sondeo realizado por la OPS sobre competencias e identificación de factores de éxito en promoción de la salud (OPS, 2008) mostró que hay una gran dificultad para definir los criterios de “éxito” o de efectividad para la promoción de la salud en una región como América Latina, que sigue siendo la más inequitativa del mundo y cuyo trabajo en promoción de la salud está principalmente enfocado a cambios comportamentales individuales, sin focalizar en las grandes cuestiones socio-políticas que generan inequidades en salud en la región. Se menciona que, con frecuencia, no son exitosas las acciones acometidas porque no hay suficiente claridad conceptual para generar, estimular y aplicar intervenciones apropiadas. Existen potenciales muy interesantes y una tradición participativa que debería ser incorporada 205 Efectividad en Promoción de la Salud y Salud Pública al trabajo en promoción de salud, para permitirle salir, como se percibe del enfoque restringido que tiene en la actualidad. Así mismo, los resultados del anterior sondeo mostraron la necesidad de fortalecer la abogacía política que facilite que los recursos destinados a la promoción de la salud en la región sean invertidos con criterios técnicos, de oportunidad y calidad técnica y científica, que sean costoefectivas y de gran impacto por la cobertura y calidad de acciones que puedan ser realizadas. En ese sentido, se relevó la evaluación como una necesidad apremiante en la región. Todo esto lleva a reflexionar sobre las siguientes preguntas: ¿qué consideramos por salud colectiva y poblacional?; ¿cómo los problemas de salud son definidos y abordados?, y por tanto ¿cómo estas definiciones influencian las respuestas que construimos plasmándose en políticas y programas de salud pública y promoción de la salud? Si bien la OMS ha considerado que el sector de la salud es un buen punto de partida para poner en marcha medidas de apoyo y crear estructuras que inciten a actuar sobre los determinantes sociales de las salud y la equidad sanitaria (OMS, 2008), la mayoría de las intervenciones reportadas en América Latina han sido formuladas y operadas desde el sector salud, con una visión sectorial y no de desarrollo ni desde el abordaje de los determinantes sociales de la salud. Las iniciativas y niveles de intervención podrían convertirse en “puertas de entrada” para incursionar o profundizar en otros aspectos, que aún están débiles. Para ello, en lugar de conformarnos con lo que podemos hacer, debemos hacer conciencia de lo que debemos hacer y de los cambios que hay que impulsar, para así convertir los programas y acciones vigentes en medios para generar nuevas iniciativas y cambios más profundos. Este es el caso de las estrategias para la reorientación de servicios de salud, mediante las cuales estamos abriendo puertas para influir en los determinantes sociales de la salud; así mismo, utilizar estructuras que 206 Ligia de Salazar están funcionando para que los servicios de salud sean definidos desde la lógica de las necesidades de individuos y comunidades y abordados no sólo desde la lógica e intereses de las agencias responsables de proveerlos, sino desde la que respalda y defiende el derecho a la salud de los ciudadanos. Este último aspecto, si bien es importante y necesario, crea situaciones de conflicto y tensión porque para lograrlo hay que enfrentar discrepancias entre ideologías y lógicas de planificación, que no sólo son excluyentes sino que compiten; por tanto, constituye un desafío pero al mismo tiempo una oportunidad para crear condiciones que favorezcan el cambio. En síntesis, se observa que las acciones en promoción de la salud y salud pública registradas en las experiencias y estudios analizados, así como a través de otras fuentes, responden a coyunturas más que a enfoques integrales para concebir y construir poblaciones saludables. Por tanto, no hay que extrañarse si hay fragmentación y segmentación de estrategias e iniciativas en promoción de la salud, atención primaria y determinantes sociales, las cuales han sido concebidas y planificadas desde paradigmas y lógicas diferentes aunque complementarias, para luego pretender articularlas en la práctica, en lugar de concebirlas como parte de un proceso articulado y escalonado de construcción social de salud. Es necesario construir un marco de referencia para valorar el éxito y la efectividad de intervenciones en salud, y en congruencia, establecer una definición operativa que amplíe la visión instrumental, coyuntural e intervencionista dentro del sector salud, dándole un carácter político, intersectorial, estructural y estratégico, que incorpore el concepto de equidad y justicia social. Alcance de las intervenciones En su gran mayoría las experiencias reportadas han sido realizadas a nivel comunitario y municipal, con pocas excepciones a nivel nacional, 207 Efectividad en Promoción de la Salud y Salud Pública hecho que en alguna forma refleja el compromiso de los gobiernos con este tema. De igual manera, la mayor parte de las iniciativas se corresponden con periodos de gobierno relativamente cortos, lo cual dificulta el logro de resultados e influencia la sostenibilidad financiera, continuidad y apoyo legislativo. En general, las intervenciones se La mayor parte de las iniciativas analizadas corresponden a experiencias a nivel comunitario y municipal. Por lo general se trata de proyectos piloto, en los cuales se llevan a cabo estrategias y acciones de tipo colaborativo y a corto plazo. La mayoría propenden por mejorar la calidad de vida de determinadas poblaciones, pero las acciones realizadas se muestran insuficientes para alcanzar los cambios esperados. enmarcan dentro de la categoría de proyectos pilotos, los cuales podrían tener bastantes posibilidades de éxito, si fueran negociados o contaran con la participación activa de órganos de decisión con relativa estabilidad y si estuvieran respaldados por políticas de Estado, que les diera mayor sostenibilidad durante un periodo suficiente para producir el impacto y los resultados esperados. Las estrategias y acciones propuestas para el logro de los objetivos son de tipo colaborativo, coyuntural, voluntarias, a corto plazo y cuentan con poco respaldo legal y financiero que les dé continuidad. Un caso específico es el de las intervenciones relacionadas con el sector educativo, centradas en actividades de entrenamiento de grupos de base, las cuales no encuentran eco en las políticas y planes de desarrollo institucional y territorial, en los planes de los otros sectores, en la legislación y en los planes curriculares de los profesionales de la salud. La reflexión sobre la naturaleza y alcance de las intervenciones de salud pública y promoción de la salud presentadas muestra que son reducidos los casos en los cuales hay una expresa intención y propuestas concretas para crear condiciones que permitan cumplir con los principios y valores sobre los cuales se fundamentan la promoción de la salud y la concepción de la llamada nueva salud pública. 208 Ligia de Salazar Igualmente, las experiencias reportadas expresan la intención de mejorar la calidad de vida y bienestar de la población, como resultado de las intervenciones. Sin embargo, las acciones llevadas a cabo, según fueron reportadas en varios de los casos, son insuficientes para promover los cambios esperados, más aún cuando en varios países de la región latinoamericana los sistemas de salud y protección social de la población se orientan a la privatización de los servicios y el acceso a ellos descansa en la capacidad de pago de los usuarios. Las reformas de los sistemas de salud y la seguridad social se apoyan en estructuras y órganos de gestión que limitan la capacidad para crear y sostener programas que se acojan a los principios de equidad, derecho a la salud, y justicia social. Las reformas sectoriales en salud en varios países no visualizan la salud como un sector social consecuencia del sector económico, sino como un sector económico productivo, generador de empleo e inversiones y, por tanto, de desigualdades. Si bien la salud es parte clave del desarrollo sostenible –económico, ambiental, y social– debe existir un equilibrio en estas dos miradas. Razones de tipo pragmático, ético y social, han sido dadas para preocuparse por las desigualdades en salud. El hecho de que la desigualdad no sea una característica fija de las sociedades, indica que es potencialmente susceptible de cambio, al tiempo que las desigualdades sanitarias que son potencialmente evitables, son injustas. Daniels, Kennedy y Kawachi citados por Marmot (2000) se refieren a datos que indican que en los países donde las desigualdades de salud son mayores, la condición sanitaria general de la población es inferior. Sen, citado por Marmot (2000) sostiene que cualquier sistema social ético requiere igualdad de algo. La pregunta es, ¿de qué? o como lo expresaría Sen, ¿en qué espacio debe medirse la desigualdad? La igualdad de las libertades económicas es uno de esos espacios; la igualdad de las libertades básicas, como en la teoría de Rawls, es otro. ¿Cómo elegir entre estas nociones de igualdad diferentes? Una manera consiste en tener en 209 Efectividad en Promoción de la Salud y Salud Pública cuenta las consecuencias, como por ejemplo la salud. Sen sugirió un marco evaluativo diferente para medir la desigualdad; un marco que tuviera en cuenta la repercusión que dicha desigualdad tiene sobre nuestra capacidad y nuestra libertad para vivir la vida que queremos vivir. Si bien uno de los valores centrales de la promoción de la salud y de la salud pública es el derecho a la salud que tienen todos los ciudadanos, en la práctica, lo que impulsa a la acción son las necesidades individuales, especialmente en momentos de crisis. De allí que las acciones se tornen coyunturales e inestables y se refieran a indivi- Un importante potencial en la región es la motivación y variedad de las intervenciones en curso, para crear entornos saludables y, dentro de éstas, la realización de acciones para aumentar cobertura de servicios, a través de la estrategia de Atención Primaria, y desde las cuales se alcanzan a visualizar acciones que podrían tener influencia sobre los determinantes de la salud. duos y no a ciudadanos. Se requiere, por tanto, impulsar el debate sobre los significados prácticos de la salud como derecho y sobre las acciones políticas y las estrategias para construirla y mantenerla y, como afirman Bambra, Fox y Scott-Samuel (2005), demostrar cómo el reconocimiento de la naturaleza política de la salud conducirá a una estrategia más efectiva de promoción de la salud y de mayor evidencia de la efectividad de su práctica. Aunque se haya reconocido el carácter político de la salud (Bambra, Fox y Scott-Samuel, 2005) y que se considere el hecho de que existe un gradiente social que hace que unos grupos tengan mayor probabilidad de enfermar y morir y sufrir las consecuencias negativas de esta situación y por otro lado, que los determinantes sociales son susceptibles a intervenciones políticas y dependen de la acción o inacción política, y que el derecho a un estándar de vida adecuado para la salud y el bienestar es, o debe ser, un aspecto de ciudadanía y un derecho humano, llama la atención que en las experiencias y casos analizados no se hallaron propuestas concretas en torno a acciones de abogacía para la formula210 Ligia de Salazar ción de políticas públicas, ni análisis en relación con la manera en que dichas políticas, el poder y las ideologías, pueden influenciar la salud de las personas y poblaciones. Los determinantes estructurales y las condiciones de vida constituyen en su conjunto, la causa y producto de la mayor parte de las desigualdades sanitarias entre los países y dentro de cada país. De allí que la sociedad civil y los movimientos políticos pueden jugar un papel central para reversar esta situación, pero nuevamente las intervenciones sobre participación social y comunitaria se quedan cortas, tanto en su alcance como en su operación. Un potencial en la región es la motivación y variedad de intervenciones en curso, para crear entornos saludables y dentro de éstas, la realización de acciones para aumentar cobertura de servicios, a través de la estrategia de Atención Primaria, y desde las cuales se alcanzan a visualizar acciones que podrían tener influencia sobre los determinantes de la salud. Hacer conciencia sobre este potencial y fortalecer las capacidades de los impulsores de estas iniciativas en temas sobre abogacía, liderazgo, gerencia social y políticas públicas territoriales, son entre otros, demandas que se deben atender para fortalecer y mantener estos procesos de cambio. Frente a lo anterior, algunas preguntas que pueden ayudar a establecer la coherencia entre la formulación y operación de la intervención y los cambios esperados son: ¿ cuál es la suficiencia de las acciones propuestas para lograr los objetivos?, ¿qué tan plausible es que los resultados esperados se obtengan con la intervención propuesta y cuáles las características y desafíos que presenta el contexto en el que se desarrollará la intervención?; ¿son operables los principios, valores y teoría que fundamentan y orientan la práctica en promoción de la salud y ofrecen los resultados esperados en condiciones y contextos en donde las estructuras y sistemas políticos y sociales, no sólo promueven, sino que se 211 Efectividad en Promoción de la Salud y Salud Pública sostienen por valores y prácticas contrarios, generadores de inequidad, subdesarrollo y opresión? Hay que considerar también si en estas condiciones podemos hablar de estandarización de la práctica y de procesos de cambio, valorar el impacto y efectividad de estas iniciativas mediante indicadores estándar, establecer cuáles son las prioridades y cómo a través de ellas permeamos otros instancias y estructuras políticas y de poder, que influencian los resultados de estas intervenciones. Ante esto, los promotores de estrategias de promoción de la salud en países en desarrollo son los llamados a reflexionar y discernir sobre el alcance de las iniciativas y, en general, sobre la práctica de la salud pública y de la promoción de la salud, teniendo en cuenta que al estar inmersa en estructuras de poder opuestas a los principios de la promoción de la salud, se pueden enfrentar muchos conflictos y frustraciones. Igualmente, son llamados a fijar criterios para establecer prioridades y resolver el conflicto ante la opción de hacer poco o nada; o por el contrario, iniciar procesos de largo alcance, los cuales, si bien producen resultados a largo plazo, también pueden tener impactos positivos en el corto y mediano plazo, necesarios para dar sostenibilidad a las iniciativas y procesos de cambio. Esta última opción implica el tener una visión clara y construida colectivamente, de hacia dónde se quiere llegar y de las estrategias para conseguirlo, entre las cuales los componentes de la promoción de la salud tienen expresión real; es el caso de estrategias para el empoderamiento y la participación social y comunitaria, el alfabetismo en salud, o las políticas públicas favorecedoras de la equidad y el derecho a la salud. Por último, el componente de reorientación de servicios, a través de modelos de servicios de salud que se correspondan con los principios señalados– como es el caso de la Atención Primaria–, se constituye en puerta de entrada para dinamizar esta construcción. 212 Ligia de Salazar Diseño de las intervenciones Como ha sido indicado en capítulos anteriores, el significado, alcance y aplicación práctica de los términos con que se catalogan y operan las intervenciones en promoción de la salud y salud pública, deben ser explicitados al momento de realizar la evaluación de estas intervenciones. Igualmente, debe ser comprendida la influencia que esta caracterización tiene en la evaluación de las intervenciones, tanto en la identificación de los enfoques metodológicos apropiados, como Las intervenciones, en su mayoría, son un reflejo de concepciones estrechas sobre la salud y sus causas, al igual que sobre la concepción y alcances de la salud pública y la promoción de la salud. Así mismo, responden a una visión disciplinar, basada en supuestos cuya presencia no se verifica y con una perspectiva cortoplacista, contestaría y estandarizada a la norma. en la fundamentación teórica de la evaluación. Si bien algunas iniciativas plantean objetivos amplios y de largo alcance, al momento de operarlas, las actividades planificadas causan interrogantes sobre la viabilidad para alcanzar dichos objetivos. Términos como sensibilizar, crear capacidad, motivar, mejorar prestación de servicios y aumentar cobertura, lograr bienestar, prevenir y controlar problemas de salud, son utilizados sin brindar definiciones concretas que permitan identificar el alcance de los resultados esperados y, por el contrario, son expresiones no definidas operacionalmente, que no cuentan con criterios para evaluar su cumplimiento –indicadores–. Por tanto, dichos indicadores se han centrado casi exclusivamente en cambios en cobertura o porcentaje de cumplimiento de actividades programadas. Las interacciones entre salud, población y territorio no se expresan claramente en la mayoría de los casos, como tampoco los mecanismos de gestión local para articular el contexto territorial con el abordaje de los factores que condicionan la salud en la población, los modos de vida y 213 Efectividad en Promoción de la Salud y Salud Pública los determinantes socioeconómicos y ambientales. De igual forma, no se hace referencia a la sostenibilidad de las intervenciones. Un análisis de las anteriores variables evitaría la pérdida de recursos y esfuerzos para el desarrollo de evaluaciones que el sentido común diría, de antemano, que no son viables y sostenibles. Estos resultados son similares y congruentes con los hallados en la revisión de literatura sobre promoción de la salud y evidencias de efectividad, mencionada anteriormente. El cúmulo de experiencias y casos analizados muestra que el diseño y operación de las intervenciones, como se mencionó, son un reflejo de concepciones estrechas sobre la salud y sus causas, al igual que sobre la concepción y alcances de la salud pública y la promoción de la salud. El diseño de las intervenciones ha respondido a una visión disciplinar basada en supuestos cuya presencia no se verifica y con una perspectiva cortoplacista, contestataria y estandarizada a la norma vigente. Se podría decir que se diseñan programas y actividades que los promotores de estas iniciativas están en capacidad de realizar, teniendo en cuenta sólo lo que conocen del problema, al igual que lo que están en capacidad de hacer con base en sus conocimientos, habilidades, escenarios de práctica y obligaciones, según reglamentación vigente. El alcance e intencionalidades de la promoción de la salud y la salud pública demandan cambios en las estructuras de poder dentro del sector y en general del aparato estatal, con el fin de obviar conflictos y tensiones, y viabilizar su implementación y resultados. El trabajar desde estructuras vigentes, manteniendo el statu quo es un indicador de que adoptamos la opción de hacer sólo lo que podemos, en lugar de lo que debemos hacer. En síntesis, se puede concluir que el mayor énfasis de la práctica de la salud pública y la promoción de la salud en América Latina se ha dado a intervenciones cuyo diseño se orienta a acciones individuales, sectoriales y locales, dependientes de la normatividad del sistema de salud vigente y de la capacidad de los responsables para ejecutarlas. 214 Ligia de Salazar Otro elemento relevante de este análisis tiene que ver con el proceso de diseño de las intervenciones. Ha sido ampliamente reconocida la contribución del marco lógico para definir la ruta y acciones para alcanzar el objetivo y producir los productos deseados, al igual que para tener insumos que ayuden a explicar el cómo se lograron los resultados de las intervenciones. Un modelo lógico es la descripción visual de las etapas a través de las cuales los insumos o entradas de una intervención se convierten en resultados. Estas descripciones de las rutas ayudan a comprender qué es lo que hace que funcione la intervención y a quién afecta, al igual que los resultados esperados, los cuales son base para la evaluación. Dado que estos modelos son abstracciones, las cuales omiten detalles para facilitar su comprensión, podemos enfrentarnos a un conflicto entre precisión y claridad de la intervención. Este último aspecto es importante tenerlo en cuenta, no sólo al momento de diseñar la intervención, sino durante el seguimiento al proceso de implementación para documentarlo e identificar potenciales desvíos como producto de cambios en los supuestos y factores del contexto en donde se implementa la iniciativa. Con base en lo anterior hay que indicar que en pocos de los casos analizados se aplicó la metodología del marco lógico u otras metodologías de diseño y planificación de intervenciones, y que en ninguna experiencia se contrastó el diseño y supuestos iniciales de la iniciativa, con lo encontrado en la realidad. Un modelo lógico es la descripción visual de las etapas a través de las cuales los insumos o entradas de una intervención se convierten en resultados. Estas descripciones de las rutas ayudan a comprender qué es lo que hace que funcione la intervención y a quién afecta, al igual que los resultados esperados, los cuales son base para la evaluación. En los pocos casos en donde se reportaron los marcos lógicos, éstos fueron débilmente fundamentados y no se explicitó cómo los resultados y los productos a corto y mediano plazo, contribuirían al logro de los objetivos de más largo plazo. 215 Efectividad en Promoción de la Salud y Salud Pública Fue notorio que los marcos lógicos no surgieron como resultado de un análisis riguroso, basado en evidencias científicas y lecciones de la práctica cotidiana que ha sido documentada y revisada sistemáticamente. Los anteriores hallazgos ponen a la evaluación de estas intervenciones a riesgo de que no sean apropiadamente diseñadas, al exponer también con ello la lógica de las preguntas y de los enfoques metodológicos para contestarlas. • Implementación de las intervenciones ¿Estamos creando condiciones para que las intervenciones sean efectivas?: la contribución de la implementación. La definición más común de implementación de programas es “qué tan bien un programa o intervención se pone en práctica –fidelidad–” (Durlak, 1998). La documentación y la sistematización de la práctica aportan información para responder a esta pregunta. La implementación de programas comunitarios o de salud poblacional no es fácilmente estandarizable y esto, quizá, tampoco sea deseable, por las razones que han sido tratadas en esta publicación. Dadas las múltiples actividades involucradas en estos programas y al considerar que están además guiados por principios como la práctica colaborativa, las alianzas y una activa participación de miembros de la comunidad, la documentación de estas intervenciones se hace más necesaria. Estos programas son dinámicos y deben responder y adaptarse a circunstancias locales, por lo que requieren un continuo flujo de información para comprender y valorar el proceso de implementación. La evaluación es tal vez el instrumento más idóneo y útil para fortalecer tanto la teoría, como la práctica de la promoción de la salud y la salud pública. Ésta no sólo permite identificar, explicar y valorar las asociaciones entre insumos, impacto y resultados, sino que facilita la identificación de los componentes centrales de la intervención y su 216 Ligia de Salazar interacción. De allí que para que la evaluación cumpla este papel debe necesariamente partir de un amplio conocimiento del objeto de evaluación, en este caso de los programas e intervenciones de promoción de la salud y salud pública. Es por tanto necesario aplicar estrategias que permitan lograr lo anterior. La aplicación de tres metodologías produce valiosa información para comprender, gestionar y cualificar el proceso de cambio y lograr su vinculación a procesos de desarrollo local, sin renunciar a los principios y valores que impulsan las intervenciones poblacionales descritas: la documentación, el monitoreo y la sistematización de la experiencia práctica. Algunos autores mencionan que la documentación de los procesos permite evidenciar cómo el nivel y calidad de la implementación influencian la efectividad de las intervenciones, así como la asociación entre el grado de calidad de la implementación y el logro de resultados positivos (Dane y Schneider, 1998; Durlak, 1998; Domitrovich y Greenberg, 2000; Mihalic, Fagan, Irwin, Ballard y Elliott, 2002). A lo anterior, añadimos que esta evidencia no surge sólo de la documentación de los procesos, sino de la reflexión crítica de los mismos, de la comprensión en profundidad de la manera como se consiguen los resultados y de los factores que los influenciaron; es decir, surge de un proceso de sistematización, con los alcances ya mencionados en los capítulos precedentes. En intervenciones complejas como la mayoría de programas de promoción de la salud y salud pública interactúan factores, en gran parte desconocidos por los impulsadores de estas iniciativas, por lo que es difícil prever todos los cambios y los efectos resultantes, debido en buena parte a su dinamismo y cambio frecuente del protocolo inicial de la intervención. Así mismo, no podría analizarse la efectividad de la intervención sin tener en cuenta el periodo de implementación y los recursos disponibles para llevar a cabo las actividades propuestas. 217 Efectividad en Promoción de la Salud y Salud Pública Por tanto, se requiere identificar claramente en la práctica y en un contexto real, en qué consistió con mayor precisión la intervención, cuáles fueron los componentes críticos, cómo se interrelacionaron, qué fue lo que se hizo, qué hizo que funcionara, con quiénes y en qué circunstancias –impacto y efectividad–. Las respuestas a estas preguntas son cruciales, cuando nuestra intención es guiar la adopción y adaptación de inter- El proceso de implementación es un determinante del éxito de la intervención. Esto implica identificar claramente en la práctica y en un contexto real, en qué consistió la intervención, cuáles son sus componentes centrales, qué fue lo que realmente se hizo, qué hizo que funcionara, con quiénes y en qué circunstancias. Las respuestas a estas preguntas son cruciales, cuando nuestra intención es guiar la adopción y adaptación de intervenciones, incluso en escenarios diferentes al estudiado. venciones, incluso en escenarios diferentes al estudiado. Barry (2007) señala que la recolección sistemática de datos sobre la implementación de la intervención juega un importante papel para avanzar en el conocimiento sobre las “mejores prácticas” y para que éstas sean replicadas en escenarios y situaciones reales. Igualmente, para identificar tanto los predictores del cambio que son claves, como las condiciones necesarias para alcanzarlo. La restringida información sobre cómo se lograrán los objetivos dificulta la identificación, comprensión y aprendizaje sobre los procesos de cambio dentro del sistema. Barry, Patel, Jané-Llopis et al. (2007) han llamado la atención en que para lograr una implementación efectiva de intervenciones es importante disponer no sólo de evidencia, sino de infraestructura de soporte que incluya estrategias de liderazgo y creación de capacidad para la fuerza de trabajo en el nivel local, colaboración intersectorial y voluntad política de parte de tomadores de decisión y formuladores de políticas. Así mismo, Chen (1990 y 1998), propone un modelo para estudiar la implementación de una intervención, el cual incluye una teoría de cau218 Ligia de Salazar salidad, es decir, cómo el programa o intervención alcanza los resultados esperados; y una teoría prescriptiva, para guiar el proceso de implementación. Esta última, define cómo la intervención es implementada, incluyendo la manera en la que opera y tomando en consideración el contexto en el cual opera, lo cual supone aspectos como la capacitación, la supervisión y las características organizacionales, que son necesarias para apoyar una implementación exitosa. A su vez, incluye información sobre el proceso y estructura de la planificación de la intervención, la movilización de apoyos y efectivos procesos de abogacía y colaboración para hacer alianzas con socios claves. Igualmente, se han mencionado otros factores como las características y relaciones entre los implementadores y participantes de la intervención; los aspectos facilitadores e inhibidores en el contexto local, entre ellos alistamiento y movilización de apoyo; el qué tanto la intervención encaja dentro de la perspectiva ecológica; y la colaboración de instituciones y actores claves –stakeholders–, aspecto también mencionado por Barry, Patel, Jané-Llopis et al. (2007). Sin embargo, pese al conocimiento de lo anterior, en la práctica el arte de implementar programas no es frecuentemente reportado y tampoco es parte de las publicaciones, por lo que la experiencia práctica no se conoce ampliamente (Durlak, 1998; Mihalic, Fagan, Irwin et al., 2002). Una respuesta a la situación anterior puede ofrecerla Durlak (1998) quien ha identificado cuatro pasos para estudiar la implementación, los cuales influyen también en la evaluación: 1) identificar lo que él denomina, “ingredientes activos de la intervención”; 2) desarrollar un sistema de seguimiento válido y preciso; 3) monitorear la implementación durante la ejecución de la intervención; y 4) relacionar los niveles de implementación con los resultados. El autor recomienda que se tenga en cuenta tanto la cantidad como la calidad de la implementación, con el fin de establecer qué tanto de la intervención se hizo y qué tan bien fue desarrollada cada parte. 219 Efectividad en Promoción de la Salud y Salud Pública A los pasos propuestos por Durlak, agregaríamos el desarrollo de una metodología de reflexión y análisis frente a la intervención, que permita no sólo confrontar qué se hizo y cómo se relaciona con los resultados, sino también indagar sobre qué cambios se hicieron o debieron hacerse al protocolo inicial; qué motivó estos cambios y sí éstos son permanentes u obedecen a situaciones coyunturales. Para hacer este análisis, se debe tener claro cuáles eran los componentes iníciales de la intervención y bajo qué supuestos ésta se fundamentó. Retornando al análisis de nuestras experiencias, podemos afirmar que la información sobre los aspectos claves de la implementación de las intervenciones no ha sido frecuentemente recogida y en los casos excepcionales en donde se ha hecho, los resultados son incompletos, desordenados, fragmentados y sin criterios claros sobre qué documentar y cómo analizar y utilizar la información producida. Las experiencias analizadas muestran debilidades en su implementación, alcance e intensidad, para que sean capaces de lograr diferencias sustanciales. Considerando que la intención de la evaluación es tender puentes para pasar de la investigación a la política y la práctica, las caracterizaciones de las intervenciones analizadas muestran que se requiere de mayores capacidades para hacer una implementación apropiada que contribuya con estos objetivos. Se encontraron debilidades en la implementación, alcance e intensidad de las intervenciones, para lograr los cambios propuestos. Considerando que la intención de la evaluación es tender puentes para pasar de la investigación a la política y la práctica, las caracterizaciones de las intervenciones analizadas muestran que se requiere de mayores capacidades para hacer una implementación apropiada que contribuya con estos objetivos. Se observa que si bien la mayoría de las intervenciones analizadas incluyen uno o más de estos elementos, es también cierto que ésta no reconoce la manera como las variables se interrelacionan, ni los modelos operativos sobre los que se sustentan; es decir, siguiendo a Chen 220 Ligia de Salazar (1998), carecen de una teoría prescriptiva y, en ocasiones, la teoría de causalidad es también débil. No sería entonces arriesgado afirmar que existe poca conciencia de la necesidad e importancia de documentar y sistematizar el proceso de implementación de las intervenciones y usar esta información para confrontar la teoría y el marco lógico que las fundamenta. En cuanto al tiempo y financiación que, como se dijo, son variables determinantes en una buena implementación, las experiencias abordadas fueron programadas de uno a tres años y reciben financiamiento, principalmente, de fuentes gubernamentales y de fuentes externas como ONG y organismos de cooperación internacional. Se sabe que el financiamiento delimita el horizonte temporal de la intervención más que la lógica de la viabilidad técnica y operativa para alcanzar los objetivos que la impulsan. Es de resaltar que no se reportó ninguna experiencia mayor de tres años; la mediana estuvo en 18 meses. La falta de interés por evaluar las iniciativas en salud y la ausencia o limitado apoyo por parte de directivas y principales usuarios de la información, es causa y a la vez consecuencia de otros problemas relacionados con financiación precaria, inexistente o no sostenida; tiempo insuficiente para conducir la evaluación y para mostrar resultados, y limitada capacidad técnica del personal responsable de estas intervenciones. Lo anterior se convierte en un círculo vicioso, que redunda en baja calidad de la evaluación, poca o ninguna validez de los resultados, limitada utilización de éstos e insuficiente información para formular políticas y programas y para reorientar las intervenciones. Una limitante común para la comprensión y evaluación de la implementación de las intervenciones, es que, en primer lugar, en la mayoría de ellas – alrededor de un 80%– no se tenía una concepción clara y comprehensiva de qué era la intervención y, en segundo lugar, en un 90% de los casos, se desconocía en gran medida la forma como ésta operaba. De allí que no se tenía un referente claro para valorar la relevancia y sufi221 Efectividad en Promoción de la Salud y Salud Pública ciencia de las acciones, al igual que la sensibilidad de supuestos que soportaban las intervenciones. Con base en lo anterior, se puede afirmar que la información sobre la implementación de la intervención juega un papel crítico para hacer una interpretación confiable y precisa de los resultados. Por ejemplo, se puede concluir que una intervención no es exitosa cuando no Una limitante común para la comprensión y evaluación de la implementación de las intervenciones, es que en la mayoría de ellas no se tiene una concepción clara y comprehensiva de la intervención y se desconoce en gran medida la forma como éstas operan. No se dispone de un referente claro para valorar la relevancia y suficiencia de las acciones, al igual que la sensibilidad de supuestos que soportan las intervenciones. se logran resultados positivos; sin embargo, hay que considerar que los hallazgos negativos pueden ser debidos a una pobre implementación más que a la calidad de la intervención en sí misma. Parte del problema es que las intervenciones se diseñaron como respuestas a políticas y normativas de los niveles de dirección y control del sistema de salud, las cuales deben ser cumplidas, aunque no se tenga claridad de los aspectos que las fundamentan. Los cambios hechos en algunas intervenciones fueron bastante limitados, tanto en su alcance como en su intencionalidad, lo que muestra que los ejecutores de estas iniciativas hacían lo que podían, bajo los parámetros con que ellos iban a ser evaluados. •Efectividad y factores asociados: ¿Qué nos preguntamos y qué sabemos sobre la evaluación? La valoración de la efectividad de una intervención desde una perspectiva que incorpore el cumplimiento de los principios y valores de la promoción de la salud implica cambios en los criterios que tradicionalmente se han empleado para valorar el éxito, en la forma de medirlo y en los indicadores o referentes de comparación para juzgarlo. 222 Ligia de Salazar De igual forma, la evaluación del impacto de intervenciones orientadas a reducir las inequidades en salud, debe establecer, según Mahoney et al. (2004) la articulación entre la intervención, la práctica, la salud y la equidad. La complejidad del tema demanda la voluntad de tomadores de decisión y personal de salud para cambiar las actuales prácticas, ser abiertos a otras formas de pensamiento y saberes y ampliar los canales de comunicación con otros grupos. En relación con lo anterior, el análisis de las experiencias, así como los principales hallazgos de las encuestas regionales y estudios reportados señalan una alta motivación por el desarrollo y la evaluación en promoción de la salud y salud pública en la región. A pesar de lo anterior, las experiencias dejan al descubierto algunas falencias y brechas en espera de ser resueltas. El análisis de la literatura sobre evidencias de efectividad en promoción de la salud en América Latina (De Salazar, Vélez y Ortiz; 2003) y los resultados de un sondeo regional mediante cuestionario, mostraron que la evaluación en promoción de la salud en la región es escasa y además presenta debilidad en la relevancia de las preguntas y en los diseños de estudios y, como consecuencia de ello, no es extraño encontrar resultados de evaluación poco válidos y confiables. Igualmente, en los casos estudiados se encontró que la evaluación ha respondido más a intereses académicos que a una necesidad sentida por aquellos responsables de tomar las decisiones, gerenciar los programas y asignar recursos. Lo anterior explica, en parte, por qué muchos de los resultados de estas evaluaciones, aun de aquellas con excelentes diseños, no suelen ser tenidos en cuenta para la toma de decisiones en salud y no trascienden el quehacer académico (De Salazar, 2004a). Los resultados de esta revisión también señalaron que nuestras oportunidades para conocernos y re-conocernos en el marco de una práctica común sobre salud de la población, son insuficientes. Latinoamérica 223 Efectividad en Promoción de la Salud y Salud Pública convive aún con amplias brechas en relación con la propiedad y acceso al conocimiento, a la conectividad e interconectividad y a los bienes y servicios de información producidos por ellos. La reducción entre las asimetrías e insuficiencias de información y las inequidades en salud, son parte de los desafíos que nuestros países están en deuda por superar, ya que se constituyen en factor clave para que se limite la gestión del conocimiento que apoye la formación. Los cambios y resultados esperados se han concentrado en los individuos, grupos o poblaciones directamente beneficiarios de estos cambios, mas no en los cambios del sistema o los escenarios en donde estos beneficiarios viven y realizan sus actividades cotidianas. Cambios en los sistemas o en estructuras socioeconómicas y políticas son los que contribuyen a la sostenibilidad de procesos de cambio de la naturaleza señalada. Lo anterior demanda un análisis y reflexión permanente sobre la calidad, integridad y plausibilidad del diseño de la intervención; del tiempo de exposición a la misma; la viabilidad para visualizar cambios según condiciones específicas, los factores del contexto que la influencian y la utilización de esta información para el fortalecimiento de la teoría y la práctica de estas intervenciones. De allí que sea no solamente importante, sino necesario, escudriñar dentro de los procesos que hacen posible los efectos e impactos en diferentes niveles y en cierto periodo, considerando las concepciones sobre intervenciones y sistemas complejos que se señalaron en capítulos anteriores. Como es conocido, el cumplimiento de los objetivos de una política o programa está influenciado por las variables de tiempo y lugar en que opera la intervención; de allí que lo mencionado en cuanto a la plausibilidad de alcanzar los objetivos debe ser analizado frente a estas variables, como también los cambios intermedios esperados, para aumentar así la probabilidad de tener éxito. 224 Ligia de Salazar Aunque es sabido que los resultados intermedios, según el La mayoría de las preguntas de evaluación hacen referencia al éxito de la intervención; es decir, a los logros alcanzados según los objetivos y al cumplimiento de las metas de desempeño y desarrollo de actividades programadas. Esto refleja el interés de los evaluadores por dar cuenta del desempeño del programa y la poca o ninguna importancia dada a la confrontación de los supuestos e hipótesis que fundamentan las intervenciones y su implementación. marco lógico, pueden ser precondiciones para alcanzar los objetivos o resultados finales, en otras palabras, pueden aumentar las probabilidades de éxito de la intervención, en los casos estudiados no hubo mención a este aspecto. Este hecho dificultó la selección apropiada de preguntas de evaluación de la intervención, al igual que los indicadores para juzgar el éxito de ésta. En resumen, la mayoría de las preguntas de evaluación en las experiencias analizadas, hacen referencia al éxito de la intervención; es decir, a los logros alcanzados según los objetivos y al cumplimiento de las metas de desempeño y desarrollo de actividades programadas. Esta tendencia refleja el interés de los evaluadores por dar cuenta del desempeño de los programas y la poca o ninguna importancia dada a la confrontación de los supuestos e hipótesis en las cuales se fundamentan las intervenciones y su implementación; información que es necesaria en la construcción de teoría y orientación de un proceso de cambio. Enfoques metodológicos de las evaluaciones A continuación se presentan los hallazgos más representativos en relación con los tipos de estudio empleados para la evaluación de intervenciones en promoción de la salud y salud pública en América Latina. En este análisis se encontró que los enfoques positivistas, representados en su mayoría por estudios descriptivos orientados a identificar cam225 Efectividad en Promoción de la Salud y Salud Pública bios de comportamiento de grupos específicos de población, han sido los más empleados. El mayor uso de este tipo de métodos se encontró también en el análisis realizado en la revisión de literatura sobre evaluación de efectividad en promoción de la salud en América Latina (De Salazar, Vélez y Ortiz; 2003). Así mismo, los estudios comparativos para identificar cambios en las Los referentes para valorar la efectividad de las intervenciones fueron demasiado ambiciosos, en relación con lo que se planificó y ejecutó. Una consecuencia directa de esto puede ser que no se visualicen cambios en relación con los objetivos y se concluya que la intervención no funcionó, cuando en realidad lo que no funcionó fue el diseño de la intervención o la implementación de la misma. variables de interés al final de la intervención, se presentaron como la segunda alternativa empleada. Se encontró que la imprecisión en la definición del problema y de la situación objeto de cambio, contribuyó para que, en muchos casos, no hubiera relación entre la pregunta de evaluación, la intencionalidad, los objetivos del estudio y los enfoques metodológicos de evaluación seleccionados. Sin embargo, es necesario mencionar que en las experiencias de capacitación, este ejercicio de reflexión y cuestionamiento por parte de los participantes constituyó una excelente oportunidad para identificar los vacíos en el diseño de la intervención, la formulación de la pregunta y en la selección del enfoque metodológico para responderla. Por otro lado, puede decirse que los referentes para valorar la efectividad de las intervenciones fueron demasiado ambiciosos, en relación con lo que se ejecutó o se planificó ejecutar en las mismas. Una consecuencia directa de este hecho puede ser que no se visualicen cambios en relación con los objetivos y que se concluya que la intervención no funcionó, cuando en realidad lo que no funcionó fue el diseño de la intervención o la implementación de la misma. El dilema está en si sólo valoramos la efectividad por resultados finales, o también utilizamos como indicador los resultados intermedios, los cua226 Ligia de Salazar les son precondiciones que conducen al logro de los resultados finales. Un ejemplo común es la valoración de la efectividad de una intervención por el cambio de prevalencias de enfermedades crónicas, cuando las acciones han estado dirigidas sólo a cambiar comportamientos y estilos de vida, o a programas educativos, sin tener en cuenta las raíces socio culturales de estos comportamientos y las variables del contexto que los promueven y fortalecen. En este caso el indicador de éxito podría ser el cambio de estilos de vida. En varias propuestas de evaluación se encontró que la construcción de capacidad en individuos, poblaciones y territorios –en otras palabras, sistemas o escenarios de práctica– estaba articulada teóricamente a los componentes de la intervención. Sin embargo, esta construcción de capacidad se queda en lo individual y en pocos casos a nivel de grupos específicos, relacionados con estructuras comunitarias e institucionales. Lo anterior significa que se dejaron intactos los otros componentes del sistema en donde la intervención se desarrolló. Los enfoques constructivistas para responder a preguntas relacionadas con el comportamiento de variables y cambios de las condiciones iniciales fueron considerados en muy pocos casos. Los participantes en los cursos de capacitación reconocieron que las demandas de los directivos y agencias financiadoras se orientan más hacia impactos y resultados de las intervenciones, y en muy raras ocasiones hacia el proceso de implementación de las mismas y los factores que las influenciaron. De allí que sólo dos de los casos presentados trataron de llenar este vacío aplicando las técnicas cualitativas para documentar y sistematizar las intervenciones. Adicional al interés por valorar el desempeño de las iniciativas a través de métodos cuantitativos descriptivos, otros factores contribuyen a que se prefiera usar este tipo de estudios en las evaluaciones: el desconocimiento de los aportes de la investigación cualitativa, la falta de datos sobre las variables de estudio, la fuente y monto de la financiación, 227 Efectividad en Promoción de la Salud y Salud Pública el momento político en que se propone la evaluación, el tiempo para mostrar resultados y la limitada capacidad y competencia para realizar este tipo de investigación. Entre los métodos y fuentes de información más utilizados se mencionaron las encuestas semiestructuradas; los registros institucionales, datos del censo, y una experiencia que empleó las encuestas producto de la vigilancia en salud pública, complementadas con información de otras fuentes o sistemas de información vigentes. Los grupos focales, las entrevistas en profundidad y la revisión documental también fueron mencionados. Las discusiones alrededor del tema evidenciaron que los participantes tenían inseguridad sobre los alcances de los diferentes métodos y las ventajas comparativas entre ellos, según la intencionalidad de la evaluación. • Usos de la información El análisis sobre el uso de los resultados de la evaluación plantea interrogantes en relación con los usuarios principales de la información, el alcance de las decisiones que pueden tomarse, el grado de concreción o precisión deseado, el conflicto entre oportunidad y precisión, entre otros. Ante la pregunta de si se produce la información que los decisores y políticos necesitan y quieren recibir, Crew y Young (2002) cuestionan la utilidad, relevancia y coherencia de las evaluaciones con las necesidades e intereses de los tomadores de decisión. Por los hallazgos de los casos bajo estudio se entenderá que en pocas ocasiones la información resultado de la evaluación es utilizada y cuando se hace, es para dar cuenta a la institución contratante sobre el trabajo realizado y desde la perspectiva de lo que ellos quieren saber según el marco legal; en otras palabras, informan sobre el número de actividades o servicios brindados según programación. 228 Ligia de Salazar Es claro que no existe una cultura de hacer evaluación y menos de usar los resultados para reorientar los programas o profundizar sobre la teoría que los fundamenta. Evidencias producto de este tipo de evaluación son no sólo débiles, sino insuficientes para soportar decisiones, reorientar y fortalecer las intervenciones y desarrollar procesos de construcción de capacidad alrededor de la práctica de procesos sociales de cambio. Hay dos brechas que han sido identificadas alrededor de la articulación entre el conocimiento y la acción: la primera es la relacionada con la investigación y la política, y la segunda, es la brecha entre el conocimiento y la acción. Muchos esfuerzos se han realizado alrede- Entre los aspectos que influencian el uso de evidencias en la toma de decisiones y en la práctica están la falta de demanda de estas evidencias, al igual que la alta movilidad de los formuladores de políticas, los procesos de gobernanza y la dependencia de los donantes. dor de estos temas, pero han sido pasivos y focalizados en publicaciones en revistas especializadas. Sin embargo, nuevas iniciativas han emergido, como procesos para construcción de alianzas e intercambio; ha sido señalado que a pesar de treinta años de investigación en esta área, todavía adolecemos de una base de evidencia robusta y generalizable para informar a los decisores acerca de estrategias para promover la introducción de guías y protocolos u otras medidas de uso de evidencia (Jong-wook, 2004). Otros aspectos que influencian el uso de evidencias en la toma de decisiones y en la práctica se refieren a los desafíos que plantea la falta de demanda de estas evidencias, al igual que la alta movilidad de los formuladores de políticas, los procesos de gobernanza y la dependencia de los donantes. De allí que para implementar la buena evidencia global se requiere una triangulación de ésta con el conocimiento local. Este último se puede obtener a través de procesos sostenidos de participación social (Grimshaw, et al., 2004). 229 Efectividad en Promoción de la Salud y Salud Pública Una lección extraída de las experiencias y de los otros análisis y estudios señalados es que la salud pública y la promoción de la salud basadas en evidencias, pueden ser vistas sólo como asuntos de “moda”. Por tanto, es necesario fortalecer los conocimientos, las habilidades y el sentido práctico para producir, analizar y usar la información y las evidencias para caracterizar los problemas, definir estrategias y programas para hacerles frente, e identificar y valorar las condiciones del contexto que incrementan las probabilidades de éxito. De lo contrario, nos encontramos en riesgo de perder las experiencias y riqueza que la práctica nos brinda y por tanto, su contribución al diseño, planificación e implementación de intervenciones, desde nuestra propia realidad, necesidades y demandas. Reversar esta situación implica la instauración de una cultura investigativa permanente sobre la práctica de la promoción de la salud y la salud pública, al igual que el establecimiento de estrategias y procesos para la documentación y sistematización de las experiencias, como componente de las intervenciones y de los procesos de construcción de capacidad local. Así mismo, la abogacía ha sido considerada una estrategia importante que puede contribuir a cerrar la brecha entre el conocimiento y la acción. Klaudt citado por WHO (2006) argumenta que es frecuente que el conocimiento correcto llegue a las personas, pero ellas no son capaces de convertirlo en acción debido a presiones, inercias tanto en la sociedad, como en las instituciones, pares y familias. El autor distingue entre abogacía y comunicación científica y refiere que la abogacía está orientada a crear presión y responsabilidad política con el fin de atraer recursos, influenciar agendas políticas y remover barreras socioculturales. Si bien existe conciencia y motivación para hacer abogacía, son escasos los investigadores con capacidad suficiente para hacerlo y tampoco se muestran esfuerzos por trabajar en colaboración con especialistas en el tema. 230 Ligia de Salazar Un estudio de caso sobre uso de evidencias en la formulación de políticas (Lavis, Moynihan, Oxman y Paulsen, 2008) muestra algunas fortalezas y limitantes señaladas en forma reiterativa por los participantes del mismo, para incrementar el uso de la investigación en la formulación de políticas. Entre las fortalezas se menciona la existencia de un enfoque organizacional para la formulación de políticas, basado en evidencias, el cual, al mismo tiempo, fue reconocido como dispendioso, y la existencia de una relación estrecha entre investigadores y formuladores de política, la cual podría ser influenciada por conflictos de interés entre estos dos actores. En cuanto a las dos principales debilidades mencionadas están la falta de recursos y la presencia de conflictos de interés. El estudio señala que los participantes identificaron algunas acciones para reducir los anteriores desafíos. Por ejemplo, frente a la restricción del tiempo para obtener evidencias, se consideró que podría sortearse con el establecimiento de procesos más eficientes de producción de información y evidencias, que sean transparentes y rápidos. Por otro lado, el conflicto de intereses entre los investigadores y los formuladores de políticas podría ser controlado involucrando a todos los stakeholders dentro de las organizaciones y haciendo el proceso de interacción transparente desde el principio, al igual que el logro de un compromiso fuerte. Finalmente, se sugiere que la vinculación de redes y agencias internacionales podría jugar un importante papel en movilizar apoyos, recursos financieros y la articulación de investigadores y formuladores de políticas, al facilitar la participación entre países; creación de acceso en línea a revistas, sin costo para países en desarrollo; proveer entrenamiento sobre el tema y hacer un llamado para desarrollar un entendimiento más sofisticado sobre causalidad e inequidades sociales. Lindblon (1980) sostiene que la política se desarrolla a través de evolución más que por revolución; por tanto, es sabio que los formuladores de políticas hagan cambios incrementales para reducir incertidumbre y 231 Efectividad en Promoción de la Salud y Salud Pública evitar errores. La pregunta a contestarnos es ¿qué tanto la información y las evidencias que producimos y los mecanismos que utilizamos para trasmitirlas son los apropiados para acompañar este proceso de aproximaciones sucesivas al cambio? El autor hace la distinción entre la evaluación y el proceso de valoración y apreciación que se da a los resultados de ésta, por parte de los tomadores de decisión. A la primera se refiere como el proceso científico para recoger y sintetizar información sobre aspectos relevantes de la intervención, mientras que frente al segundo aspecto, se refiere como el proceso político de tomar una decisión acerca de la intervención, teniendo en cuenta la información de la evaluación, al igual que los valores y otros factores (Stevens y Milne, citados por Velasco, et al., 2008). Con ello se relieva la diferencia, pero también la estrecha articulación entre los procesos de evaluación y formulación de políticas. Para hacer efectiva la articulación entre los dos procesos se debe tener en cuenta que aunque sea probable que las presiones y amenazas de los tomadores de decisión son similares en países con condiciones socioeconómicas comparables, los ambientes donde se toman las decisiones son sensibles al contexto, por tanto, cambiantes. Como producto del análisis de los casos en el estudio de Lavis et al. (2008) se proponen algunas recomendaciones adicionales en relación con el papel de las instituciones que promueven este objetivo: la necesidad de establecer una estructura única para la evaluación de impacto de organizaciones que están promoviendo el uso de investigaciones en la formulación de políticas, con el fin de promover un aprendizaje entre las diferentes jurisdicciones; por otro lado, la necesidad de investigar sobre métodos y estructuras organizacionales para responder en forma oportuna a necesidades de tomadores de decisión y de realizar investigación acerca de las necesidades de éstos, y por último, la necesidad de tener independencia y manejo de conflictos de interés. 232 Ligia de Salazar Principales brechas entre teoría, diseño, implementación y evaluación de las iniciativas en promoción de la salud y salud pública en América Latina Variables de análisis Síntesis de los hallazgos Los problemas son definidos atendiendo a causas proximales de los mismos; las causas estructurales son desconocidas, o no visualizadas; y en los pocos casos en que se mencionan, lo hacen de forma superficial. De igual forma, se dejan por fuera de la definición del problema y, por tanto, de las intervenciones, temas relacionados con los principios orientadores de la promoción de la salud y el abordaje intersectorial, Definición de político y técnico de las situaciones, asociados con el equilibrio en las la situación estructuras de poder, procesos de empoderamiento y desarrollo local y o problema comunitario, o programas que potencien la acción de varios sectores del que aborda la desarrollo. Estas pueden ser, entre otras, las razones por las que estos intervención temas están ausentes en la planificación y operación de la intervención o no sean abordados con la profundidad que merecen. Igualmente, se dificulta la identificación de indicadores que permitan valorar y comprender los avances y resultados. En la mayoría de las propuestas no se observa utilización del marco lógico, ni evidencias sobre asociaciones causales plausibles, a fin de fundamentar el diseño de la intervención. De allí que se dejen por fuera acciones concretas para influenciar o cambiar aspectos centrales de las intervenciones, tales como: políticas públicas que promuevan el cumplimiento de los principios de equidad, derecho a la salud y justicia social. El tema de determinantes sociales de la salud no se incluye en los planes de acción y son tímidas las intervenciones y estrategias planteadas en torno a la creación de capacidad y empoderamiento para tomar decisiones en salud. Se desconoce en la práctica la importancia de concebir la salud como un asunto político. La mayoría de las experiencias reportadas son comunitarias, con repercusiones en el ámbito individual y familiar. La construcción de capacidad se queda a nivel individual y en pocos casos a nivel de grupos específicos relacionados con estructuras Tipo, alcance comunitarias. Ninguna fue en el ámbito nacional. y diseño de Se conciben las intervenciones dentro de las estructuras vigentes en las intervenel territorio a nivel local. Para la formulación de la intervención no se ciones tiene en cuenta la viabilidad de alcanzar los objetivos según las características de estas estructuras. Pareciera que no había necesidad o intención de cambiarlas, bien sea por mantener el statu quo, o responder a la normatividad vigente, la cual, en ocasiones, es contraria a los propósitos de la promoción de la salud. Tampoco se hizo referencia a estrategias concretas para contribuir a la sostenibilidad de las intervenciones. Las estrategias y acciones propuestas son de tipo colaborativo, coyuntural, voluntarias, a corto plazo y con poco respaldo legal y financiero, lo que interfiere en su continuidad. Las propuestas no están respaldadas por políticas de Estado y no responden a enfoques integrales para concebir y construir poblaciones saludables. El empoderamiento de individuos y grupos se limita a la realización de actividades y programas educativos relacionados con estilos de vida. 233 Efectividad en Promoción de la Salud y Salud Pública Variables de análisis Síntesis de los hallazgos Se observa que no existe un conocimiento amplio del contexto en el cual operan las intervenciones, aunque en muchos casos sí se mencionan las estrategias y actividades de las intervenciones, para lograr sus objetivos. Proceso de implementación de la intervención Los procesos de implementación son raramente documentados y cuando se hace, es de manera desordenada y fragmentada. No se diseñan y aplican herramientas para el monitoreo y evaluación del proceso de implementación, por tanto existen pocos insumos para identificar, comprender y aprender sobre los procesos de cambio. La mayoría de las intervenciones no reconocen la manera como las variables se interrelacionan, ni los modelos operativos sobre los que se sustentan. Se requieren mayores habilidades para implementar apropiadamente las intervenciones, de tal manera que puedan lograr diferencias sustanciales. Si bien hay que reconocer que existe una motivación creciente por incursionar en la práctica de la evaluación, actualmente ésta es muy escasa, probablemente como resultado de nuestro desconocimiento sobre sus contribuciones al mejoramiento de nuestra práctica y para guiar procesos de cambio. Así mismo, lo anterior puede estar unido a nuestra incapacidad para mostrar resultados confiables, relevantes y oportunos que motiven a los principales usuarios de la información a apoyar la práctica. La falta de recursos, tiempo y apoyo institucional, ha sido mencionada en reiteradas oportunidades como causa importante de no realizar evaluación de las intervenciones. No se contrasta la propuesta teórica con los resultados de la práctica, ni los supuestos de la iniciativa, con los hallazgos. Este hecho es entendible porque la fundamentación de la intervención al igual que las acciones para lograr los cambios es inexistente o confusa; por tanto, es difícil establecer asociaciones entre resultados e intervención. Efectividad y factores asociados La evaluación ha respondido más a intereses académicos que a una necesidad sentida por aquellos responsables de tomar las decisiones, gerenciar los programas y asignar recursos. Es precaria la cultura de la documentación de procesos de cambio e implementación de la intervención. En las pocas evaluaciones reportadas los esfuerzos se han centrado en analizar el porcentaje de cumplimiento de lo programado. De allí que la mayoría de las preguntas de evaluación reflejan el interés por valorar el desempeño de la intervención y el poco interés por confrontar los supuestos e hipótesis que fundamentaron la intervención y su implementación, los cuales son insumos importantes para fortalecer la teoría y orientar los procesos de cambio. Se dejan de lado elementos sustanciales de la dinámica propia de la intervención. Enfoques metodológicos de evaluación: Los enfoques positivistas representados por estudios descriptivos orientados a identificar cambios individuales son los más empleados. Los enfoques constructivistas se tuvieron en cuenta muy poco, y la investigación cualitativa rigurosa está casi ausente debido, entre otros aspectos, a una limitada capacidad y competencia para utilizarla. 234 Ligia de Salazar Variables de análisis Efectividad y factores asociados Síntesis de los hallazgos Los referentes para valorar la efectividad de las intervenciones fueron demasiado ambiciosos, en relación con lo que se planificó y ejecutó. En varias experiencias puede afirmarse que se evaluó lo que no se había realizado, trayendo como consecuencia directa la descalificación prematura de iniciativas, cuando lo que no funcionó fue la implementación por las razones mencionadas anteriormente. Los métodos y técnicas más utilizados han sido: las entrevistas semiestructuradas; las encuestas producto de la vigilancia en salud pública, completada con información de otras fuentes o sistemas de información vigentes; los grupos focales y las entrevistas en profundidad. La cultura de evaluación es incipiente, como lo es el uso de los resultados para reorientar los programas, profundizar sobre la teoría que fundamenta las intervenciones, a fin de diseñarlas y operarlas según las condiciones específicas de cada lugar. Uso de la información Las interacciones entre evaluadores y tomadores de decisión son esporádicas o inexistentes. No se cuenta con información suficiente sobre el proceso de implementación de la intervención, por tanto, no se dispone de insumos apropiados para ajustar la intervención como respuesta a nuevos escenarios o el surgimiento de factores no contemplados al inicio. Hay debilidad en los conocimientos, habilidades y prácticas para producir y usar información y evidencias, para caracterizar los problemas, definir estrategias y programas para hacerles frente, e identificar y valorar las condiciones y factores externos y del contexto que incrementan las probabilidades de éxito. 235 Efectividad en Promoción de la Salud y Salud Pública 3. Comentarios generales ¡Hacemos lo que podemos, no lo que debemos! Es de especial interés finalizar este capítulo de análisis y reflexión con la misma intención que lo motivó: el responder a las preguntas ¿hacemos lo que debemos o lo que podemos?, y ¿sí estamos realmente haciendo promoción de la salud en América Latina? Una primera respuesta, como puede observarse, es que frente a la evaluación de efectividad en promoción de la salud y salud pública Frente a la evaluación de efectividad en promoción de la salud y salud pública estamos haciendo lo que podemos, no lo que debemos, lo cual es explicable y esperado, pero no aceptado, aun ante la presencia de sistemas políticos, estructuras sociales y legislación que contradice y, más aún, entra en conflicto con la filosofía y los principios éticos que subyacen a las intervenciones en promoción de la salud y salud pública. Nada justifica la inacción. estamos haciendo lo que podemos, lo cual es explicable y esperado, aunque no aceptado, aun cuando enfrentemos sistemas políticos, estructuras sociales y legislación que contradicen, y más aún, entran en conflicto con la filosofía y los principios éticos que subyacen a las intervenciones en promoción de la salud y salud pública. La inacción no es justificable cuando se trata de defender causas sociales, éticamente inaplazables y resolutivamente manejables; otra cosa es que no podamos alcanzar los resultados deseados en corto tiempo. Por resultados nos referimos no sólo al logro de los objetivos 236 Ligia de Salazar finales de la intervención, sino también a la evolución positiva de un proceso de cambio. Las intervenciones han de centrarse en dotar de autonomía al individuo, a las comunidades y a los países que en la actualidad no gozan de condiciones favorables de salud. Los conocimientos y los medios necesarios para que se produzca el cambio existen. Por tanto, la inacción será juzgada en las décadas venideras como una negativa a asumir una responsabilidad que nos incumbe a todos, la cual podrá tener consecuencias imprevisibles, (WHO, 2006). Con base en lo anterior, también puede decirse que la promoción de la salud en América Latina está en peligro de convertirse en una sana intención con pocas posibilidades de éxito, si no se crean estrategias y mecanismos concretos y efectivos para influenciar los factores estructurales que impiden o limitan su implementación y resultados. Sin embargo, con base en lo aquí expuesto, queda a juicio del lector responderse si realmente estamos haciendo promoción de la salud en nuestra región. Lo que podemos afirmar es que tenemos un largo camino por recorrer para reducir las brechas entre la teoría y la práctica. Ante esto, más que ser pesimistas frente a nuestra realidad, lo que se pretende es llamar la atención sobre las estructuras y condiciones que debemos promover y crear para La construcción de capacidad está estrechamente ligada y depende de amplios procesos políticos y de modernización. Por tanto, para valorarla, se requiere que la efectividad no sea sólo juzgada por los resultados finales en cuanto a cumplimiento de objetivos, sino también por el proceso mismo y los resultados intermedios de éste. hacer de la promoción de la salud y de la salud pública, verdaderos y efectivos medios para producir y mantener la salud de la población y de los grupos específicos que la componen. Como puede apreciarse, existe una amplia brecha entre la teoría y la práctica de la promoción de la salud y la salud pública, la cual es 237 Efectividad en Promoción de la Salud y Salud Pública necesario abordar a través de la comprensión de las causas de las problemáticas en salud, apoyándose en la teoría de la complejidad y en la investigación operativa para encontrar soluciones a las limitantes de la implementación y facilitar el logro de objetivos. Así mismo, a través de mecanismos de gestión local y nacional, que brinden insumos para fortalecer el proceso de implementación y la creación de estructuras de soporte. Construcción de capacidad, según Gómez (1998), es el proceso por el cual las habilidades de la sociedad para identificar y resolver sus problemas, son desarrolladas. El autor asume una perspectiva constructivista y subraya que la construcción de capacidad está estrechamente ligada y depende de amplios procesos políticos y de modernización. Por tanto, para valorar la creación de capacidad, en este caso, se requiere que la efectividad no sea sólo juzgada por los resultados finales en cuanto a cumplimiento de objetivos, sino también por los resultados intermedios del proceso. Igualmente, se debe reconocer que la capacidad no es únicamente individual, sino que es relativa en cuanto a individuos, poblaciones y estructuras en donde diseñamos y practicamos la salud colectiva. Este aspecto está relacionado con la disponibilidad y calidad de los sistemas de información, los cuales fallan no sólo en suministrar información de calidad sino que dicen mucho sobre el problema, pero muy poco sobre las soluciones. El otro aspecto que llama la atención es que cuando se habla de creación de capacidad se da una mirada preferencial a los recursos humanos en salud o a los usuarios y beneficiarios de las políticas y programas, pero poco o nada se hace para que estos puedan ejercer esta capacidad en las estructuras de poder. Es necesario reflexionar sobre esto y crear mecanismos para el ejercicio del poder. De igual forma, podría ser contradictorio que cuando se trata de capacitar y sensibilizar sobre la 238 Ligia de Salazar necesidad de enfocar esfuerzos para mejorar las condiciones de salud, se consideren los dos actores señalados anteriormente, pero al mismo tiempo las agencias de cooperación internacional y en su mayoría las ONG, financian sólo a instituciones gubernamentales o centros de investigación y universidades, los cuales generalmente tienen limitada capacidad de acción para promover cambios. Para finalizar, a continuación se hace referencia a las áreas prioritarias para llenar los vacíos encontrados tanto en el diseño, como en la implementación y evaluación de intervenciones como las descritas. Según las lecciones aprendidas durante los últimos veinte años de interactuar y ser parte de esfuerzos a nivel local, nacional e internacional, para construir y mantener la salud en la población, se ha observado la necesidad de crear capacidad en temas que podrían converger en intervenciones y procesos para cerrar las diferentes brechas descritas: • Aplicar perspectivas más amplias y holísticas para definir salud, así como enfoques y estrategias innovadoras para crearla, mantenerla y conservarla. En los casos en que el objetivo de la intervención esté orientado a resolver un problema de salud, ya sea individual o colectivo, hacer explicito cómo a través del abordaje a este problema particular, se influirá en aspectos estructurales relacionados con la salud poblacional. Un abordaje desde las políticas públicas, la legislación y los recursos es condición fundamental no sólo para dar sostenibilidad a la intervención, sino para influenciar positivamente otros factores relacionados con la salud, entre ellos, el logro de la equidad e igualdad de oportunidades para acceder a servicios o la disponibilidad de legislación y políticas regulatorias que promuevan el mejoramiento de las condiciones de vida y bienestar. • Incentivar y promover la formulación de políticas públicas y planes estratégicos que soporten la articulación entre teoría y práctica y que faciliten el trabajo intersectorial, dentro de iniciativas que promuevan cambios estructurales asociados a la equidad, condiciones 239 Efectividad en Promoción de la Salud y Salud Pública de vida y salud de las poblaciones. De esta forma, la articulación de las políticas y programas a los planes de desarrollo territorial, con la identificación de responsables con poder de convocatoria y liderazgo para hacerlos realidad, no es sólo una necesidad sino un requisito para lograr los resultados deseados. • Capacidad y competencias en actores claves para valorar la relevancia, viabilidad y factibilidad de utilizar y adaptar modelos, estrategias y diseñar abordajes más integrales y realistas. En este mismo sentido, analizar y reflexionar sobre las condiciones y cambios necesarios para cumplir con los principios y valores que impulsa la promoción de la salud y la salud pública, dentro de fenómenos amenazadores como la migración, la crisis financiera, el cambio climático, la globalización, la urbanización, el empobrecimiento continuo, las reformas a los sistemas de seguridad social, las guerras y la violencia. • Diseñar y aplicar estructuras analíticas para integrar datos sobre el proceso y resultados en una forma lógica y con significado, de manera que puedan elaborarse afirmaciones claras acerca de cómo y por qué se han dado los cambios en los programas. Lo anterior demanda insumos para valorar la efectividad y ventajas comparativas de aplicar enfoques integrales de salud colectiva en sistemas complejos, a fin de hacer abogacía permanente, para que los decisores a diferentes niveles comprendan y acepten el porqué es no sólo importante sino necesario trabajar articuladamente con otros sectores. Igualmente, es necesario trabajar en un marco lógico, soportado en evidencias científicas y experiencias prácticas –práctica basada en la evidencia y evidencia basada en la práctica– para acompañarlos con planes operativos que tengan apoyo financiero y técnico estable. Las evidencias de efectividad de estas intervenciones son importantes, pero igual de importante es la evidencia sobre el desempeño 240 Ligia de Salazar y resultados intermedios producto de su implementación, al igual que la relevancia de los procesos de implementación en relación con los escenarios en donde estos se operan. Las evidencias de impacto y efectividad deben ser alusivas a los individuos, comunidades, estructuras, sistemas, determinantes sociales y políticas, entre otros. • Capacidad para trabajar en abordajes metodológicos para responder a los desafíos para identificar evidencias sobre el impacto y efectividad de intervenciones intersectoriales y de los modelos de salud poblacional que incorporen los principios señalados. Iniciativas sobre construcción de capacidad relacionadas con los asuntos anteriores, podrían desarrollar un papel clave para cerrar brechas, siempre y cuando su ámbito de acción no se reduzca a actividades formativas desarticuladas o sin respaldo político e institucional, sino que, por el contrario, motiven una investigación y una práctica interdisciplinaria, transdisciplinaria e intersectorial, para el abordaje de temas relacionados con la salud de la población, en donde el gobierno, la sociedad civil, el sector privado y la academia, sean actores y no sólo espectadores del proceso de cambio, y donde el estudio permanente de la práctica a la luz del contexto y realidades específicas de cada territorio, se conviertan en los insumos centrales y en la ruta crítica hacia el cumplimiento de los propósitos y objetivos establecidos. A pesar de las limitaciones señaladas no hay duda de que existe un gran potencial y motivación en la región para actuar en pro de los propósitos establecidos, incorporando diferentes niveles, estructuras y órganos de poder, al igual que actores claves como la comunidad organizada, las asociaciones profesionales, las instituciones educativas, los proveedores de servicios en instituciones públicas y privadas, entre otros. El camino ya empezó, ahora es la oportunidad de hacer conciencia sobre las limitaciones existentes, como también sobre los recursos disponibles o por conseguir, para continuarlo y fortalecerlo. 241 Efectividad en Promoción de la Salud y Salud Pública Bibliografía Bambra, C., Fox, D. & Scott-Samuel, A. (2005), “Towards a politics of health”, en Health Promotion International, vol. 20, núm. 2, pp. 187-193. Barry, M., Patel, V., Jané-Llopis, E., Raeburn, J. & Mittelmark, M. (2007), “Strengthening the evidence base for mental health promotion”, en D.V. McQueen & C. M. Jones (edits.), Global Perspectives on Health Promotion Effectiveness. New York, Springer. Barry, M. (2007), “Researching the implementation of community mental health promotion programmes”, en Health Promotion Journal of Australia, vol.18, pp.240-246. Chen, H. T. (1990), Theory-driven evaluations. Newbury, Park: Sage. Chen, H. T. (1998), “Theory-driven evaluations”, en H. Walberg (edit.), Advances in Educational Productivity. Greenwich, Connecticut: JAE Press, pp. 15-34. Crew, E. & Young, J. (2002), Bridging research and policy: context, evidence and links. London, Overseas Development Institute, Working Paper. Dane, A. & Schneider, B. (1998), “Program integrity in primary and early secondary prevention: Are implementation effects out of control?”, en Clinical Psychology Review, vol.18, núm.1, pp. 23-45. De Salazar, L., Vélez, J.A. & Ortiz, Y. (2003), Estado del arte de evidencias de efectividad en promoción de la salud en América Latina. Proyecto Regional Latinoamericano de Evidencias de Efectividad en Promoción de la Salud. UIPES. Santiago de Cali, Colombia. De Salazar, L. (2004), Evaluación de efectividad en promoción de la salud. Guía de evaluación rápida. Cali, Colombia, cedetes – Universidad del Valle. De Salazar, L. (2004a), “Promoción de la salud y evidencias de su efectividad: Un reto metodológico y político”, en H. Arroyo (edit.), Promoción de la Salud en América Latina: Modelos, Estructuras y Visión Crítica. Puerto Rico, Consorcio Interamericano de Universidades y Centros de Formación en Promoción de la Salud – UIPES. 242 Ligia de Salazar Domitrovich, C. & Greenberg, M. (2000), “The study of implementation: Current findings from effective programs that prevent mental disorders in school-aged children”, en Journal of Educational and Psychological Consultation, vol. 11, núm. 2, pp. 193-221. Durlak, J.A. (1998), “Why program implementation is important”, en Journal of Prevention and Intervention in the Community, vol. 17, núm. 2, pp. 5-18. Gómez, R. (1998, octubre), “Social constructivism and capacity building for environmental governance”, en International Planning Studies, vol. 3, núm. 3, pp. 367 - 389 Grimshaw, J.M., Thomas, R.E., Mac Lennan, G., Fraser, C., Ramsay, C.R., Vale, R. et al. (2004), “Effectiveness and efficiency of guideline dissemination and implementation strategies”, en Health Technology Assessment, Winchester, England, vol.8 (6):iii-iv, pp. 1-72. Jong-wook, Lee (2004), “World report on knowledge for better health”, en Research Policy. World Health Organization, [en línea], disponible en: http://www.who.int/rpc/meetings/wr2004/en/index.html, recuperado: 3 de septiembre de 2009. Lavis, J., Moynihan, R., Oxman, A. & Paulsen, E. (2008), “Evidenceinformed health policy 4 – Case descriptions of organizations that support the use of research evidence”, en Implementation Science, vol. 3, núm. 56, [en línea], disponible en: http://www.implementationscience.com/content/3/1/56, recuperado: 3 de septiembre de 2009. Lindblon, Ch. (1980), The policy-making process. Englewood Cliffs, N.J., Prentice Hall. Mahoney M., Simpson S., Harris E., Aldrich R., Stewart Williams J. (2004), Equity focused health impact assessment framework. The Australasian Collaboration for Health Equity Impact Assessment (ACHEIA). Marmot, M. (2000, febrero-marzo), “Do inequalities matter?”, en Boston Review Magazine, [en línea], disponible en: http://www.boston243 Efectividad en Promoción de la Salud y Salud Pública review.net/BR25.1/marmot.html, recuperado: 2 de septiembre de 2009. Marmot, M. (2008, 1 de diciembre), entrevistado por Matting, T.,Suiza, [en línea], disponible en: http://www.gesundheitsfoerderung. ch/pdf_doc_xls/d/gesundheitsfoerderung_und_praeventition/ allgemeines/Ges_konferenz/Interview-Dr-Mattig-with-Sir-MichaelMarmot-1-Dec-2008.pdf, recuperado: 3 de septiembre de 2009. Mihalic, S., Fagan, A., Irwin, K., Ballard, D., & Elliott, D. (2002), Blueprints for violence prevention replications: Factors for implementation success. Boulder: Center for the Study of Prevention of Violence, Institute of Behavioral Science, University of Colorado. Organización Mundial de la Salud (OMS) (2008). Subsanar las desigualdades en una generación. Alcanzar la equidad sanitaria actuando sobre los determinantes sociales de la salud. Ginebra, Suiza. OMS. Organización Panamericana de la Salud (OPS) (2008). Identificación de ofertas de formación y sondeo de competencias para la promoción de la salud en América Latina. Reporte, OPS, Unidad de Entornos y Comunidades Saludables, con el apoyo de fundesalud, Colombia. OPS/OMS (2005), “Guía de evaluación participativa para municipios y comunidades saludables”, [en línea], disponible en: http://www. bvsde.paho.org/bvsdemu/fulltext/guiaeval/guiaeval.html, recuperado: 13 de junio de 2008. Pan American Health Organization (PAHO), (2007), Guide to economic evaluation in health promotion. Washington, Pan American Health Organization. Pellegrini, A. (2000), Ciencia en pro de la salud. Notas sobre la organización de la actividad científica para el desarrollo de la salud en América Latina y el Caribe. Washington, D.C.,Organización Panamericana de la Salud. Velasco, M., Børlum, F., Palmhøj, C. & Busse, R. (2008), Health technology assessment and health policy-making in Europe. Current 244 Ligia de Salazar status, challenges and potential. World Health Organization, Observatory Studies Series No 14. World Health Organization [WHO], (2006, octubre), Bridging the “know– do” gap. Meeting on knowledge translation in global health, Geneva, Switzerland, World Health Organization. 245 Efectividad en Promoción de la Salud y Salud Pública Comité científico del Curso Virtual Latinoamericano de Evaluación, reunido en Ecuador El Comité Científico del Curso Virtual Latinoamericano de Evaluación de Efectividad en Promoción de la Salud realizó la revisión y ajuste de la propuesta preliminar del mismo, presentada por cedetes y la ONG colombiana fundesalud. Participaron: Universidad San Francisco de Quito - Ecuador; Centro Latinoamericano de Economía Humana CLAEH - Uruguay; Universidad de Sao Paulo - Brasil; Ministerio de Salud de Chile; Programa de Ciencias Sociales y Salud de la Federación Latinoamericana de Ciencias Sociales, FLACSO, Argentina; centro cedetes, Universidad del Valle - Colombia; Consorcio Interamericano de Universidades y Centros Formadores en Promoción de la Salud - Sede en Puerto Rico, y la Organización Panamericana de la Salud, OPS. Foto cortesía archivo CEDETES, Universidad del Valle, Colombia. 246 Consultas en América • Argentina • Bolivia • Brasil • Chile • Colombia • Costa Rica • Cuba • Ecuador • El Salvador • Estados Unidos • Guatemala • Honduras • México • Nicaragua • Panamá • Paraguay • Perú • Puerto Rico • República Dominicana • Uruguay • Venezuela 4 24 3 6 2 1 2 7 76 27 6 242 3 4 67 8 1 1 1 3 44 1 1 Consultas en Europa • España • Francia • Italia • Portugal 16 • Evaluación de intervenciones en promoción de la salud. • Interés académico: desarrollo de cursos, diplomados; realización de trabajos de grado en pregrado y posgrado. • Conocimiento de métodos de evaluación en promoción de la salud. • Investigación: recopilación bibliográfica del tema; desarrollo de metodologías. • Actualización y elaboración de otros materiales a partir de éste. • Consolidación de actividades de evaluación en diferentes instituciones. Algunos usos de la Guía: Total consultas 552 2 Consultas realizadas desde diferentes países entre 2005 y 2009 Guía de Evaluación Rápida de Efectividad Capítulo V Contribuciones especiales Ligia de Salazar Presentación El análisis de la práctica de la promoción salud y la salud pública en América Latina, presentado en el capítulo anterior, reflejó no solo las fortalezas, debilidades y oportunidades de nuestra región en relación con los desarrollos teóricos, conceptuales y metodológicos de estos campos en nuestros países, sino que también proporcionó información relevante para avanzar en el esfuerzo de consolidar dicha práctica y seguir construyendo capacidad regional en evaluación. Entre los hallazgos sintetizados anteriormente es fundamental resaltar dos aspectos que fueron poco abordados en el diseño, implementación y evaluación de las experiencias y casos analizados, y que, con no pocas razones, se consideran cruciales para el avance y éxito de las iniciativas de evaluación en marcha o en planificación en la región. Se trata del proceso de formulación o reconstrucción del marco lógico de las intervenciones y del desarrollo planificado y estratégico de procesos de comunicación que contribuyan a articular evidencias y toma de decisiones. Tanto la comprensión precisa de la intervención que se implementa, como una adecuada comunicación y abogacía que contribuya a fortalecer y expandir los resultados, se consideran sustanciales en cualquier intento por promover cambios sociales. Por un lado, mediante la reconstrucción del marco lógico se mostrarán resultados intermedios de las iniciativas, interesantes y útiles para tomadores de decisión, sin esperar a finalizar las intervenciones, las cuales, dada la naturaleza de la promoción de la salud y la salud pública, 251 Efectividad en Promoción de la Salud y Salud Pública generalmente toman tiempos muy extensos o al menos más largos que los periodos administrativos y políticos. Por otro lado, la implementación de estrategias de comunicación, con una intencionalidad clara de acercar el conocimiento en promoción de la salud y salud pública, a la práctica y la acción en políticas, se constituye en un componente esencial en la evaluación de intervenciones y en el fortalecimiento de acciones que conlleven que los resultados sean tenidos en cuenta e influencien la toma de decisiones en diferentes niveles y etapas de desarrollo de los procesos. Considerando lo anterior, a continuación se presentan dos contribuciones especiales frente a estos temas, abordados por profesionales con experiencia en el campo, quienes introducen y reflexionan sobre la contribución del marco lógico y de la comunicación a los procesos evaluativos. Si bien, como se ha indicado antes en este libro, la intención de la publicación no es proporcionar guías o manuales, con el ánimo de contribuir a que estos aspectos puedan incorporarse efectivamente a las iniciativas de evaluación en marcha y a la formulación de programas en nuestros países, se ha solicitado a los autores de las contribuciones presentar algunas herramientas o propuestas metodológicas concretas en cada uno de los temas que abordan. Es también pertinente manifestar que la perspectiva de los autores ha sido compartir parte de su experiencia y puntos de vista frente a estas temáticas, así como plantear algunas propuestas para su operación, las cuales pueden –y deberían– estar sujetas a modificaciones, para enriquecerlas y ajustarlas a situaciones y características particulares de cada intervención, en el contexto de cada país, y acorde con la presencia de supuestos que subyacen a las propuestas o bajo los cuales estas se justifican. 252 Ligia de Salazar El marco lógico en intervenciones en promoción de la salud y salud pública Jorge Alberto Saravia Valverde Introducción La necesidad de reconocer, medir y valorar los cambios que se suscitan en la población, como resultado de intervenciones que están buscando cambios en la condiciones de salud, ha sido reconocida y, más aún, demandada por parte de agencias financiadoras, tomadores de decisión y promotores de estas intervenciones. Para responder a esta demanda se requiere desarrollar y aplicar modelos teóricos y enfoques metodológicos que produzcan información confiable y relevante según las preguntas de investigación o evaluación que se pretenda responder. Estos enfoques metodológicos deben emplear instrumentos prácticos, confiables y sencillos de usar, y deben estar articulados a la gerencia de los proyectos o intervenciones y garantizar la calidad de la información de los procesos que se suceden, y que requieren de evaluación y control. La metodología del Marco Lógico, ML, es una de ellas. Acompañada de elementos que permiten sistemáticamente clasificar en orden de importancia los problemas que generan las preguntas de evaluación, ayuda a que las intervenciones puedan ser llevadas a cabo con parámetros efectivos de control, de tal forma que puedan ser evaluables en el tiempo de ejecución. La metodología de Marco Lógico es un instrumento gerencial 253 Efectividad en Promoción de la Salud y Salud Pública que permite el ordenamiento claro y lógico de los planteamientos de resolución de los problemas que ha determinado el análisis de las preguntas de evaluación, o sea de lo que se va a evaluar. Un desafío que enfrenta la evaluación para demostrar el impacto de los programas o intervenciones es describir la manera por la cual la intervención alcanzó los resultados esperados. El Marco Lógico puede ser útil para ayudar a esta descripción y para demostrar cómo la intervención logró su impacto. Con esta descripción se facilita una mirada comprensiva de la intervención: qué es, a quiénes benefició o afectó y los resultados esperados que pueden ser fundamentales para la evaluación. También puede ayudar a definir los ejes de análisis o variables para la evaluación de impacto de las intervenciones. En síntesis, el Marco Lógico ayuda a definir la esfera de influencia de una intervención.1 El Marco Lógico El Marco Lógico es un método para la conceptualización, diseño, ejecución y evaluación de programas y proyectos. Se sustenta en dos principios básicos: el encadenamiento –vertical y horizontal– y la participación de los involucrados. Identificado un problema éste busca ser resuelto mediante un proceso racional –lógico– que encadene los distintos niveles de intervención –largo, mediano y corto plazo–, sus respectivas estrategias y tácticas e indicadores para medir claramente el logro de los objetivos que se planteen. Como se dijo anteriormente, la complejidad del escenario de las intervenciones en salud pública bajo la perspectiva de promoción de la 1. Valerie L. Williams | Elisa Eiseman Eric Landree | David M. Adamson. Demonstrating and communicating research impact. Preparing NIOSH Programs for External Review. RAND Corporation, 2009 254 Ligia de Salazar salud, obliga a la toma de decisiones participativas. En otras palabras, exceptuando situaciones especiales, sólo la participación de todos los involucrados permite un abordaje más integral del problema, una mayor comprensión de la intervención que se implementará o que se implementó y, por ende, mayores posibilidades de éxito. El Marco Lógico acepta las teorías de la complejidad y de sistemas en la administración. Parte de entender que los problemas esenciales nunca son fragmentos y los problemas globales son cada vez más esenciales, y que todos los problemas particulares no pueden plantearse y pensarse correctamente si no es en su contexto. La metodología o modelo de Marco Lógico está estructurado en tres etapas, que conforman un proceso dinámico, eslabonado y circular: • Diseño • Ejecución • Evaluación La etapa de diseño está compuesta por tres pasos claramente definidos: diagnóstico del problema –situación actual–, definición del proyecto –situación futura–, y elaboración de la Matriz de Marco Lógico –MML–. Ciclo del proyecto 255 Efectividad en Promoción de la Salud y Salud Pública Definición Diagnóstico del problema El proceso de diagnóstico se inicia con la identificación o detección de un problema crítico para el futuro desarrollo de la sociedad –en este caso de salud pública– o de la organización. Es un problema de tal magnitud que amerita concentrar esfuerzos y recursos en su resolución. La mejora de la competitividad de un sector económico, la calidad de la educación, la mejora de la salud materna de una población al riesgo, son ejemplos a nivel de país o región. Una importante renovación tecnológica, el cambio de la cultura organizacional, y el rediseño organizacional, son ejemplos de problemas de distintas magnitudes en una organización, que se detectarán de acuerdo con los mecanismos que en ella funcionan. Desde la identificación de ese problema que nos preocupa, comienza efectivamente el diseño del Marco Lógico. En el mundo de hoy existen dos conceptos muy utilizados que permiten con mucha eficiencia y efectividad, lograr la resolución de los problemas 256 Ligia de Salazar sociales. Ayudan a descongestionar la gestión de las actividades y de los recursos en las organizaciones, aportando mejores niveles de eficiencia y organización a la solución de los problemas que son centrales a la sociedad. Estos son los proyectos y los programas. Los proyectos son un aporte concreto, pero parcial, a la solución total. Es decir, que generalizando, se necesitarán varios proyectos para resolver un problema. Un programa está conformado por dos o más proyectos. Su función está en solucionar integralmente el problema –o al menos, en la mayor cobertura posible–. Los problemas muy complejos pueden necesitar dos o más programas, y cada uno de ellos conformado por sus respectivos proyectos. Comprobamos cómo funciona el enfoque sistémico. Se detecta y se estudia el problema en su globalidad. Se analizan las distintas causas y consecuencias del problema. Se encaran sus soluciones en un marco integral y en forma conjunta. En otras palabras, se estudia el todo, se analizan sus partes como integrantes de ese todo y se estructura un conjunto armónico de proyectos que, fusionados, permitirían acceder a una solución global. Esto se hace de forma sistemática siguiendo unos pasos que permiten la estructuración de las alternativas de resolución de los problemas que se analizan. El proceso se conoce como Planificación de Proyectos por Objetivos, que incluye los siguientes pasos: 1. Análisis de los involucrados (Diagnóstico del Problema) 2. Análisis de problemas 3. Análisis de objetivos 4. Análisis de alternativas 5. Formulación del proyecto Detectado el problema –lo denominamos el problema central– que hay que resolver, el paso siguiente es realizar un amplio análisis del mismo 257 Efectividad en Promoción de la Salud y Salud Pública en sus distintas dimensiones, precisando y especificando la situación actual con todas sus anomalías. Para ello se cuenta con dos herramientas: el análisis de los involucrados y el análisis de problemas. 1. Análisis de los involucrados El propósito fundamental de este análisis es determinar, a través del consenso, qué cambios son requeridos y factibles de realizar desde el punto de vista de los beneficiarios y desde los niveles de decisión. Se trabaja con los grupos directa o indirectamente involucrados con el problema a atacar, sean beneficiarios, afectados o tomadores de decisiones. a. Tipología de grupos Los involucrados deben ser tipificados con las variables más convenientes según el problema que se va a resolver. Por ejemplo: • Grupos de población (por localización, por nivel de ingresos, por etnia, por edad, etc.) • Organismos del sector público (centralizados y descentralizados, incluyendo empresas públicas) • Organismos del sector privado (cámaras, centros, empresas, etc.) • Organismos de la sociedad civil (ONG, fundaciones, sindicatos, otras sin fines de lucro) • Organizaciones religiosas (iglesias y otras organizaciones religiosas influyentes) • Grupos políticos • Organizaciones externas (otros países, ONG internacionales, organizaciones binacionales, etc.) • Organismos de seguimiento a objetivos especiales –ejemplo: derechos humanos, desplazamiento forzado, violencia intrafamiliar, etc. 258 Ligia de Salazar Se considerarán: - Sus intereses - Sus potencialidades - Sus limitaciones - Sus percepciones del problema - Sus recursos - Sus mandatos (el de los estatutos, cartas constitutivas o normativas) Deberá tenerse en cuenta tanto a los grupos que apoyan como a los que se oponen. Ambos grupos (activos y reactivos) deben considerarse e incluirse en el cuadro de involucrados que se detalla más adelante. Con la inclusión de todos los involucrados se espera lograr: • Una aproximación integral al problema. • Mayor objetividad en el diseño y la ejecución del proyecto, incorporando los diferentes puntos de vista. • Desarrollo del sentido de pertenencia al proyecto de cada involucrado. b. Técnicas utilizadas • Entrevistas • Grupos focales • Talleres c. Cuadro de involucrados Con los estudios realizados se confecciona un cuadro con características similares al siguiente: 259 Efectividad en Promoción de la Salud y Salud Pública Grupo Intereses Cómo perciben el problema Recursos y mandatos Cada grupo ocupará una fila con su identificación precisa y el detalle de sus intereses, de cómo perciben el problema, y de sus recursos y mandatos. Intereses: Son los relacionados directamente con el problema identificado. También, pueden ser posibles soluciones sugeridas por el grupo. Problemas percibidos: Son las condiciones negativas que percibe el grupo, en relación con el problema en análisis. Es decir, son las situaciones concretas que el grupo manifiesta de acuerdo con su percepción. Deben ser planteados de la manera más negativa posible y no deben constituir soluciones encubiertas. Recursos: Aportes precisos de cada grupo. Son de dos tipos: financieros y no financieros. Estos últimos pueden ser muy importantes: opinión pública, huelgas, influencias, etc. Una organización formal tiene ambos recursos: a) financieros, determinados en su presupuesto; b) no financieros, tales como recursos humanos, influencias, tecnología, contactos, etc. La población en general no tiene recursos financieros nuevos (salvo para atender tarifas de servicios), pero tiene mano de obra, influencia, grupos de presión, votación, etc. Mandato. Es la autoridad formal para proporcionar un servicio o cumplir una función. Está fijado en los documentos oficiales (estatutos, cartas orgánicas, leyes, etc.) de las organizaciones 2. Análisis de problemas Sobre los problemas concretos percibidos por los involucrados y expresados en la etapa anterior, se buscan las relaciones causales y por ende la jerarquización de esos problemas percibidos, en el marco del 260 Ligia de Salazar contexto y del problema central. La metodología aquí propuesta produce los siguientes beneficios: • Permite analizar la situación actual, en su contexto. • Logra identificar los problemas principales y sus relaciones causaefecto, alrededor del problema central determinado al comienzo del análisis. • Permite visualizar las relaciones causa-efecto del problema central identificado en un diagrama que se conoce como el Árbol de Problemas. La definición correcta de las relaciones causa-efecto y la jerarquización de los problemas percibidos permite mejorar el diseño del proyecto, su ejecución y su evaluación, a través de un modelo lógico, sobre el cual se basará la búsqueda de la solución parcial o total al problema central. Proceso para la elaboración del Árbol de Problemas El grupo que va a hacer el análisis debe de estar conformado por representantes de todos los actores, sin que su número llegue a ser inmanejable. Paso 1: Consiga un recinto adecuado que permita la facilitación del análisis y que disponga del apoyo tecnológico necesario. Paso 2: Escriba el problema central en la parte central de un pizarrón (o si tiene tarjetas, péguelas con cinta de enmascarar) o si tiene un computador, una pantalla de proyección y un videobeam, proyéctelo para que todos los participantes lo puedan ver. Paso 3: Identifique los problemas percibidos por los involucrados que son causas directas del problema central, y colóquelas debajo del mismo sin importar su orden de importancia. Hágalo por medio de una lluvia de ideas. 261 Efectividad en Promoción de la Salud y Salud Pública Paso 4: Luego, coloque otros problemas percibidos que son causa de los problemas mencionados en el Paso 2. Sea exhaustivo hasta que se llegue a los problemas “raíces”. Paso 5: Determine si algún problema percibido por los involucrados es efecto del problema central. Si así ocurriera, se debe poner por encima de éste. Paso 6: Organice las causas en un orden lógico de menos impactante a más impactante en líneas de causalidad que terminan en el problema central. Trace líneas de unión entre los problemas-causa, por tema relacionado (social, económico, administrativo, educativo, cultural, etc.) hasta tocar el problema central. Los problemas raíces quedarán inmediatamente debajo del problema central. Paso 7: Haga lo mismo para determinar los efectos que genera el problema central en la sociedad. Los problemas-efectos van también en orden ascendente y las líneas de causalidad van de menos impactantes, cerca al problema central, a impactos mayores en la parte superior. Paso 8: Organice un diagrama en forma de árbol en el que las raíces son las causas, el tronco el problema central y el follaje son los efectos que produce la presencia de ese problema central. A ese diagrama se le denomina el Árbol de Problemas (ver ejemplo). La utilización del ‘’encadenamiento’’ no significa que se obtendrá una sola cadena. Por el contrario, es muy posible que aparezcan varias de ellas, que originarán distintas líneas causa-efecto. Limitaciones La metodología descrita tiene dos limitaciones: • Las causas no tienen ponderación; hay que utilizar la lógica para determinar las líneas de causalidad. 262 Ligia de Salazar • Las causas pueden producir círculos –dos o más problemas son causa y efecto recíprocos– que complican el análisis. Menos común pero igualmente importante. Ejemplo de Árbol de Problemas Alto impacto ecológico Efecto Degradación de los Suelos Migración Alta erosión de los Suelos en Área de Ladera Problema Central Causa Rendimientos Decrecientes Cultivo de poca cobertura y/o lento desarrollo Facilidad de producción y alta demanda por cultivos clima medio Prácticas culturales tradicionales inadecuadas Definición del proyecto Poco uso de sistemas de control de erosión Falta de capacitación Ausencia de sistemas de control adaptables a la zona Explotación inadecuada de las tierras Falta de legislación en el uso de la tierra Desconocimiento de otros sistemas de producción Alto impacto ecológico Identificado el problema y descrita la situación actual, la etapa siguiente Evitar el deterioro Mantener la Disminuir la suelos cultivadas en la zona de ladera esFines definir o progresivo identificar que sedepretende. Es determinar productividad las tierras migración de lascuál zonas de los la solución es la situación futura deseada y la estrategia elegida para alcanzarla. En esta etapa también se cuenta dos herramientas: el análisis de Establecercon sistemas de producción para detener la erosión en la zona de ladera Objetivo objetivos y el análisis de alternativas. Introducir cultivos de Análisis de rápido objetivos crecimiento y Medios alta cobertura Incrementar el uso de sistemas de control de erosión Identificar sistemas de producción adecuados a la zona Conceptualmente es un proceso que consiste en la conversión de los Desarrollar Diseñar nuevos Identificar Capacitar al problemas percibidos en situaciones positivas o soluciones, Legislarcomo Hacerpaso conocer programas de sistemas de especies con las campesino para características requeridas que tengan demanda en el mercado adoptar nuevos cultivos capacitación sobre uso de sistemas de control de erosión 263 control adaptables a la zona sobre el uso adecuado de la tierra al agricultor otros sistemas de producción Efectividad en Promoción de la Salud y Salud Pública inicial para identificar la situación futura deseada. Estas situaciones se plantean como objetivos a lograr. situaciones negativas se convierten en situaciones positivas Se toma el esqueleto del Árbol de Problemas y se convierten sus situaciones negativas en su opuesto positivo. Ello permite la construcción de un árbol enteramente positivo denominado Árbol de Objetivos. Así hay una conversión de las líneas de causalidad a líneas de medios para lograr los fines propuestos. cadenas causa-efecto se convierten en cadenas medio-fin Utilidad La metodología sugerida provee los siguientes efectos: • Describe una situación que se espera después de resolver los problemas • Identifica las relaciones medio-fin entre objetivos (objetivos medios y objetivos fin) • Visualiza esas relaciones en un diagrama, denominado el Árbol de Objetivos Proceso para la construcción del Árbol de Objetivos Paso 1: Convierta el problema central, que es el de más alto nivel, en un objetivo que refleja su resolución. Paso 2: Convierta los problemas de los demás niveles a objetivos intermedios. Paso 3: Revise la lógica del diagrama, analizando las relaciones entre los objetivos intermedios a los objetivos fin. 264 Ligia de Salazar Paso 4: De ser necesario: a) reformule los objetivos, b) agregue nuevos objetivos intermedios y c) elimine los que no parecen necesarios o no sean realistas. Paso 5: Asegúrese que el encadenamiento medio-fin es claro y lógico, desde el objetivo más sencillo o inicial hasta el de mayor nivel considerado. Condición necesaria Posiblemente, en el encadenamiento haya objetivos que deben cumplirse pero que están fuera del alcance del proyecto, conformando una condicionalidad ‘’externa’’ al mismo. Estos objetivos se tratan como externalidades en el análisis. Análisis de alternativas El encadenamiento de objetivos (o los distintos encadenamientos) permite establecer la base para determinar las distintas estrategias alternativas que podrían contribuir al cambio de la situación actual a la situación futura deseada. Criterios de evaluación Esas estrategias deberán ser evaluadas a través de diversos criterios, que dependerán del problema a resolver. Los criterios más comunes para saber por dónde se comienza (con cual o cuales objetivos) son: • Financiero (¿la relación costo-beneficio es alta?) • Económico (¿tenemos los recursos?) • Socioeconómico (¿qué impacto se puede esperar?) • Ambiental (¿el impacto ambiental es alto o bajo?) • Viabilidad política (¿es aceptable para los gobiernos local/regional/ nacional?) 265 Efectividad en Promoción de la Salud y Salud Pública • Legal (¿es jurídicamente viable?) • Cultural (¿es culturalmente aceptable?) • Capacidades (¿puede el grupo llevarlo a cabo?) Alto impacto Cuadro de evaluación de alternativas ecológico La evaluación puede realizarse de una manera muy práctica utilizando Degradación Rendimientos de los un cuadro de evaluación como el que se detalla: Efecto Decrecientes Migración Suelos Problema Estrategia Central Estrategia 1 Estrategia 2 Causa Criterios Alta erosión de los Suelos en Área de Ladera Financiero Económico Socioeconómico Ambiental Cultivo de poca cobertura y/o lento desarrollo Poco uso de sistemas de control de erosión Viabilidad política Legal Explotación inadecuada de las tierras Estrategia 3 Facilidad de producción y alta demanda por cultivos clima medio Prácticas culturales tradicionales inadecuadas Falta de capacitación Ausencia de sistemas de control adaptables a la zona Falta de legislación en el uso de la tierra Desconocimiento de otros sistemas de producción Ejemplo de Árbol de Objetivos Alto impacto ecológico Fines Evitar el deterioro progresivo de los suelos Disminuir la migración de las zonas de ladera Establecer sistemas de producción para detener la erosión en la zona de ladera Objetivo Medios Mantener la productividad de las tierras cultivadas en la zona Introducir cultivos de rápido crecimiento y alta cobertura Identificar especies con las características requeridas que tengan demanda en el mercado Capacitar al campesino para adoptar nuevos cultivos Incrementar el uso de sistemas de control de erosión Desarrollar programas de capacitación sobre uso de sistemas de control de erosión 266 Diseñar nuevos sistemas de control adaptables a la zona Identificar sistemas de producción adecuados a la zona Legislar sobre el uso adecuado de la tierra Hacer conocer al agricultor otros sistemas de producción Ligia de Salazar Elección de la estrategia La decisión se adoptará considerando: • Los intereses de los beneficiarios del proyecto • Recursos financieros disponibles • Los resultados de los estudios financieros, económicos, socioeconómicos, etc. señalados en la evaluación. • Los intereses y mandatos de las entidades ejecutoras potenciales y demás involucrados directa o indirectamente. Proceso de análisis, alternativas y elección de la estrategia Paso 1: Con los criterios anteriores, identifique los diferentes conjuntos de objetivos (los diferentes encadenamientos) que podrían ser estrategias potenciales. Paso 2: No omita considerar las alternativas a la luz de: • Recursos disponibles • Fuentes de financiamiento • Viabilidad política • Intereses de beneficiarios, unidades ejecutoras y demás involucrados Paso 3: Realice los estudios pertinentes • Económico • Financiero • Socioeconómico • Otros Paso 4: Tome la decisión sobre una estrategia (o combinación de ellas) más apropiada para el proyecto El análisis de alternativas no es un proceso concreto sino un medio para obtener información que respalde la toma de decisiones más lógica y realista posible. 267 Efectividad en Promoción de la Salud y Salud Pública La matriz del Marco Lógico La matriz del Marco Lógico es una herramienta analítica, de presentación y de gerencia de gran ayuda para planificadores, investigadores y gerentes que tienen que ejecutar proyectos. Es el paso siguiente del proceso planificador. Es un instrumento metodológico, que permite operacionalizar los planes estratégicos de las instituciones y estructurar proyectos de cualquier naturaleza. Facilita la conceptualización, el diseño, la ejecución, el seguimiento y la evaluación del proyecto; la Matriz de Marco Lógico, MML, se utiliza en todas las etapas y puede ser modificada y mejorada a lo largo del diseño y la ejecución. Por ejemplo, en proyectos que serán financiados por el BID, la MML es elaborada inicialmente por el equipo del país y luego discutida y aprobada con la participación del prestatario, los consultores, el equipo de proyecto, la representación del BID y la entidad ejecutora. Utilidades • Da estructura al proceso de planificación. • Comunica la información esencial sobre el proyecto. • La expresión como matriz es un efectivo resumen ejecutivo. • Facilita alcanzar acuerdos entre actores claves, sobre aspectos críticos del programa/proyecto. Elaboración El Marco Lógico utiliza una matriz de cuatro por cuatro en las cuales se muestran todos los componentes de un proyecto. Cada una de las dieciséis celdas muestra un componente esencial del proyecto. Sus columnas, en orden, se denominan el Resumen Narrativo, Indicadores Objetivamente Verificables, los Medios de Verificación y Supuestos Im268 Ligia de Salazar portantes. Sus filas, se denominan el Fin u Objetivo General, el Objetivo del Proyecto (o efecto directo), los Resultados o Productos y las Actividades a ejecutar. La matriz a continuación muestra su distribución: Resumen narrativo Indicadores objetivamente verificables Medios de verificación Supuestos importantes Fin/Objetivo General Objetivo del Proyecto Resultados o Productos Actividades Diligenciamiento de la Matriz Los siguientes son los pasos a seguir para el desarrollo de un proyecto utilizando el Marco Lógico. El principio básico es ir de lo general a lo particular. O sea, se comienza con el resumen narrativo y algunos supuestos claves y después, se trata de establecer indicadores y metas para los objetivos planteados. 1. Defina el objetivo general. 2. Defina el objetivo del proyecto. 3. Defina los resultados o productos para lograr el objetivo del proyecto. 4. Defina los grupos de actividades para lograr esos resultados. 5. Verifique lógica vertical con la prueba “si-entonces”. 6. Defina las suposiciones requeridas para cada nivel. 7. Defina indicadores objetivamente verificables para el objetivo general, los resultados, y para el objetivo del proyecto. 8. Defina los medios de verificación para cada indicador. 9. Verifique la lógica horizontal entre las actividades, los resultados, el objetivo del proyecto y el objetivo general. 269 Efectividad en Promoción de la Salud y Salud Pública a. Resumen narrativo Es la primera columna de la matriz. Incluye la definición con el desagregado indispensable del objetivo general, del objetivo del proyecto, de los resultados o productos y de las actividades. La consistencia del diseño del proyecto se muestra en esta columna, por lo tanto hay que ser muy cuidadosos en su diligenciamiento. Un buen evaluador de proyectos es lo primero que analiza para determinar si el planteamiento es lógico y por lo tanto viable. Fin u objetivo general El objetivo general es el de más alto orden jerárquico al cual el objetivo de un proyecto va a contribuir de forma parcial. Usualmente es un objetivo nacional, sectorial o de programa. Indicará el fin, el impacto al cual contribuirá el proyecto de manera significativa una vez que el mismo haya finalizado en su fase de operación. Es el de más alto nivel en la matriz. Es una expresión de la solución (parcial o total, según el problema sea complejo o no, respectivamente) al problema que se ha diagnosticado. Por ejemplo: Si el gran objetivo o fin es disminuir la mortalidad materna a niveles de los países más desarrollados, pues es fácil de comprender que éste es un problema complejo y se necesitarán dos o más proyectos para alcanzar ese fin. En este caso cada proyecto tendrá el mismo fin, pero cada uno hará su aporte concreto (que es el objetivo del proyecto). Objetivo del proyecto Es el porqué se hace el proyecto. Es el efecto directo que se espera lograr después de completada la ejecución. Representa el cambio que fomentará el proyecto. Es el aporte concreto a la obtención del objetivo general. Por ejemplo. Si el fin es disminuir la mortalidad materna a niveles de los países más desarrollados, el objetivo de un proyecto podría ser 270 Ligia de Salazar capacitar a las madres, el de otro: mejorar el acceso a los servicios de salud. Otro podría ser mejorar la ingesta de alimentos para mejorar la nutrición. Cada proyecto aportará su cuota de logro al objetivo general o fin y en conjunto (se espera) alcanzarán la totalidad del mismo. Todos estos proyectos conformarán un programa. Todo proyecto debe tener un solo objetivo por razones de claridad. Además, si hubiera dos objetivos, es posible que en la ejecución se dé prioridad a uno en desmedro del otro. Resultados o productos Son los productos (tangibles e intangibles) específicos que se producen durante la ejecución. Son necesarios para alcanzar el objetivo del proyecto. Son los productos que financia el proyecto. Obras, estudios, servicios, capacitación, etc., son ejemplos de resultados o productos. Es razonable plantear que si todos los resultados-productos son alcanzados de la manera planeada, se logrará el objetivo. Por lo tanto, análogamente como en el caso del Fin/Objetivo general y Objetivo del Proyecto, deben ser redactados muy claramente y como resultados o productos finales (objetivo logrado). La gerencia del proyecto tiene la responsabilidad directa de producir los resultados con el presupuesto asignado. Actividades Las actividades definen cómo se van a lograr los resultados. Son aquellas acciones necesarias para producir los productos. Deben confeccionarse detalladamente para lograr cada resultado, porque se constituirán en el punto de partida para el plan de ejecución. Por lo tanto, salvo casos especiales, las actividades no se determinan como objetivos. En la MML se detallan las actividades agrupadas por 271 Efectividad en Promoción de la Salud y Salud Pública resultado y en orden cronológico, estimando el tiempo de realización y los recursos requeridos. La ejecución del proyecto queda incorporada al diseño de la MML, a través de este capítulo. Verificación de la lógica vertical El principal concepto que soporta la estructura del Marco Lógico es el de causa-efecto. Cuanto más claro esté el vínculo causa-efecto sobre los objetivos, mejor es el diseño de los proyectos. Por definición, cada proyecto tiene establecidas las relaciones si-entonces o lógica causaefecto. Si generamos ciertos productos, con ciertas condiciones, podemos esperar que resulten otros productos. Por ejemplo: SI abastecemos a los agricultores con semilla mejorada y organizamos un sistema de crédito, ENTONCES la producción aumentará. SI la producción aumenta, ENTONCES el ingreso familiar aumenta. El Marco Lógico nos obliga a hacer esta lógica explícita. A pesar de ello, no garantiza un buen diseño. La validez de la lógica causa-efecto, depende de la calidad y consistencia del diseño. Si todas las actividades son llevadas a cabo en las condiciones necesarias (tiempo, personal, etc.), entonces los resultados se alcanzarán. Si el proyecto produce los resultados propuestos, como es de esperar (a través del manejo de recursos y actividades), entonces el objetivo del proyecto se cumple. Si el objetivo del proyecto se logra, entonces habremos ayudado a cumplir con el objetivo inmediatamente superior, que es el objetivo general. Si se alcanza el objetivo general, entonces se contribuye a llegar a uno más importante que, generalmente, se encuentra planteado en los planes estratégicos de Naciones Unidas, los gobiernos o las instituciones. 272 Ligia de Salazar • Objetivo general Condición necesaria para contribuir al desarrollo del país • Objetivo de proyectoCondición necesaria para lograr el objetivo general) • Resultados Condición necesaria para alcanzar el objetivo del proyecto • Actividades Condiciones necesaria para generar los resultados b. Supuestos importantes en cada nivel Los supuestos son factores de incertidumbre entre cada nivel de objetivos, factores externos sobre los cuales el proyecto no tiene control. Los proyectos siempre están sujetos a la influencia de factores por fuera del control directo de sus ejecutores. La cuarta columna de la matriz es utilizada para destacar las condiciones externas que tienen que ser cumplidas para que la lógica vertical de la descripción del proyecto se dé. Los supuestos pueden describir condiciones naturales, tales como “si caen 250 mm de lluvia entre abril y junio” o factores tales como “si no hay huelgas al inicio del proyecto”, o “que la comunidad esté dispuesta a adoptar”, o situaciones como “si hay respaldo institucional”. Pueden describir otras acciones o proyectos que se deben hacer antes o paralelamente al proyecto “si el proyecto de caracterización está terminado”, o “si los manuales están terminados”. Los supuestos completan la lógica si-entonces (que describe las condiciones necesarias entre cada nivel) al adicionar con mucha propiedad la lógica si-y-entonces (describiendo las condiciones necesarias y suficientes entre cada nivel). Determine los supuestos haciéndose la siguiente pregunta: ¿Qué condiciones deben existir, además de mi objetivo –actividad, resultado, 273 Efectividad en Promoción de la Salud y Salud Pública objetivo– para alcanzar el nivel siguiente? Un equipo de proyecto no es responsable por las suposiciones. Es responsable por la producción de resultados. El equipo acepta hacer el monitoreo de las suposiciones, por lo tanto, es muy importante plantearlas lo más claramente posible. Esto puede significar tener indicadores para las suposiciones de tal manera que se las pueda seguir. Con esto, lo que se quiere decir es que los equipos de alto rendimiento se preocupan mucho por tratar de influenciar la posibilidad de que las suposiciones se mantengan. La importancia de clarificar los supuestos Los supuestos son condiciones externas sobre las cuales el proyecto no tiene control, pero de las que el proyecto depende para su buena ejecución. Nunca hay un ciento por ciento de certeza para alcanzar el objetivo de un proyecto y para que este a su vez logre el objetivo general. De todas maneras, cuanto más baja sea la incertidumbre, más sólido es el diseño del proyecto. Un oficial de proyecto experimentado sabe que los supuestos fallidos pueden descarrilar un proyecto tan a menudo como la mala gestión para lograr los resultados. Condiciones necesarias y suficientes Si el fuerte de un buen diseño de proyecto es la clara relación causaefecto, el corolario son las condiciones suficientes y necesarias. La relación causa-efecto de actividades a resultados, resultados a objetivo de proyecto y objetivo de proyecto a objetivo general, describe las condiciones necesarias para lograr los objetivos, o sea, la lógica interna. Pero no define las condiciones suficientes a cada nivel para alcanzar el siguiente. 274 Ligia de Salazar Estas otras condiciones son las suposiciones. Esta es la lógica externa. Los objetivos (condiciones necesarias) más las suposiciones (condiciones suficientes), nos dan una idea mucho más clara del diseño del proyecto. Todas las suposiciones posibles debe ser analizadas con respecto a: a. Su importancia para el éxito del proyecto. b. Su probabilidad de impacto sobre el éxito o fracaso del proyecto. c. Indicadores objetivamente verificables (IOV) El principio básico de la columna IOV es responder al planteamiento: “si se puede medir, se puede manejar”. Los indicadores son mediciones del progreso en el logro de un objetivo. Como medidas de desempeño nos dicen cómo reconocer el alcance exitoso del objetivo. No son condiciones necesarias para el logro de los objetivos. No hay relación causa-efecto con ellos, pero definen, en forma medible, los niveles de desempeño alcanzados durante el logro de los objetivos de la columna resumen narrativo. Los indicadores especifican cómo será medido y verificado el logro de los objetivos. Proveen la base para el monitoreo del progreso del proyecto (terminación de actividades y entrega de resultados) y para la evaluación del cumplimiento del objetivo del proyecto. Los indicadores se establecen como respuesta a la pregunta: ¿cómo sé si lo que se ha planeado está sucediendo o sucedió? Para esto, recurrimos a indicadores o cifras que nos ayuden. Por ejemplo, ¿cómo sabemos que este año han sido capacitados más profesores? ¿Qué puede decirnos que esa capacitación ha tenido un impacto en los estudiantes? ¿Cómo medimos progreso hacia el objetivo de fortalecer la capacidad de gestión comunitaria? No hay principios absolutos para la construcción de indicadores. Sin embargo, el criterio AMORE (Asequible, Medible, Oportuno, Relevante, Específico) es muy útil para su diseño. 275 Efectividad en Promoción de la Salud y Salud Pública Asequible: Los indicadores clave necesitan ser razonables en costo y en método de recolección. Medible: Indicadores cuantificables son preferidos porque son precisos, pueden ser agregados y permiten análisis estadísticos más profundos. Sin embargo, no todos los fenómenos se pueden medir cuantitativamente e incluso, no se deben medir por esta vía, dada su naturaleza e intencionalidad. En estos casos se utilizan indicadores cualitativos. Oportuno: Indicadores tienen que ser recolectados y reportados en el momento indicado para influenciar un proceso de decisión. No hay razón para escoger indicadores que solamente expresen qué sucedió al final del proyecto, cuando no hay posibilidad de ajuste. Relevante: Indicadores deben ser relevantes a las necesidades de información de aquellos que usarán los datos. Específico: Indicadores clave deben ser específicos, íntimamente relacionados a lo que el proyecto busca cambiar. La lógica horizontal contribuye a probar este criterio. Cantidad, calidad y tiempo (CCT) Donde sea posible, los indicadores se deben de establecer en términos de cantidad, calidad y tiempo. No es cierto que los objetivos de nivel mayor no sean medibles, todo objetivo es sujeto de medición. Podemos determinar el no indicar fechas críticas para establecer metas, pero recuerde que, tanto a los objetivos generales, a los objetivos de proyecto, como a los resultados, se les pueden determinar indicadores y fechas críticas. ¿Cuántos indicadores? ¡Entre menos, mejor! Utilice solamente el número de indicadores requeridos para aclarar lo que tiene que ser alcanzado, para satisfacer el objetivo establecido en la columna resumen narrativo. 276 Ligia de Salazar ¿Cómo se construye un IOV? Empiece con lo básico: Asegúrese que en lo posible cumpla con el criterio AMORE. Por ejemplo: Paso 1: Indicador Básico % de disminución en la tasa de mortalidad infantil. Paso 2: Agregando Cantidad 10% de disminución en la tasa de mortalidad infantil en la población de San José. Paso 3: Agregando Calidad 10% de disminución en la tasa de mortalidad infantil en la población de raza negra en San José. Paso 4: Agregando Tiempo 10% de disminución en la tasa de mortalidad infantil en la población de raza negra en San José para diciembre de 2010. Cuando los indicadores son formulados de esta manera, cumplen tres funciones: • Obligan al equipo de trabajo a acordar un sistema de objetivos preciso y claro, lo que facilita la evaluación del proyecto. • Establecen estándares concretos para medir desempeño; ello permite una buena gerencia de proyectos. • Junto con las fuentes que verifican la existencia de cada indicador en la tercera columna de la matriz, forman la base del sistema de monitoreo y evaluación del proyecto. Indicadores de objetivo general Como se expresó, a menudo el objetivo general describe objetivos sectoriales o programáticos, hacia los cuales apunta más de un proyecto. 277 Efectividad en Promoción de la Salud y Salud Pública Por ello, sus indicadores miden situaciones por fuera del alcance del proyecto. Ejemplos clásicos son las metas del milenio. Indicadores del objetivo de proyecto Este objetivo es la razón por la que usted hace un proyecto. Es el porqué de establecer y alcanzar los resultados. A menudo define un cambio de comportamiento de los beneficiarios de un proyecto o un cambio en la forma como una institución funciona, como consecuencia del logro de los resultados. Esto hace que la definición de indicadores a este nivel no sea fácil y sea la más estricta. Los indicadores de los objetivos de proyecto deben ser los más completos en términos de calidad, cantidad, tiempo, etc. Indicadores de resultados Por definición estos indicadores establecen los términos de referencia para el proyecto. Si un equipo o un oficial de proyecto son responsables por todos los resultados, entonces los indicadores deben permitir medir su grado de desempeño. Por tanto, son indicadores de gestión. Indicadores de actividades Los indicadores de actividad, generalmente han sido interpretados como los recursos o el presupuesto necesarios para ejecutar el proyecto. Recientemente se está utilizando la celda de indicadores de las actividades para poner metas de ciertas actividades críticas. Ello permite una mejor gerencia del proyecto. Por ejemplo: Unidad X terminada el 30 de noviembre del 2010. La lista de los recursos necesarios para un proyecto ha pasado a convertirse en la apertura presupuestal. d. Medios de verificación (MV) Los medios de verificación describen las fuentes de información que demostrarán que los indicadores pueden ser construidos y alimentados con datos reales. Si el objetivo es “ingreso del jefe de hogar incremen278 Ligia de Salazar tado en X% en 2010”, ¿de dónde sacamos los datos para demostrar que esto sucedió? Si se decide que se requiere una encuesta para conseguir datos, entonces necesitaremos agregar esa acción a la lista de actividades. Como eso cuesta dinero, entonces deberemos agregarlo al presupuesto. No olvide que los indicadores que usted escoge para medir sus objetivos deben ser verificables. Si no lo son, busque otros indicadores. Los medios y las fuentes de verificación se deben cruzar siempre con sus indicadores respectivos. Indicadores para los que no se pueden identificar fuentes de verificación apropiadas, deben ser reemplazados por indicadores verificables. Indicadores que son muy caros de verificar deben ser reemplazados por otros más simples, pero igualmente relevantes y verificables. Los medios son los métodos o instrumentos necesarios para obtener los indicadores para aplicar al monitoreo y evaluación de los objetivos. Las fuentes se refieren a personas, documentos y sitios o bases de datos, donde se pueden encontrar los datos o medios para medir los logros del proyecto. Ejemplo de temas y preguntas frecuentes en evaluación de proyectos Área de evaluación Relevancia Preguntas de evaluación • ¿El proyecto se puede fácilmente enmarcar dentro del Plan Estratégico? • ¿Se enmarca dentro de las políticas gubernamentales? • ¿Contribuye a alcanzar los objetivos del donante (líneas de apoyo)? • ¿El objetivo del proyecto es relevante hoy? • Frente a la gama de alternativas (árbol o análisis de alternativas) para alcanzar el objetivo, ¿fue la escogida la más apropiada? • ¿El logro del objetivo del proyecto asegura el cumplimiento del objetivo general? • ¿Son válidos los supuestos del proyecto? • ¿Hay supuestos que no se plantearon que son o pueden llegar a ser un problema para el proyecto? 279 Efectividad en Promoción de la Salud y Salud Pública Área de evaluación Preguntas de evaluación Progreso • ¿Hasta dónde el suministro de insumos fue suficiente para llevar a cabo el proyecto? • ¿Hasta qué punto el proyecto alcanzó los resultados planteados? • ¿El proyecto alcanzó el objetivo? • ¿El proyecto logró afectar el objetivo general? • ¿El proyecto logró afectar los objetivos o propósitos del donante? Eficiencia • ¿Qué tan bien se ha manejado la ejecución del proyecto? • ¿Fueron los insumos/actividades manejados a costo mínimo? • ¿Había vías más rápidas o más baratas para lograr los mismos resultados? • ¿Se utilizaron las alternativas más costo-efectivas para gerenciar el proyecto? Efectividad • ¿Hubo una coordinación adecuada con otras instituciones u otros proyectos? • Si no se produjeron los resultados, ¿qué se debió de haber cambiado en las actividades para lograrlo? • ¿Cómo podría una producción mejorada de resultados lograr un nivel más elevado de cumplimiento del objetivo general? • ¿Qué debería hacerse y con qué implicaciones financieras para modificar o mejorar el proyecto? Impactos y efectos • ¿Qué ha pasado como resultado del proyecto? • ¿Cuál es el impacto en la población, en la producción, en el ambiente, etc.? • ¿Cuáles han sido los efectos no planificados? • ¿Cuáles son los efectos del proyecto a largo plazo, sobre el programa de gobierno, sobre el sector, etc.? • ¿Por qué los efectos que se anticiparon no se alcanzaron? • ¿Qué lecciones pueden aprenderse de este proyecto? • ¿Las actividades del proyecto complementan, duplican o se contradicen con las de otros proyectos o programas? 280 Ligia de Salazar Bibliografía Banco Interamericano de Desarrollo (BID), Oficina de Evaluación. 2003. Evaluación: Una herramienta de gestión para mejorar el desempeño de los proyectos. Washington, DC. Banco Interamericano de Desarrollo. 2003. Diseño de proyectos con marco lógico. BID. USA Comisión de la Comunidad Europea. 1998. Manual de gestión del ciclo de proyectos: Enfoque integrado y marco lógico. Ginebra, Suiza, CEPAL – ILPES. 2000. Gestión de proyectos. BID-CEPAL. Chile, 2002 Fontaine, Ernesto. 1999. Evaluación social de proyectos. Universidad Católica de Chile. GTZ. 1998. Seguimiento de proyectos de cooperación técnica. GTZ. Alemania. GTZ. 1998. Planificación de proyectos orientada a objetivos (ZOOP). GTZ. Alemania. Ministerio de Economía y Finanzas. DGPM. 2003. Guía general de identificación, formulación y evaluación social de proyectos de inversión pública a nivel de perfil. Perú. Saravia, Jorge A. 2006. Cómo preparar una propuesta convincente. Formulación de Proyectos con Marco Lógico. CIAT. Colombia. Vásquez, Aramburu, Figueroa y Parodi. 2000. Gerencia Social: Diseño, monitoreo y evaluación de proyectos sociales. CIUP. Lima. Perú. 281 Efectividad en Promoción de la Salud y Salud Pública Ejemplos de Matriz de Marco Lógico Los siguientes ejemplos de desarrollo de una Matriz de Marco Lógico han sido elaborados con base en los documentos de caracterización de las intervenciones, presentadas por participantes del Curso Latinoamericano de Evaluación de Efectividad en Promoción de la Salud, 2009. Marco lógico del programa Salud Comunitaria de Llanura Responsable del Proyecto: Carlos Anigstein, Argentina Objetivo General o Meta Indicadores Contribuir a la disminución de la Verificables mortalidad infantil en el Munici- Tasa de mortapio de Aguaclara, de la provincia lidad infantil de Aranjuez, LAC. Tasa de mortalidad neonatal Objetivo del Proyecto Establecer un sistema de asistencia sanitaria brindada por equipos familiares de salud en los Centros de Salud del municipio con un modelo de atención y de gestión con enfoque de APS integral. Resultados o Productos R1.- El modelo de gestión para la prestación de los servicios de salud ha sido modificado para establecer la estrategia de APS. R2.- En el 2008 y 2009 se han organizado equipos familiares de salud que trabajan, en forma ambulatoria y domiciliaria, con población a cargo con responsabilidad nominal desde los centros de salud del municipio. R3. - Se han realizado acciones de promoción partiendo del enfoque de los determinantes de la salud, Medios de Verificación i) Epidemiología y Área Programática de Hospital Provincial. ii) Registro civil municipal. iii) Ministerio de Salud. Supuestos Importantes Un sistema de asistencia por equipos familiares ha sido establecido Documentos del – Hay voluntad poproyecto. lítica del EjecutiInforme final de vo Municipal para proyecto mantener la estrategia APS. – Hay apoyo del Consejo de salud. – Hay continuidad del financiamiento del Ministerio de Salud de la Nación. – Se mantiene la mística y motivación de los equipos familiares de salud Un modelo de gestión modificado No. de equipos familiares organizados y funcionando. No. de acciones de promoción llevadas a cabo. Documentos de - Existe voluntad institucional para el proyecto. desarrollo del proListados de asisyecto. tencia. 282 - Hay suficientes profesionales para conformar los equipos. - El Hospital Provincial adopta y mantiene el sistema referencia-contrarreferencia. Ligia de Salazar promoviendo la gestión participativa del personal de salud, la organización y participación comunitaria, la articulación intersectorial, y el trabajo en red. Actividades R1.1. Cambio del modelo de atención y de gestión, sobre cuatro líneas de acción: a) atención programada; b) gerenciamiento participativo; c) funcionamiento del Sistema de Referencia y Contrarreferencia; y d) articulación de los equipos de salud con las organizaciones comunitarias e instituciones educacionales barriales. R1.2. Relevo de los problemas y nominalización la población del área programática de los CAPS con historia familiar comunitaria. R1.3. Implementación de las reuniones de Gestión Participativa del Personal (personal de salud y coordinadores del programa), en forma mensual en cada uno de los CAPS. R1.4. Organización de la Red de Referencia y Contrarreferencia, entre los Centros de Salud Municipales y el Hospital Provincial de 2º y 3º nivel. Presupuesto proyecto del - Existe voluntad institucional para el desarrollo del proyecto. - Hay suficientes profesionales para conformar los equipos. - El Hospital Provincial adopta y mantiene el sistema referencia-contrarreferencia. R2.1. Organización de 10 equipos familiares e interdisciplinarios de salud (médicos, enfermeros, promotores y trabajadores sociales) y equipos de apoyo (psicólogos, odontólogos, nutricionistas). R2.2. Implementación de las visitas domiciliarias programadas por manzanas para nominalizar la población, completar la historia familiar comunitaria y detectar las familias de riesgo. R2.3. Programación de la atención integral en el domicilio y/o CAPS de la demanda espontánea y el registro de la misma en la historia clínica. R2.4. Realización del seguimiento a las familias de alto riesgo. R2.5. Programación de actividades de promoción y prevención extramuros del CAPS. 283 Efectividad en Promoción de la Salud y Salud Pública R3.1. Realización de talleres de promoción de la salud en escuelas, comedores y organizaciones comunitarias. R3.2. Implementación del Proyecto de Alimentación Saludable. R3.3. Desarrollo del Programa de promoción, prevención y atención de las enfermedades respiratorias agudas bajas de la infancia. R3.4. Organización del Programa de promoción y prevención del VIH-SIDA. R3.5. Desarrollo del proyecto “la experiencia cuenta” para el establecimiento de micro-emprendimientos productivos. R3.6. Realización de talleres para la formación de cuidadoras domiciliarias de adultos mayores con salida laboral. R3.7. Realización de talleres para promover proyectos de Escuelas Promotoras de Salud 284 Ligia de Salazar Argentina El programa “Salud Comunitaria de la Llanura”, realizado en el municipio General Rodríguez, provincia de Buenos Aires, está orientado a la promoción de la salud a nivel domiciliario e intenta cambiar el paradigma médico hegemónico biologista por un paradigma social y sanitario. Fotos cortesía archivo Dr. Carlos Anigstein, municipio General Rodríguez, Argentina. 285 Efectividad en Promoción de la Salud y Salud Pública Marco lógico del proyecto “Mujer y cáncer: Opciones para la detección precoz” Responsable del Proyecto: Yunia León Céspedes, Cuba Objetivo general Contribuir a la reducción de la morbilidad y la mortalidad por cáncer ginecológico en la provincia Santiago de Arama Objetivo del Proyecto Mejorar la capacidad de detección precoz de cáncer ginecológico en la Provincia de Santiago de Arama. Resultados R.1 Potenciada la capacidad de l@s profesionales de la salud con formación específica en la prevención y diagnóstico del cáncer ginecológico y con materiales para realizar su trabajo. R.2 Informadas las mujeres santiagueras de los aspectos más destacados sobre el cáncer ginecológico y sobre la importancia de la prevención de riesgos y el diagnóstico precoz R.3 Las jóvenes y mujeres menores de 24 años de las comunidades donde se presentan más casos de cáncer de cérvix en población joven y adolescente, han aprendido cómo descartar los factores de riesgo de sus relaciones sexuales. Indicadores Verificables Fuentes de verifi- Supuestos Impor– Aumentadas las consul- cación tantes tas en relación al cáncer - Informes oficiaginecológico en un 20%. les y registros de – Mejorados los resultados la Dirección de del tamizaje predetermiSalud Pública. nado por el Plan Nacional del Cáncer. - Realizados al menos el 90% de los cursos para promotoras y el 75% para el personal de salud. - Distribuido el 100% del material médico del proyecto en el primer trimestre del mismo. - El personal sanitario ha realizado el 90% de las acciones socio-comunitarias previstas. - Desarrollada la campaña publicitaria en toda su extensión. - Al finalizar el proyecto el 90% de las mujeres santiagueras encuestadas son capaces de identificar un factor de riesgo para contraer el cáncer de mama y dos factores para contraer el cáncer de cérvix. – Aumentado el uso del preservativo entre las jóvenes de 14 a 24 años en un 20% – Aumentado el número de consultas ginecológicas en un 25% en las áreas territoriales del proyecto. – Disminuido el número de legrados en un 10% en las áreas territoriales del proyecto. – Disminuidas las ETS en un 20%. 286 - Muestra de los Programas, actas y listas de participantes de los cursos, talleres impartidos. - Actas de recepción del material médico. - Material fotográfico e informes de las actividades desarrolladas - Ejemplares del material impreso, volantes, carteles. - Copias de los anuncios de televisión emitidos. - Copias de las cuñas radiofónicas emitidas. - Copias de artículos de prensa. - Se mantiene la designación de Campaña de Interés Público. - Se cumplen los términos de referencia firmados con las autoridades. - La dirección provincial de salud pública ha motivado y movilizado al personal sanitario para asistir a la formación. - El material médico existe en stock en el país y no se retrasa el transporte. - Las organizaciones populares, especialmente la Federación de Mujeres y los Comités de Barrio participan activamente en el proyecto. - Las direcciones municipales de salud, deportes y cultura dan su apoyo como hasta ahora. Ligia de Salazar Actividades para cada Resultado Para R.1 Potenciada la capacidad de l@s profesionales de la salud con formación específica en la prevención y diagnóstico del cáncer ginecológico y con materiales para realizar su trabajo. R1.1 Planificación de las acciones formativas R1.2 Impartidos dos talleres provinciales para medic@s y enfermer@as. R1.3 Impartidos tres talleres provinciales para Promotoras de Salud. R1.4 Impartidos seis seminarios municipales para personal de salud, dos por cada municipio escogido para las acciones socio-comunitarias. R1.5 Distribuidos entre los consultorios especializados material médico de apoyo al proyecto. Para R.2 Informadas las mujeres santiagueras de los aspectos más destacados sobre el cáncer ginecológico y sobre la importancia de la prevención de riesgos y el diagnóstico precoz. R2.1 Adjudicación del diseño y seguimiento de la campaña. R2.2 Diseños confección y validación de todo el material de la campaña. R2.3 Edición de 10.000 carteles. R2.4 Edición de 20.000 guías (ver anexo) sobre cáncer de cervix y 20.000 sobre cáncer de mama. R2.5 Edición de 100.000 volantes sobre el cáncer ginecológico. R2.6 Instalación de 10 vallas publicitarias. R.2.7 Pintura de 10 muros publicitarios. R2.8 Filmación de dos documentales para video-debates R.2.9 Producción de 4 cuñas radiales y 2 anuncios de televisión. R.2.10 Emisión de al menos 80 anuncios de radio y 80 de televisión. Insumos (recursos necesa- - Presupuesto - Las autoridades rios para realizar las activide salud pública dades) se implican en Educadoras del CPPES y la realización de equipo de coordinación, los cursos. material didáctico - Existe el mateEducadoras del CPPES y perrial médico en sonal del Plan provincial de Cuba. lucha contra el cáncer Educadoras del CPPES y personal del Plan provincial de lucha contra el cáncer Educadoras del CPPES y personal del Plan provincial de lucha contra el cáncer Educadoras del CPPES y personal del Plan provincial de lucha contra el cáncer 700 ponchadores para biopsias 100 curetas de Novak 100 Asas diatérmicas 5 microscopios 2 colposcopios Equipo de coordinación del proyecto y miembros electos del tribunal de selección. Equipo de publicidad seleccionado: publicistas, diseñadores gráficos y equipo de producción y filmación. Contratación empresa de Artes Gráficas. Contratación servicios del Poligráfico Provincial. Equipo contratado en R.2.2 Equipo contratado en R.2.2 y locutoras voluntarias de las radios municipales. Acuerdo de colaboración con los medios de comunicación provinciales y locales. 287 Efectividad en Promoción de la Salud y Salud Pública R.2.11 Inclusión de al menos ocho sueltos sobre prevención de cáncer ginecológico en el Periódico El Día. Para R.3: Las jóvenes y mujeres menores de 24 años de las comunidades donde se dan más casos de cáncer de cérvix en población joven y adolescente, saben como descartar los factores de riesgo de sus relaciones sexuales. R3.1 Actividades de intervención comunitarias: - Tres seminarios con la Federación de Mujeres. - 100 video debates durante el año para jóvenes. - 40 charlas en CDR durante el año. - 40 charlas en centros de trabajo durante el año. R3.2 Creación de un espacio de relación, por municipio, para mujeres jóvenes y adolescentes en riesgo, para una reunión mensual. R3.3 Convocatorias de concursos populares para promocionar la participación y conocer la evolución del conocimiento sobre el cáncer. R3.4 Macro evento cultural para la difusión del mensaje de la campaña en la Ciudad de Santiago de Arama el dia 4 de Febrero, Día mundial de lucha contra el cáncer. R3.5 Eventos culturales para la difusión del mensaje de la campaña a celebrar uno en cada municipio elegido los dias: 7 de Abril, Día mundial de la Salud, 31 de Mayo, Día mundial sin tabaco y el 19 de Octubre, Día mundial contra el Cáncer de Mama. R3.6 Participación en al menos un programa semanal de radio sobre salud sexual reproductiva para jóvenes Equipos de Promotoras formados en R2.3 Materiales informativos y documentales. Convenios con instituciones públicas. Anuncios en radio y premios para ganadoras. Contactos con artistas colaboradores de Médicos del Mundo. Contratación de toda la logística necesaria. Contactos con artistas colaboradores de Médicos del Mundo. Educadoras del CPPES, personal del Plan provincial de lucha contra el cáncer y promotoras. 288 Ligia de Salazar Cuba Entre las estrategias utilizadas en la campaña “Busca tu tiempo”, para la prevención del cáncer ginecológico en Santiago de Cuba, se distribuyó a médicos, enfermeras y promotoras el material elaborado, para facilitar su labor educativa con la comunidad. Fotos cortesía archivo Centro Provincial de Promoción y Educación para la Salud, CPPES, Ministerio de Salud Pública, Cuba. 289 Efectividad en Promoción de la Salud y Salud Pública La comunicación, puente entre la evaluación, la política y la práctica Jenny Andrea Vélez Vidal Presentación Si bien en el campo de la evaluación no se establecen procedimientos universalmente aceptados para difundir o comunicar los resultados y, especialmente, para que dichos resultados influencien las políticas y la práctica en salud pública y en promoción de la salud, en lo que sí hay consenso es en que la comunicación es una tarea fundamental para el éxito de un proceso evaluativo y para la toma de decisiones. Sin embargo, es frecuente que quienes realizan evaluaciones inviertan pocos esfuerzos, tiempo y recursos en la comunicación y que se entienda ésta como un paso final, que se cumple cuando se escribe un reporte o se publica un artículo científico, al que generalmente no acceden los realmente interesados o beneficiarios de la información. Hoy día es claro que un solo un reporte final, usualmente, no será suficiente para satisfacer todos los propósitos, y que no se puede esperar a preocuparse por la comunicación sólo hasta que los datos hayan sido recolectados y analizados. Un rápido análisis del papel otorgado tradicionalmente a la comunicación en la investigación, la ubica en una perspectiva instrumental, entendida solo como la producción de materiales y piezas o el uso de medios de difusión, y raramente es vista desde su potencial estratégico, como soporte a la gerencia de la información y como estrategia para cerrar 290 Ligia de Salazar la brecha entre la investigación, la política y las prácticas, en procesos amplios de gestión del conocimiento. Por otro lado, se tiende a estandarizar las estrategias en todos los contextos, sin considerar el ambiente político o la apertura de las instituciones al cambio. Es de considerar que análisis realizados a partir de ciertos grupos de interés y estrategias de comunicación de evidencias que dieron éxito en un determinado país, especialmente en regiones desarrolladas, con particulares sistemas políticos, no necesariamente aplican a países en desarrollo donde los contextos políticos son disímiles, volátiles y permeados por condiciones particulares como la corrupción o la falta de continuidad política, entre otras. Se sabe que el contexto político e institucional se constituye en un ingrediente crítico para lograr la articulación evaluación–práctica– y, por tanto, en el diseño de los procesos de comunicación se debe tener en cuenta dicho contexto. Articulados estratégicamente a la evaluación y diseñados teniendo en cuenta los contextos, los procesos de comunicación –y no solo los productos– aumentarán las probabilidades de que los resultados de la evaluación influencien políticas, decisiones y acciones, pero hay que entender que el uso de la evidencia por tomadores de decisiones o su acción por influencia de ella, no dependerá sólo de que haya sido comunicada adecuadamente. Lo anterior se torna crítico si consideramos que la efectividad de un proceso de comunicación no está dada, como generalmente se cree, solo por las capacidades, habilidades y condiciones del tradicional papel del emisor o de quien asume el papel de productor de información, sino por un apropiado conocimiento y análisis de todos los actores que participan en el proceso, de la interpretación de sus necesidades e intereses o del reconocimiento de que no siempre están claras estas necesidades, del conocimiento y aprovechamiento estratégico del contexto –no solo social y cultural, sino particularmente político–, así como de las condiciones en las cuales se comunica y de una exitosa transformación del papel 291 Efectividad en Promoción de la Salud y Salud Pública del llamado receptor, en un interlocutor participativo y activo, capaz también de interactuar desde el principio en todo el proceso. Así que comunicar en el marco de procesos de cambio apoyados por la gestión de conocimiento, es un asunto complejo y, por lo tanto, no menos importante que los demás pasos de una evaluación. Aunque, sin duda, se podrán hallar otras posiciones y perspectivas del papel de la comunicación, la intencionalidad propuesta para la misma en esta contribución, la relaciona con su actuación en procesos de cambio, con su potencial para complementar y fortalecer el ciclo de la evaluación y tender puentes para cerrar brechas entre este proceso y la toma de decisiones, o la práctica en salud pública y la promoción de la salud. Una expectativa generalmente aceptada es que la evaluación proporcione evidencias, en nuestro caso, sobre la efectividad o costo-efectividad de intervenciones, entre otras, para identificar un problema y establecer sus alcances; identificar formas para solucionarlo; proveer, analizar y seleccionar las mejores alternativas para reducirlo, evitarlo o controlarlo; y valorar los procesos y resultados de las alternativas implementadas, que permitan decidir su continuación, reformulación o finalización. En general, se espera que la evidencia apoye la toma de decisiones. Por tanto, es también aceptado que diversos tomadores de decisiones generalmente tienen una orientación práctica y valorarán la evidencia en la medida en que ésta sean instrumento para ayudar a resolver incertidumbres. Por tanto, la comunicación deberá responder al tipo de evidencia que se comunica, a su alcance, a las expectativas que de ella y del problema tienen los públicos o usuarios de la misma, y a una comprensión del contexto en el cual el conocimiento y la información son generados y usados y de los factores que los influencian. Si aceptamos lo anterior, entonces una perspectiva lineal y vertical de la comunicación –de arriba hacia abajo–, donde un grupo homogéneo de usuarios finales recibe la información, es improbable que pueda 292 Ligia de Salazar contribuir a procesos de cambio social. La comunicación debe ser un proceso reiterativo, interactivo y multidireccional, que involucra una amplia gama de grupos de interés o stakeholders y que debe ser planeada a lo largo del diseño, implementación, monitoreo y evaluación de las intervenciones. En este capítulo se presentan algunas reflexiones en torno al alcance de los procesos de comunicación, información y abogacía para promover el uso de las evidencias en salud pública y promoción de la salud, y se promueve la exploración de diferentes estrategias para recoger los intereses de los actores involucrados en la adopción, implementación y evaluación de las intervenciones en salud pública y promoción de la salud. Se abordan, igualmente, temas relacionados con la transferencia de conocimiento y especialmente con el intercambio y la interacción con políticos, la creación de alianzas y la negociación política para garantizar la sostenibilidad de la iniciativa de evaluación. Es de considerar que aunque es inevitable presentar recomendaciones generales, una mejor comunicación no se obtendrá con una receta. La tarea de cada evaluador es planificar el proceso; involucrar los grupos de interés; entender y aprovechar el contexto y las condiciones para producir la mejor, oportuna y más relevante información posible sobre la intervención evaluada en el marco de la estrategia más adecuada; identificar quiénes son los realmente interesados y usuarios de su información, y adaptar las estrategias de comunicación al contexto y principalmente al enfoque de su evaluación, a sus usuarios y a los objetivos que pretende alcanzar, tanto la intervención como la evaluación en sí misma. I. Comunicación, políticas y toma de decisiones Si en tiempos no muy lejanos la política era una cuestión de unos pocos y se decidía en habitaciones y pasillos de palacios a los que la población no tenía ningún acceso, hoy se reconoce que la conversación y la comunicación de los asuntos públicos, especialmente de las políticas 293 Efectividad en Promoción de la Salud y Salud Pública públicas, debe implicar a toda la sociedad, que es espectadora, pero también agente, receptora y emisora de mensajes y, periódicamente, instancia decisoria. Estudios han mostrado que uno de los aspectos fundamentales que mayoritaria y consistentemente han explicado el fracaso de diversas iniciativas políticas y de desarrollo es la ausencia de información; el instrumentar decisiones sin vincular a la población y a los grupos afectados con lo que se hace; la falta de comunicación entre el gobierno y la ciudadanía y la exclusión de la población de los procesos de formulación de políticas y programas y de la toma de decisiones (Rota, 2000). Así, para adentrarnos en los conceptos y métodos que nos permitan tender el puente entre la evaluación, las políticas y la práctica, debemos empezar por reconocer que la comunicación, más allá del uso de los medios, técnicas y tecnologías, y de ser la invitada de última hora, está articulada estructuralmente a la gestión de políticas. De hecho, la gestión de políticas públicas es vista como un proceso eminentemente comunicativo, en la medida en que se constituye en expresiones de la construcción colectiva de sentidos, intereses y significados. Igualmente, la importancia de la comunicación en la política está dada por la nutrición que hacen los flujos informativos al proceso de toma de decisiones, desde el entorno social. Los gobernados exigen cada vez más ser informados de procesos y resultados, pero también exigen ser escuchados cuando de definir los problemas, los temas y las prioridades se trata (Sánchez, 2005). La comunicación impregna la actividad política pública, hasta el punto que un fracaso en la comunicación de un proyecto político, acarrea el fracaso del proyecto político mismo; incluso, para algunos autores, se puede describir muchos aspectos de la vida política, como procesos o tipos de comunicación (Fagen, 1969). Sin embargo, como escribe Deutsch (1985) muchas clases de transacciones políticamente relevantes no pueden abordarse desde la comunicación. Pero ese segmento limitado de la 294 Ligia de Salazar política que guarda relación con los procesos de comunicación, supone un aspecto estratégico de la política, por cuanto incluye las áreas de la atención, la percepción, la orientación, los valores, la evaluación, la búsqueda de metas y la toma de decisiones. Es sabido que todo proceso que implica decisiones colectivas se ve enfrentado al problema de la comunicación y del diálogo con la ciudadanía y con los actores de una sociedad. La información ha dejado de ser un elemento más en la sociedad y su generación, procesamiento y transmisión se han convertido hoy día en fuentes fundamentales de la productividad y el poder (Castells, 2000). “La legitimidad y la eficiencia de las decisiones y acciones políticas, hoy en día, depende en mucho de estrategias comunicativas y de los insumos suficientes y eficientes de información” (Sánchez, 2005). Durante mucho tiempo se ha afirmado que las agendas de los organismos políticos y de los medios de comunicación expresan la distribución de una forma de poder. Este poder, o control de la agenda, se traduce en la capacidad para asignar relevancia a un problema social, atribuirle prioridad y fijar sus posibles soluciones, descartando otras alternativas (Sampedro, 1996). Agenda El término agenda se utiliza para indicar “el conjunto de problemas percibidos que necesitan un debate público” (Padioleau, 1982). Por agenda se conoce al espacio en el que diferentes cuestiones o temas apelan a la acción pública. De manera que el paso por la agenda se convierte en requisito para el desarrollo de políticas, especialmente en países democráticos. En una determinada sociedad hay muchas agendas, tantas como grupos de interés, afinidad o presión que pretenden poner ítems de su agenda en agendas más poderosas como son la agenda mediática y la gu- 295 Efectividad en Promoción de la Salud y Salud Pública bernamental. El espacio mediático pretende ser y probablemente es una representación de la agenda social; es decir el conjunto de temas que en un determinado momento mueven a la sociedad a actuar. Los medios de comunicación se comportan como porteros que pueden o no dejar pasar un tema al espacio mediático. La agenda gubernamental se ve influida, como todas las agendas en una sociedad, por la agenda mediática; aunque no existe una relación inmediata y exacta. Hay políticas que desarrolla un gobierno sobre temas que nunca han estado en la agenda mediática, y viceversa, temas que están reiteradamente en la agenda mediática sin conseguir entrar en la agenda gubernamental. El concepto de agenda es una de las bases del trabajo en promoción de la salud. Conseguir poner la salud en el espacio mediático es el objetivo de las actividades de defensa de la salud, y la influencia en las agendas gubernamentales es la base para la mediación en el desarrollo de políticas públicas saludables. Igualmente, se podrían caracterizar dos fases o funciones de la defensa de la salud: una consistiría en llamar la atención sobre el problema y la otra en llamar la atención sobre una determinada respuesta al problema. Adaptado de: Álvarez-Dardet (2003) En el significado que les atribuye Majone (1997) las políticas constituyen instrumentos de construcción de opinión pública y de diálogo democrático; por tanto, son también una actividad de comunicación pública y no sólo un conjunto de decisiones orientadas a la ejecución de acciones en consecución de unos objetivos. La formulación de las políticas incorpora, además de la intencionalidad estratégica, otra de tipo comunicativo, que es fundamental para la construcción de un clima 296 Ligia de Salazar democrático de discusión, que facilite la articulación del Estado con los ciudadanos (Roth, 2004). Durante las últimas dos décadas se han realizado grandes esfuerzos para que los procesos de formulación de políticas consideren mayormente la información o el conocimiento resultado de la investigación, pero muchos han fracasado por basarse en expectativas Las políticas constituyen instrumentos de construcción de opinión pública y de diálogo democrático; por tanto, son también una actividad de comunicación pública y no sólo un conjunto de decisiones orientadas a la ejecución de acciones en consecución de unos objetivos. no realistas y por incomprensión del proceso de definición de políticas, el cual está sujeto a múltiples fuerzas (GEOPS, 1996). En la práctica, muchas veces el proceso de formulación de políticas poco o nada tiene en cuenta las evidencias y, en caso de existir estas evidencias, su difusión está limitada a publicaciones e informes dirigidos a la comunidad académica, que escasamente toma partido en la formulación de las políticas y su implementación (De Salazar, 2000). Lo anterior es una de las razones por las que cada vez más proliferan los llamados think tank –tanques de pensamiento o centros de investigación para incidencia en políticas públicas–. Los think tanks se han expandido rápidamente en el mundo en las últimas dos décadas, en buena parte debido a que los gobiernos cada vez son más receptivos frente a soluciones que surgen de políticas basadas en evidencias, y buscan nuevas soluciones en entornos políticos altamente cambiantes. Por tanto, son también conscientes de la importancia de la comunicación para capturar la atención del público y las mentes de los políticos (Start y Hovland, 2004). Start y Hovland (2004) plantean que para lograr la influencia en las políticas se debe lograr equilibro entre dos dimensiones: la confron297 Efectividad en Promoción de la Salud y Salud Pública tación y la cooperación, y la evidencia racional versus los valores o la discusión basada en los intereses. Ambas dimensiones presentadas por los autores –confrontación y cooperación– resultan modos efectivos e importantes para generar un cambio en las políticas, por lo que originan cuatro categorías de estrategias de influencia, que pueden adaptarse en: (1)asesoramiento, (2)abogacía (3)interacción e intercambio y (4)activismo (ver Gráfica 1). Evidencia / base científica Asesoramiento Abogacía Documentos de análisis de políticas. Recomendaciones para decisiones Campañas públicas, marketing social, presión social, opinión pública Cooperación / Confrontación / camino interno camino externo Alianzas políticos-academia; redes de trabajo; comités interinstitucionales Acciones directas por parte de grupos – manifestaciones, etc- Interacción Activismo Interés / base de valor Gráfica 1. Estrategias para influenciar políticas (Adaptada de Start y Hovland, 2004) 298 Ligia de Salazar James (2000) plantea que otra dimensión de relevancia tiene que ver con las acciones de enfoque directo –interacción directa– con políticos o con un gobierno para que adopte una política en particular y, por otro lado, con las de enfoque indirecto que buscan un cambio en el marco y contenido del debate público sobre una cuestión, o alertar al público o a la opinión experta sobre el tema, cambiando así el marco de referencia de los políticos. El tipo y la naturaleza de la evidencia que se vaya a comunicar, los alcances de la misma, las condiciones en las que ésta se produce y el ambiente en el cual se comunica, los públicos a quienes intenta influenciar, así como los intereses y el tipo de decisiones que deben tomar, determinan en gran medida la selección de la estrategia o estrategias más apropiadas para hacer efectiva la influencia en políticas. Incorporación de evidencias a la formulación de políticas: alcances y desafíos Varios autores y enfoques teóricos han intentado proporcionar respuestas a preguntas sobre cómo se generan las políticas y hasta qué punto la evidencia es incorporada al proceso de generación de políticas (Weiss, 1986; Walt y Gilson, 1994; Rich, 1997; Lomas, 2000; Kirkhart, 2000; Crewe y Young, 2002). Sin embargo, hay aún muchas preguntas sin responder, entre ellas ¿por qué algunas ideas que circulan en las redes de investigación y políticas, son recogidas y se actúa con base en ellas, mientras otras son ignoradas y desaparecen?, o ¿cómo volver más productivas y relevantes las interacciones entre investigadores y formuladores de políticas para responder a los problemas de la sociedad? Esto indica que pese a múltiples esfuerzos, todavía hay grandes desafíos para lograr la articulación entre la evidencia y la formulación de políticas públicas, y en lograr tender puentes efectivos para alcanzar este propó299 Efectividad en Promoción de la Salud y Salud Pública sito. Hoy el debate sobre la utilidad de la investigación, particularmente de la investigación evaluativa a los procesos de formulación de política continúa, en un contexto en el cual muchos evaluadores piensan que su papel termina cuando los resultados se producen y muchos tomadores de decisión enfatizan en que los evaluadores nunca contestan sus preguntas (De Pouvourville, 1999). Así mismo, hay una gran ansiedad por maximizar el impacto directo de la investigación sobre la política y la práctica y frecuentemente se pierde de vista el impacto más gradual e indirecto que la investigación puede tener. La atención actual está sobre los cambios inmediatos e identificables en las políticas, y menos sobre cambios conceptuales en la manera de ver el mundo y en los conceptos que usamos para entenderlo. Los análisis en relación con el tema se iniciaron estableciendo las responsabilidades de la articulación evidencia-política –o de la falta de articulación–, desde cada una de las orillas involucradas: la de la política y la de la investigación, poniendo en el centro de la discusión tanto a los políticos, sus lógicas y culturas, como a los investigadores, sus paradigmas y enfoques para buscar la verdad. Es desde esta perspectiva que se propuso la “tesis de los dos mundos”. Sin embargo, no pasó mucho para reconocer que este análisis era incompleto y que las formas de relación que se establecían entre estos dos actores y especialmente la consideración del contexto y de las condiciones de “producción” de cada uno –de la investigación, incluyendo el tipo de conocimiento generado; y de la formulación de políticas, incluyendo el sistema político– tenían a su vez igual o mayor importancia como determinantes de la pretendida articulación evidencias-políticas. En 1982, Levin ya señalaba aspectos en este sentido, indicando cuatro consideraciones que la investigación debería cumplir para ser útil a la toma de decisiones. De acuerdo con su planteamiento, debería: (1) referirse a problemas concretos que enfrenta el tomador de decisiones, no en áreas de decisión que son irrelevantes para éste; (2) proveer co300 Ligia de Salazar nocimiento a tiempo para el tomador de decisiones, lo cual puede ser muy importante en el caso de decisiones que deben ser tomadas en un corto plazo; (3) ser escrita de una manera que resulte entendible para una persona no experta; y (4) no violar las restricciones políticas específicas que enfrenta el tomador de decisiones. Por su parte, diez años después, Postlethwaite (1992), basándose en su propia experiencia, habló de la necesidad de que los investigadores realizaran un esfuerzo especial por entender a los tomadores de decisiones; aumentar los lazos entre ambos campos; involucrar a los tomadores de decisiones en el trabajo práctico; y mejorar la forma de comunicación, sugiriendo a los investigadores no usar un lenguaje muy sofisticado y a los tomadores de decisiones aprender algunos de los conceptos críticos. Es de reconocer que en diversas propuestas prevalece detrás una perspectiva lineal de la relación evidencia-política o la existencia de una relación directa entre información y decisiones. Este paradigma lineal ha sido desafiado y se ha demostrado su inoperancia; incluso se plantearon otra serie de modelos explicativos de la relación investigación y políticas. Algunos modelos explicativos de la articulación investigación-políticas Weiss (1986) planteó una serie de modelos que explican la articulación entre investigación y políticas. La autora distingue los modelos que establecen una relación unívoca y racional y los que apuntan hacia una interacción más aleatoria entre conclusiones, definición de los problemas y soluciones de las políticas. Para Auriat (1998) ninguno de los modelos ofrece una respuesta satisfactoria a cómo proceden los responsables de la toma de decisiones para movilizar las conclusiones de las investigaciones y utilizarlas en su proceso de formulación de las políticas. Sin embargo, 301 Efectividad en Promoción de la Salud y Salud Pública la comprensión de la diversidad de perspectivas contribuye a acabar con el mito de que la investigación tendría un importante impacto en las políticas si los responsables de éstas prestaran una mayor atención a los resultados de la investigación. Modelo de solución de problemas y toma de decisiones: Sugiere una relación directa entre investigación y formulación de políticas. Supone que los responsables de la toma de decisiones tienen una visión clara del problema y un esquema de las soluciones alternativas, pero carecen de ciertos elementos factuales o de comprensión. Por lo general, en estos casos se requiere una investigación que responda al problema y se supone que la investigación generada por esta modalidad influirá en las políticas. Frente a esto, Weiss (1986) señala que en algunos casos la investigación precede al problema, y los responsables de la toma de decisiones pueden buscar información en investigaciones ya existentes. Modelo de búsqueda de conocimientos: Supone también una relación lógica entre investigación y uso de los resultados en las políticas, pero a diferencia del anterior, no se orienta a resolver un problema específico, sino a develar alguna oportunidad que pueda ser aprovechada. Estos dos modelos anteriores han sido objeto de crítica, porque ambos se basan en los supuestos aún no comprobados de que el análisis es esencial en la definición de políticas y que estas políticas constituyen un proceso racional. Modelo interactivo: Este tipo de aplicación supone que los resultados de una investigación pueden penetrar en el terreno de las políticas como parte de una búsqueda interactiva de conocimientos. Los planificadores de políticas buscan información no sólo entre los investigadores sino también de un conjunto de otros actores, como administradores, técnicos, políticos, planificadores, periodistas, clientes, grupos de interés, colaborador y amigo. El modelo reconoce que se adoptan ciertas decisiones cuando 302 Ligia de Salazar las circunstancias políticas lo exigen, y no necesariamente cuando la investigación ha completado y tabulado sus resultados. Modelo político: Este modelo sostiene que se puede usar la investigación como arma política para recabar apoyo para una determinada posición política, para neutralizar a los opositores de esa posición o convencer a los indecisos. Sin embargo, hay perspectivas opuestas a este modelo, e incluso negativa de muchos investigadores a aceptar aplicar sus trabajos con fines de propaganda y auto justificación. Este tipo de aplicación hace bajar a la investigación de su pedestal y lo lleva a la negociación política, donde se convierte en una fuente más de conocimientos. Modelo táctico: Este modelo se refiere a aquellos casos en que los organismos de gobierno u otras instituciones utilizan la investigación como respuesta táctica para demostrar que se está realizando algo a propósito de un tema específico. La clave de este modelo de aplicación táctica y burocrática está en que se ordena realizar un estudio como respuesta a la opinión pública y no por los beneficios que podrían brindar las conclusiones del mismo. Modelo de clarificación: Este tipo de aplicación puede contribuir a aumentar o disminuir el nivel de figuración de un problema en el programa de políticas públicas. Como tal, puede servir para convertir un problema existente en uno inexistente, o lanzar al dominio público y político temas hasta entonces privados o silenciados, o bien introducir un enfoque nuevo en la manera como la sociedad piensa acerca de determinados problemas. 303 Efectividad en Promoción de la Salud y Salud Pública Las teorías y planteamientos más recientes integran modelos de análisis que involucran los actores, los procesos, las condiciones y contextos de cada uno, así como a los contenidos –naturaleza o tipo de la evidencia–, y a los procesos de comunicación o transferencia del conocimiento, entendiendo que todos estos factores constituyen aristas de un mismo problema, que difícilmente pueden estudiarse en forma fragmentada. Entre estos planteamientos están los de Start y Hovland (2004) quienes sintetizan los distintos factores determinantes en la articulación evidencia-políticas en tres áreas claves que se corresponden con lo anterior: (1) los vínculos entre los actores involucrados, (2) el contexto político y (3) la evidencia y cómo se comunica. Otros autores también han coincidido con categorizaciones similares (Crewe y Young, 2002; Bronfman, Langer y Trostle, 2003; y De Salazar, 2004). Sin embargo, al mirar el proceso comunicativo desde un paradigma más amplio, podríamos decir que éste englobaría las anteriores áreas de influencia propuestas –contextos, actores y vínculos– e incluso otras no descritas aquí, pero es menester ahondar todavía en ello. En relación con los vínculos entre los actores involucrados, la generación de interfaces sostenibles que faciliten la interacción directa entre investigadores y políticos ocupa fuertemente la atención de los estudiosos del tema desde hace no mucho tiempo. El concepto de interacción cada vez cobra mayor importancia. Diversos estudios sobre la utilización de la investigación en salud muestran que muchos de ellos incluyen conclusiones o recomendaciones acerca de la interacción investigadorespolíticos, como un aspecto clave. Importantes ejemplos incluyen una serie de estudios de caso desarrollados en el Reino Unido (Elliott y Popay, 2000) y en Canadá (Lavis et al., 2004). Recientemente Gabbay y Le May (2004) ilustraron cómo guías clínicas fueron incorporadas dentro de la práctica, a través de interacciones sociales y redes interpersonales, en dos grupos de practicantes. 304 Ligia de Salazar Lomas (2000) y Lavis et al. (2004) han abordado el modelo que se ha denominado de unión e intercambio –linkage and exchange– basado en la permanente y estratégica interacción entre investigadores y decisores, como una filosofía efectiva para mover la investigación hacia su influencia en políticas. Esta propuesta supera el modelo bastante empleado, conocido como transferencia de conocimiento –knowledge translation–, el cual ha sido objeto de diversos cuestionamientos por las posibles limitaciones de su alcance, y porque detrás de él subyace el paradigma agotado del receptor pasivo, que recibe el conocimiento y que en teoría debe saber cómo usarlo y qué hacer con él. Linkage and exchange desplaza el concepto y papel del tradicional receptor, por el de un interlocutor activo, participativo en la producción desde el inicio, por lo que se orienta al involucramiento de los tomadores de decisión en los procesos de valoración de la evidencia y se enfoca para esto en el establecimiento de conexiones personales entre investigadores y políticos. Sin embargo, algunas interpretaciones de este modelo han sido cuestionadas por entender la toma de decisiones basada en evidencia como un ejercicio técnico, al tiempo que otros que también defienden el modelo la plantean no solo desde un enfoque técnico sino como un ejercicio social (Conklin, Hallsworth, Hatziandreu y Grant, 2008). Así mismo, se ha discutido en torno a la importancia de que la investigación sea también desarrollada considerando el modelo de unión e intercambios. Graham et al. (2004) encontraron en su estudio que la investigación que se generó según los principios del modelo de uniones e intercambios, tuvo cuatro veces más probabilidades de tener impacto que la llevada a cabo y diseminada usando los tradicionales enfoques y modos de producción –modo tipo I de producción de conocimiento, y enfoque de diseminación que privilegia el papel del emisor–. Sin embargo, al emplear un diseño de estudio multi-caso, Kothari et al. (2005) encontraron que el uso o adopción de la evidencia fue indepen305 Efectividad en Promoción de la Salud y Salud Pública diente de la interacción entre productores y usuarios de la investigación, a pesar del hecho de que “la interacción” entre unidades de política y unidades de investigación influyó en la comprensión de los resultados de la investigación y en la intención de uso de dichos resultados, según explicaron los autores. No obstante, también identificaron determinadas limitaciones de su estudio, que podrían explicar el por qué las interacciones humanas no derivaron en altos niveles de aplicación de la investigación por los tomadores de decisión, por lo que advierten que sus resultados probablemente no son generalizables a muchas otras situaciones. El segundo factor, considerado determinante en el impacto de la investigación en la política es precisamente el contexto político, en el cual este proceso se da. El sistema político vigente y el grado de apertura de las organizaciones al uso de la evidencia, han sido señalados reiteradamente como condicionantes de la articulación entre evidencia y política. Es de considerar que una vez que la decisión técnica entra en el terreno de la decisión política, ingresa a un contexto interactivo donde operan múltiples racionalidades, que responden a distintos grupos de interés, cada uno con información parcial y actuando en un medio incierto (Brunner, 1994). Las diferencias que caracterizan los distintos entornos de investigadores y tomadores de decisión pueden ser descritas como problemas de prácticas, discursos y estructuras institucionales que dificultan el uso eficaz del conocimiento para la toma de decisiones (Swope, 2001). En un contexto en el cual diferentes personas y grupos están involucrados tanto en el proceso de investigación como en el proceso de toma de decisiones, y en el cual esta interacción es mediatizada por variables políticas y culturales, es imposible pensar en un proceso de vinculación entre conocimiento y políticas más o menos mecánico. En este contexto es frecuente escuchar que el disponer de evidencias no siempre es el interés de los tomadores de decisión. Muchas veces 306 Ligia de Salazar estimaciones que ayuden a entender si el problema es pequeño o grande, si empeora o mejora, cuánto tiempo tendrá que resolverse y qué puede hacerse al respecto, tienen más probabilidad de ser considerados, contando con que en las decisiones entran en juego, además de insumos técnicos, diversas circunstancias y oportunidades, la influencia de los grupos de presión y algunas limitaciones psicosociales –o “momentos de debilidad”– (White, 1998). Los tomadores de decisión tienen una presión adicional y es que tienen que anticiparse a la consecuencia de una decisión o política dada y establecer estrategias para convencer a las personas de que la acción tiene que ser tomada. La urgencia con la que hay que tomar determinadas decisiones tiene el riesgo del error y sus consecuencias, que recaen sobre quien las adoptó, pero también sobre la sociedad que recibe los beneficios o consecuencias. La demora en adoptar una decisión no es menos arriesgada que la urgencia. Así, quienes toman las decisiones, otros actores e inclusive los medios de comunicación, están llamados a comparar el costo del error con el costo de la demora, y decidir siempre en situaciones de relativa incertidumbre (Del Rey Morató, 1998). No es equivocado señalar que en muchas ocasiones la base de las decisiones en salud y de la acción política es una información incompleta, y la decisión de actuar se toma en una situación de relativa incertidumbre. A lo anterior se suma que la realidad va también más rápido que el conocimiento. La respuesta de los tomadores de decisión a usar evidencias varía no solo por el tipo de problemas que deben afrontar y por cómo la investigación se hace disponible, sino también por las diversas actitudes que ellos adoptan hacia el proceso de formulación de políticas en su conjunto (Caplan, 1977). Como individuos, algunos tomadores de decisión son mucho más receptivos a la investigación que otros. Sin embargo, los problemas van más allá de las preferencias individuales y también dependen de qué tan lejana en el tiempo está la investigación para res307 Efectividad en Promoción de la Salud y Salud Pública ponder a las necesidades de los políticos y de la sociedad; de la cultura política y administrativa nacional y del ordenamiento institucional para la toma de decisiones. Cuando abordamos el tema de cómo usan la investigación en salud los que participan en la formulación de las políticas, vale la pena considerar un espectro de cuestionamientos planteados por Hanney et al. (2003): 1) ¿Están los tomadores de decisión pidiendo realizar la investigación y pueden identificar sus necesidades? 2) ¿La investigación que se estima relevante a los problemas de la política, está disponible y atrae la atención de los tomadores de decisión? 3) ¿Pueden los formuladores de políticas acoger y sistemáticamente estimar la evidencia? 4) ¿Están los tomadores de decisión queriendo y logrando usar la evidencia de la investigación cuando enfrentan muchas otras presiones? A estas preguntas puede añadirse ¿qué tipo de información reemplaza a la evidencia en momentos de incertidumbre y urgencia por reducirla? Una extensa revisión sistemática realizada por Innvaer et al. (2002) recomendó que para incrementar el uso de los resultados de la investigación, los investigadores deben establecer comunicación personal directa con los tomadores de decisiones políticas, proveer resúmenes con claras recomendaciones, asegurar que la investigación sea percibida como oportuna y de alta calidad y mostrar que los resultados son relevantes a las actuales demandas políticas. Las implicaciones de esto, según Hanney et al. (2003) son que los investigadores que promocionan sus propios resultados pueden llevar a un mayor uso de la evidencia pero, paradójicamente, esto podría ser más bien un uso selectivo de la evidencia, más que un acercamiento sistemático. 308 Ligia de Salazar La revisión de Innvaer et al., incluyó 24 estudios que cumplieron con los criterios de inclusión. Como se indicó arriba, dos factores claves fueron identificados como facilitadores del uso de la investigación por los formuladores de políticas en salud. Estos fueron el contacto personal entre investigadores y formuladores de política y la oportunidad y relevancia de la investigación; ambos factores fueron identificados en 13 de los 24 estudios de la revisión. Luego en la lista sigue la investigación que incluyó un resumen con recomendaciones claras, lo cual se identificó en 11 estudios. Las barreras para el uso de la investigación de salud fueron justamente sus opuestos; o sea, la ausencia de contacto personal, encabezando la lista y apareciendo en 11 de los 24 estudios, seguido por falta de oportunidad o relevancia de la investigación, informado en 9 estudios. Los asuntos relacionados con la naturaleza de la evidencia y los procesos de comunicación o transferencia de la misma cobran, igualmente, vital importancia en los análisis actuales sobre los determinantes del impacto de la evidencia en políticas. Investigaciones sobre el uso de evaluaciones económicas y de evaluación de tecnologías en salud en la formulación de políticas han considerado la importancia de factores como la calidad, la confiabilidad, la oportunidad y la comprensión de la investigación, en la influencia de diferentes niveles de utilización (Henshall et al., 2002). Estudios similares han resaltado que las percepciones sobre la calidad de la investigación, así como sobre la cualificación, credibilidad y reconocimiento del investigador están asociadas a una mayor probabilidad de uso o influencia de los resultados en políticas (Bronfman, Langer y Trostle, 2003). También se ha reconocido el hecho de que diferentes tipos de investigación sean más pertinentes para determinados niveles y para distintas etapas del proceso de gestión y formulación de las políticas, así como para influenciar sobre los diferentes aspectos que abordan éstas. Lavis et al., (2002) han llamado la atención frente a que no hay ninguna tipología establecida de categorías de políticas para las cuales sea más 309 Efectividad en Promoción de la Salud y Salud Pública conveniente valorar la utilización de la evidencia. Así mismo, el tipo de evidencia útil a la formulación de políticas puede variar ampliamente. En cualquier caso, es claro que se requieren mecanismos para revisar y sintetizar la evidencia y para identificar qué tipo de investigación debe ser promovida y cuál no. De otra parte, una revisión de literatura sobre la comunicación de la investigación, agenciada por el Department for International Development, DFID, en asocio con el Overseas Development Institute, ODI, de Inglaterra, la cual revisó más de cien documentos, declaró que para lograr impacto en políticas, la investigación necesita, por un lado, hacer accesible información relevante y, por otro, disponer de un ambiente favorable en el cual ésta pueda ser adoptada (Hovland, 2003). Un ambiente favorable es uno en el que todos los factores están en el lugar que nos posibilita entender la información, filtrarla y adaptarla para satisfacer nuestras necesidades. Lo anterior implica una comprensión del contexto en el cual el conocimiento y la información son generados y usados, y los factores que influencian estos procesos. La revisión mencionada propone recomendaciones específicas para mejorar la comunicación de la investigación para la formulación de políticas. Entre ellas, fortalecer las habilidades de comunicación de los investigadores, orientarse a establecer estrechas colaboraciones entre investigadores y formuladores de políticas; construir una apropiada plataforma desde la cual comunicar y fortalecer la capacidad de las organizaciones políticas para favorecer el uso de la investigación –un departamento gubernamental probablemente no pueda usar la investigación por falta de capacidad del personal o capacidad organizacional para hacerlo–. Hay también otras variables que deben considerarse y que han sido ampliamente mencionadas por varios estudios, como son la oportunidad o correspondencia de los tiempos de la investigación con los tiempos políticos en los cuales puede ser útil esta investigación. Esta variable es clave en nuestro medio, dado que frecuentemente las coyunturas 310 Ligia de Salazar políticas hacen que se demande información y se use la existente, independiente de qué tan válida sea ésta. Otra variable que hay que considerar es la disponibilidad y acceso de las evidencias y con ello, qué tanto aportan los investigadores en ese sentido. Por otro lado, en escenarios de decisiones políticas y gubernamentales, se reconoce también que muchas veces la información no es asimilada, entre otras razones, por la gran cantidad de documentos que llegan a manos de los decisores y porque se les provee de conocimiento generado por un solo tipo de resultados –investigación positivista–. El paradigma dominante se erige sobre una sobrevaloración, tanto de las publicaciones científicas como medio para diseminar el conocimiento, como de las tecnologías, como únicos medios para la comunicación. En suma, es de considerar que la probabilidad de la articulación evidencia-políticas mantiene su curso cuando entran en interacción todos los actores involucrados en la formulación e implementación de las políticas, en el marco de ambientes favorables y creativos: los políticos, que toman las decisiones y cumplen con la función derivada de su poder; los investigadores o científicos, que proveen información relevante y válida; y la comunidad, que además de ser también responsable de proveer información clave, recibe el impacto de una buena o una mala decisión, al tiempo que debe estar preparada y ejercer presión a favor o en contra de las políticas que se estén debatiendo. Por tanto, también se aboga por procesos de comunicación y generación de dinámicas participativas, que recojan la opinión del público, los decisores, los proveedores y los administradores, de tal forma que se aumente la probabilidad de adopción de las recomendaciones y de éxito en su aplicación. II. La comunicación de la evaluación Como se ha mencionado, los procesos de comunicación son un eslabón fundamental en la cadena que relaciona las evidencias con las decisiones y la acción política. Por tanto, quienes evalúan tienen la responsabili311 Efectividad en Promoción de la Salud y Salud Pública dad de crear e implementar estrategias de comunicación y abogacía que alcancen las diferentes audiencias comprometidas con la intervención o acción en promoción de la salud evaluada, en la búsqueda de que sus resultados influencien la toma de decisiones. Sin embargo, no se puede desconocer que en el campo que nos ocupa estamos abordando intervenciones –y por tanto evaluaciones– que se caracterizan por ser de naturaleza compleja y por actuar en sistemas complejos. En esta comprensión de la complejidad estamos aceptando que discontinuidades y sorpresas es probable que ocurran y que estos operan lejos de un equilibrio, en un estado de constante adaptación. En ese sentido, los procesos de comunicación necesariamente deben considerar estas condiciones y actuar conforme a ellas. Eso implica que la comunicación debe ser adaptativa y responder a las demandas que generan dicha complejidad. También implica desafíos adicionales para quienes deben planificar e implementar las estrategias de comunicación, dado que difícilmente se podrán estandarizar procesos de comunicación en condiciones donde la evidencia tampoco es estándar y menos las condiciones en las cuales se produce. La propuesta es adentrarse en el conocimiento del proceso que llevará a la decisión y de los involucrados en la misma. La identificación de los intereses de los usuarios principales de la evaluación y de sus preferencias de comunicación se torna un aspecto crítico. Como las diferentes audiencias tendrán también distintas expectativas y requieren probablemente información diferente sobre la intervención evaluada (Rossi y Freeman, 1993), estas deben conocerse, a fin de ser más específico y certero en la selección de la estrategia de comunicación y de la información que entregará a cada una de ellas. Se debe considerar, como principio básico, que el seleccionar estrategias apropiadas y elaborar información que responda a las características de las audiencias, puede mejorar los esfuerzos de comunicación de 312 Ligia de Salazar la evaluación y su paso a la acción y la política en forma significativa (Trostle, Bronfman y Langer; 1999). Sin embargo, cuando se analizan los resultados y recomendaciones en torno a la comunicación de evidencias o de resultados de la investigación, muchas veces se asimilan los “tomadores de decisión” a un cuerpo homogéneo de receptores. La recomendación central es que, especialmente en sistemas y contextos políticos como los nuestros, difícilmente se podrá caracterizar los tomadores de decisión en una única o Decisores Entendemos como tomadores de decisión aquellos que pueden decidir algo acerca del proyecto o intervención. Hay varios niveles de tomadores de decisión, dependiendo del tipo de decisión que hay que tomar. Hay personas con responsabilidad para decidir sobre los aspectos técnicos del proyecto y otros sobre lo político, en términos de enfoque, asignación de los recursos y continuación, extensión a otras áreas y poblaciones o finalización del mismo. singular descripción. Los perfiles de quienes ocupan posiciones oficiales gubernamentales, por ejemplo, pueden ser enormemente amplios, en relación con su nivel educativo, tipo de formación, habilidades de comunicación y hasta en la forma en que responden asuntos éticos. Un principio fundamental de la comunicación en la evaluación es que tome en cuenta los potenciales usos que los diferentes decisores harán con los resultados de la evaluación. Los procesos de comunicación deben ayudar a los decisores y hacedores de política a identificar en el concepto y la práctica, en qué consiste una determinada solución y si la solución o alternativa que se plantea, se corresponde con un sentido general de bienestar. Es innegable que la solución para un grupo supone un problema para otro. En suma, se trata de una identificación de los valores que están de por medio en la elección y éste es el desafío al que se enfrenta aquí la comunicación. 313 Efectividad en Promoción de la Salud y Salud Pública Las metodologías y herramientas para identificación y análisis de involucrados, ampliamente extendidas por diversas entidades, pueden resultar particularmente útiles en este proceso. En esta identificación se sugiere incluir los actores afectados por el problema; los actores involucrados en la fase de formulación de las propuestas de solución; en la financiación de los recursos requeridos, la aprobación o legitimación de posibles propuestas de política, la ejecución o la implantación de las medidas, la utilización de los beneficios obtenidos y la evaluación. Una realidad que debe considerarse es que no todos los actores explicitan sus intereses frente al problema y las posibilidades de solución. Si se ignora este hecho se puede correr un riesgo importante de resistencias y fracaso al divulgar y extender los resultados de la evaluación. Por el contrario, la confluencia de intereses puede ser uno de los factores que garantice el éxito en el uso de los resultados de su evaluación. Por tanto, resulta clave el identificar para cada actor o grupo de interés las diferentes acciones, decisiones, fases o momentos en los cuales se puede y debe intervenir, en el proceso de articulación evaluaciónpolítica; por ejemplo, podría intervenir en la fase de formulación del problema, posicionamiento del problema o del tema en la agenda pública, formulación de la política; legitimación o aprobación formal, financiación, ejecución o en la evaluación de la misma. Igualmente reconocer la actitud potencial de los actores frente a la acción o decisión que se espera que se tome. La siguiente tabla puede orientar sobre algunas de las preguntas que esta tarea podría demandar: Preguntas Respuestas requeridas ¿Quién necesita la información? Lista de tomadores de decisión y otras audiencias a quienes se orientará su estrategia de comunicación. Posicionamiento frente a la intervención evaluada y a las decisiones que de ella resulten. Tipo de información. Proceso, resultados, impacto, eficiencia, eficacia, efectividad, costos de tecnologías e intervenciones, beneficios. ¿Qué necesita saber? 314 Ligia de Salazar Preguntas Respuestas requeridas ¿Cómo requiere saberlo? Tipos de medios. Formatos: escritos, visuales, audiovisuales, interactivos, orales (presentaciones, reuniones, etcétera). Posicionamiento frente a la intervención. Intereses y expectativas, conflictos. Decisiones que requiere tomar. Quiere empezar, mejorar o terminar un programa. Necesita orientar/persuadir una acción. Conocer beneficios. Ejercer abogacía y opinión pública. Oportunidad de la información. Período de inicio, medio o finalización de un programa. Finalización de un periodo de gobierno o dirección. ¿Por qué necesita saberlo? ¿Para qué necesita saberlo? ¿Cuándo necesita saberlo? Al considerar lo anterior, se espera que los objetivos de la comunicación respondan a las necesidades o potenciales intereses de quienes de una u otra manera estén relacionados o se vean afectados por los resultados de la evaluación, y de los potenciales usos que los tomadores de decisión, incluyendo las comunidades, puedan dar a la evaluación. De acuerdo con la Comisión Europea (2003) una comunicación efectiva de la evaluación puede conducir a otros usos y beneficios adicionales: • Lograr el interés de gobiernos nacionales, autoridades regionales y locales y otros públicos, en las intervenciones, así como de fuentes de financiación alternativas, que apoyen la ampliación o extensión de intervenciones exitosas. • Hacer visible la labor de las organizaciones o instituciones participantes en la intervención a nivel local, nacional e internacional, e incluso la del grupo evaluador. • Promover el uso de los resultados de la evaluación por parte de diferentes organismos y tomadores de decisión. • Promover el uso de buenas prácticas en promoción de la salud que sean resultado de evaluaciones serias de efectividad Claves en la operación de la estrategia de comunicación Una adecuada selección de la estrategia determina el éxito de la comunicación de los resultados de la evaluación. La estrategia incluye el 315 Efectividad en Promoción de la Salud y Salud Pública conocimiento y comprensión de los públicos, la escogencia de medios, productos o canales de comunicación y la elaboración de la información, en productos de comunicación con sentido y utilidad para los públicos identificados. Es de reconocer que el ambiente para comunicar sobre asuntos de salud e incidir en políticas ha cambiado significativamente. Esta comunicación puede ocurrir en una variedad de contextos, a través de diferentes canales, mensajes, y por distintas razones. Los cambios también incluyen aumentos considerables en el número de canales de comunicación y el número de asuntos de interés en salud y políticas que rivalizan por la atención del público, al tiempo que las comunidades y los diferentes grupos exigen más información de mejor calidad, y por lo tanto, mejores y más sofisticadas técnicas de mercadeo. En estos contextos, las personas no pueden dar atención a toda la información que reciben, sino que lo hacen selectivamente. Por tanto, este proceso no debe verse como una tarea mecánica sino más bien como un ejercicio creativo. Una buena parte de quienes han abordado estos temas de las estrategias de comunicación coinciden en la conveniencia de desarrollar estrategias multimedios –mix-communication–, teniendo en cuenta que los decisores y otras audiencias requieren diversa información, entregada de ditintas formas y en diferentes momentos. En suma, se trata de emplear estrategias de comunicación que puedan definirse por actores; es decir, diseñar estrategias de acuerdo con los intereses y motivaciones de los potenciales públicos. Esta últimas deben incluir las estrategias de incidencia, que son el conjunto de acciones concretas, destinadas tanto a persuadir y convencer como a negociar con el público la implementación de una determinada decisión o acción en política. Las dos primeras tienen más que ver con las estrategias de publicidad y seducción. La negociación y diálogo, entran más a competencia del campo de la comunicación social. En ese sentido, algunos autores 316 Ligia de Salazar hablan de tres tipos de estrategias de incidencia: de comunicación, de persuasión y de presión (Fundación Chasquinet, 2004). Estrategias de persuasión y de presión pueden dirigirse a actores que estén indecisos sobre el curso de una decisión o política, o sobre quienes la han rechazado. Mecanismos de movilización social pueden ser utilizados, aunque deben ser abordados cuidadosamente, ya que se requiere una base social sólida y fuerte, para que los esfuerzos no sean infructuosos o contraproducentes. Sin embargo, diversas limitaciones pueden obstaculizar esta tarea, entre ellas, el que para muchos políticos y otros tomadores de decisión no es común utilizar este tipo de información, por lo que el solo envío de publicaciones y algunas presentaciones sin contexto, pueden resultar insuficientes para lograr el objetivo (Zandbergen y Petersen, 1995). Algunos elementos prácticos que se pueden tener en cuenta al diseñar o seleccionar la estrategia de comunicación para alcanzar tomadores de decisión, se relacionan con: • Preferir productos y medios escritos, cortos, de rápida producción y distribución, que incluya un medio electrónico. Dividir el texto en bloques o ideas generales para facilitar una primera lectura rápida. Utilizar subtítulos y recuadros para resaltar información. No extenderse para llegar a una recomendación. Exponer primero la acción que debe ser tomada y luego las explicaciones que le precedan. • Evitar emplear los resultados en el formato en que salen de los programas de computador, así como tablas y gráficas estadísticas, que poco informarán a decisores o a otros públicos no capacitados para interpretarlas. Se debe ser creativo y proveer al decisor tablas resúmenes, sinopsis de conclusiones y recomendaciones relevantes, diagramas alternativos, tablas comparativas o infografías creativas que expliquen los resultados de forma simple y preferiblemente en un lenguaje que le sea común. 317 Efectividad en Promoción de la Salud y Salud Pública • Emplear medios interpersonales complementarios –comunicación cara a cara–. Para muchos tomadores de decisión, los contactos informales resultan más importantes que los intercambios del tipo de boletines y reuniones (Trostle, Bronfman y Langer; 1999). Concertar reuniones ejecutivas con los decisores donde presente y explique sus resultados y recomendaciones, usando medios audiovisuales. Aprovechar espacios alternativos de comunicación y presentación de los resultados. • Identificar “emisarios” como medios alternos para reforzar los mensajes, especialmente recomendaciones para los tomadores de decisión. Se pueden considerar como emisarios al público en general, un personaje con alta credibilidad, personas que no constituyan amenaza política, los medios masivos de comunicación, entre otros, que puedan ejercer abogacía (Comisión Europea, 2003). También movilizar a las comunidades, de modo que sirvan como fuente de información y evidencia (Bates, 2004). • Valorar el papel de los medios de comunicación, especialmente los llamados masivos, y su utilidad para hacer que el público ubique el tema en sus prioridades y agendas de discusión. Sin embargo, es importante reconocer sus limitaciones, especialmente que no cuentan con todo el poder que generalmente se les otorga. Aunque la influencia real de los medios sobre la opinión es mucho más compleja y aún sigue siendo motivo de discusión, lo que sí se puede esperar es que ayuden a poner en el “foco” de la atención, los temas o problemas. Ésta es la consecuencia de la función de agenda-setting de Luhmann (2000); la selección de lo que debe ser atendido por el público, de lo que debe considerarse urgente o de los asuntos que debe importar a todos. Tener en cuenta que cada vez más se amplía también el papel de la Internet en la creación de conciencia y opinión pública (Comisión Europea, 2003) y en la construcción de lo que se conoce como 318 Ligia de Salazar “inteligencia colectiva”. Las nuevas tecnologías de información y comunicación ofrecen un sinnúmero de alternativas efectivas de comunicación que deben considerarse. • Ayudar a orientar y tomar la decisión, respondiendo a la pregunta ¿qué debo hacer? Mostrar si se está alentando a los decisores a hacer algo, a realizar una intervención diferente o a darle un abordaje distinto a la intervención evaluada. Responder al tomador de decisión qué hacer, recomendar si lleva o no a cabo la intervención y por qué, y qué debería hacer si ya la está implementando (McQueen, 2004). La estrategia de comunicación debe especificar claramente cuál es la acción que se sugiere que éstos tomen, qué beneficios traería o qué consecuencias deberán experimentar, si fuera el caso. Muestre los factores que han contribuido a los resultados y construya su cuerpo de evidencias o señales de efectividad relevantes. Escriba información que muestre si la intervención funciona y logra lo que se pretende, cuándo y en qué condiciones lo hace, qué cambios se involucran en esos logros, y dónde se observan más claramente los resultados y beneficios del mismo. El análisis del contexto de la intervención debe ser también considerado para enmarcar la presentación, explicación y comprensión de los resultados. Las recomendaciones que se den al tomador de decisión deben considerar los posibles escenarios, tanto positivos como negativos, para la implementación de la acción sugerida. Un cambio drástico de escenario o contexto dificultará la adopción de una decisión. • Hacer recomendaciones prácticas y mostrar que son factibles de implementar. Presentar no sólo evidencia convincente, sino implicaciones claras. Detallar en los resultados, por ejemplo, si hay ventajas relativas –comparar lo de antes y lo de ahora–, compatibilidad –si lo hecho se ajusta a necesidades–, complejidad –si 319 Efectividad en Promoción de la Salud y Salud Pública es fácil adoptar los cambios que se sugieren– y posibilidades de visibilidad de lo hecho, entre otros aspectos. Presentar no solo la viabilidad técnica, sino política del uso de los resultados. Así mismo, se sugiere establecer referencias o situaciones que muestren que los resultados son pertinentes y útiles para la definición de políticas. Referirse a problemas concretos que enfrenta el tomador de decisiones, no a áreas de decisión irrelevantes para éste; y hacer recomendaciones ideológicamente aceptables y que no violen las restricciones políticas específicas que enfrenta el tomador de decisiones. 320 Ligia de Salazar Bibliografía Álvarez-Dardet, C. (2003) Las bases de la promoción de la salud. [en línea], disponible en: www.cepis.org.pe/bvsahi/fulltext/bases.pdf Recuperado: 6 de octubre de 2009. Auriat, N. (1998), Las políticas sociales y la investigación social: reapertura del debate. [en línea], disponible en: http://www.unesco.org/ issj/rics156/auriatspa.html, recuperado: 21 de marzo de 2001. Bronfman, M., Langer, A. & Trostle, J. (2003), De la investigación en salud a la política: La difícil traducción. México, Editorial El Manual Moderno. Brunner, J. J. (1994) “¿Contribuye la Investigación Social a la Toma de Decisiones?”, en Conferencia seminario La Investigación Educacional Latinoamericana de cara al año 2000 (Punta de Tralca, Chile: PIIE-CIDE-REDUC). Caplan, N. (1977) The use of social research knowledge at the national level. En: Social Research in Public Policymaking (Edited by: Weiss C) Lexington, Lexington Books, 183-197. Castells, M. (2000), La era de la información: economía, sociedad y cultura. Vol. 1, La sociedad red. 1ª re impresión, Madrid, Alianza Editorial. Comisión Europea (2003) A guide to successful communications. European Research. Sixth Framework Programme. Conklin, A; Hallsworth, M; Hatziandreu, E y Grant, J. (2008) Briefing on Linkage and Exchange. Facilitating Diffusion of Innovation in Health Services. Ocassional Paper. RAND Corporation. United Kingdom Crewe, E. y Young, J. (2002) ‘Bridging Research and Policy: Context, Evidence and Links’. Documento de ODI Nro. 173, Overseas Development Institute (ODI), London. De Pouvourville, G. (1999, octubre - diciembre), “Public health research: between science and action?”, en Cadernos de Saúde Pública, vol.15, núm. 4, pp. 889 – 894. 321 Efectividad en Promoción de la Salud y Salud Pública De Salazar, L. (2004), Evaluación de efectividad en promoción de la salud. Guía de evaluación rápida. Universidad del Valle, CEDETES. Cali. De Salazar, L. (2000), Evaluación de tecnología en salud: vínculo crítico entre ciencia y política. Centro para el Desarrollo y Evaluación de Tecnología en Salud Pública, CEDETES, Universidad del Valle, Cali. Del Rey Morató, J. (1998), Democracia y posmodernidad. Teoría general de la información y comunicación política. Madrid, Editorial Complutense. Deutsch, K. (1985), Los nervios del gobierno. Medios de comunicación y control político. México, Editorial Paidós Mexicana. Durán Muñoz, R. (2002) La mediatización de la democracia en la sociedad de la información. Universidad de Málaga Fagen, R. (1969), Política y comunicación. Buenos Aires, Editorial Paidós. Fundación Chasquinet. (2004) Manual práctico para telecentros comunitarios sobre políticas públicas y regulación en materia de tecnologías de información y comunicación, TIC. Ecuador. Disponible en línea en: www.tele-centros.org/politicas/manualpoliticaspublicas. htm Gabbay J. y le May, A (2004) Evidence based guidelines or collectively constructed “mindlines”? Ethnographic study of knowledge management in primary care. British Medical Journal, 329: 1013-7. [GEOPS] Grupo de Estudios en Economía, Organización y Políticas Sociales (1996) Prioridades en la investigación de la salud colectiva en América Latina. (Resumen) Desafíos Futuros para la Investigación en Salud en América Latina. CIID y COHRED. [en línea], disponible en: http://www.idrc.ca/ev_es.php?ID=22961_201&ID2=DO_TOPIC Recuperado: 8 de octubre de 2009. Graham ID et al. (2004) Translating research into practice: Advancing excellence from discovery to delivery, Washington 322 Ligia de Salazar Hanney S., Gonzalez-Block, M. A., Buxton M. J. y Kogan M. (2003) The utilisation of health research in policy-making: concepts, examples and methods of assessment. Health Research Policy and Systems, 1(2) [en línea] Disponible en http://www.health-policysystems. com/content/pdf/1478-4505-1-2.pdf Recuperado: 18 de septiembre de 2009. Henshall C, et al. (2002) Health Technology Assessment in Policy and Practice. Working Group 6 Report. Int J Technol Assess Health Care, 18:447-455. Hovland, I. (2003) Communication of Research for Poverty Reduction: A Literature Review. Overseas Development Institute, ODI; Department for International Development, DFID, Inglaterra. Innvaer S., G.E. Vist, M. Trommald y A. Oxman. (2002), “Health policymakers’ perceptions of their use of evidence: a systematic review. Journal of Health Services Research & Policy, 7: 239-44. James (2000) Think Tanks: Towards a User Guide for Governments. Documento de la Asociación de Estudios Políticos en la 50ta Conferencia Anual en el Reino Unido 10-13 abril 2000, Londres. Kirkhart, K E. (2000) Reconceptualizing evaluation use: an integrated theory of influence. In: Caracelli VJ, Preskill H, editors. The expanding scope of evaluation use. San Francisco: Jossey-Bass; 2000. p. 5-24. Kothari A., S. Birch, y C. Charles (2005) “Interaction” and research utilization in health policies and programs: does it work? Health Policy, 71: 117-25 Lavis J.N., F.B. Posada, A. Haines y E. Osei. (2004) Use of research to inform public policymaking. Lancet, 364: 1615-21. Lavis JN, Ross SE, Hurley JE, Hohenadel JM, Stoddart GL, Woodward CA y Abelson J (2002) Examining the role of health services research in public policymaking. Milbank Q, 80:125-154 Levin, H. (1982) Why isn’t educational research more useful? Prospects. Paris: UNESCO 323 Efectividad en Promoción de la Salud y Salud Pública Lomas, J. (2000) Using ‘Linkage and Exchange’ to Move Research into Policy at a Canadian Foundation. Health Affairs. Volume 19, Number 3. Luhmann, N. (2000) La realidad de los medios de masas. Anthropos, Madrid Majone, G (1997) Evidencia, argumentación y persuasión en la formulación de políticas. Colegio Nacional de Ciencias Políticas y Administración Pública, A. C. – Fondo de Cultura Económica, México. Noëlle-neumann, E. (1995), La espiral del silencio. Opinión pública: nuestra piel social. Barcelona, Paidos. Padioleau, J-G. (1982), L’Etat au concret. Paris, PUF. Pellegrini, A. (2000) Ciencia en pro de la salud. Notas sobre la organización de la actividad científica para el desarrollo de la salud en América Latina y el Caribe. Publicación científica y técnica No 578. Organización Panamericana de la Salud. Washington Popham, W J (1993) Educational Evaluation. Boston: Allyn and Bacon Pool, I. (1974) Comunicación Política I. Introducción. En: Sills, D. (Director) Enciclopedia Internacional de las Ciencias Sociales, Volumen 2. Aguilar de Ediciones, Madrid Postlethwaite, T. N. (1992), “Research and Policy Making in Education: Some Possible Links”, en Anderson, D. y J. Biddle (editores) Knowledge for Policy, Improving Education Through Research Rich, R F. (1997) Measuring knowledge utilization: processes and outcomes. Knowledge and Policy: The International Journal of Knowledge Transfer and Utilization 1997; 10:11-24. Rota, J. (2000), Comunicación, gobierno y ciudadanía. Venezuela, CLADE, [en línea], disponible en: www.clad.org.ve, recuperado: 2 de septiembre de 2009. Roth, D.A. (2004), Políticas públicas. Formulación, implementación y evaluación, Colombia, Ediciones Aurora. 324 Ligia de Salazar Sampedro, V. (1996), “Batallas de papel. Medios de comunicación y nuevos movimientos sociales”, en Revista de Estudios de Comunicación. vol. 1, pp.121-154. Sánchez, E. (2005), Medios de comunicación y democracia. Bogotá, Grupo Editorial Norma. p.23. Start, D. y Hovland, I. (2004) Herramientas para el impacto en las políticas públicas: Manual para investigadores. Instituto de Desarrollo en Países Extranjeros, Londres, [en línea], disponible en: http:// www.odi.org.uk/resources/download/2667.pdf Recuperado: 11 de octubre de 2009. Swope, J (S.J) (2001) Information broker: Un nuevo profesional y la toma de decisión en políticas públicas en educación. En: Paulo Freire y la agenda de la educación latinoamericana en el siglo XXI. Carlos Alberto Torres. CLACSO. 2001. Acceso al texto completo: http:// bibliotecavirtual.clacso.org.ar/ar/libros/torres/swope.pdf Walt G, y Gilson L. (1994) Reforming the health sector in developing countries: the central role of policy analysis. Health Policy Plan 1994; 9:353-70. Weiss, C. (1984), “Increasing the likelihood of influencing decision”, en L. Rutnam (edit.) Evaluation research methods: a basic guide. Beverley Hills, Age Publication. pp. 159-190. Weiss, C H. (1986) The Many Meanings of Research Utilization. En: Social Science and Social Policy, pp. 30-40 M. Bulner (comp.). Londres: Allen & Unwin. White, F. (1998, julio), “De la evidencia al desempeño: cómo fijar prioridades y tomar buenas decisiones”, en Revista Panamericana de Salud Pública, vol. 4, núm. 1. Washington. 325 Efectividad en Promoción de la Salud y Salud Pública Experiencias de comunicación de resultados en Colombia El cedetes de la Universidad del Valle cuenta con amplia experiencia en procesos de comunicación de resultados e influencia en toma de decisiones. Entre las más significativas están la estrategia de comunicación y abogacía mediática implementada a nivel municipal para favorecer la participación social y la legitimidad del nuevo modelo de salud de Cali, en el marco de un proyecto orientado a este propósito; así como el desarrollo de un amplio programa de comunicación multiestratégico, para promover el uso e influencia en políticas de los resultados de la evaluación de dos sistemas de vigilancia, uno de factores de riesgo relacionados con enfermedades crónicas y el segundo, sobre comportamientos de riesgo en población adolescente. Archivo cedetes, Universidad del Valle, Colombia. 326 Ligia de Salazar Archivo cedetes, Universidad del Valle, Colombia. 327 Anexo 1 Ejemplos de casos latinoamericanos de evaluación en promoción de la salud y salud pública Ligia de Salazar Presentación Como se indicó en el capítulo IV, las reflexiones y el análisis de la práctica de la promoción salud y la salud pública en América Latina presentados en este libro surgieron como producto de una amplia gama de experiencias y casos de evaluación que se fueron desarrollando en diferentes países, resultado de las distintas acciones del programa regional de construcción de capacidad, especialmente, del programa de capacitación en evaluación. Con el fin de resaltar los logros y avances de estos procesos y a la vez reconocer los ingentes esfuerzos realizados por los promotores de las iniciativas, quienes fueron participantes de los diversos cursos, a continuación se sintetizan una serie de ejemplos de los casos de evaluación en marcha en la región. Si bien esta selección está lejos de ser una muestra completa de todos los procesos evaluativos que se han iniciado en América Latina, sí ilustra algunos de los que han obtenido mayores avances en la concreción de sus ejercicios de evaluación que, como ha dado amplia cuenta esta publicación, no son procesos fáciles ni pueden tomarse a la ligera. Como se trata de una síntesis de las propuestas, es de reconocer que por asuntos de espacio de publicación se puede haber omitido involuntariamente información clave de las mismas, por lo que esperamos que esta pueda ampliarse mayormente en posteriores publicaciones que se motiven a partir de esta o de otras fuentes. 331 Efectividad en Promoción de la Salud y Salud Pública Programa “Guardacorazón”: Intervención comunitaria para promoción de estilos de vida saludables y prevención de factores de riesgo cardiovasculares. País: Argentina Autores: Adrián Eduardo Alasino Horacio Oscar Pracilio. Institución: Universidad de La Plata Actividad en escuela, en el marco del Programa “Guardacorazón”. Foto cortesía de: Universidad de La Plata. 2008 Presentación del Programa “Guardacorazón”. Es un programa de formación y construcción de capacidades individuales y colectivas con el fin de desarrollar acciones de prevención y promoción de la salud, a través de la implicación con la comunidad y de la planificación de intervenciones comunitarias que se sustenten en los ejes de alimentación, actividad física, tabaquismo y entornos saludables. 332 Ligia de Salazar Fases del Programa “Guardacorazón”: Fase 1: ( julio 2007 y diciembre de 2008) Desarrollo de programa de capacitación de promotores y líderes comunitarios con su Correspondiente evaluación de desempeño e impacto Fase 2: (se inició en enero de 2009 y se desarrollará hasta julio 2010) Desarrollo e implementación de un programa modelo de prevención y control de factores de riesgo de enfermedades cardiovasculares (ECV) dirigido a grupos seleccionados de la comunidad, empleando Promotores de Salud no profesionales. Problema central al que responde la intervención: Limitada capacidad de reconocimiento e información por parte de la comunidad del área de intervención sobre las enfermedades cardiovasculares y su desarrollo, a partir de la presencia de los factores de riesgo cardiovasculares. Pregunta de evaluación: ¿Resulta efectiva la intervención de las promotoras de salud no profesionales del programa “Guarda Corazón”, en la construcción de capacidad de un grupo comunitario para controlar sus factores de riesgo y adquirir conductas saludables? 333 Efectividad en Promoción de la Salud y Salud Pública Evaluación de impacto del proyecto intervención educativa, en el tema de cáncer de mama y cuello de útero, en campaña para la prevención del cáncer ginecológico. Provincia Santiago de Cuba. País: Cuba Autora: Yunia León Céspedes. Institución: Ministerio de Salud Pública Campaña publicitaria “Busca tu tiempo”, durante la cual se diseñaron, editaron y distribuyeron en diferentes momentos y espacios, materiales informativos en soporte gráfico y audiovisual. Archivo: Centro Provincial de Promoción y Educación para la Salud (CPPES) Presentación del Proyecto Esta iniciativa surge del Centro Provincial de Promoción y Educación para la Salud (CPPES), considerando dentro de sus prioridades el fortalecimiento del componente educativo en la lucha contra el cáncer ginecológico en la Provincia Santiago de Cuba. Las beneficiarias son : A) Mujeres jóvenes y adolescentes entre los 13 y los 24 años de edad, principalmente en situación de riesgo en 334 Ligia de Salazar referencia a los criterios manejados en la prevención del cáncer cervicouterino como beneficiarias de las acciones de salud sexual reproductiva. Se eligieron tres municipios de referencia para el desarrollo de las acciones de intervención sociocomunitarias con mayor énfasis (Santiago de Cuba, II Frente y Palma Soriano). B) Mujeres entre los 24 y los 65 años como beneficiarias de la campaña de prevención del cáncer ginecológico. Problema central al que responde la intervención: El diagnóstico tardío y los estilos de vida inadecuados facilitan la aparición del cáncer de cuello de útero y de mamas, causa de muerte en la gran mayoría de mujeres en Santiago de Cuba. Pregunta de evaluación: ¿La estrategia desarrollada en el proyecto ha logrado mejorar la capacidades de detección precoz de cáncer de cuello de útero y mama en la provincia de Santiago de Cuba? 335 Efectividad en Promoción de la Salud y Salud Pública Formación en Promotores de municipios saludables de la Red Pernambucana de Municipios Saludables (RPMS) País: Brasil Autora: Ronice Franco Institución: Universidad Federal de Pernambuco Los promotores, en el nivel micro, organizan reuniones con personas de su barrio u asociación y escogen una actividad sencilla para desarrollar como caminatas ecológicas, prevención de violencia doméstica, actividades físicas regulares, diseño y gestión para artesanía tradicional, limpieza de ríos, limpieza de terrenos, apoyo a niños, fitoterapia o alimentación saludable. Foto cortesía: Universidad de Pernambuco Presentación del Proyecto Esta iniciativa tuvo como objetivo contribuir al empoderamiento de la población participante de la Red Pernambucana de Municipios Saludables, a través de la actuación de los promotores de municipios saludables. Se busca cambiar la realidad local en términos de promoción de la salud. Los promotores son voluntarios procedentes de la sociedad civil, y actúan en tres niveles: micro, meso y macro. Es un 336 Ligia de Salazar grupo heterogéneo compuesto por jóvenes, ancianos, mujeres y hombres con interés de cambiar la realidad local con el objetivo de mejorar la calidad de vida local. Hay 100 promotores formados para cinco municipios desde 2006, y ahora están finalizando la formación de otros 140 para 29 municipios, y para personal de las Secretarías del Estado de Pernambuco de Reforma Agraria, Recursos Hídricos, Salud, Planificación de Gestión y de las Ciudades. Problema central al que responde la intervención: La población de los municipios del interior del estado es dependiente de políticos. Hay una gran necesidad de empoderamiento de esta población para generar cambios en su calidad de vida. Los datos sociales y económicos no son muy alentadores. Pregunta de evaluación: ¿Los datos obtenidos de las oficinas temáticas con escolares son suficientes para identificar la participación de los escolares? 337 Efectividad en Promoción de la Salud y Salud Pública Programa “Salud Mental Comunitaria del Valle del Cauca – 2008”. País: Colombia Autora: Flor Nayda Cuadros María Margarita Cañaveral Institución: Secretaría Departamental de Salud del Valle del Cauca – Gobernación del Valle del Cauca. El programa “Salud Mental Comunitaria del Valle del Cauca” busca brindar atención integral en Salud Mental desde la estrategia de Atención Primaria en el ámbito escolar en los 42 municipios del departamento del Valle del Cauca, así como también, dar atención psicosocial a población en condición de riesgo al desplazamiento, población desplazada y retornada en los trece municipios priorizados por el conflicto político y social y definidos como de alto riesgo. Presentación del Proyecto El programa de Salud Mental Comunitaria del Valle del Cauca 2008, es una iniciativa en Promoción de la Salud, que busca brindar atención integral en Salud Mental desde la estrategia de Atención Primaria, con actividades delimitadas por territorio, con participación intersectorial, trabajo interdisciplinario y participación responsable de la comunidad; se basa 338 Ligia de Salazar en el concepto de la Salud Mental Integral con abordajes en promoción, prevención, atención y rehabilitación. Esta iniciativa ha sido impulsada por la Gobernación del Valle del Cauca, representada por la Secretaría Departamental de Salud; la Secretaría Departamental de Educación y el Hospital Psiquiátrico del Valle. Problema central al que responde la intervención: Aumento creciente de las problemáticas de salud mental en el departamento del Valle del Cauca, específicamente relacionadas con el aumento del consumo de sustancias psicoactivas, violencia familiar y trastornos psicoafectivos en la población juvenil. Preguntas de evaluación: ¿Cuál es el desempeño del programa de salud mental comunitaria 2008-20011 en términos de adherencia al protocolo y resultados esperados en las diferentes etapas del ciclo de vida del programa? ¿Cuál es la efectividad del programa de salud mental comunitaria 2008-20011 en términos de resultados? 339 Efectividad en Promoción de la Salud y Salud Pública Programa Promoción de Derechos y Redes Constructoras de Paz (PPDRCP) País: Colombia Autora: Martha Castaño Institución: Secretaría Departamental de Salud del Valle del Cauca Gobernación del Valle del Cauca. El programa se constituye en una estrategia integradora de políticas en el ámbito municipal en torno a la salud sexual y reproductiva, basada en la política nacional y sustentada en las acuerdos y tratados nacionales e internacionales sobre el tema. Imagen cortesía Secretaría Departamental de Salud del Valle del Cauca - Gobernación del Valle del Cauca Presentación del Proyecto El programa Promoción de derechos y redes constructoras de paz busca contribuir, desde las redes sociales de apoyo, a prevenir el embarazo adolescente, promover los derechos sexuales y reproductivos, los factores protectores y mitigar los de riesgo, mediante la movilización social, el fortalecimiento institucional y el mejoramiento de las condiciones de vida de adolescentes y familias en condiciones de vul340 Ligia de Salazar nerabilidad, focalizadas por el Programa, de acuerdo con la Política Nacional de Salud Sexual y Reproductiva. Es una intervención colectiva, que aborda la salud de manera integral, genera capacidad desde el nivel local, promueve el empoderamiento de comunidad y cambios favorables en actitudes y comportamientos en los/ as adolescentes de los municipios seleccionados en el departamento. Se implementa desde mediados del año 2006 hasta la fecha. Inició con 14 municipios en su primera fase y 16 más a partir de 2008. Problema central al que responde la intervención: Aumento del embarazo adolescente, en los municipios del Valle del Cauca. Pregunta de evaluación: ¿Cuál es la efectividad del programa de promoción de derechos y redes constructoras de paz, para mejorar la implementación de la política de Salud Sexual y Reproductiva en el municipio de Bugalagrande y contribuir con la reducción de embarazo adolescente? 341 Efectividad en Promoción de la Salud y Salud Pública Política pública para la Prevención de Enfermedades Crónicas en el municipio de Pasto País: Colombia Autora: Silvia Adriana Paz Institución: Secretaría Municipal de Salud de Pasto Esta intervención plantea como producto final que en 2015 Pasto cuente con un marco político y un ambiente socioeconómico y físico que contribuya a promover la actividad física y el consumo de alimentos saludables, y a prevenir y reducir el consumo de cigarrillo. Foto Banco de Imágenes Photoxpress http://www.photoxpress.com/ Presentación del Proyecto Dando respuesta a lo definido en el Plan de Desarrollo Municipal “Pasto Mejor” 2004-2007 y en la Circular 018 de 2004, en 2005, el gobierno de la ciudad tomó la iniciativa de formular el Plan Integrado Local de Acción para la Prevención de las Enfermedades Crónicas en Pasto 2006-2015, con el fin de orientar y articular la acción conjunta de todos los sectores sociales de la ciudad y se fija un marco de objetivos, metas y líneas de acción . 342 Ligia de Salazar Desde hace más de cuatro años se vienen adelantando programas orientados a disminuir factores de riego, como son la promoción de la actividad física, los espacios libres de humo y la alimentación saludable. Es imprescindible proponer una política pública para que la prevención de enfermedades crónicas se siga convirtiendo en un asunto público que trascienda los límites de los periodos de gobierno y pase de ser una preocupación exclusiva del sector de la salud a un compromiso de ciudad. Problema central al que responde la intervención Ausencia de un marco político y de regulación para el municipio de Pasto, que contribuya a orientar las acciones de los diferentes sectores para prevenir las enfermedades crónicas y los factores de riesgo que las producen. Preguntas de evaluación ¿Se ha dado cumplimiento a la implementación de las actividades de los componentes del plan integrado local de acciones para la prevención de enfermedades crónicas en el municipio de Pasto, a partir de su formulación, y qué factores han incidido en el mismo? 343 Efectividad en Promoción de la Salud y Salud Pública Universidad saludable desde la alimentación y nutrición como componente del desarrollo humano País: Colombia Autora: Gloria Yaneth Pinzón Institución: Universidad Nacional de Colombia Entre las estrategias propuestas para implementar el proyecto están: Conferencias, talleres y jornadas de alimentación y nutrición, las cuales se llevarán a cabo con los estudiantes de las diferentes Facultades de la Universidad Nacional de Colombia – Sede Bogotá. Foto cortesía: Universidad Nacional de Colombia Presentación del Proyecto Se busca con este proyecto, cubrir a los miembros de la comunidad académica de la Universidad Nacional de Colombia en los diferentes escenarios donde se desarrolla la vida académica. El objetivo de la intervención es promover estilos de vida saludables en los estudiantes de la Universidad Nacional de Colombia, sede Bogotá, mediante el desarrollo de estrategias encaminadas a la adquisición de buenos hábitos alimentarios. 344 Ligia de Salazar Problema central al que responde la intervención: Los estudiantes presentan malos hábitos alimentarios, representado en lo siguiente: • Omisión de tiempos de comida, por tanto no se cubren las necesidades de macronutrientes. • Hay desequilibrio en el consumo de macronutrientes, en este caso alto consumo de proteínas. • Bajo consumo de frutas y verduras. Esto genera por consiguiente, una alta prevalencia de estudiantes con malnutrición. Pregunta de evaluación: ¿Cuál ha sido el desempeño del Programa “Universidad Saludable desde la alimentación y nutrición como componente del desarrollo humano” frente a la adquisición de hábitos alimentarios saludables en los estudiantes de la Universidad Nacional de Colombia? 345 Efectividad en Promoción de la Salud y Salud Pública Intervenciones en promoción de la salud dirigidas a la construcción participativa de letrinas y el uso adecuado de las mismas como contribución a la disminución de las enfermedades diarreicas y el parasitismo intestinal, en la comunidad La Tabla, municipio Nejapa, 2009. País: El Salvador Autora: Amada Libertad Guirola Zelaya Institución: Universidad Centroamericana José Simeón Cañas Coordinadoras de la intervención trabajando en diagnóstico comunitario en la comunidad La Tabla, municipio Nejapa, en 2009. Foto cortesía: Universidad Centroamericana José Simeón Cañas. Presentación del Proyecto El proyecto se planteó como objetivo el lograr la participación y organización comunitaria para la construcción de capacidad comunitaria para la resolución de sus problemas de salud. Se propone una intervención comunitaria enfocando los problemas como productos histórico-sociales, influenciados por su contexto interno y externo, sujetos a cambios y rede346 Ligia de Salazar finición; por lo tanto como productos de la interrelación de determinantes sociales de la salud. Problema central al que responde la intervención: El problema identificado es la falta de capacidad comunitaria para la resolución de sus problemas. Con un enfoque de Promoción de la Salud que estudia los determinantes de los problemas de salud encontramos que existe un notorio desinterés de la comunidad para la participación y organización, debido entre otras causas a la falta de asesoramiento de las autoridades sanitarias, al desconocimiento de los derechos en salud, desconocimiento del buen uso de las letrinas y de la disposición adecuada de excretas. Preguntas de evaluación: ¿Cuál es la efectividad de la estrategia de participación y organización comunitaria en la construcción de la capacidad comunitaria para resolver los problemas en la comunidad de La Tabla? ¿Cuál es el impacto de la estrategia de participación y organización comunitaria en la disminución del problema de diarreas de la comunidad La Tabla? 347 Efectividad en Promoción de la Salud y Salud Pública Caracterización del programa Escuelas Libres de Humo de Tabaco en el marco de la Ley Orgánica de Protección al Niño, Niña y Adolescente (LOPNA) País: Venezuela Autores: Zoraida Concepción Sánchez Ricardo Granero Instituciones: Ministerio del Poder Popular para la Salud. Ascardio. El programa “Escuelas libres de humo de tabaco”, aún en funcionamiento, está concebido para ser aplicado a todos los estados del país y dirigido particularmente a directores y directoras, maestros y maestras, padres, madres y otros representantes y demás miembros de la comunidad escolar, del subsistema de educación primaria y el subsistema de educación secundaria Foto cortesía: http://www.mpps.gob.ve/ms/images/articles/2007/4/chapag.jpg Presentación del Proyecto A través del Ministerio del Poder Popular para la Salud, Venezuela implementó el Plan Nacional de Prevención y Control del Tabaquismo desde el año 2005, el cual tiene como premisa básica disminuir los efectos del tabaquismo sobre la salud de la población y las consecuencias sociales asociadas, mediante la prevención del consumo de productos 348 Ligia de Salazar derivados del tabaco, la creación de ambientes libres de humo de tabaco, regulación de productos derivados del tabaco y la cesación del uso de cigarrillos y otros productos derivados del tabaco, a fin de impulsar estilos de vida saludables en los venezolanos y disminuir la carga de morbi-mortalidad relacionada con este factor de riesgo. La tarea de prevención del consumo de cigarrillos es puesta en práctica a través del Programa “Escuelas Libres de Humo de tabaco”, iniciado en el año 2006, el cual tiene como propósito prevenir la iniciación del consumo de tabaco en los niños, niñas y adolescentes escolarizados y promover la cesación en el personal que labora en las escuelas públicas y privadas del Territorio Nacional. Problema central al que responde la intervención: Alta prevalencia en el consumo de cigarrillos y otras sustancias derivadas del tabaco, en jóvenes entre los 13 y 15 años. Pregunta de evaluación: ¿Qué tan efectivo ha sido el Programa “Escuelas libres de humo de tabaco”, para reducir la iniciación del consumo de tabaco, incrementar la información sobre sus efectos dañinos, estimular la cesación y limitar el acceso al tabaco en todas las presentaciones en niñas, niños y adolescentes escolarizados del estado Lara? r s o S e m i p r e s e n c i a l SALUD PÚBLICA BASADA EN EVIDENCIA C a l i , C o l o m b i a 25 al 28 de agosto de 2009 349 Efectividad en Promoción de la Salud y Salud Pública Proyecto Salud comunitaria de Llanura País: Argentina Autor: Carlos Anigstein Institución: Municipalidad de General Rodríguez Provincia de Buenos Aires Foto cortesía del doctor Carlos Anigstein, municipalidad de General Rodríguez, Provincia de Buenos Aires (Argentina) Qué información tiene para afirmar que existe un problema? El problema es la limitada capacidad de los equipos de los centros de salud del municipio de General Rodríguez, de la provincia de Buenos Aires, para mejorar la accesibilidad a la atención integral de la población más vulnerable, actuar sobre los estilos de vida, incrementar la pesquisa y mejorar la calidad de la atención médica de los hipertensos. Propósito de la intervención: Desarrollar, implementar y probar un Programa de Atención a las ECNT y factores de riesgo, que articule las Estrategias de APS integral; de Municipios Saludables, de Promoción de la Salud; la acción intersectorial y comunitaria y el trabajo en red, para mejorar la accesibilidad y calidad de la atención a ECNT, usando como trazadora la hipertensión arterial 350 Ligia de Salazar ¿Qué información tiene para identificar qué es lo que debe hacerse?: Intervención • Un sistema de salud basado en la Estrategia de APS Integral mejora la accesibilidad de la población a la asistencia sanitaria. • La descentralización, la atención ambulatoria y domiciliaria genera las oportunidades para vencer las barreras al acceso de los sectores más vulnerables. • La gestión participativa del personal de salud y la participación de la comunidad es la manera más adecuada para transformar el modelo de atención y de gestión. • La cogestión con los trabajadores de la salud y la comunidad es la forma más efectiva de gestionar el sistema de salud. • El trabajo intersectorial con otras áreas de la Municipalidad, Instituciones (educativas, desarrollo social, justicia, etc.) y la sociedad civil es fundamental para abordar integralmente la problemática de las ECNT. • El trabajo en red con otros actores del sistema de salud, Instituciones del Estado y sociedad civil es un círculo virtuoso para mejorar la respuesta a las necesidades de la gente. • La capacitación del personal con la estrategia de Educación Permanente y capacitación en servicio genera oportunidades para mejorar conocimientos, prácticas, habilidades y aptitudes. • La gestión por resultados genera los incentivos necesarios para mover el carro de la motivación. • El financiamiento de la oferta de servicios públicos es el que garantiza mayor equidad al acceso, pero cuando se cumplen las anteriores hipótesis. 351 Efectividad en Promoción de la Salud y Salud Pública Intervención de obesidad en adultos mediante modificación de aspectos cognitivos y conductuales asociados al consumo de los alimentos. País: Colombia Autor: Edgar Navarro Institución: Universidad del NorteBarranquilla La valoración del estado nutricional considerado como un indicador del estado de salud, es un aspecto de gran importante en la detección de grupos de riesgo con excesos dietéticos que pueden ser factores de asociados a muchas de las enfermedades crónicas de mayor prevalencia en los últimos años. Foto: Archivo CEDETES, Universidad del Valle. ¿Qué información tiene para afirmar que existe un problema? Los estudios realizados en la Universidad del Norte. Se cuenta con una población cautiva, y una cohorte a la que se le ha llevado a cabo seguimiento, identificando, por un lado, personas con ECNT diagnosticadas, y por otro lado, personas en riesgo de padecerlas, como es el caso de los sujetos en los que se ha identificado: obesidad abdominal, prehipertensión e intolerancia a la glucosa, y que llevan a cabo estilos de vida no saludables, y potencialmente modificables (consumo de alcohol, consumo de cigarrillo, sedentarismo, etc.) Por 352 Ligia de Salazar lo tanto, es necesario realizar esfuerzos encaminados a la prevención y control de factores de riesgo para el desarrollo de ECNT especialmente en la población con problemas de obesidad. Propósito de la intervención: Mejorar la condición nutricional de la población de prediabéticos y prehipertensos que presentan malnutrición por exceso, considerando en este grupo la obesidad y el sobrepeso, en población afiliada al régimen de seguridad social en Salud del suroccidente de Barranquilla. ¿Qué información tiene para identificar qué es lo que debe hacerse?: Intervención Hoy en día se sabe que una gran proporción de la morbimortalidad que puede prevenirse está relacionada con el comportamiento alimentario. Existe, por tanto la posibilidad de modificar la dieta como una medida preventiva o más exactamente como una manera de retrasar la aparición de la enfermedad y esta intervención, importante en cualquier época de la vida, puede ser de especial relevancia si se lleva a cabo en etapas tempranas como consecuencia de un diagnóstico precoz. Al situar la alimentación como un fenómeno sociohistórico-cultural, la complejidad del acto alimentario invita a buscar perspectivas de intervención que involucren a las ciencias sociales para dar cuenta de hallazgos que escapan a las ciencias biológicas y que nos permitan analizar, comprender e interpretar los hábitos dietéticos de los grupos humanos, rebasando la información cuantitativa que nos refiere a qué y cuánto se come para aproximarnos a saber por qué se come. 353 Efectividad en Promoción de la Salud y Salud Pública Espacios públicos y cerrados 100% libres de humo de cigarrillo ¿Qué información tiene para afirmar que existe un problema? Un alto porcentaje de consumo de cigarrillo en la población de niños y jóvenes del municipio de Pasto, Nariño, Colombia. Fuente: ENCUESTA NACIONAL DE TABAQUISMO ESCOLAR “Prevalencia de Tabaquismo y sus Factores Asociados en Adolescentes Escolarizados de Siete Ciudades Colombianas 2005 – 2006”. Propósito de la intervención: Retardar la edad de inicio de consumo de cigarrillo en la población de niños y jóvenes del municipio de Pasto a través de la creación de espacios públicos y cerrados 100% libres de humo de cigarrillo. País: Colombia Autor: Nancy Dary Luz Lagos Institución: Secretaría Municipal de Salud de Pasto El lograr retardar la edad de inicio del consumo de cigarrillo dependerá no solamente de la aplicación y cumplimiento de esta norma, sino además de los avances que se tenga de la legislación antitabaquica y de las políticas públicas que se adopten en el municipio. Foto: Banco de imágenes – Internet. 354 Ligia de Salazar ¿Qué información tiene para identificar qué es lo que debe hacerse?: Intervención Según la encuesta nacional de tabaquismo escolar “Prevalencia de Tabaquismo y sus Factores Asociados en Adolescentes Escolarizados de Siete Ciudades Colombianas 2005 – 2006” , la edad de inicio del cigarrillo pasó a 12.8 años, un año por debajo respecto al estudio del programa presidencial RUMBOS, realizada en 2000. La edad promedio fue de 12,6 años de edad. La distribución es relativamente homogénea, excepto en Barranquilla donde inician a una edad levemente mayor (13 años). Los valores mínimos son niños que iniciaron su consumo a los 4 y 5 años de edad, los cuales pertenecen a sectores socioeconómicos bajos y medios. Es de vital importancia realizar acciones de abogacía con las personas del municipio que tienen poder de decisión para mostrar la magnitud y gravedad del problema de alto porcentaje de consumo de cigarrillo en la población de niños y jóvenes del municipio, con el fin de abogar por la formulación de una política pública de espacios públicos y cerrados 100% libres de humo de cigarrillo. 355 Efectividad en Promoción de la Salud y Salud Pública Proceso de gestión e implementación de Clubes Vida y Puntos Vida en los servicios de salud de primero y segundo nivel de complejidad para la prevención y control de Factores de Riesgo y Enfermedades Crónicas No Transmisibles País: Bolivia Autor: Mónica Vacaflor Institución: Universidad Mayor de San Andrés Información de la Biblioteca virtual de Salud, indica que al menos uno de cada 10 bolivianos padece de diabetes. Foto: Universidad Mayor de San Andrés ¿Qué información tiene para afirmar que existe un problema? En la población de las cuatro principales ciudades del país (La Paz, El Alto, Santa Cruz y Cochabamba), la prevalencia de diabetes mellitus fue 7,2% (7,6% en mujeres y 6,8 % en varones), y hasta 20% en adultos de 60 a 64 años en algunas ciudades. La prevalencia de hipertensión arterial fue 18,6%: 16% en mujeres y 21% en varones. La falta de educación y los malos hábitos alimentarios hacen que la población paceña sea vulnerable, por lo que promover la buena salud a través de programas de prevención generando información, fortaleciendo ambientes de entrenamiento y creando unidades apoyo será de gran beneficio a toda la sociedad. 356 Ligia de Salazar Propósito de la intervención Implementar Puntos Vida y Clubes Vida a nivel local en los establecimientos de salud de las redes departamentales y municipales de salud del departamento de La Paz para la prevención y control de enfermedades no transmisibles en los macrodistritos. Objetivos específicos: • Coordinar y articular acciones de prevención de enfermedades no trasmisibles y factores de riesgo entre el Ministerio de Salud, la OPS/OMS y la UMSA. • Implementar, y en caso necesario, diseñar estrategias epidemiológicas, para promover el uso de los resultados en la vigilancia con el fin de facilitar la toma de decisiones. • Promover el desarrollo y la integración de acciones tendientes a la implementación y sistematización de experiencias de Clubes Vida y Puntos Vida, buscando la efectividad de intervenciones de Salud Pública. • Promover hábitos saludables de prevención de FR y ENT generando información, fortaleciendo ambientes de actividad física, entrenando a líderes y creando los Clubes Vida como unidades de apoyo y beneficio a toda la sociedad. • Lograr la movilización y participación comunitaria para la implementación de las estrategias a través de alianzas estratégicas con organizaciones, grupos sociales, líderes y otros representantes comunitarios. Alcance de la propuesta Etapa 1: ciudad de La Paz (2009 – 2010) Etapa 2: eje central La Paz, Cochabamba y Santa Cruz (20112012) Etapa 3: nacional ( 2012-2015) 357 Anexo 2 Programa Latinoamericano de Evaluación y Evidencias de Efectividad en Promoción de la salud y salud pública, 2004-2009 Síntesis de las ofertas de capacitación Efectividad en Promoción de la Salud y Salud Pública 2004 Primer Curso Latinoamericano de Evaluación de Efectividad en Promoción de la Salud, Cali, Colombia Fecha: 1 al 6 de marzo de 2004 Lugar: Centro Internacional de Agricultura Tropical CIAT. Cali (Colombia) Países participantes: Argentina, Colombia, Cuba, México, Puerto Rico, República Dominicana Instituciones socias: cedetes, UIPES, fundesalud, OPS, CDC Objetivo Al finalizar el evento se espera que los participantes hayan adquirido elementos conceptuales y metodológicos para realizar con calidad evaluaciones rápidas de efectividad en promoción de la salud. 360 Ligia de Salazar Contenidos generales • Introducción teórica. • Introducción a la Guía de Evaluación Rápida. • Introducción al caso de estudio: evaluación rápida de efectividad del SIVEA. • Actividad 1: Selección del proyecto. • Actividad 2: Definición de indicadores. • Actividad 3: Definición de fuentes de información y recolección. • Actividad 4: Análisis de información. • Actividad 5: Taller para ajustes al diseño de la evaluación y formulación del plan de complementación. • Actividad 6: Comunicación y usos de la información. • Actividad 7: Socialización del Plan de Complementación. 361 Efectividad en Promoción de la Salud y Salud Pública 2005 Curso Internacional de Evaluación de Efectividad en Promoción de la Salud y Salud Pública. Metodología de Evaluación Rápida Cali, Colombia Fecha: 13 al 16 de julio de 2005 Lugar: Hotel Radisson Países participantes: Bolivia, Colombia, Chile, Cuba, Honduras, Perú y Uruguay. Instituciones socias: cedetes, UIPES, fundesalud, OPS, CDC. Objetivo Contribuir a fomentar en Latinoamérica una cultura de la evaluación y sistematización de experiencias en promoción de la salud y favorecer la construcción de conocimiento y difusión de éste, a través de publicaciones científicas e intercambio de experiencias. 362 Ligia de Salazar Requisitos de los participantes El Curso-taller Internacional de Evaluación de Efectividad en Promoción de la Salud y Salud Pública – Metodología de Evaluación Rápida–, está dirigido a profesionales responsables de programas y proyectos de promoción de la salud desarrollados por organizaciones de diversa naturaleza en América Latina y docentes de postgrado de universidades públicas vinculados con los proyectos a ser evaluados. Contenidos Introducción teórica general: Definición y alcance de la evaluación en promoción de la salud; Evaluación de Efectividad: Resultados en 1) construcción de capacidad y 2) determinantes de la salud; Enfoques metodológicos • Introducción a la Guía de Evaluación Rápida • El Caso de Estudio. • Desarrollo de Actividades: - Actividad 1: Selección y caracterización del Proyecto. - Actividad 2: Viabilidad y factibilidad de la evaluación. - Actividad 3: Alcance de la evaluación. - Actividades 4 y 5: Definición de fuentes y métodos de recolección de información; trabajo de campo. - Actividad 6: Procesamiento y análisis de información. - Actividad 7: Comunicación de resultados y toma de decisiones. - Actividad final: Plan de complementación. 363 Efectividad en Promoción de la Salud y Salud Pública Seminario Internacional Evaluación y Políticas Públicas: Respondiendo a los determinantes de la salud. Cali, Colombia Fecha: 14 de junio de 2005 Lugar: Hotel Intercontinental - Cali (Colombia) Países participantes: Bolivia, Colombia, Chile, Cuba, Honduras, Perú y Uruguay. Número de participantes: 389 Instituciones socias: cedetes, UIPES, OPS/OMS, CDC, ORLA, NARO. Objetivo del seminario Contribuir a la construcción de propuestas políticas y técnicas, coherentes con los determinantes sociales de la salud, desde la concepción y práctica de la promoción de la salud; la mirada crítica de actores claves y desde las evidencias de efectividad de las políticas y programas para aplicar sus principios y componentes. 364 Ligia de Salazar Contenidos generales • Promoción de la salud: Desafíos y propuestas para el futuro. • Promoción de la Salud: Evaluación y evidencias de su efectividad. Reviviendo el pasado y construyendo el futuro de la salud pública: contribución de la evaluación. • Sesión de debate: Salud Pública, Promoción de la Salud y Atención Primaria: ¿Espejismos o realidades? • Pasando de la evidencia a la práctica y la política: el papel de la evaluación. • Conversatorio: Perspectivas multiculturales de la promoción de la salud y políticas en salud en Colombia. • Evaluación y política: Evaluación Económica en Promoción de la Salud. • Acción intersectorial y alianzas para construir la promoción de la salud en América Latina. • La promoción de la salud desde la cooperación internacional: el papel de los centros colaboradores de la Organización Mundial de la Salud. • Acto formal de designación del Centro para el Desarrollo y Evaluación de Tecnología en Salud Pública, cedetes, de la Facultad de Salud de la Universidad del Valle, como Centro Colaborador de la Organización Mundial de la Salud/Organización Panamericana de la Salud, OMS/OPS, en Evaluación, Capacitación y Abogacía en Promoción de la Salud. Criterios de selección de los participantes • Experiencia de trabajo comprobada en promoción de la salud en los últimos cinco años. • Experiencias básicas comprobadas –últimos cinco años–, tanto en investigación como en evaluación. 365 Efectividad en Promoción de la Salud y Salud Pública • Participación actual en al menos un proyecto de promoción de la salud. • Posibilidad de extender y/o replicar la experiencia en sus países. • Cargo directivo en instituciones de dirección territorial del Sistema de Salud. • Cargo directivo docente en dependencias encargadas de la docencia en salud pública de las universidades o centros de investigación. Docentes • Helena Restrepo, consultora internacional en Promoción de la Salud (Colombia) • Ligia de Salazar, Directora cedetes, Escuela de Salud PúblicaFacultad de Salud-Universidad del Valle (Colombia). Coordinadora Proyecto Regional Latinoamericano de Efectividad en Promoción de la Salud, de la Unión Internacional de Promoción y Educación para la Salud, UIPES (Francia) • Suzanne Jackson, Directora del Centro de Promoción de la Salud de la Universidad de Toronto (Canadá) • Alan Shiell, Profesor de Economía de la Salud, Universidad de Cálgary (Canadá) • Marilyn Rice, Unidad de Entornos y Comunidades Saludables, Organización Panamericana de la Salud, OPS (USA). Doctora Marcia Hills, Universidad de Victoria, Directora del Community Health Promotion Coalition (Canadá), Coordinadora del Proyecto Norteamericano de Efectividad en Promoción de la Salud, Programa Global de Efectividad en Promoción de la Salud, International Union for Health Promotion and Education, IUHPE • Pier Paolo Balladelli, Representante para Colombia de la Organización Panamericana de la Salud/Organización Mundial de la Salud, OPS/OMS 366 Ligia de Salazar 2006 Curso de avaliação de efetividade de promoção de saúde. Metodologia de avaliação rápida. Curitiva, Brasil Fecha – fase presencial: 12 al 16 de junio de 2006 Lugar: Pontificia Universidade Católica do Paraná. Curitiba, Paraná (Brasil) Países participantes: Brasil, Chile, Colombia y Perú Número de participantes: 31 Instituciones socias: CEDETES, UIPES, FUNDESALUD, Pontificia Universidad Católica del Paraná. Objetivos do Curso Curso de Avaliação de Efetividade de Promoção de Saúde – Metodologia de Avaliação Rápida teve por objetivo contribuir para a avaliação e sistematização de experiências de Promoção de Saúde no Brasil e favorecer a construção de conhecimento e sua difusão, através de publicações científicas e intercâmbio de experiências. Público Profissionais responsáveis por programas e projetos de avaliação de Promoção de Saúde participantes do Estudo Multicêntrico sobre Avaliação da Política Nacional de Promoção da Saúde. Além destes, outros profissionais ligados a projetos de Promoção de Saúde no Brasil, indicados pela representação nacional da União Internacional de Promoção de Saúde e Educação para Saúde. 367 Efectividad en Promoción de la Salud y Salud Pública Conteúdos 1. Introdução teórica geral • Definição e alcance da avaliação em Promoção de Saúde • Avaliação de Efetividade: Resultados na construção de capacidades e determinantes da saúde • Enfoques metodológicos 2.Apresentação dos projetos a serem avaliados 3.Introdução ao Guia de Avaliação Rápida 4.Estudo de Caso 368 Ligia de Salazar Curso-Taller de la Subregión México y Caribe Hispano, de evaluación de efectividad en promoción de la salud. Antigua, Guatemala Fecha: 13 al 18 de noviembre de 2006 Lugar: Guatemala Países participantes: Puerto Rico, México, Cuba, Guatemala, El Salvador Número de participantes: 14 Instituciones socias: cedetes, UIPES, fundesalud, OPS, Universidad de San Carlos de Guatemala, Universidad Virtual de la Escuela de Salud Pública de Cuba. Síntesis El curso-taller fue dirigido por la coordinación de la subregión México y Caribe Hispano, con sede en La Habana, Cuba, en el marco del Proyecto Regional de Efectividad en Promoción de la Salud, promovido por la UIPES. El curso se desarrolló en alianza con la OPS, la Universidad de 369 Efectividad en Promoción de la Salud y Salud Pública San Carlos de Guatemala, la Universidad Virtual de la Escuela de Salud Pública de Cuba y el cedetes, alternando la modalidad virtual con la presencial. La actividad presencial orientada a profundizar en los conceptos y metodologías de evaluación y avanzar en el diseño de la evaluación de los proyectos de promoción de la salud. Metodologías como la Evaluación Participativa desarrollada por la OPS y Rápida de efectividad, desarrollada por el cedetes fueron aplicadas en nueve proyectos. Los temas de los proyectos incluyeron: la promoción de la salud en población juvenil (El Salvador), prevención de las enfermedades de trasmisión digestiva (Cuba), capacitación a educadores para la prevención en ETS/VIH/SIDA en comunidades latinoamericanas y caribeñas (Cuba), empoderamiento, participación ciudadana y control social en la Estrategia de Escuela Saludable (Guatemala), autoeficacia en el cuidado de la salud (México), prevención del VIH e ITS en en Escuelas Primarias Públicas (México), incremento de la capacidad para la investigación interdisciplinaria y colaborativa para la reducción de las inequidades relacionadas con el VIH (México), protocolo de atención a las víctimas de la violencia sexual (Guatemala), fiesta y actividad física en el preescolar (Guatemala). 370 Ligia de Salazar Primer Curso Nacional de Evaluación Socioeconómica en Salud Pública. Cali, Colombia Fecha: 3 al 5 de mayo de 2006 Lugar: Colombia País participante: Colombia Número de participantes: 41 Instituciones socias: cedetes – Escuela de Salud Pública, Universidad del Valle. Objetivo Proporcionar a los profesionales bases conceptuales y metodológicas de la evaluación económica en salud pública. 371 Efectividad en Promoción de la Salud y Salud Pública Contenidos generales • Evaluación y evidencias en Salud Pública. • Evaluación de la promoción de la salud y la prevención en el SGSSS, según la norma • Introducción a la economía en salud pública. • Métodos y técnicas en la evaluación económica. • Comunicación y uso de los resultados de la evaluación económica en salud pública. Dirigido a: El curso está dirigido a profesionales interesados en el tema y a los tomadores de decisiones técnicas, políticas y administrativas en salud pública, vinculados a las instituciones de salud, así como a docentes universitarios. Docente internacional invitada: Ana María Gálvez. Subdirectora de la Cátedra Nacional de Economía de la Salud. Directora del Grupo de Economía de la Salud de la ENSAP. Investigadora y Profesora. Máster en Estadística Económica; Facultad de Economía. Universidad de La Habana. 1996 y Ph.D en Economía de la Salud, Centro de Estudios de la Economía de la Salud y Política Social. SOIKOS. Barcelona. 372 Ligia de Salazar 2007 Seminario Internacional de Evaluación de Efectividad en Salud Pública. Un enfoque desde los determinantes sociales y la promoción de la salud. Cali, Colombia Fecha: 11 de julio de 2007 Lugar: Cámara de Comercio de Cali Países participantes: Argentina, Cuba, Colombia, Ecuador, Guatemala, Paraguay y Venezuela. Número de participantes: 237 Instituciones socias: cedetes, CDC, OPS. Objetivo Brindar a los participantes elementos teóricos y prácticos alrededor de la evaluación y su relación con los conceptos de evidencia, efectividad 373 Efectividad en Promoción de la Salud y Salud Pública y toma de decisiones en salud pública y promoción de la salud, con énfasis en los determinantes sociales de la salud. Requisitos de los participantes Profesionales con al menos cinco años de experiencia en el campo de la salud pública, promoción de la salud, con estudios de postgrado y con probados conocimientos en investigación, epidemiología y bioestadística, que estén evaluando o en proceso de evaluar una intervención en Salud Pública-Promoción de la Salud. Es altamente deseable que los participantes tengan financiación para desarrollar sus propuestas de evaluación, lo cual será tenido en cuenta para asignar puntajes. Temas • Salud Pública y Promoción de la Salud basada en evidencias: contribución de la evaluación • Determinantes sociales de la salud: situación y valoración Docentes internacionales invitados: • Louise Potvin, Universidad de Montreal, Canadá. • Jennie Popay, Universidad de Lancaster, Inglaterra. • Juan Eduardo Guerrero, OPS Washington. 374 Ligia de Salazar Curso Taller Latinoamericano de Evaluación de Efectividad en Promoción de la Salud. Cali, Colombia Fecha: 11 al 14 de julio de 2007 Lugar: Hotel Radisson. Cali (Colombia) Países participantes: Argentina, Cuba, Colombia, Ecuador, Guatemala, Paraguay y Venezuela. Número de participantes: 17 Instituciones socias: cedetes, CDC. Propósito del curso-taller Contribuir a fundamentar la toma de decisiones con información científicamente válida, cultural y socialmente aceptable, que articule la producción de conocimiento y la información a las políticas e intervenciones en salud pública. 375 Efectividad en Promoción de la Salud y Salud Pública Perfil de los participantes Profesionales con al menos cinco años de experiencia en el campo de la salud pública, promoción de la salud, con estudios de postgrado y con probados conocimientos en investigación, epidemiología y bioestadística, que estén evaluando o en proceso de evaluar una intervención en Salud Pública-Promoción de la Salud. Es altamente deseable que los participantes tengan financiación para desarrollar sus propuestas de evaluación, lo cual será tenido en cuenta para asignar puntajes. Temática general del curso-taller • Salud Pública y Promoción de la Salud basada en evidencias: Desafíos, respuestas y aspectos por resolver. Énfasis en determinantes sociales. • Investigación Evaluativa en Salud Pública y Promoción de la Salud. • Formulación de una propuesta de evaluación –Taller. • Comunicación y uso de los resultados de la evaluación. 376 Ligia de Salazar Curso Nacional de Evaluación Socioeconómica en Promoción de la Salud y Salud Pública. Cali, Colombia Fecha: 11 al 14 de julio de 2007 Lugar: Hotel Radisson. Cali (Colombia) País participante: Colombia. Número de participantes: 21 Instituciones socias: cedetes, Universidad del Valle. 377 Efectividad en Promoción de la Salud y Salud Pública Objetivo Proveer bases conceptuales y metodológicas para producir, valorar y usar información sobre la efectividad y el análisis de costo-efectividad de intervenciones en salud pública, con énfasis en promoción de la salud. Requisitos de los participantes Profesionales con al menos cinco años de experiencia en el campo de la salud pública– promoción de la salud, con estudios de postgrado y con probados conocimientos en investigación, epidemiología y bioestadística, que estén evaluando o en proceso de evaluar una intervención en Salud Pública-Promoción de la Salud. Contenidos generales • Salud Pública y Promoción de la Salud basada en evidencias: Desafíos, respuestas y aspectos por resolver. Énfasis en determinantes sociales. • Investigación evaluativa en Salud Pública y Promoción de la Salud • Formulación de un perfil de evaluación de costo-efectividad: Énfasis en Promoción de la Salud – Taller. • Comunicación y uso de los resultados de la evaluación. Clausura. 378 Ligia de Salazar 2008 Curso Salud Pública Basada en Evidencia, Escuela Carmen Cali, Colombia Fecha: 29 de octubre al 1 de noviembre de 2008. Lugar: Escuela de Salud Pública – Facultad de Salud – Universidad del Valle Países participantes: Argentina, Colombia, Ecuador, Perú y Paraguay Número de participantes: 21 Instituciones socias: fundesalud, cedetes, OPS (Escuela CARMEN); Universidad St. Louis (Missouri, USA); CDC. 379 Efectividad en Promoción de la Salud y Salud Pública Objetivo Contribuir a la creación de capacidad regional para valorar y usar la evidencia disponible en salud pública, en la toma de decisiones relacionadas con la prevención y control de las Enfermedades Crónicas No Transmisibles. Criterios de selección de los participantes Con el propósito de motivar un aprendizaje reflexivo, participativo y creativo, se conformarán grupos de trabajo compuestos por tomadores de decisión a diferentes niveles de instituciones de salud, públicas o privadas. Los integrantes del grupo deben trabajar en la misma área para asegurar que puedan llevar adelante intervenciones para prevenir y controlar enfermedades crónicas; para este caso se hará énfasis en enfermedades cardiovasculares. Criterios institucionales Las instituciones de donde provienen los participantes deben cumplir con las siguientes criterios: Estar trabajando en la prevención y control de enfermedades crónicas no transmisibles. Criterios individuales Formación básica en el área de salud Posgrado en Salud Pública –Epidemiología y Bioestadística. Experiencia de trabajo en Salud Pública y preferencialmente en el área de evaluación y enfermedades Aval para que el participante pueda cardiovasculares, comprobada por hoja implementar los insumos del curso para de vida y carta institucional que avale la fortalecer los programas de la institución, experiencia. tendientes a controlar y prevenir enfermedades crónicas. Desarrollo de trabajos de investigación en Salud Pública, que demuestren su interés Compromiso para continuar el proceso de y dedicación, comprobado por hoja de construcción de capacidad vida y consulta en base de datos. Participación actual en un proyecto relacionado con enfermedades Cardiovasculares, en la institución a la que pertenece; comprobado por carta institucional. 380 Ligia de Salazar Contenidos generales • Salud Pública y Promoción de la Salud basada en evidencias: Desafíos, respuestas y aspectos por resolver. Énfasis en determinantes sociales. • Investigación Evaluativa en Salud Pública y Promoción de la Salud • Formulación de un Perfil de Evaluación de Costo-Efectividad: Énfasis en Promoción de la Salud – Taller. • Comunicación y uso de los resultados de la evaluación. 381 Efectividad en Promoción de la Salud y Salud Pública 2009 Curso Virtual Latinoamericano Evaluación de efectividad en Promoción de la Salud Prueba del curso Modalidad: Virtual Países participantes: Argentina, Colombia y Guatemala Número de participantes: 16 Instituciones socias: fundesalud, cedetes, UIPES, CDC. Objetivo Este curso tiene como objetivo principal el que los participantes desarrollen los conocimientos, habilidades y competencias necesarios 382 Ligia de Salazar para el diseño de propuestas de evaluación coherentes con teorías y principios que orientan la Promoción de la Salud en América Latina, contextualizadas en el ámbito local, nacional y regional. Contenidos: • Conceptos, opiniones, posiciones y controversias alrededor de la evaluación y evidencias en Salud Pública y Promoción de la Salud. • La (s) pregunta (s) de evaluación: elementos a tener en cuenta para formular preguntas de evaluación. • Enfoques metodológicos de la evaluación en Promoción de la Salud: - Evaluación de Proceso - Sistematización y Documentación - Evaluación de Efectividad - Evaluación Económica. • Comunicación en salud como puente entre la evaluación, la política pública y la práctica (Gerencia y sostenibilidad de cambios). 383 Efectividad en Promoción de la Salud y Salud Pública Curso Taller Latinoamericano de Evaluación de Efectividad en Salud Pública y Promoción de la Salud. Cali, Colombia Fecha: 7 al 10 de julio de 2009. Lugar: Hotel Obelisco. Cali (Colombia) Países participantes: Perú, Costa Rica, Argentina, Brasil, El Salvador, Venezuela, Colombia y Cuba Número de participantes: 24 Instituciones socias: fundesalud, cedetes, CDC. 384 Ligia de Salazar Orientación El Curso-Taller está orientado a profundizar conocimientos en relación con la evaluación de efectividad en salud pública y promoción de la salud, y contribuir a mejorar o complementar procesos evaluativos en marcha en la región. Metodología El Curso-Taller se realizó en tres fases: fase tutorial a distancia, fase presencial, fase de diseminación de lecciones aprendidas y publicación de resultados. Contenidos • Conceptos, posiciones y controversias en Evaluación en Salud Pública y Promoción de la Salud • Identificación y formulación de la pregunta de evaluación • Enfoques metodológicos para la evaluación en Salud Pública y Promoción de la Salud • Comunicación, puente entre la evaluación, la política y la práctica 385 Efectividad en Promoción de la Salud y Salud Pública Curso Semipresencial. Salud Pública Basada en Evidencia. Cali, Colombia Fecha – Fase presencial: 25 al 28 de agosto de 2009 Lugar: Hotel Obelisco. Cali (Colombia) Países participantes: Argentina, Bolivia, Brasil, Honduras, Colombia y Perú Número de participantes: 21 Instituciones socias: fundesalud, cedetes, OPS (Escuela CARMEN) 386 Ligia de Salazar Objetivo Suministrar bases teóricas y prácticas para valorar y usar la evidencia disponible en salud pública, en la toma de decisiones relacionadas con la prevención y control de las enfermedades crónicas no transmisibles en América Latina, con el propósito de construir capacidad regional sobre este tema. Metodología El curso se desarrolló en tres fases: tutorial previa, presencial y tutorial posterior. Contenidos del curso • SPBE y EC en América Latina • Valoración de la interacción salud, población y territorio. • Identificación de evidencias. • Desarrollo de planes de acción • Evaluación de políticas y programas Estrategias pedagógicas • Desarrollo de casos • Debates sobre enfermedades crónicas no transmisibles, abierto al público en general. • Conferencias • Intercambios grupales • Presentación de casos 387 Ligia de Salazar Centro para el Desarrollo y Evaluación de Políticas y Tecnología en Salud Pública, cedetes Facultad de Salud – Escuela de Salud Pública Universidad del Valle Cali, Colombia cedetes fue creado por la Universidad del Valle, en 1997, como una unidad investigativa interdisciplinaria e interinstitucional en el ámbito de la evaluación en salud pública y promoción de la salud, que busca articular los resultados de la investigación evaluativa a la solución de problemas, y a los procesos de toma de decisiones alrededor de políticas y programas orientados a construir y conservar la salud de las poblaciones. La misión del Centro es contribuir a la formulación y cualificación de políticas e intervenciones en salud pública y promoción de la salud, mediante investigación, gestión de la información, desarrollo tecnológico y formación de recurso humano. Desde su creación cedetes trabaja en el desarrollo y consolidación de tres líneas de investigación: (1) Evaluación en Salud Pública y 389 Efectividad en Promoción de la Salud y Salud Pública Promoción de la Salud, orientada a desarrollar, implementar y validar metodologías de evaluación y producción de evidencias sobre proceso, efectividad y costo-efectividad de políticas, programas e intervenciones en salud pública y promoción de la salud; (2) Información y vigilancia en Salud Pública, como estrategias e insumos para la gerencia en salud y la evaluación de efectividad de iniciativas para modificar los eventos vigilados; y (3) Gestión de políticas públicas, orientada a generar insumos para desarrollar procesos de formulación, implementación y evaluación de políticas públicas, y lineamientos de política, basados en evidencia. Como resultado de su labor el cedetes ha generado tecnología en las tres áreas señaladas, las cuales han sido puestas al alcance de otros investigadores, académicos, estudiantes, autoridades de salud y tomadores de decisión en diferentes niveles, a lo largo de toda América Latina. Entre ellas, la metodología para la evaluación de efectividad de políticas e intervenciones en salud pública, obtenida por más de 600 contactos en América Latina; la metodología de evaluación económica en salud pública, producida conjuntamente con la OPS, en asocio con la Universidad de Toronto y Calgary en Canadá; la metodología para la sistematización de experiencias en salud pública y promoción de la salud y un modelo de evaluación de efectividad de intervenciones en salud pública, basado en los resultados de sistemas de vigilancia en salud pública. En la línea de vigilancia cedetes también tiene importantes desarrollos de reconocimiento internacional. Entre ellos ha diseñado y validado el Sistema de Vigilancia de Factores de Riesgo de Comportamiento en Escolares Adolescentes, SIVEA; y el Sistema de Vigilancia de Factores de Riesgo y Determinantes Sociales, Asociados a Enfermedades Crónicas, SIFREC, este último con la activa participación de la Secretaría de Salud Pública Municipal de Santiago de Cali, y ambos con el apoyo 390 Ligia de Salazar del Departamento Administrativo de Ciencia, Tecnología e Innovación de Colombia, Colciencias. En alianza con la Fundación para el Desarrollo de la Salud Pública Colombiana, fundesalud, lidera en América Latina la adaptación y validación del Curso de Salud Pública Basada en Evidencia, con énfasis en la prevención de enfermedades crónicas, promovido por la OPS, a través de la Escuela CARMEN. Así mismo, con fundesalud, participó en el desarrollo del Proyecto Regional Latinoamericano de Evidencias de Efectividad en Promoción de la Salud, promovido por la Unión Internacional de Promoción y Educación para la Salud, UIPES. cedetes lidera desde el 2006 el Programa Latinoamericano de Evaluación en Promoción de la Salud, apoyado por los CDC, de los Estados Unidos. Desde el 2004 es Centro Colaborador de la Organización Mundial de la Salud/Organización Panamericana de la Salud, OMS/OPS en Evaluación, Capacitación y Abogacía en Promoción de la Salud. cedetes Escuela de Salud Pública – Facultad de Salud- Universidad del Valle Calle 4B No 36-00 Edificio 118 – San Fernando Cali, Colombia, Suramérica Teléfonos: (0572) 557 9005 PBX: (0572) 558 5230 – 558 1947 Telefax: (0572) 558 5230 – 558 1947 ext. 102 [email protected] – [email protected] www.cedetes.org 391