Estándares de la evaluación educativa.
Transcripción
Estándares de la evaluación educativa.
TEMA 3. LOS ESTÁNDARES PARA LA INVESTIGACIÓN EVALUATIVA. INVESTIGACIÓN EVALUATIVA. MÁTER EN INNOVACIÓN E INVESTIGACIÓN EN EDUCACIÓN. UNED. CURSO 2010/2011. TEMA 3. LOS ESTÁNDARES PARA LA INVESTIGACIÓN EVALUATIVA Un estándar es un principio acordado por gente comprometida en una práctica profesional con el fin de mejorar la calidad y claridad de dicha práctica. El Joint Committee on Standards for Evaluations of Educational Programs, Projects, and Materials, Standards for Educational Evaluation de los EEUU es un conjunto de normas que guían la evaluación de programas educativos, proyectos y materiales, que se publicó por primera vez en 1981, aunque tiene posteriores actualizaciones. Los estándares marcan el camino que ha de seguir la evaluación de programas educativos con el fin de mejorar la calidad de los mimos, en particular, y de la educación, en general. Se agrupan en torno a cuatro categorías, que son: utilidad, viabilidad o factibilidad, honradez o probidad y precisión. Se ofrece una tabla con la concreción de cada una de las categorías en las que se dividen los estándares: Categoría Concreción La evaluación debe ofrecer la información necesaria y adecuada a las partes interesadas (audiencia). Utilidad Viabilidad factibilidad o Las evaluaciones han de ser realistas, prudentes y adecuadas. Honradez probidad o La evaluación debe llevarse a cabo de acuerdo con las normas legales y los principios éticos. Precisión La evaluación debe aportar información técnicamente correcta. A continuación resumiremos la interpretación de los estándares por el profesor Pérez Juste. En el documento Estándares del Joint Committee se encuentra las normas originales de las que se desprende dicha interpretación. 1. Estándares de utilidad. Dado que el acto de la evaluación se realiza por personas, con personas y para la mejora de las personas, la información que nos aporta debe otorgar protagonismo a las partes involucradas en ella. La evaluación, además de ser conocida y aceptada por todas las partes, debe identificar cada una de ellas a priori. (U1) El evaluador ha de suscitar confianza y dejar constancia de su competencia profesional, para lo cual son imprescindibles las cualidades de integridad, ecuanimidad y profesionalidad. (U2) La información relevante debe ser identificada antes de empezar la evaluación de programas, estableciendo prioridades en el caso de que haya que prescindir de alguna. Para este momento se han de generar acuerdos entre evaluador y audiencias. (U3) Como consecuencia de lo anterior todas las partes han de conocer con claridad las perspectivas, lógica y procedimientos utilizados por el evaluador. (U4) Toda la información será recogida en el informe que coleccionará el objeto de la evaluación en su contexto, sus objetivos y procedimientos con el fin de vislumbrar los puntos fuertes para afianzarlos y los débiles para solucionarlos. (U5) 1 CRISTINA GARCÍA LÓPEZ TEMA 3. LOS ESTÁNDARES PARA LA INVESTIGACIÓN EVALUATIVA. INVESTIGACIÓN EVALUATIVA. MÁTER EN INNOVACIÓN E INVESTIGACIÓN EN EDUCACIÓN. UNED. CURSO 2010/2011. Para que todas las partes entiendan este informe debe ser difundido de forma diferenciada para los diferentes grupos destinatarios de la información. (U6) La evaluación, que en sí misma no produce mejora, genera un impacto positivo o negativo que hay que tener en cuenta. El evaluador ofrecerá orientaciones encaminadas a la consecución de la mejora. (U7) 2. Estándares de viabilidad o factibilidad. Se utilizarán procedimientos para la recogida de información, llegar a acuerdos, difundir los resultados, entre otros, que serán seleccionados por el evaluador para llevar a cabo toda la evaluación del programa. Los criterios utilizados para escoger el tipo de procedimiento son dos: realistas, utilizando los recursos personales, económicos y de tiempo que sean estrictamente necesarios, y a la vez, viables, para que sin renunciar a aspectos esenciales no caigan en la utopía. (F1) Al ser una actividad realizada por personas, la evaluación corre el riesgo de verse influida por los intereses personales de los implicados en ella. Manteniendo una cooperación activa los intereses específicos no deben influir en la evaluación. (F2) Además de lo anterior, para que la evaluación sea viable debemos utilizar los recursos y la metodología que nos ofrezcan los mejores resultados al menor costo (económico, personal y de tiempo). (F3) 3. Estándares de horadez o probidad. La evaluación de programas educativos siempre ha de tener la intención de satisfacer las necesidades de los participantes, realizando aportaciones importantes a las organizaciones, a los educadores y a la sociedad. (P1) Se detallarán en un documento por escrito (acuerdo formal) las condiciones en las que se llevará a cabo la evaluación, acordando aspectos relacionados con el tratamiento, recogida, almacenamiento y análisis de datos; los informes; la financiación y la protección de los sujetos. (P2) Enlazando con lo anterior, será condición sine qua non el respeto por los derechos humanos y, además, el evaluador conocerá los códigos deontológicos y los principios éticos de toda evaluación. (P3) La dignidad e integridad de las personas será respectada y el evaluador intentará que esto sea así en la medida en que esté a su alcance. (P4) Los informes deben ser claros y precisos incluyendo los aspectos negativos y positivos y sus consecuencias lógicas, que se traducen en la toma de decisiones de mejora. (P5) Todas las personas implicadas en la evaluación tienen derecho a acceder a los resultados de la misma, así como a la información acerca de los métodos empleados. La evaluación tendrá así mayor credibilidad y calidad. (P6) Como hemos visto se puede producir un conflicto de interese entre las partes involucradas en la evaluación, por lo que será necesario afrontarlo previamente y llegar a acuerdos. (P7) La responsabilidad fiscal a la hora de usar los recursos económicos dará crédito a la evaluación y le restará valor cuando no se realice. (P8) 2 CRISTINA GARCÍA LÓPEZ TEMA 3. LOS ESTÁNDARES PARA LA INVESTIGACIÓN EVALUATIVA. INVESTIGACIÓN EVALUATIVA. MÁTER EN INNOVACIÓN E INVESTIGACIÓN EN EDUCACIÓN. UNED. CURSO 2010/2011. 4. Estándares de precisión. La documentación del programa ha de ser completa y clara tanto en su formulación como en lo relativo a su puesta en práctica. (A1) Dado que la evaluación se realiza en un contexto determinado debemos analizarlo teniendo en cuenta los condicionantes que nos plantea, para ajustar al máximo nuestra toma de decisiones. Es interesante que la aplicación del programa se realice en el contexto más favorable posible. (A2) Los procedimientos seguidos y las intenciones perseguidas deben ser descritos con toda claridad para que sean valorados. (A3) Las fuentes de información utilizadas serán también especificadas con claridad. Ante la diversidad de fuentes el evaluador escogerá las técnicas que más se adapten a cada caso. (A4) La validez de la información es muy importante para la calidad externa de la evaluación, lo que nos lleva en ocasiones a probar hipótesis que relacionan una variable dependiente y otra independiente. (A5) Los errores de medida deben ser minimizados y la varianza maximizada con el fin de conseguir el mayor grado de fiabilidad (consistencia de la información) posible. (A6) Para que los dos puntos anteriores sean reales la información ha de ser sometida a un rigoroso análisis para corregir posibles errores. (A7) Se analizará la información de tipo cuantitativo (edad, nivel socioeconómico, resultados,...) y cualitativo. Esta última se categoriza intentando conseguir que la información responda a las preguntas de la evaluación. (A8 y A9) Las conclusiones de la evaluación derivan de la información recogida, por tanto serán debidamente justificadas y acompañadas de la discusión. (A10) El informe debe ser objetivo, para ello el evaluador ha de evitar sesgos que provengan de distorsiones tanto conscientes e intencionadas, como conscientes y sin intención. (A11) Por último, la evaluación será evaluada (metaevaluación) para lo que nos serviremos de los estándares. Esta es la única forma de corregir errores durante el proceso de evaluación y también al final del mismo. (A12) Pérez Juste reflexiona acerca de las ausencias y discrepancias con el conjunto de normas elaborado por el Joint Committee llegando a las siguientes conclusiones: · Los estándares se refieren a la evaluación en general, y no a los programas en particular. Sería necesario un conjunto de normas para los programas educativos que se refieran a su calidad intrínseca, su calidad técnica y su calidad metodológica. · Algunos estándares están formulados para que los realicen evaluadores expertos y externos, algo poco común en España. · Si se acepta el principio de complementariedad metodológica los estándares A8 –Análisis de la información cuantitativa- y A9 –Análisis de la información cualitativa- pueden ser eliminados. · La metaevaluación (A12) debe ser considerada como una exigencia técnica de toda organización educativa y no una particularidad de la evaluación de programas educativos. · Sería conveniente la introducción de un estándar sobre metodología que pusiese de manifiesto la necesidad de utilizar el principio de complementariedad. 3 CRISTINA GARCÍA LÓPEZ