BLOQUE 5 metodologia empleo

BLOQUE 5. EVALUACIÓN DE LAS ACCIONES FORMATIVAS
Tema 1. La evaluación
1.1. Introducción
La evaluación es un proceso complejo lleno de matices, que pueden enriquecer la
enseñanza si se aplica con buen criterio, en caso contrario puede caer en “saco roto” y no
servir más que para calificar, poner un número o nota, que bien poco tiene que ver con la
realidad.
1.2. Tipos de evaluación
La clasificación de los distintos tipos de evaluación que presentamos a continuación está
realizada atendiendo a distintos criterios. De ella no debe deducirse que unos tipos y otros de
evaluación se excluyan mutuamente. Muy al contrario, emplearemos uno u otro atendiendo al
propósito de la evaluación, a los impulsores o ejecutores de la misma, a cada situación concreta, a
los recursos con los que contemos, a quienes sean los destinatarios del informe evaluador
(documento en el que se redactan las conclusiones de la misma), y a muchos otros factores.
Clasificaremos los diferentes tipos de evaluación atendiendo a los siguientes criterios:
EVALUACIÓN
FINALIDAD
EXTENSIÓN
FORMATIVA
SUMATIVA
GLOBAL
PARCIAL
AGENTE
EVALUADOR
INTERNA:
AUTOEVALUACIÓN.
HETEROEVALUACIÓN
COEVALUACIÓN
EXTERNA
MOMENTO
DE
APLICACIÓN
INICIAL
PROCESUAL
FINAL
IMPACTO
CRITERIO
DE
COMPARACIÓN
AUTORREFERENCIA
HETERORREFERENCIA
CRITERIAL
NORMATIVA:
1
1.2.1. Tipos de evaluación según su finalidad o función
• Función formativa o finalidad formativa
En este caso la evaluación se utiliza preferentemente como estrategia de mejora y para ajustar
sobre la marcha, los procesos educativos de cara a conseguir las metas u objetivos previstos. Es la
más apropiada para la evaluación de procesos, aunque también es formativa la evaluación de
productos educativos siempre que sus resultados se empleen para la mejora de los mismos. Suele
identificarse con la evaluación continua.
• Función sumativa.
Suele aplicarse más en la evaluación de productos, es decir, de procesos terminados, con
realizaciones precisas y valorables. En este caso, con la evaluación no se pretende modificar, ajustar
o mejorar el objeto de la evaluación, sino simplemente determinar su valía, en función del empleo
que se desee hacer del mismo posteriormente. Ejemplos claros son: la evaluación de libros o
materiales escolares para su selección, la experimentación de un programa concreto, la selección de
un trabajador en una empresa, la prueba de acceso a la universidad, etc. Se consideran aptos o no
aptos para una finalidad y se obra en consecuencia (se eligen o rechazan unos materiales, se acepta
o rechaza el programa, se contrata o no al trabajador o se promociona o no al alumno a la
Universidad).
1.2.2. Tipos de evaluación según su extensión
• Evaluación global
En ella se pretende abarcar todos los componentes o dimensiones del alumno, del centro
educativo, del programa etc. Se considera el objeto de la evaluación de un modo holístico, como
una totalidad interactuante en la que cualquier modificación en uno de sus componentes o
dimensiones tiene consecuencias en el resto. Con este tipo de evaluación la comprensión de la
realidad evaluada aumenta, pero no siempre es necesaria ni posible.
• Evaluación parcial
Pretende el estudio o valoración de determinados componentes o dimensiones de un centro,
de un programa educativo, del rendimiento de un alumno etc.
2
1.2.3. Tipos de evaluación según los distintos agentes evaluadores
• Evaluación interna
Es aquella que es llevada a cabo y promovida por los propios integrantes de un centro, un
programa educativo, etc. A su vez, la evaluación interna ofrece diversas alternativas de realización:
autoevaluación, heteroevaluación y coevaluación.
o Autoevaluación: los evaluadores evalúan su propio trabajo (un alumno su rendimiento, un
centro o programa su propio funcionamiento y resultados etc.). Los roles de evaluador y
evaluado coinciden en las mismas personas.
o Heteroevaluación: evalúan una actividad, objeto o producto, evaluadores distintos a las
personas evaluadas (el Consejo Escolar al Claustro de profesores, un profesor a sus
alumnos, etc.).
o Coevaluación: Es aquella en la que unos sujetos o grupos se evalúan mutuamente:
alumnos y profesores mutuamente, unos y otros equipos docentes, el equipo directivo al
Consejo Escolar y viceversa. Evaluadores y evaluados intercambian su papel alternativamente.
• Evaluación externa
Se da cuando agentes no integrantes de un centro escolar o de un programa evalúan su
funcionamiento. Suele ser el caso de la "evaluación de expertos". Estos evaluadores pueden ser
inspectores de educación, miembros de la administración, investigadores, equipos de apoyo a la
escuela, etc.
Estos dos tipos de evaluación son muy necesarios y se complementan mutuamente. En el caso
de la evaluación de centros sobre todo, se está extendiendo la figura del "asesor externo", que
permite que el propio centro o programa se evalúe a sí mismo, pero le ofrece su asesoría técnica y
cierta objetividad por su no implicación en la vida del centro.
1.2.4. Tipos de evaluación según el momento de su aplicación
• Evaluación inicial o diagnóstica
Se realiza al comienzo de una acción formativa, de un curso académico, de la implantación de
un programa educativo, del funcionamiento de una institución escolar etc. Consiste en la recogida
de datos sobre la situación de partida. Es imprescindible para iniciar cualquier cambio educativo,
para decidir los objetivos que se pueden y deben conseguir y también para valorar si, al final de un
proceso, los resultados son satisfactorios o insatisfactorios.
Con ella se puede determinar el nivel inicial del participante en lo que respecta a:
3
-
Conocimientos previos
-
Habilidades
-
Actitudes
-
Expectativas
• Evaluación procesual o formativa
Consiste en la valoración, a través de la recogida continua y sistemática de datos, del
funcionamiento de una acción formativa, de un centro, de un programa educativo, del proceso de
aprendizaje de un alumno, de la eficacia de un profesor, etc., a lo largo del periodo de tiempo fijado
para la consecución de unas metas u objetivos. La evaluación procesual es de gran importancia
dentro de una concepción formativa de la evaluación porque permite tomar decisiones de mejora
sobre la marcha.
• Evaluación final o sumativa
Consiste en la recogida y valoración de unos datos al finalizar un periodo de tiempo previsto
para la realización de un aprendizaje, un programa, un trabajo, un curso escolar, etc., o para la
consecución de unos objetivos.
• Evaluación del impacto o postformativa
Su objetivo es, finalizada la acción formativa y transcurrido un tiempo (3 a 6 meses), seguir al
alumno-trabajador en el ámbito laboral para constatar el mantenimiento y utilidad de la formación
recibida.
1.2.5. Tipos de evaluación según el criterio de comparación
Decíamos anteriormente que cualquier valoración se hace siempre comparando el objeto de
evaluación con un patrón o criterio.
En este sentido, podríamos distinguir inicialmente entre dos situaciones distintas (Vélaz, B.
Segalerva, M, 1.995):
• Autorreferencia
En caso de que la referencia sea el propio sujeto (sus capacidades e intereses, las metas que se
había propuesto alcanzar, considerando el tiempo y el esfuerzo invertidos por el sujeto, y teniendo
en cuenta sus aprendizajes previos) o cualquier otro objeto de la evaluación en sí mismo (por
ejemplo, las características de partida de un programa, los logros educativos de un centro en el
pasado, etc.), estaremos empleando la AUTORREFERENCIA como sistema.
4
• Heterorreferencias
En el caso de que las referencias no sean el propio sujeto, centro, programa, etc., lo que se
conoce como HETERORREFERENCIAS, nos encontramos con dos posibilidades:
o Referencia o evaluación criterial: Se considera evaluación criterial aquella en la que se
comparan los resultados de un proceso educativo cualquiera, con los objetivos previamente
fijados, o bien con unos patrones de realización, con un conjunto de situaciones deseables y
previamente establecidas. Es el caso en el que comparamos el rendimiento del alumno con
los objetivos que debería haber alcanzado en un determinado plazo de tiempo, o los
resultados de un programa de educación compensatoria con los objetivos que éste se había
marcado, y no con los resultados de otro programa.
o Referencia o evaluación normativa: El referente de comparación es el nivel general de
un grupo normativo determinado (otros alumnos, centros, programas o profesores).
En realidad, lo correcto es conjugar siempre ambos criterios para realizar una valoración
adecuada, aunque en el caso de la evaluación de alumnos nos parece siempre más
apropiada la evaluación que emplea la autorreferencia o la evaluación criterial.
El empleo de uno u otro tipo de evaluación dependerá siempre de los propósitos de la
evaluación y de su adecuación al objeto de nuestra evaluación.
5
Tema 2. Metodología de la evaluación.
2.1. Metodologías de evaluación. Cuantitativa versus cualitativa.
Si existe un tema polémico en lo relativo al ámbito de la evaluación de procesos formativos,
este es el que contrapone los dos formas de hacer evaluación: la cuantitativa y la cualitativa.
En el siguiente cuadro se presentan las asunciones o presupuestos de la evaluación de
programas cuantitativa (experimental, positivista, también llamada convencional) y cualitativa (o
naturalista) planteados por Guba (1987).
CUANTITATIVA
Realismo:
Existe
independiente
Ontológicos
CUALITATIVA
una
realidad Relativismo: Existen varias realidades
de
cualquier socialmente construidas en las que no
observador en la que rigen principios, rigen principios ni leyes generales. La
la verdad es definida como la verdad es una construcción consensuada
representación de la realidad
Objetivismo: El conocimiento de la Subjetivismo:
realidad
puede
darse
La
relación
entre
el
con observador y lo observado es de tal
Epistemológicos independencia del observador en tanto naturaleza
que
el
producto
de
la
en cuanto existen una serie de investigación es una pura creación de ésta
garantías de la observación
Intervencionismo : El control, la Hermenéutica:
La
metodología
manipulación y la medición son compromete al propio observador que se
Metodológicos
garantías
necesarias
investigación científica
para
la convierte en el principal instrumento en la
comprensión del fenómeno objeto de
estudio.
2.1.1. Enfoque o metodología cuantitativa
Atendiendo a la diferenciación de García Ramos, J.M. (1989), la base disciplinar del enfoque
cuantitativo-experimental la constituyen la psicología y pedagogía experimentales, cuya
metodología científico-experimental está fundamentalmente dirigida a la identificación de
6
relaciones causales entre variables. Usa, por tanto, diseños experimentales y cuasi experimentales
en la investigación que realiza. Su preocupación fundamental es la de garantizar la validez interna
(control) y externa (poder de generalización) del diseño de investigación, entendido éste como
“plan, estructura y estrategia que utiliza el investigador para controlar la varianza” (Kerlinger,
1975) de la variable dependiente. Usa, pues, el control y la comparación de grupos, técnicas de
muestreo, manipulación activa de variables independientes y técnicas estadísticas de análisis de las
unidades de datos, que pueden ser sujetos, grupos, centros, etc. Para la medida y manipulación de
variables utiliza preferentemente instrumentos de medida fiables y válidos tales como test, pruebas
objetivas, cuestionarios, etc.
En este enfoque, el evaluador se sitúa como persona independiente al fenómeno a evaluar
(programa o centro), al objeto de garantizar la objetividad de los procedimientos y de su
interpretación.
2.1.2. Enfoque o metodología cualitativa
Por otra parte, García Ramos, J.M. (1989) sitúa el enfoque cualitativo en la perspectiva
fenomenológica, de base inductiva, generalista y subjetiva. Se preocupa por el proceso básicamente
y dentro del marco social. Su base disciplinar la constituye la sociología y la antropología, cuyas
metodologías buscan describir la realidad y siempre desde la perspectiva de sus protagonistas.
Utiliza, por tanto, métodos etnográficos, estudios de casos, observación participante y triangulación
de la investigación que realiza. Se apoyan en la idea de que la evaluación es observación e
interpretación, comprensión de lo que sucede, para extraer conclusiones propias. Busca el estudio
minucioso de la realidad a través de datos cualitativos que ofrezcan un cuadro coherente, una
interpretación lógica de la realidad. Como técnicas de obtención de datos utilizan todo tipo de
instrumentos: cuestionarios, estudios de casos, observación, anecdotarios, entrevistas, etc. Las
variables del estudio son, algunas definidas previamente, otras emergentes en el proceso mismo de
la evaluación.
En este enfoque el evaluador interacciona con el fenómeno estudiado, sea un programa o un
centro, pues es preciso que comprenda las relaciones que se dan dentro del programa, entre los
participantes, desde dentro mismo del programa.
Ambos enfoques –cuantitativo y cualitativo- representan posiciones totalmente contrapuestas
que no suelen darse en estado puro en las prácticas evaluativas, aunque en ellas, siempre predomina
uno en mayor medida que el otro.
7
Actualmente las prácticas evaluativas complementan ambos enfoques, constituyéndose como
metodologías mixtas que conjugan aspectos, instrumentos, técnicas, etc, tanto cuantitativos como
cualitativos
2.2. Diseño del plan de evaluación y seguimiento formativo
La implementación de un Plan de Evaluación conlleva el desarrollo de las fases de
planificación, ejecución y elaboración/publicación de conclusiones. Las técnicas de análisis de
datos y el tratamiento y análisis de los mismos es otro aspecto fundamental a considerar en el
diseño del plan de evaluación el cual va a tener como eje vertebrador el carácter continuo y global
de la evaluación que nos va a proporcionar una información significativa y continuada que permite
la regulación y la mejora de la calidad de la formación.
Otro aspecto importante de la evaluación es el seguimiento formativo, que nos va a indicar la
eficacia en el uso de los distintos recursos formativos, al objeto de mejorar el aprovechamiento de
los mismos, así como su elección.
2.2.1. Características generales y fases
El sistema de evaluación en el centro, organismo, entidad o institución que lo implemente, si
efectivamente debe proporcionar una información significativa y continuada que permita la
regulación y la mejora de la calidad de la formación, sólo puede ser abordada desde una estrategia
global y colectiva. Parece entonces necesario describir, al menos globalmente, las características de
un Plan de evaluación de los procesos de enseñanza, en el que cada proceso evaluador específico
debe insertarse en la totalidad de la evaluación, antes de que específicamente nos centremos en las
características propias de los elementos más importantes a considerar en la evaluación del proceso
de enseñanza (programaciones, proyectos curriculares, etc.).
La evaluación global y sistemática de los procesos de enseñanza en un centro formativo es un
proceso complejo que exigirá:
8
2.2.1.1.- Fase de Planificación
Donde se determinarán las características básicas del proceso evaluador y se redactará el plan
de evaluación.
Las principales tareas y aspectos a especificar en este momento serían:
• Delimitación del campo evaluable
Esto es: Las dimensiones, ámbitos, componentes o unidades de análisis sobre los que vamos
a actuar.
Lógicamente, el primer paso del proceso debe ser determinar y especificar las variables más
relevantes para determinar el valor de aquello que queremos evaluar. Por ejemplo, determinando la
programación como ámbito o dimensión fundamental para la evaluación, dentro de ella podríamos
distinguir, a su vez, dos subdimensiones fundamentales:
•
Proceso de elaboración y seguimiento;
•
Elementos básicos y decisiones generales.
De igual modo, asumida la selección de la organización como ámbito de evaluación, habría
que decidirse por cuáles serían las dimensiones fundamentales objeto de atención (Estructura
organizativa, Funcionamiento interno, Recursos, etc.).
A su vez el contenido de toda Evaluación debe de estar constituido por los siguientes
aspectos:
9
1. Aspectos de contexto: hacen referencia al entorno en el que se llevan a cabo los programas,
incluyendo las necesidades del alumnado, oportunidades externas para mejorar los
programas, los problemas a solucionar, y las metas y prioridades que podrían requerir
modificación. Esta información es importante para dirigir y valorar los esfuerzos de mejora
y diseñar el proceso de planificación estratégico del Programa.
2. Aspectos de entrada: son aquellos referidos a la política que se va a llevar a cabo, a las
programaciones de trabajo, las partidas presupuestarias destinadas al programa, las
actividades extraescolares, los horarios y calendarios de trabajo, la formación del
profesorado, la participación de los padres, las infraestructuras a utilizar y los medios y
materiales destinados al Programa.
3. Aspectos de proceso: son los aspectos que se generan desde la puesta en marcha hasta la
finalización e inciden en el desarrollo del Programa. Se analizan las actividades del
profesorado, se diagnostican defectos en las programaciones, en general, comprende
descripciones y juicios respecto a los responsables de la formación a la hora de ofrecer los
servicios para los que está creado el Programa.
4. Aspectos de producto: incluyen las descripciones y la valoración de los resultados de los
programas. Compara los resultados alcanzados por el alumnado con las necesidades
evaluadas del mismo, considerando los déficits como consecuencia de un programa
defectuoso o de una deficiente puesta en práctica del mismo.
Para cada una de las subdimensiones se establecerán un conjunto de elementos evaluables o
indicadores, que constituyen la unidad elemental de contenido con significado propio, y darán
lugar a la creación de los ítems que componen los cuestionarios creados para recoger la información
susceptible de ser evaluada.
• Definición de indicadores o criterios de calidad en relación con cada una de las dimensiones
o subdimensiones seleccionadas para la evaluación.
Los indicadores van a ser los patrones o criterios con los que vamos a comparar el objeto de
evaluación para emitir después un juicio de valor, es decir, para afirmar qué aspectos del mismo
satisfacen esos estándares de calidad y cuáles no y tomar las decisiones oportunas de reajuste,
modificación, etc.
Los indicadores fijados para cada ámbito, dimensión o subdimensión, señalan la descripción
de su estado ideal o deseable, en relación con el cual deberemos valorar la discrepancia del estado
real, para emitir valoraciones positivas o negativas, y ello en diferentes grados.
10
Los indicadores pueden ser tanto cualitativos como cuantitativos, sobre todo en relación con
algunos aspectos (p.e. resultados de los alumnos, recursos económicos, número de sesiones de
trabajo, número de profesores que ha acudido a cursos de perfeccionamiento, ... ), y su uso
combinado suele ser necesario en el ámbito educativo para poder emitir valoraciones ajustadas e
informadas desde puntos de vista diversos.
• Seleccionar las fuentes, técnicas e instrumentos apropiados para la recogida de la
información y su posterior análisis.
La complejidad de un proceso de evaluación como el que se describe, lógicamente exige el
empleo de diferentes y variadas fuentes, técnicas e instrumentos de recogida de información.
Por lo que se refiere a las fuentes, habría que hacer una doble consideración:
1. Las principales fuentes documentales a considerar, de acuerdo con las necesidades de
información que en cada caso se precisen, son:
•
Documento que refleje la programación y las unidades didácticas de la formación.
•
Reglamento de funcionamiento del centro, entidad, organización, etc.
•
Inventario sobre instalaciones y equipamientos.
•
Documentación económica del centro.
•
Informes de la Inspección.
•
Actas de los consejos de dirección.
•
Actas e informes de los docentes.
•
Actas de las sesiones de evaluación.
•
Registros de tutoría.
2. Las fuentes personales son también una fuente de información fundamental, si se quiere que
efectivamente la evaluación trascienda la frontera de la valoración intuitiva y exclusiva, por
ejemplo, por parte del equipo directivo. Por lo tanto, y en función de las necesidades de información
propias de cada dimensión, será necesario consultar a todos los implicados indirectamente en los
procesos de formación.
Por lo que se refiere a los procedimientos, técnicas e instrumentos para la recogida de
información, a continuación se detallan algunos criterios que se deberían cumplir en su elección:
•
Ser variados, de modo que permitan evaluar los distintos tipos de capacidades y de
contenidos curriculares y contrastar datos de evaluación referidos a los mismos aprendizajes
o similares obtenidos a través de distintos instrumentos.
•
Dar información concreta sobre lo que se pretende, sin introducir variables que distorsionen
los datos que se obtengan con su aplicación.
11
•
Utilizar distintos códigos (verbales, orales o escritos, cónicos, gráficos, etc.), de modo que
se adecuen a las distintas aptitudes, necesidades y estilos de aprendizaje de los alumnos sin
que el código dificulte el contenido que se pretende evaluar.
•
Ser aplicables en situaciones habituales de la actividad educativa.
•
Permitir evaluar la transferencia de los aprendizajes a contextos distintos de aquellos en los
que se ha adquirido, comprobando así su funcionalidad.
Algunos, al menos, deben poder ser aplicados tanto por el docente como por los alumnos en
situaciones de autoevaluación o de coevaluación.
En el próximo punto de este tema se reflejan con mayor detalle las técnicas e instrumentos
utilizados más habitualmente en los procesos evaluativos.
Por lo que se refiere a las técnicas para el análisis de datos, al igual que las técnicas e
instrumentos de recogida de información, en el punto posterior de este tema se indican con mayor
detalle.
• Determinar los momentos para la recogida y valoración de datos
En este sentido es especialmente importante recordar que se trata de una evaluación que debe
ser continua, y que se extiende, por tanto, a todos los momentos de la acción docente. Se deberá
entonces considerar en el plan un proceso ininterrumpido que se inicia con el diagnóstico de la
situación -evaluación inicial- y que pretende mejorar la acción docente mediante la continua
observación y reflexión conjunta -evaluación procesual-. En él las conclusiones o valoraciones
globales en un determinado momento -evaluación final- nunca cerrarán el proceso, sino que
llevarán a decisiones y acciones que a su vez seguirán siendo evaluadas en un mecanismo continuo
de realimentación (MEC, 1993). Finalmente, se llevará a cabo una –evaluación postformativa- ,
normalmente a los 3 o 6 meses de finalizado el proceso formativo, al objeto de evaluar en el
impacto de la formación recibida (información detallada en la Unidad Didáctica I de este módulo
en el punto Tipos de Evaluación). No obstante, la evaluación del proceso de enseñanza habrá de
situarse en el tiempo que el propio centro determine.
• Determinar los responsables, en cada caso, de los procesos concretos de evaluación.
En muchos de los casos la propia normativa establece la responsabilidad de los procesos
evaluativos en las propias entidades o centros que desarrollan los planes de formación, siendo, en
otros casos, necesaria la intervención de agentes externos a los centros formativos.
12
2.2.1.2.- Fase de Ejecución
O puesta en práctica de la evaluación sobre todos los ámbitos contemplados en el Plan.
Implica a todos los participantes, pero deberá ser coordinada por quien ostente la responsabilidad de
la evaluación.
2.2.1.3.- Fase de elaboración y publicación de conclusiones
Implica la realización del informe final de la evaluación y reflejará todos los aspectos
analizados que se describen en el Plan de evaluación. Si se ha tratado de una evaluación dirigida a
la mejora intrínseca del plan, el informe hará referencia a todos los aspectos susceptibles de mejora.
Si se ha tratado de una evaluación dirigida a la toma de decisiones, el informe irá dirigido a enfocar
a la entidad responsable de la evaluación a la toma de decisiones en base a criterios
predeterminados.
2.3. Recogida de datos
A pesar de las peculiaridades que pueda presentar la evaluación en la diversidad de procesos
formativos, en este punto vamos a materializar los criterios anteriormente expuestos, bajo la forma
de algunas técnicas e instrumentos concretos, que presentan un alto grado de adaptabilidad a las
distintas circunstancias que rodean a los procesos de enseñanza-aprendizaje. Fundamentalmente
destacaremos tres conjuntos de técnicas para la recogida de información sobre los procesos y los
resultados del aprendizaje de los alumnos:
2.3.1. Observación Sistemática
Podría definirse como: “el examen atento que un sujeto realiza sobre otro u otros sujetos o
sobre determinados objetos y hechos, para llegar a un conocimiento mayor sobre ellos, mediante la
obtención de una serie de datos generalmente inalcanzables por otros medios” (Casanova, 1992,
citado en Escamilla y LLanos. 1995).
Para que la observación sea sistemática, es necesario precisar en cada ocasión qué se pretende
observar, los instrumentos adecuados y los períodos de tiempo para la recogida de información.
Dentro de esta técnica, cabría señalar dos variantes complementarias, que deben combinarse:
•
Observación directa
La observación directa, por parte del docente, consiste en la observación de los procesos por
los cuales el alumno construye su aprendizaje, estando éste presente (estrategias que utiliza, ritmo
13
de trabajo, actitud que manifiesta, tiempo que emplea, recursos que utiliza, dificultades que
encuentra y cómo las resuelve, etc.).
•
Observación indirecta
La observación indirecta es la que se realiza sobre el resultado de las tareas y actividades
que lleva a cabo el alumno y que, normalmente, se concreta en algún producto: escritos, gráficos,
mapas, producciones plásticas, esquemas, respuestas a problemas o preguntas, etc.
2.3.2. Entrevista
Puede definirse como: “una conversación intencional” (Casanova, 1993, p. 77). Es una
técnica de gran valor para obtener información sobre la opinión, actitudes, problemas,
motivaciones, etc. del alumnado y de sus familias.
Para ser utilizada con provecho exige:
•
La definición de objetivos
•
La delimitación de la información que se desea obtener
•
El registro de los datos esenciales que se han obtenido
Puede ser de dos tipos:
•
Formal, o previamente preparada por el entrevistador. A su vez cabría distinguir entre:
o
Estructurada. La entrevista se realiza siguiendo un cuestionario a modo de guión
que se sigue estrictamente durante la entrevista.
o
Semiestructurada. El educador tiene un guión previamente elaborado que le ayuda
a orientar y dirigir la entrevista, pero no se sigue estrictamente, habiendo lugar para
la improvisación y la espontaneidad.
o
Libre o Abierta. La entrevista se realiza sin guión previo y los temas van surgiendo
sobre la marcha.
•
Informal, o sin preparación previa (en ella el entrevistador, en una situación de encuentro
espontáneo, recoge información relevante).
2.3.3. Realización de pruebas específicas de evaluación
En todo caso, se debe huir del tradicional examen, y ello exige que las pruebas a utilizar sean
variadas y en ellas quedarán implícitas no sólo conceptos, sino también procedimientos (esquemas,
resúmenes, definiciones personales, planteamiento de relaciones creativas, etc.) y actitudes (interés,
esfuerzo en aspectos como orden, limpieza, claridad, etc.). Por último, es preciso subrayar que en
14
ningún caso la valoración de los aprendizajes de los alumnos puede llevarse a cabo sobre la sola
información recogida mediante una de estas técnicas.
2.3.4. Técnicas y procedimientos para evaluar los conocimientos previos de los alumnos
Por su relevancia y significación dentro de un modelo constructivista de la enseñanza y el
aprendizaje, orientado a la construcción de aprendizajes significativos, destacaremos especialmente
algunas propuestas concretas para evaluar los conocimientos previos del alumno. Algunas de las
más extendidas son:
•
La voluntariedad (manifestación voluntaria o elicitación) de concepciones previas mediante
la provocación del conflicto cognitivo.
Se trata en este caso de poner al alumno ante situaciones (problemas a resolver, grupos de
discusión entre iguales, experimentos, lecturas, etc.) que provoquen un conflicto entre sus propias
creencias, concepciones y explicaciones, y las de otros compañeros o las que demuestra la
experiencia real. Con estas situaciones se persigue que el alumno manifieste “aquello que sabe”
(es decir, sus creencias, concepciones y explicaciones personales) y, al hacerlo, facilite al profesor
tomar decisiones sobre “qué debe aprender” y, aún más, “cómo puede y debe aprenderlo”. En
definitiva, permite planificar estrategias que provoquen el cambio conceptual.
•
La utilización de técnicas de representación de conceptualizaciones
En la utilización de técnicas de representación de esquemas conceptuales Novak y Gowin
(1984) proponen la utilización de mapas cognitivos y conceptuales como instrumento de enseñanza
y de evaluación (inicial, procesual y/o final). Por la difusión que ha tenido su utilización entre los
profesionales de la educación, nos parece interesante su inclusión como técnica de manifestación
voluntaria o elicitación de conceptos.
Es conveniente distinguir claramente entre “mapa cognitivo” y “mapa conceptual”. El
primero responde a la representación gráfica de las conceptualizaciones previas que manifiesta el
alumno (acerca de algún concepto más o menos general, como, por ejemplo: vida, mamífero,
electricidad, etc.).
Por su parte, “un mapa conceptual” es un recurso esquemático para representar un conjunto
de significados conceptuales incluidos en una estructura de proposiciones. Un mapa conceptual
también puede hacer las veces de “mapa de carreteras” (rutas de aprendizaje), que se pueden seguir
para conectar los significados de los conceptos, de forma que resulten proposiciones. Así, las frases
“la hierba es verde”, “la hierba es un vegetal”, “la hierba crece” etc., dan lugar a un incremento en
el significado del concepto hierba.” (Novak, pp.33 y 34). El mapa conceptual es, entonces, la
15
representación correcta de una conceptualización dada, destinada a poner de manifiesto conceptos y
proposiciones, o relaciones entre conceptos. Esta técnica suele elaborarla el docente para programar
mejor la enseñanza.
Los mapas conceptuales, contrastados con los mapas cognitivos de los alumnos, pueden
emplearse para evaluar los progresos que hacen los alumnos en la formación y relación de los
conceptos básicos (funcionando el mapa conceptual como criterio de evaluación).
2.4. Instrumentos de registro
Las técnicas de evaluación necesitan de instrumentos específicos que garanticen la
sistematicidad y rigor necesarios en el proceso de evaluación. Algunos de ellos poseen el carácter
de documentos oficiales, que facilitan el registro de datos y el intercambio de información entre
docentes (de distintos niveles o cursos de un mismo organismo, de diferentes organismos,…)
Otros instrumentos, los seleccionados por cada docente o equipo de docentes, hacen posible
el registro de los datos de la evaluación continua y sistemática y se convierten así en el instrumento
preciso y ágil que garantiza la viabilidad de los principios de una evaluación como la que venimos
definiendo a lo largo del tema. Estos son, entre otros:
2.4.1. Listas de control o inventarios
Se definen como:
Tipos de registro que consisten habitualmente en una tabla de doble entrada, en la que se
recoge la relación de datos observables del objeto de nuestra evaluación. Para cumplimentarla,
simplemente hay que marcar con un determinado signo el apartado correspondiente (o consignar
“si"), cuando efectivamente el objeto de evaluación posee el rasgo prefijado (Casanova, 1992).
2.4.2. Escalas de estimación o evaluación
Se definen como:
Instrumentos que permiten constatar una serie de datos observados, relativos a algo que se
desea conocer para su valoración, bien sea un objeto, una persona, el funcionamiento de una
institución, etc.
Cada elemento observado se valora con la gradación que se considere más oportuna y más
adecuada a lo que se evalúa. Existen muchos tipos de escalas, entre los que pueden destacar:
•
Escalas numéricas: valoran cada elemento mediante una serie ordenada de números.
16
•
Escalas gráficas: valoran cada elemento dentro de un continuo, sobre el que habitualmente
hay que marcar.
•
Escalas descriptivas: valoran cada elemento a partir de descripciones valorativas del tipo
de nunca-casi, nunca-rara vez, en ocasiones-regularmente-siempre.
2.4.3. Cuestionarios
Se definen como:
Un conjunto de preguntas que los sujetos deben responder por escrito respecto a algún
aspecto o dimensión.
En función del tipo de respuesta, existen:
•
Cuestionarios abiertos: el sujeto responde a la preguntas sin pautas previas.
•
Cuestionarios cerrados, son aquellos en los que el sujeto debe responder a unas
alternativas de respuesta.
Los tipos de preguntas o ítems de un cuestionario pueden ser, ordenadas de menor a mayor
apertura: de emparejamiento, de respuesta alternativa, de elección múltiple, de llenar un espacio, de
respuesta corta y de ensayo (Tenribrink, 1988).
2.4.4. Fichas de seguimiento
Se definen como:
Listas de control a las que se incorpora una escala temporal, para hacer un seguimiento en el
tiempo del rasgo o aspecto a evaluar.
2.4.5. Pruebas sociométricas
Se definen como:
Cuestionarios dirigidos a un colectivo (grupo de alumnos de un aula, grupo de profesores de
un centro, etc.) a los que se demanda información sobre el mapa social de ese grupo para identificar
amistades, conflictos, preferencias, incompatibilidades, tipos de relación, liderazgo, habilidades o
dificultades sociales, etc.
2.4.6. Anecdotarios
Se definen como:
Instrumentos
para
registrar
hechos
o
sucesos
auténticamente
significativos
del
comportamiento de los sujetos o de la vida de la escuela.
En ellos se consigna por separado, para garantizar la máxima objetividad:
17
•
Hecho o acontecimiento
•
Fecha y lugar
•
Personas implicadas:
•
o
Descripción del hecho (por parte de los distintos implicados)
o
Valoración de los hechos (por parte del profesional de la educación)
Solución o decisiones adoptadas:
o
Recomendaciones y observaciones para el futuro
Como ocurre con cualquier método, técnica o instrumento de evaluación, en el caso de los
instrumentos, lo más importante es que se adecuen a los propósitos de la evaluación y nos den la
información que necesitamos. Para ello, deben derivarse siempre de los indicadores previamente
definidos.
2.5. Técnicas para el análisis de datos
Para el análisis de datos podemos encontrar una alta diversidad de pruebas, tanto cualitativas
como cuantitativas, que sintetizan la información y permiten ofrecer conclusiones significativas
sobre los procesos evaluativos. En este apartado trataremos algunas de ellas.
2.5.1. El análisis de contenidos/tareas
Es una técnica cualitativa que puede ser utilizada para analizar el trabajo del alumno a medida
que éste aprende, y se aplica de modo fundamental en la valoración de comunicaciones orales o
escritas.
El análisis de contenido es esencialmente un procedimiento de cálculo. Las producciones de
los alumnos se analizan para comprobar la ausencia o presencia de determinadas características
importantes (p.e. palabras bien escritas, verbos usados creativamente, etc.), se cuentan, y el número
conseguido se compara con algún estándar y entonces se forman juicios de valor sobre la calidad de
la comunicación (Teribrink, 1984; citado por Escamilla y LLanos, 1995).
El análisis de contenido básicamente comprende las siguientes fases:
•
Determinación y concreción de la unidad de análisis (texto oral u escrito, situación
problemática, tema completo, etc.).
•
Identificación, selección y estructuración de las categorías de análisis.
•
Codificación de los datos.
18
Este tipo de análisis se puede hacer extensivo a todo tipo de tareas, y puede servir para
averiguar cómo y qué aprende el alumno y, sobre todo, donde están los errores y las dificultades
que encuentra en su proceso de aprendizaje. Estos datos son imprescindibles para llevar a cabo una
verdadera evaluación formativa. Es decir, nos permite conocer los resultados del aprendizaje
durante el proceso, sin tener que esperar a que éste concluya.
2.5.2. Programas estadísticos de análisis de datos
Existen programas estadísticos que analizan la información recabada a través de un proceso
evaluativo, tanto a nivel cualitativo como a nivel cuantitativo. Es de gran utilidad y uso, por
ejemplo, el SPSS, programa de análisis estadístico que ofrece resultados producto de la tabulación
previa de todos los casos, relativos a estadísticas descriptivas, inferenciales y multivariadas, así
como análisis de consistencia interna y validez de las pruebas evaluativos empleadas, esto es, datos
relativos a la correcta o incorrecta construcción de pruebas objetivos de medida.
2.5.3. La triangulación
La triangulación es una técnica cualitativa de análisis de datos que permite evaluar el proceso
de aprendizaje de los alumnos a través de distintos enfoques y fuentes de información.
En el caso de la evaluación del aprendizaje de los alumnos, ya se trate de una evaluación
diagnóstica, procesual o de resultados, la aplicación de la técnica de triangulación multimodal
supondría:
•
Triangulación del objeto de la evaluación: en este caso, de las capacidades de los
alumnos, obteniendo información de diversas actividades del alumno, como estrategias y
procedimientos de trabajo, interacciones sociales (de trabajo y juego), actitud que manifiesta
ante el aprendizaje u otras situaciones, etc.
•
Triangulación de las técnicas de evaluación: observación (directa o indirecta), entrevista
(con o sin mapas conceptuales o cuestionarios), aplicación de pruebas (objetivas, de
ensayo..) etc.
•
Triangulación de tareas: escritas u orales, con o sin material didáctico o de consulta, tareas
abiertas o cerradas, etc.
•
Triangulación
de
momentos:
antes,
durante
y
después
del
proceso
de
enseñanza/aprendizaje.
•
Triangulación de evaluadores: autoevaluación, heteroevaluación (por parte del profesor,
los compañeros, otros profesores, el orientador, los padres) y coevaluación.
•
Triangulación de espacios y situaciones: dentro y fuera del aula, en situaciones
académicas o de ocio, individualmente y en grupo etc.
19
La triangulación, no sólo favorecerá la emisión de un juicio de valor o una toma de decisiones
más ajustada y educativa, sino que permitirá la evaluación integral e integrada de los aprendizajes.
2.6. Los diferentes agentes evaluadores
El seguimiento de los aprendizajes de los alumnos, a través de los criterios determinados y su
concreción en las experiencias de aprendizaje, lo realizará el propio docente. Esta alternativa, recibe
la denominación de heteroevaluación.
Sin embargo, y de manera gradual, habrá que estimular al alumno para que vaya formulando
opiniones sobre su propio trabajo (qué les ha aportado, dificultades encontradas, interés y esfuerzo,
etc.). Solo así será posible avanzar hacia una auténtica autoevaluación.
El empleo de esta forma de evaluación desde edades muy tempranas reporta diversas
ventajas:
•
Permite la construcción de aprendizajes significativos por parte del alumno, al hacerle
reflexionar sobre su propio aprendizaje. Este tipo de actividad metacognitiva está en la base
de un aprendizaje autónomo, responsable y significativo.
•
Aumenta la motivación del alumno, en tanto en cuanto éste se siente responsable de su
aprendizaje.
•
Aumenta la autonomía y responsabilidad del alumno, puesto que las motivaciones para
aprender ya no van a ser sólo extrínsecas, sino también intrínsecas al propio alumno.
•
Permite la formación de un autoconcepto ajustado (el alumno va tomando conciencia de sus
posibilidades, en el mejor sentido).
•
Facilita una mejor relación profesor-alumno, ya que no se identifica al profesor como único
juez de los progresos del alumno.
•
El profesor tiene una fuente más de información para emitir su propia valoración, lo que
redundará en la adopción de decisiones más justas.
•
Facilita la adopción de adaptaciones curriculares individuales (de apoyo, refuerzo o
ampliación), deseadas por el propio alumno, lo que las torna más eficaces.
En ocasiones, emprender un trabajo coevaluador también puede ser de gran valor formativo
(alumnos y profesores se evalúan mutuamente). El análisis de aspectos tales como cuál ha sido su
aportación al trabajo en grupo, si les ha beneficiado el trabajo, qué ventajas e inconvenientes ven en
él, si sería conveniente trabajar en esa línea en el futuro, etc., pueden conducir al desarrollo de
actitudes vinculadas a la capacidad de diálogo, la búsqueda de soluciones compartidas, la reflexión
sobre elementos que a todos nos afectan, etc.
20
Cuando se habla de evaluación, normalmente se entiende como una actividad cuyo fin es
valorar el rendimiento de los alumnos. Pero la evaluación no se queda simplemente ahí, sino que
llega a todos los elementos que participan en el proceso formativo y que son susceptibles de mejora.
A la hora de implementar un proceso formativo, siempre, lo primero que debemos
plantearnos, es qué objetivo pretendemos conseguir. Tanto el desarrollo en sí de la formación como
su impartición giran en torno a ese objetivo. La evaluación de los procesos formativos nos servirá
para ir detectando los aspectos susceptibles de mejora en las fases de diseño, implantación y
desarrollo de la formación y, por otro lado, la evaluación de los resultados de la formación nos
permitirá conocer si nuestros alumnos han conseguido alcanzar los objetivos de la formación que se
planteaban inicialmente o no.
Todo ello va integrado en un Plan de Evaluación que contempla todos los aspectos a tener en
cuenta en el proceso propio de la evaluación. Desde qué aspectos se tienen que medir; qué personas
van a verse implicadas; sobre qué ámbitos nos vamos a centrar; qué técnicas vamos a utilizar para
recoger la información; cómo vamos a analizar esta información; de qué manera podremos emitir el
informe final; y, qué consecuencias puede tener éste último, o lo que es lo mismo, qué finalidad
conseguimos con la implementación y el desarrollo de un Plan de Evaluación.
21
Tema 3. Evaluación de procesos formativos
3.1. Introducción.
Un instrumento imprescindible para poder comprobar la eficacia de la formación es el
proceso evaluativo.
Como formadores, responsables directos o indirectos de la formación impartida, no podemos
olvidar que la evaluación debe planificarse desde el primer momento, después de establecer los
objetivos y en función de ellos. La revisión periódica del desarrollo de la formación es un
instrumento de dirección que se aplica a una intervención pedagógica en su totalidad como vía para
identificar los puntos débiles de la formación y atenuarlos sobre la marcha.
Con la evaluación llegamos a una parte fundamental del proceso formativo, en ella se tratará
de comprobar si los objetivos que nos habíamos propuesto se han conseguido y en que medida.
22
3.2. La evaluación de los procesos formativos
3.2.1. Concepto de evaluación: ¿Qué es evaluar?
La Real Academia Española de la Lengua define la palabra evaluar con diferentes acepciones.
Estas son:
1. Señalar el valor de algo.
2. Estimar, apreciar, calcular el valor de algo.
3. Estimar los conocimientos, aptitudes y rendimientos del alumnado.
El elemento clave de la evaluación es el de la valoración de la realidad evaluada (Pérez, J.
1989). Cuando esa realidad está constituida por las producciones del alumnado se suele hablar,
aunque incorrectamente, de evaluación del rendimiento. Sin embargo, si analizamos la valoración
comprenderemos la complejidad del acto, la necesidad de elementos conexos y la conveniencia de
extender o ampliar el concepto.
Atendiendo a la definición de Carballo, R. (1990), la evaluación está presente en toda
actividad humana que requiera la asignación intencional de valor a un objeto, fenómeno o persona,
asignación que normalmente se hace a partir de determinados criterios, más o menos explícitos o
formalizados y más o menos asumidos por la persona que evalúa, que actúan como elementos de
referencia y contraste con los que comparar la realidad objeto de evaluación.
Bien es cierto que, tradicionalmente, se ha atribuido el concepto de la evaluación a la
valoración final tras la implementación de un proceso formativo, exclusivamente. Este tipo de
evaluación que se centra en la medición de los resultados obtenidos tras la aplicación de pruebas de
conocimiento, conducentes a la emisión de una calificación emitida en base a una escala de valor
(ya sea numérica o de otro tipo), no deja de ser, en la actualidad, una fase más del proceso
evaluativo global –más adelante profundizaremos en ello-.
Antes de ello, sería conveniente clarificar la diferenciación entre conceptos que con el paso
del tiempo han tendido a confundirse sistemáticamente. Estos son:
•
Evaluación
•
Calificación
•
Medida
El término evaluación se ha incorporado, hoy en día, a todos los sectores de la actividad
humana y no sólo a la actividad educativa. La evaluación, según García, J.M. (1994), en general,
aspira a conocer y valorar, no sólo los resultados conseguidos, sino también la correlación que
existen entre éstos y los medios utilizados.
23
La evaluación pretende valorar el resultado del proceso de enseñanza-aprendizaje; la eficacia
de un programa formativo; de una institución educativa; teniendo en cuenta, así mismo, todos las
variables intervinientes en el proceso formativo: alumnos, profesores, programas, estímulos
educativos, ambiente social, clima, etc.
Por otro lado, el término calificación es un elemento básico y fundamental que permite
expresar cualitativa y cuantitativamente el juicio global o específico que corresponde con mayor o
menor fiabilidad y objetividad, al resultado de la actividad del estudiante.
En este juicio, según García, J. M. (1994), se suele querer expresar el grado de suficiencia o
insuficiencia de los conocimientos, destrezas o habilidades demostradas por un alumnos, como
resultado de algún tipo de prueba, examen o ejercicio.
El tercer término a tener en cuenta es el de medida, considerada esta como la asignación de
un numeral a un objeto.
Para calificar, hay que medir primero. Sin medición no es posible hablar de calificación
mínimamente objetiva y fiable, y por ende, no es posible hablar tampoco de evaluación.
Continuando con el análisis del concepto de evaluación, podemos considerar que evaluamos
con el objetivo de tomar decisiones. En el contexto formativo, evaluamos para mejorar la
enseñanza y el aprendizaje. De hecho, la evaluación formativa debe abarcar todo el conjunto de
factores significativos que inciden, no sólo en el aprendizaje, sino en la formación integral de los
sujetos. Pero a la vez, debe referirse también a todo el conjunto de elementos que forman parte del
proceso educativo, condicionando o facilitando la mejora de los educandos.
24
Validación VS Evaluación.
Atendiendo a la definición de Solé, F. y Mirabet, M (1997), el seguimiento formativo
consiste en:
Validación consiste en revisar sistemáticamente cada una de las etapas del plan de formación para
comprobar si la elaboración, planificación y ejecución del plan de formación han sido las
adecuadas, y, en lo posible, medir los cambios reales de la empresa debidos a la formación y
compararlos con los que hubieran tenido sin ella.
La evaluación difiere de la validación en que intenta medir la rentabilidad económica de la
formación, o sea, determinar los costes y beneficios de las acciones de formación. En este sentido,
la validación es el paso que debe llevar a la evaluación.
Evaluación VS Assessment
Por otro lado, según Fernandez-Ballesteros, R. (1996), en un plano técnico, la evaluación
emerge como tal en los países anglosajones bajo la rúbrica inglesa de “evaluation” y no bajo la
rúbrica de su sinónimo “assessment”. A pesar de que ambos términos son sinónimos (en inglés), en
25
la literatura especializada tienen usos diferentes: mientras “assessment” suele utilizarse referido a
personas (por ejemplo, se evalúa psicológicamente a un sujeto), “evaluation” suele estar referido en
mayor medida a objetos (por ejemplo, se valora una obra de arte, un puesto de trabajo, un programa
o intervención social). A pesar de esto, en español se han traducido los términos “assessment” y
“evaluation” con el mismo vocablo castellano: “evaluación”.
3.3. Objetivo de la evaluación
Cuando definimos el objetivo de la evaluación, nos estamos haciendo la siguiente pregunta:
¿para qué evaluamos los procesos formativos? Podríamos darle un doble enfoque a la respuesta,
dependiendo de las funciones que la evaluación pueda tener a nivel externo e interno.
Las funciones externas de la evaluación consisten en la utilidad que se le va a dar a ésta
por parte de las entidades responsables del programa de formación.
Entre las posibles utilidades de la evaluación, podemos mencionar las siguientes:
•
Proporcionar información y comprensión sobre el programa de formación a los responsables
de su ejecución.
•
Ayudar al desarrollo y expansión del programa de formación, realizando planificaciones
más efectivas y asentando las bases para su continuación y expansión.
•
Sirve para defender y apoyar iniciativas tomando como referente la información sobre los
efectos del programa formativo.
•
Ayuda a identificar los éxitos de las innovaciones.
•
Mejora el nivel de información de todos los miembros implicados.
•
Fundamenta la toma de decisiones acerca de su difusión y distribución de recursos.
Las funciones internas de la evaluación hacen referencia a las repercusiones que ésta
tendrá en la mejora del programa formativo.
Cabe destacar las siguientes:
•
Comprobar el nivel de satisfacción respecto a las necesidades iniciales detectadas.
•
Servir de base para una mejora continua, desarrollar nuevos servicios o mejorar los ya
existentes.
•
Proporcionar información rigurosa sobre la marcha del programa, en vistas a plantear
posibles reajustes.
26
•
Establecer un feedback constante sobre la eficacia del programa.
•
Analizar el programa, identificar sus posibilidades y limitaciones, y conocer qué
dimensiones abarca y cuales no.
•
Aportar datos que posibiliten una reflexión crítica sobre el programa en su conjunto, o sobre
cualquiera de las variables analizadas individualmente.
3.4. Ámbitos de la evaluación
Los ámbitos de la evaluación son los diferentes aspectos susceptibles de ser evaluados
dentro de un plan de formación.
Como se ha indicado anteriormente, la evaluación ya no se centra en los resultados de la
formación, sino que engloba ámbitos como:
•
Conocimientos, destrezas y actitudes.
•
Los programas educativos, el currículo.
•
Los materiales curriculares y didácticos.
•
Los recursos educativos tecnológicos.
•
La práctica docente.
•
Los centros educativos/formativos.
•
El sistema educativo en su conjunto, y,
•
La propia evaluación (metaevaluación)
27
Como consecuencia de ello, se convierte en un hecho asumido que objeto de evaluación
puede ser cualquier fenómeno, situación o actor educativo. Así, el ámbito y campo de aplicación de
la evaluación se extiende a alumnos, profesores, directivos, instituciones, Administración, etc.
3.5. Principios de la evaluación
Atendiendo a la definición de los principios esenciales de la evaluación que conviene tener
presente en el proceso formativo, en cualquier momento y situación, podemos considerar que:
•
La evaluación es un proceso constituido por fases bien determinadas e interrelacionadas
entre sí. Éstas serían: planificación del proceso, obtención de la información necesaria,
formulación de juicios de valor y toma de decisiones.
•
La evaluación debe estar integrada de manera que constituya una fase más de todo lo que
conforma la programación y desarrollo del currículo.
•
Las actividades evaluadoras deben ser consideradas como parte integrante del proceso
didáctico, o siendo, en ningún momento, metas en sí mismas.
•
La evaluación debe ser continua. Las actividades de evaluación son fundamentalmente un
proceso continuo de apreciación, que debe acompañar a cualquier tipo de actividad
didáctica, de manera que sus efectos no se conozcan sólo al final, al contrastar los resultados
conseguidos, sino durante todo el proceso educativo. Si no fuera así, no podrían tomarse
decisiones en el momento oportuno, sin esperar al final, cuando muchas veces no es posible
corregir el fallo que se produjo mucho antes. El carácter permanente y estable de la
evaluación proporciona una continuidad al proceso, garantizando un proceso constante en
dirección a los objetivos señalados.
•
Antes de comenzar una evaluación, deben ser definidos los objetivos formativos que
iluminen todo el proceso y permitan evaluar con rigor los resultados. Por eso, la evaluación
debe ser criterial. Si no existen criterios previos, la evaluación no existe, ya que pierde
todo punto de referencia y entre de lleno en la anarquía, la indefinición y la ambigüedad.
•
El proceso evaluador ha de ser flexible, no estableciendo normas fijas y rígidas. Sin
embargo, es aconsejable un mínimo de normas a seguir, que sirvan de orientación, de
consejo, de punto de partida en el que cada centro, equipo docente o profesor se inspirará al
confeccionar, preparar, elegir y seleccionar las pruebas. Son los criterios de evaluación.
•
La evaluación debería ser recurrente, reincidiendo mediante la retroalimentación (feedback- sobre el desarrollo del proceso), perfeccionándolo de acuerdo con los resultados que
se vayan alcanzando.
28
•
Es preciso, así mismo, utilizar instrumentos variados de recogida de datos, atendiendo,
siempre que sea posible, a los dos campos o sistemas de medición: descriptivo o cualitativo
y cuantitativo.
•
La evaluación ha de ser decisoria, ya que los datos e informaciones debidamente tratadas e
interpretadas, facilitan la emisión de juicios de valor que, a su vez, propician y fundamentan
la toma de decisiones.
•
Así mismo, debe ser un proceso formativo, ya que su objetivo principal consiste en
perfeccionar y enriquecer tanto el proceso como los resultados. Lo que interesa,
esencialmente, es poner en evidencia el progreso que el alumno hace en relación con sus
aptitudes, intereses y propósitos, reflejando las posibles deficiencias del proceso y
orientando su corrección.
•
El proceso evaluador tiene un carácter cooperativo, en cuanto afecta a un conjunto de
personas: alumnado y profesorado, que deben participar activamente en cada una de las
fases del proceso.
29
Tema 4. Evaluación de los resultados de aprendizaje
4.1. Evaluación de los resultados de la formación: eficacia, efectividad y
eficiencia.
Llegamos al punto de analizar los efectos o resultados del desarrollo de procesos formativos
una vez que éstos se han implementado de una determinada manera.
Los tres términos a los que hacemos referencia son: eficacia, efectividad y eficiencia. Cada
uno de estos vocablos se utiliza con una significación técnica relativamente precisa que trataremos a
continuación.
Consideraremos, atendiendo a la diferenciación de Fernández-Ballesteros, R. (1996), que:
“…si tras la implantación de un programa formativo, los objetivos establecidos han sido
alcanzados, el programa será eficaz”.
Pero al implementar un proceso formativo no se pretenden sólo y exclusivamente que se
cumplan objetivos propuestos, sino también que se obtengan resultados. En este sentido, la
evaluación tendría por objetivo establecer, independientemente de los objetivos establecidos por
el planificador de la intervención, si el programa ha conseguido unos determinados efectos.
Cuando esos efectos son positivos podemos considerar que el programa evaluado ha sido
efectivo.
La distinción entre un programa eficaz o efectivo puede ser clarificada a través de un
ejemplo -tomado de Fernández Ballesteros, R (1996)-. De todos es conocido el Programa “Barrio
Sésamo”. Éste fue diseñado en los EEUU en los años sesenta con el propósito de lograr compensar
las desigualdades entre distintas clases sociales en el aprendizaje escolar. Tras su implantación en
distintas condiciones y mediante la utilización de un diseño sumamente riguroso, se realizó una
evaluación de resultados en la que se puso de manifiesto la falta de eficacia del programa: no se
habían logrado compensar las diferencias sociales, cuando se aplicaba el programa. Tras haberse
aplicado el programa, los niños de clases sociales más altas seguían teniendo ejecuciones
superiores a los niños de clases sociales bajas, en sus rendimientos escolares. Sin embargo, los
evaluadores realizaron una segunda evaluación en la que trataron de examinar otros efectos, como
por ejemplo, si los niños que habían pasado por el programa –independientemente de su clase
social-, aprendían más rápidamente a leer y escribir que los que no habían pasado por el
programa. Los resultados pusieron de manifiesto que el programa era efectivo; es decir, produjo
efectos positivos en las unidades que habían pasado por el programa comparativamente con las que
no había pasado por él.
30
Finalmente, los responsables de la implementación de procesos formativos pueden estar
interesados en saber:
…si los resultados obtenidos están en relación con los recursos y/o los medios puestos a
contribución para conseguir unos determinados objetivos. En este caso, se tratará de realizar un
análisis entre medios y objetivos con el fin de comprobar hasta qué punto un programa es
eficiente.
4.2. Evaluación de la eficacia de la formación
La evaluación de la eficacia de la formación se centra en los procesos evaluativos que
tratan de medir el grado de aprendizaje en que se han adquirido y/o desarrollado los
conocimientos, habilidades y/o actitudes perseguidas con la impartición de un curso-programa
de formación (Andrés, Mª P. 2001).
La consecución de los objetivos de aprendizaje, previamente marcados, requiere de:
•
Una adecuada organización del curso.
•
Su metodología.
•
El material didáctico.
•
El establecimiento de las condiciones físicas y psicológicas.
•
Aspectos del diseño del curso y del trabajo del formador.
•
Esfuerzo, deseo, motivación y capacidad del alumno.
31
Esta evaluación se practica al finalizar el curso-programa de formación, aplicando el
método más adecuado a la finalidad perseguida con él, por lo que cuanto más claros y especificados
estén estos objetivos, más fácil será la aplicación de este nivel de evaluación.
La utilidad de la evaluación del aprendizaje reside en que permite a los responsables del
curso-programa de formación determinar:
•
El grado de cumplimiento de los objetivos de aprendizaje planteados
•
Predecir la efectividad de la formación en el puesto de trabajo
•
Adaptar el curso-programa para mejorar la asimilación de sus participantes
•
Contribuir a evaluar el potencial de desarrollo profesional de sus beneficiarios.
Sin embargo, el aprendizaje no garantiza la aplicación de lo aprendido al trabajo, ni la
mejora en los parámetros de rendimiento organizacional, por lo que, desde el punto de vista de la
inversión en formación, deberá complementarse con los restantes niveles de evaluación existentes.
Las técnicas que se aplican para realizar la evaluación del aprendizaje dependen del objetivo
que se trate de lograr con él, es decir, si trata de que el participante adquiera o desarrolle
conocimientos, habilidades y/o actitudes (clasificación de Andrés, Mª P. 2001)
4.2.1. Evaluación de conocimientos
Referida al hecho de medir los conocimientos adquiridos por el alumno/a tras la
implementación de un proceso formativo, estableciendo niveles de adquisición de conocimiento.
Las técnicas utilizadas para evaluar el aprendizaje de conocimientos son las pruebas de
conocimiento, también conocidas como pruebas de lápiz y papel.
Podemos encontrarnos con varias formas de aplicar este tipo de pruebas:
•
Elaboración y redacción de informes. Los participantes expresan los conocimientos
adquiridos, su utilidad y aplicación con su trabajo, los relacionan con sus conocimientos
previos, etc.
•
Cuestionarios que deben contestar los alumnos asistentes al curso. Las preguntas de estos
cuestionarios pueden ser:
o
Abiertas: en ellas se pide que se desarrollen algún contenido objeto de aprendizaje.
Este tipo de programas es útil cuando se persigue un nivel de objetivo de dominio
metodológico, esto es, un conocimiento con detenimiento de los contenidos.
o
Cortas: donde se solicita a los alumnos que expongan los conceptos, principios,
enumeraciones u otros conocimientos adquiridos de forma breve y concisa. Es
recomendable utilizar estas preguntas cuando se persiga un objetivo de nivel de
cierto dominio del contenido.
32
o
Cerradas: presentan un número limitado de respuestas sobre las que el alumno
deberá seleccionar una o varias para demostrar los conocimientos adquiridos. Pueden
ser:
De selección múltiple en las que se ofrecen varias alternativas siendo una de
ellas la correcta.
De verdadero o falso.
De completar huecos en blanco utilizando los términos aprendidos.
De relación de términos con definiciones, imágenes, números etc.
La utilización de preguntas cerradas es pertinente cuando se persigue un objetivo de
información y/o adquisición de lenguaje.
De todas estas técnicas, las más fáciles de utilizar y de corregir son los cuestionarios con
preguntas cortas y cerradas, mientras que los informes y las pruebas con preguntas abiertas
proporcionan respuestas extensas con información amplia, requiriendo bastante tiempo para su
corrección y propiciando subjetividad en las valoraciones, ya que cada respuesta dada por diferentes
alumnos/as, es diferente.
4.2.2. Evaluación de habilidades
Las habilidades pueden ser motoras, intelectuales e interpersonales. Se adquieren y,
consecuentemente, se demuestra su aprendizaje mediante la práctica, por lo que, cuando constituyan
el principal objetivo de un curso-programa de formación la técnica más oportuna para evaluarlas
son las pruebas situacionales.
Las pruebas situacionales limitan las circunstancias del trabajo en que los alumnos
tendrán que aplicar las habilidades adquiridas durante el desarrollo de la acción-programa. Para
emular tales situaciones y diseñar estas pruebas se utilizan las descripciones de puestos de
trabajo, observaciones de los trabajadores, de las condiciones de trabajo, entrevistas, etc.
Una vez diseñada la prueba situacional durante su aplicación se llevará a cabo una
observación del alumno, bien directamente o bien indirectamente mediante grabaciones de su
comportamiento en vídeo, grabaciones de audio que sirvan para analizar la conducta obtenida y
compararla con la conducta deseable para poder valorar el grado de aprendizaje de las habilidades.
33
4.2.3. Evaluación de actitudes
Las actitudes reflejan la posición mental, afectiva y actitudinal de un individuo ante un
determinado hecho, producto, cliente, idea, etc. Se aprenden por la imitación de personas con
capacidad de influir en el alumno.
Las actitudes de las personas se manifiestan frecuentemente a través de su comportamiento,
aunque hay algunas que están ocultas, como sus temores, prejuicios, y consecuentemente no se
manifiestan con él. Precisamente la dificultad para comprobarlas hace que la técnica más adecuada
para valorar su adquisición sean las escalas de actitud.
Estas escalas consisten en un cuestionario donde se presentan una serie de afirmaciones sobre
las que el alumno deberá emitir un juicio de valor u opinión, mostrarse de acuerdo o en desacuerdo,
de modo que permitan determinar su disposición positiva, negativa o neutra ante un tema u objeto
determinado (Ramírez, 1997). Una modalidad sencilla y económica de estas escalas son las de tipo
Likert.
4.3. Evaluación de la transferencia, los resultados y la rentabilidad de la
formación.
La evaluación de la transferencia, los resultados y la rentabilidad conseguida con la
formación…
… analiza el impacto que esta actividad o proceso formativo ha tenido en la organización,
empresa o entidad sobre la que se ha ejecutado.
4.3.1. Evaluación de la transferencia
Este tipo de evaluación trata de comprobar si los receptores de la formación han aplicado lo
aprendido en su puesto de trabajo y en qué grado lo han hecho.
La existencia de la transferencia no depende únicamente del trabajador, sino también de que
se presente la ocasión para aplicar los conocimientos y/o habilidades adquiridos en el curso.
Al mismo tiempo, existen una serie de factores que dificultan la transferencia de lo aprendido
al puesto de trabajo. Se presentan a continuación:
• Actitudes negativas ante la formación:
o De los superiores directos que dificultan y/o proporcionan los recursos y condiciones
que le permitan la transferencia.
34
o De lo propios empleados al resistirse a la formación y no estar dispuesto a aplicar lo
aprendido una vez finalizada.
o De los compañeros que boicotean las nuevas ideas o procedimientos que pretenden
aplicar quienes asisten a cursos de formación.
• Falta de medios:
o La empresa u organización carece de medios que permitan poner en práctica las
competencias adquiridas por los trabajadores al incorporarse al trabajo.
• Exigencias del trabajo diario:
o Hacen que el trabajador caiga rápidamente en los mismos hábitos que antes y no pueda
poner en práctica aquello que aprendió.
• Exigencia de comportamientos distintos y/o nuevos al de los trabajadores que no han
recibido formación.
• Falta de correspondencia con las necesidades de la empresa u organización.
• Percepción de contenidos como inadecuados o irrelevantes por parte del personal
formador.
(Fuente: Andrés, Mª P. 2001)
Los procedimientos empleados para comprobar si la transferencia ha tenido lugar, así como los
problemas o barreras que la han dificultado, esto es, cómo se evalúa la aplicación de lo aprendido al
puesto de trabajo, son varios:
•
La observación directa de quien recibe la formación, normalmente realizada por su
superior, para apreciar si se produce la transferencia y los cambios logrados en su
comportamiento, siguiendo generalmente una lista de comprobación de conductas
previamente elaborada en la que se especifican los comportamientos que deben
manifestarse.
•
Las entrevistas estructuradas o semiestructuradas , realizadas al alumno, en las que se trata
de apreciar la transferencia, posibles barreras que la hayan impedido, etc.
35
•
El seguimiento de alguno de los indicadores de comportamiento profesional, relativos a las
funciones y tareas determinadas por el puesto de trabajo.
4.3.2. Evaluación de los resultados
Trata de comprobar en qué medida la formación, gracias a la transferencia y mejora en su
comportamiento, ha contribuido a mejorar indicadores de rendimiento de la organización, tales
como la producción, calidad del servicio prestado, ahorro de tiempos, etc.
Los procedimientos para evaluar tanto la transferencia como los resultados pueden ser los
siguientes, atendiendo a la clasificación de Kirkpatrick (1994):
•
Usar un grupo de control si es posible.
•
Dejar cierto tiempo para que el cambio de comportamiento tenga lugar y se produzcan los
resultados.
•
Evaluar el comportamiento y/o resultados antes y después del programa.
•
Investigar y/o entrevistar a los alumnos.
•
Aplicarlo, si es posible, a todo el personal que haya participado en el proceso formativo.
•
Repetir el proceso las veces que se estime conveniente
•
Considerar los costes y los beneficios que reporta hacer este tipo de evaluación
4.3.3. Evaluación de la rentabilidad o impacto
Trata de estimar la rentabilidad económica obtenida con la inversión realizada.
El objetivo, en este caso, no es fácil ya que trata de valorar la formación en términos
económicos y, aunque detallar los costes de la formación no conlleva demasiada complejidad,
medir los beneficios de la misma resulta tarea compleja porque, en muchos casos, es imposible
calcular con exactitud las repercusiones monetarias de la formación (Barba, Mª. I. 2001).
Vamos a pasar a analizar dos tipos de medidas que pueden ofrecer una solución al objeto de
poder conocer los efectos de la formación en los resultados de la organización. Éstos son:
-
Medidas de efectividad o análisis coste-eficacia
-
Medidas de rentabilidad o análisis coste-beneficio
•
Medidas de efectividad o análisis coste-eficacia
En este caso sólo es necesario que los costes de la formación estén expresados en términos
económicos. Todo lo que interviene en la formación, desde el análisis de necesidades hasta la
evaluación tiene un coste. Sin embargo, no existe un estándar que señale cuáles son los costes de un
proceso formativo y, aunque existen muchas calificaciones, debe ser cada organización la que
36
elabore un esquema adaptado a sus características particulares y lo mantenga a lo largo del tiempo.
En la siguiente tabla se muestra una posible clasificación de los costes formativos
(Fuente: Barba, Mª I. 2001)
•
Medidas de rentabilidad o análisis coste-beneficio
Es preciso, en este caso, que tanto los costes como los beneficios se puedan cuantificar
monetariamente. De este modo se podrá comparar la inversión realizada con las mejoras obtenidas.
Mientras que los costes son los mismos que los que se utilizan en las medidas de efectividad,
los beneficios lógicamente varían. Phillips (1997) establece cuatro grandes categorías de resultados
de la formación que pueden ser fácilmente expresados en términos económicos. En la siguiente
tabla se muestran algunos ejemplos.
37
(Fuente: Phillips, 1997)
A partir de los dos tipos de medidas podemos considerar que ambas sirven para solucionar
algunas de las dudas a que la organización se enfrenta cuando tiene que valorar los efectos de la
formación sobre los resultados organizativos. La elección entre una y otra dependerá, lógicamente,
de los datos de que se disponga, aunque se recomienda usar de forma complementaria los dos tipos
de medidas.
38
BIBLIOGRAFÍ A
•
ANDRÉS, Mª P. (2001): Gestión de la formación en la empresa. Ed.
Pirámide, Madrid
• ARAGÓN, A. y GARCÍA, A. (2001): Formación, competitividad y empleo.
Universidad de Murcia, Murcia.
• CALVO, M. (2005): Formador ocupacional. Formador de Formadores. Ed.
MAD. Sevilla.
• CASANOVA, Mª A. y otros (1991): La evaluación del centro educativo.
Madrid, Ministerio de Educación y Ciencia.
• CASANOVA, Mª.A. (1991): Evaluación de las programaciones de aula.
Nuestra Escuela,
• CASANOVA, Mª.A. (1992): La evaluación, garantía de calidad para el
centro educativo.
• COLL, C. Y MARTÍN, E. (1993): “La evaluación del aprendizaje en el
curriculum escolar: una perspectiva constructivista “, en El constructivismo en
el aula. Ed. Graó, Barcelona. pp. 16383.
• COLL, C. Y MARTÍN, E. (1993): “La evaluación del aprendizaje en el
curriculum escolar: una perspectiva constructivista “, en El constructivismo en
el aula. Ed. Graó, Barcelona. pp. 16383.
• COLL. C., PALACIOS, J. Y MARCHESI, A. (Comp). (1991): Desarrollo
Psicológico y Educación. vol.II. Alianza, Madrid.
• COLL. C., PALACIOS, J. Y MARCHESI, A. (Comp). (1991): Desarrollo
Psicológico y Educación. vol.II. Alianza, Madrid.
• CUADERNOS DE PEDAGOGÍA. Nº 217. Evaluación de centros.
•
DEL CARMEN, L., ZABALA, T. (1991): Guía para la elaboración de
Proyectos Curriculares de Centro. IMEC, CIDE.
• ESCAMILLA, A. y LLANOS, E. (1.994): La evaluación del aprendizaje y de
la enseñanza en el aula. Madrid, Luis Vives.
• ESCAMILLA, A. y LLANOS, E. (1.994): La evaluación del aprendizaje y de
la enseñanza en el aula. Madrid, Luis Vives.
• ESCAMILLA. A. y LLANOS. E. (1.995): La evaluación del proceso de
aprendizaje y de
• FERNÁNDEZ-BALLESTEROS, R. (1996): Evaluación de Programas. Una
guía práctica en ámbitos sociales, educativos y de salud. Ed. Síntesis, Madrid.
39
• GÓMEZ ARBEO, B. (1990): Evaluación criterial: una metodología útil para
diagnosticar el nivel de aprendizaje de los alumnos. Apuntes IEPS, nº 51.
Narcea, Madrid.
• GÓMEZ ARBEO, B. (1990): Evaluación criterial: una metodología útil para
diagnosticar el nivel de aprendizaje de los alumnos. Apuntes IEPS, nº 51.
Narcea, Madrid.
• ICE. UNIVERSIDAD DE DEUSTO. (1996): Evaluación de experiencias y
tendencias en la formación del profesorado. ICE, Deusto, Bilbao
•
LÓPEZ-BARAJAS, E. (1997): Formación de Formadores. Planificación:
diseño y evaluación de proyectos y programas. Ed. UNED. Madrid
•
MARCHESI, A. y MARTIN, E. (1991): Lo que dice el MEC sobre los
materiales. Cuadernos de Pedagogía, julio - agosto de 1991. pp.46 - 48.
•
MEC (1992): Materiales de apoyo para el desarrollo curricular ("Cajas
Rojas"). (Educación Infantil, Primaria y Secundaria Obligatoria). Madrid,
Ministerio de Educación y Ciencia.
•
MEC (1993): Materiales de apoyo a la evaluación. Educación Infantil,
Primaria y Secundaria. Madrid. Ministerio de Educación y Ciencia.
• MINISTERIO DE EDUCACIÓN Y CIENCIA (1992): Materiales para el
Desarrollo curricular (Cajas Rojas”). Madrid, Servicio de Publicaciones del
Ministerio de Educación y Ciencia.
• MINISTERIO DE EDUCACIÓN Y CIENCIA (1992): Materiales para el
Desarrollo curricular (Cajas Rojas”). Madrid, Servicio de Publicaciones del
Ministerio de Educación y Ciencia.
•
MIRAS, M. Y SOLÉ, 1. (1991): La evaluación del aprendizaje y la
evaluación en el proceso de enseñanza aprendizaje. En Desarrollo Psicológico y
Educación. vol.II. Cap. 22, Alianza, Madrid.
•
MIRAS, M. Y SOLÉ, 1. (1991): La evaluación del aprendizaje y la
evaluación en el proceso de enseñanza aprendizaje. En Desarrollo Psicológico y
Educación. vol.II. Cap. 22, Alianza, Madrid.
• NIETO, J. Mª. (1994).Cómo puede el profesor evaluar su propia práctica
docente. Escuela Española. Madrid.
• NOVAK, J.D. Y BOWIN, D.B. (1988): Aprendiendo a aprender. Martínez
Roca, Barcelona.
40
• NOVAK, J.D. Y BOWIN, D.B. (1988): Aprendiendo a aprender. Martínez
Roca, Barcelona.
•
PARCERISA, A. (1994): “Decisiones sobre evaluación”. Cuadernos de
Pedagogía, nº 223. pp. 45 - 49.
•
PARCERISA, A. (1994): “Decisiones sobre evaluación”. Cuadernos de
Pedagogía, nº 223. pp. 45 - 49.
• PÉREZ, J. y GARCIA, J.M. (1989): Diagnóstico, evaluación y toma de
decisiones. Ed. Rialp, Madrid
• PINEDA, P. (2002): Gestión de la formación en las organizaciones. Ed.
Ariel, Barcelona
• REBOLLOSO, E., FERNÁNDEZ, B. y CANTÓN P. (2003): Evaluación de
programas en el ámbito organizacional. Ed. Grupo editorial universitario.
• SANTOS GUERRA, A. (1990). Hacer visible lo cotidiano. Akal.
• SANTOS GUERRA, A. (1991): ¿Cómo evaluar los materiales?. Cuadernos
de Pedagogía, nº 194. julio - agosto de 1991. pp. 29 - 31.
• SANZ ORO, R. (1990). Evaluación de programas en Educación. Madrid.
Pirámide.
• SOLÉ, F. y MIRABET, M. (1997): Guía para la Formación en la Empresa.
Ed. Cívitas, Madrid.
• STUFFLEBEAM, D.L Y SHINKFIELD, A.J. (1989): Evaluación sistemática.
Guía teórica y práctica. Paidós/MEC, Madrid.
• STUFFLEBEAM, D.L Y SHINKFIELD, A.J. (1989): Evaluación sistemática.
Guía teórica y práctica. Paidós/MEC, Madrid.
• ZABALA. A. (1990): "Materiales curriculares". En MAURI, T. y otros: El
currículum en el Centro educativo. Barcelona, ICE - Horsori, pp. 125~167.
41