Evaluación Continua on-line en Sesiones Prácticas - IEEE-RITA

Transcripción

VAEP-RITA Vol. 1, Núm. 4, Dic. 2013
175
Evaluación Continua on-line en Sesiones
Prácticas como Complemento a un Examen
Final
I. Pardines, M.Sanchez-Elez, D. Chaver y J. I. Gómez
Title—On-line Evaluation Methodology
sessions in Computer Science Degree.
of
laboratory
Abstract—This paper presents a proposal for assessment the
laboratory sessions of a subject of the first course in Computer
Science degrees. This methodology is based on on-line shortanswer exam questions related to the concepts studied in each
session. Analyzing the academic results of a wide group of
students, it has been demonstrated that this way of evaluating
the knowledge is precise. The obtained grades norsub-estimate
neither overestimate the student’s work, being similar to the
ones achieved in a final exam. Moreover, there is a feedback
which allows the teacher to go into detail about those aspects of
the subject that students have not understood.
Index Terms— Continuous assessment, online learning
environments,
teaching/learning
strategies,
laboratory
practicals
I. INTRODUCCIÓN
L
A implantación de los nuevos grados dentro del Espacio
Europeo de Educación Superior ha introducido una serie
de cambios en el modelo educativo tradicional. Desde el
punto de vista del profesor, éste se convierte en un
orientador, que ayudará al alumno a seguir un método de
aprendizaje adecuado que le permita alcanzar los objetivos
buscados. Y desde el punto de vista del alumno, éste se
convierte en el centro de la enseñanza, no solo se evaluarán
sus conocimientos sino las destrezas adquiridas para poder
alcanzar dichos conocimientos[1]-[4]. En este contexto,
adquiere especial importancia el concepto de evaluación
continua, en la que al alumno se le evalúa por todo el trabajo
realizado en la asignatura a lo largo del curso y no solo por
la calificación que obtiene en un examen final. La
evaluación continua goza de diversas ventajas (fuerza a que
el alumno estudie a diario, permite al profesor analizar la
evolución de cada estudiante a lo largo del curso, etc.), pero
de cara al profesor presenta como principal inconveniente
un aumento significativo de su carga de trabajo [5],
especialmente en titulaciones técnicas, en las que a la parte
teórica hay que añadir una importante carga práctica que
también es necesario evaluar. Resulta, por tanto, crucial
desarrollar estrategias que permitan que el alumno sea
evaluado de forma completa y objetiva en todos los aspectos
de la asignatura, pero que a la vez sean suficientemente
Departamento de Arquitectura de Computadores y Automática, Universidad Complutense, 28040, Madrid, España (autor de contacto, Tel.: +34913947573; e-mail: inmapl|marcos|dani02|[email protected]).
sencillas y automáticas para no aumentar en exceso el
trabajo del profesor.
En este artículo nos centraremos en desarrollar una
metodología de evaluación continua para la parte práctica de
una asignatura de primer curso de los Grados en Informática
que se imparten en la Universidad Complutense de Madrid
(UCM). Buscaremos que dicha metodología sea fiable (es
decir, que puntúe fielmente a los alumnos, algo que
demostraremos comparando la calificación continua con el
examen final), completa (que cubra la evaluación de todos
los conocimientos) y eficiente (que minimice el trabajo del
profesor y no suponga dedicar gran parte de la sesión
práctica a la evaluación). El sistema que presentamos se
basa en la realización de un cortoexamen on-line al final de
cada sesión de laboratorio, que permitirá comprobar, tanto al
profesor como al alumno, si se han adquirido las
competencias y conocimientos asociados a un determinado
tema. Demostraremos que esta estrategia consigue
comprobar de forma cuantitativa y precisa si el alumno ha
adquirido las competencias y conocimientos necesarios, y a
la vez reducir significativamente la tarea del profesor en
cuanto a evaluación y corrección.
Existen en la literatura diversos estudios que proponen la
realización de tests como base de la evaluación continua de
una asignatura, y cuyos resultados demuestran que dichas
pruebas, compuestas por preguntas de respuesta múltiple o
de respuesta corta, influyen positivamente en el proceso de
aprendizaje de los alumnos [6]-[12]. Particularizando sobre
metodologías de evaluación de asignaturas con carga
práctica de laboratorio hemos encontrado propuestas muy
interesantes. En [13] se propone que los alumnos realicen un
proyecto que será evaluado tanto por el profesor como por el
resto de sus compañeros. Los comentarios y calificaciones
otorgados por los compañeros serán controlados en todo
momento por el profesor. En [14] no solo se califica el
resultado final de la práctica realizada sino que además el
alumno deberá detallar qué problemas ha ido encontrando a
lo largo de la misma y cómo los ha ido resolviendo. Aunque
ambas ideas nos parecen muy interesantes, en ambos casos
los grupos de trabajo han de ser reducidos para no aumentar
en exceso la carga de trabajo del profesor. Dado que en
nuestro caso el número de alumnos es muy elevado,
creemos que la aplicación de estas técnicas no es viable.
Una propuesta semejante a la nuestra la encontramos en
[15], donde se realiza una práctica por módulos, con
distintas fechas de entrega. Cada vez que se entrega un
módulo, se hace un pequeño examen sobre el mismo, lo que
permite al alumno conocer los errores y corregirlos. La
metodología propuesta en este artículo es muy similar, la
diferencia estriba en que nuestras prácticas, aunque
relacionadas, no forman parte de una práctica final, ya que
ISSN 2255-5706 © IEEE-ES (Capítulo Español)
176
al tratarse de una asignatura de primer curso y con un
número de créditos limitado, los alumnos no tendrían ni el
tiempo ni los conocimientos suficientes para abordarla.
Además, en nuestro caso, las prácticas se realizan con el
objetivo principal de que el alumno afiance los aspectos
teóricos explicados en clase, lo que debería contribuir a la
obtención de mejores resultados en el examen final [16].
Por último debemos mencionar que en la metodología que
proponemos hacemos un uso intensivo de las nuevas
tecnologías (infraestructura Moodle [24] que nos
proporciona el Campus Virtual de la UCM), facilitando
significativamente la labor del profesor en la realización de
este tipo de pruebas. Las TICs (Tecnologías de la
Información y la Comunicación) han demostrado ser muy
útiles para los profesores y para los estudiantes como
complemento a los métodos de enseñanza tradicional [17][20].
El artículo está organizado del siguiente modo. En la
siguiente sección se describe cómo está estructurada y cómo
se evalúa la asignatura sobre la cual se va a aplicar la
metodología propuesta. A continuación, se describe
brevemente dicha metodología y se explica cómo se ha
implementado, en qué consiste y cómo es el interfaz que ven
los alumnos. Por último, se analizan los resultados obtenidos
y se exponen las principales conclusiones de este trabajo.
II. MOTIVACIÓN DEL TRABAJO
En primer lugar, resulta procedente hacer una breve
descripción de la asignatura sobre la que se va a aplicar la
metodología propuesta.
El modelo de evaluación que proponemos se ha probado
en el segundo cuatrimestre de la asignatura Fundamentos de
Computadores del primer curso de las titulaciones de Grado
en Ingeniería del Software, Grado en Informática y Grado
en Ingeniería de Computadores. La asignatura consta de dos
cuatrimestres claramente diferenciados: un primer
cuatrimestre (6 créditos) está centrado en tecnología de
computadores, en el que se enseña especificación e
implementación de sistemas digitales; y un segundo
cuatrimestre (6 créditos) que introduce la estructura de
computadores, en el que se enseñan los conceptos básicos de
la programación en ensamblador del ARM [21] y se estudia
la implementación del procesador y del sistema de memoria
de un computador MIPS [22].
Esta asignatura tiene una importante carga práctica, con
sesiones distribuidas a lo largo de todo el curso, que tratan
de afianzar los conceptos presentados a nivel teórico. En
cada cuatrimestre se realizan 5 sesiones de laboratorio, de
dos horas de duración cada una. En el primero, se pide a los
alumnos implementar una serie de circuitos digitales. El
alumno tiene que desarrollar el diseño antes de asistir al
laboratorio, y una vez en éste, realizar el montaje sobre el
entrenador y comprobar el correcto funcionamiento del
circuito. En el segundo cuatrimestre, los estudiantes deben
desarrollar una serie de programas en el lenguaje
ensamblador de ARM en el entorno EmbestIDE [23]. En
cada práctica, se les pide desarrollar uno o dos programas
antes de la misma y comprobar su funcionamiento en el
entorno utilizado (se proporciona a los alumnos equipos de
uso libre en la facultad; además la funcionalidad requerida
para el desarrollo de las prácticas está incorporada en la
versión gratuita de la herramienta, por lo que el alumno
tiene la posibilidad de instalarlo y utilizarlo en su propia
casa). Durante la sesión de laboratorio, se plantean algunas
modificaciones a estos programas que el alumno debe
desarrollar.
Dado que las prácticas tienen un peso importante en la
nota final de la asignatura (25%, ampliable hasta un 40%
según el plan de estudios), resulta imprescindible que sean
calificadas de forma completa y objetiva a través de la
evaluación continua. Se presentan en este punto varios retos:
en primer lugar, es necesario comprobar que el trabajo del
alumno, tanto previo como durante la práctica, haya sido
realizado de forma totalmente individual. En segundo lugar,
para conseguir calificar de forma precisa a los estudiantes es
necesario plantearle a cada uno un número amplio de
preguntas que cubran todos los aspectos de la práctica. Sin
embargo, se debe tener en cuenta que solo se dispone de dos
horas, en las que además de examinar a los alumnos se les
debe dar tiempo para desarrollar una parte de la práctica y
para resolver sus dudas. Por último, dado el elevado número
de alumnos con el que cuenta cada grupo de primero y para
que los alumnos puedan realizar las prácticas de forma
individual, se crean varios turnos de laboratorio, cada uno
con un profesor diferente. Es importante que no se
produzcan diferencias de exigencia significativas en los
distintos turnos.
La metodología empleada, en ambos cuatrimestres,
cuando no se aplica el sistema propuesto en este artículo es
la siguiente: al principio de la sesión se entrevista a cada
alumno para comprobar si trae preparado el
diseño/programa, si lo conoce en profundidad y si lo ha
realizado de forma autónoma. De esta breve entrevista (no
se dedican más de 2 ó 3 minutos por alumno) se obtiene una
primera calificación. A continuación, se le pide al alumno
implementar el circuito en el entrenador (primer
cuatrimestre) o modificar el programa de ensamblador
(segundo cuatrimestre), y se le resuelven las dudas que le
vayan surgiendo. Por último, se comprueba el
funcionamiento correcto de los circuitos/programas y se le
hacen algunas preguntas, completando su calificación de la
práctica. Seguir esta metodología cuando el laboratorio está
completo (20 alumnos) supone que el profesor dedica más
del 50% del tiempo a calificar la práctica.
Nuestra metodología pretende evaluar las prácticas de
manera fiable y completa liberando al profesor de esta tarea
para que se pueda dedicar a ayudar a los alumnos a resolver
sus dudas. Dado que existe una gran similitud entre los
contenidos del examen final y los de las prácticas realizadas,
cabe esperar que las calificaciones obtenidas en las prácticas
sean una estimación muy fiable de la calificación del
examen final. Asimismo, como demostraremos en la sección
de resultados, la evaluación de las prácticas mediante
pruebas tipo test mejora ligeramente las calificaciones
obtenidas en el examen final.
III. METODOLOGÍA DE EVALUACIÓN DEL LABORATORIO
Nuestra propuesta se basa en plantear a los alumnos, en
cada sesión de laboratorio, una serie de preguntas tipo test (o
de respuesta corta cuando un tipo test no sea
adecuado)relacionadas con la práctica. El cuestionario se
lleva a cabo a través de la conocida herramienta docente
Moodle [24], y durante el mismo se permite al alumno hacer
uso del entorno de desarrollo EmbestIDE en el que ha
desarrollado la práctica. Con este examen, podremos evaluar
aspectos tales como el manejo que tiene el estudiante del
entorno de desarrollo, la corrección de los códigos que haya
PARDINES et al.: EVALUACIÓN CONTINUA ON-LINE EN SESIONES PRÁCTICAS COMO COMPLEMENTO... 177
programado o si ha adquirido los conceptos teóricos
asociados a la práctica.
La solución que proponemos es planificar el laboratorio
del siguiente modo:
1) Proponer (de 7 a 10 días antes de la sesión de
laboratorio) la realización y depuración de un programa
en ensamblador. Los alumnos deberán simularlo y
comprobar su correcto funcionamiento.
2) Completar, durante la sesión de laboratorio, el
trabajo previo con alguna ampliación de la práctica
original que el alumno tendrá que programar durante la
sesión.
3) Realizar, durante esa misma sesión, una prueba con
preguntas tipo test o de respuesta corta sobre el trabajo
realizado antes y durante la práctica.
Esta metodología presenta diversas ventajas:
1) Utilizar test automáticos permite: emplear
autocorrección (incluso en determinadas preguntas de
respuesta corta), reduciendo significativamente el trabajo
de evaluación del profesor en el laboratorio; realizar un
examen similar pero distinto para cada alumno y,
temporalizar claramente la duración de la prueba.
2) Se facilita la retroalimentación, pues el profesor
podrá comprobar de forma rápida qué conceptos no han
sido asimilados y podrá volver a hacer hincapié sobre
ellos en las sesiones teóricas, e incluso proponer nuevos
trabajos prácticos. Los alumnos, por su parte, podrán
comprobar si sus respuestas son correctas e incluso, si el
profesor lo habilita, podrán realizar la prueba de
evaluación de nuevo con nuevas preguntas y comprobar
así si han entendido los conceptos explicados. Esta última
característica de la herramienta está muy vinculada a la
especial importancia que adquieren en los nuevos grados
los métodos de aprendizaje autónomos [25], [26].
3) La metodología es especialmente adecuada para una
asignatura práctica:
El examen se puede hacer en un tiempo razonable
gracias a estar formado por preguntas cortas, algo
fundamental en el laboratorio.
La evaluación de la práctica ya no depende del
criterio de cada profesor de laboratorio (nótese
que al ser una asignatura con tantos alumnos es
necesario repartirlos en grupos de laboratorio,
cada uno con un profesor diferente). Su función
será solamente ayudar a los alumnos a entender
los conceptos asociados a cada práctica y
resolverles las dudas concretas que les vayan
surgiendo.
4) Como se ha demostrado en multitud de estudios, una
asignatura evaluada de forma continua consigue que los
alumnos afiancen mejor los conceptos.
La principal desventaja de este método es el pico de
trabajo que supone para el profesor el primer año de
implantación de la asignatura, en el que será necesario
desarrollar los exámenes asociados a cada práctica con
una batería de preguntas lo suficientemente amplia como
para asegurar que los alumnos realizan la práctica de
forma individual y autónoma. Por supuesto, este trabajo se
puede reutilizar en los años siguientes.
IV. GENERACIÓN DE LA PRUEBA DE EVALUACIÓN DEL
LABORATORIO
En esta sección describiremos paso a paso el proceso de
generación de las pruebas de evaluación de las prácticas.
A. Baterías de Preguntas
Cada prueba o examen de laboratorio constará de una
serie de cuestiones tipo test o de respuesta corta relacionadas
con la práctica (entre 4 y 6 por prueba). Para poder asegurar
que el trabajo ha sido realizado de manera individual por el
alumno cada cuestión de la prueba se obtendrá de una
batería que constará de un gran número de preguntas (50 o
más), asociadas a un mismo concepto teórico, que serán
seleccionadas por el entorno Moodle de forma aleatoria.
Cada batería de preguntas constituye un fichero en
formato gift (uno de los diferentes formatos de
importación/exportación de datos para Moodle). Cada línea
de ese fichero se corresponde con una pregunta y, entre
llaves, precedida por un signo igual, irá la respuesta o
respuestas que se consideren correctas, como se puede ver
en la Fig. 1.
B. Generación de la Prueba
Una vez creados los ficheros de cuestiones cortas será
necesario subirlos al Campus Virtual para poder generar la
prueba. La herramienta Moodle para crear exámenes nos
permite importar las preguntas desde un fichero. Si existen
varios grupos de preguntas se tendrán que crear distintas
categorías (una categoría por cada cuestión de la prueba),
importar cada fichero y vincularlo a la categoría
correspondiente.
Utilizando el ejemplo de la Fig. 2 vamos a describir cómo
se generaría una prueba con 5 cuestiones. En la figura
podemos observar que existen 5 categorías asociadas a esta
prueba, cada una con un número distinto de preguntas (este
número aparece entre paréntesis al lado del nombre de la
categoría).
El siguiente paso consistirá en seleccionar las preguntas
que conformarán la prueba o examen. Las preguntas serán
seleccionadas aleatoriamente por el entorno Moodle. El
profesor seleccionará cuántas preguntas de cada categoría
desea añadir de forma aleatoria al examen. Tendrá que
seleccionar el tipo de categoría de la pregunta (en la Fig. 2
cuadro de texto “Categoría”) y seleccionar en “Agregar”
(parte inferior derecha de la figura) el número de preguntas
aleatorias que desea añadir. Cuando el número de preguntas
de cada categoría ha sido seleccionado, el examen queda
configurado como podemos ver en la parte superior
izquierda de la Fig. 2.
Como paso final, será necesario editar la prueba y definir
cómo la visualizará el alumno. En nuestro caso hemos
optado por que se muestre una sola cuestión por página (el
alumno puede pasar de una pregunta a otra tantas veces
como quiera mientras no confirme el envío del examen).
También es necesario definir el número de fallos permitidos;
en nuestro caso, no permitimos ningún fallo, y el alumno no
sabrá hasta finalizar el examen cuántas de sus respuestas son
correctas.
Por último, controlaremos la hora de comienzo y de final
de la prueba, limitándola al tiempo que estimemos necesario
dentro de la sesión de laboratorio. Según nuestra experiencia
30 minutos es suficiente para que no se robe demasiado
tiempo a la práctica y que a la vez la prueba sea
suficientemente completa. La configuración de todos estos
parámetros se puede ver en la Fig. 3.
178
Fig. 1. Ejemplo de una batería de preguntas (formato gift).
Fig. 2. Visualización del banco de preguntas en el entorno Moodle.
C. Autocorrección de los Test
Una de las principales ventajas de realizar las pruebas a
través de la herramienta Moodle es que la labor de
corrección se ve notablemente simplificada. Este entorno
dispone de un sistema de autocorrección que compara la
respuesta del alumno con las que el profesor ha introducido
como respuestas válidas. Si coinciden, la respuesta se marca
como correcta, otorgándole la puntuación pre-asignada, y si
no coinciden, se marcará como errónea (existiendo en este
caso la posibilidad de otorgar una puntuación negativa). Si
el examen se configura con la opción de ver las soluciones
una vez finalizada la prueba, cuando el alumno accede a su
examen podrá ver qué respuestas ha acertado y cuáles ha
fallado, y en este último caso podrá ver también la respuesta
correcta. Podría ocurrir que el alumno dé una respuesta
correcta pero con un formato distinto del exigido por el
profesor. En ese caso, la autocorrección considerará dicha
respuesta como errónea. Para resolver este tipo de
incidencias de forma rápida el profesor puede consultar la
opción Análisis de ítems dentro de la ventana de Resultados.
En la nueva ventana (en la Fig. 4 se muestra un ejemplo de
esta opción) aparece cada pregunta que se ha planteado en
una de las pruebas con la respuesta que el profesor ha
indicado como válida, y a continuación, aparecen las
respuestas de los alumnos a esta pregunta. Por ejemplo, en
la Fig. 4 se puede observar que ante una pregunta cuya
respuesta correcta es “N”, un alumno ha contestado “el bit N
(negativo)”, que es una respuesta perfectamente válida. Al
detectar este problema, el profesor tendrá que editar la
pregunta (algo que puede hacer fácilmente a partir del icono
situado en la columna izquierda de la Fig. 4), añadir la
nueva respuesta como solución válida, y recalificar el
examen, con lo que a este alumno (o a cualquier otro que
haya respondido lo mismo) se le cambiará la evaluación de
la pregunta a correcta.
La ventana de Análisis de ítems también permite al
profesor comprobar si los alumnos han entendido los
conceptos que deben adquirir en cada tema. Si una pregunta
tiene un elevado número de respuestas erróneas el profesor
puede volver a retomar ese tema durante las clases teóricas,
haciendo especial hincapié en aquello que considere un
objetivo fundamental de la asignatura.
Otra ventaja que ofrece la herramienta Moodle es que si el
profesor asigna un valor numérico a cada pregunta, el
sistema, tras la finalización del examen, calificará
automáticamente a todos los estudiantes. El profesor puede
incluso visualizar los resultados de forma gráfica para
comprobar las calificaciones obtenidas (Fig. 5).
Fig. 3. Ventana de edición de un examen en Moodle.
Fig. 4. Visualización de la ventana Análisis de ítems.
V. CASO PRÁCTICO
En esta sección vamos a detallar cómo se llevaría a cabo
nuestra metodología de evaluación en una sesión de
laboratorio concreta. Nos vamos a centrar en la segunda
práctica que se propuso en el curso 2011-2012, en la que se
pretende comprobar:
La familiarización del alumno con el entorno de
desarrollo.
La habilidad en el manejo de estructuras de datos tipo
vector y su almacenamiento en memoria.
La capacidad para codificar en lenguaje ensamblador
del ARM sentencias especificadas en lenguaje de alto
nivel.
Entre 7 y 10 días antes de la sesión de laboratorio se
proporciona al alumno el guion de la práctica. Este
documento repasa los conceptos teóricos principales de la
práctica, especifica lo que se le va a pedir en el laboratorio
y enuncia la parte de la práctica que el alumno deberá llevar
desarrollada al laboratorio.
El trabajo previo asociado a esta práctica consistió en
codificar en ensamblador del ARM el código C de la Fig. 6.
Este programa busca el valor máximo de un vector A de
enteros positivos de longitud N y lo almacena en la variable
max. Se obliga a los alumnos a escribir en memoria el valor
de max cada vez que éste cambie, con el objetivo de generar
una mayor batería de preguntas sobre los accesos a
memoria.
El siguiente paso consiste en crear un conjunto amplio de
preguntas que permitan al profesor saber en qué grado se
han alcanzado los objetivos buscados. Teniendo en cuenta
los objetivos enunciados anteriormente, se pueden realizar el
siguiente tipo de preguntas:
En la iteración i=x, ¿cuánto vale la variable max?
Una vez ejecutado el código, ¿cuál es el valor
almacenado en la dirección 0x0c00003c? (Siendo ésta
una dirección donde está almacenada una variable del
código).
¿En qué dirección de memoria está almacenado cada
elemento del vector A?
En el ejemplo hemos considerado adecuado que la prueba
conste de 5 cuestiones en total, juntando las cuestiones de la
prueba del trabajo de casa con las cuestiones de la prueba
del trabajo en el laboratorio. Cada cuestión tiene asociada
una categoría diferente. Dentro de una categoría todas las
preguntas son iguales a excepción de que cada una hace
referencia a datos diferentes, de este modo garantizamos que
aunque las preguntas se eligen aleatoriamente, todas las
180
#define N 8
int
A[N]={7,3,25,4,75,2,1,1};
int max;
max=0;
for(i=0; i<N; i++){
if(A[i]>max)
max=A[i];
}
Fig. 6. Código en lenguaje de alto nivel que el alumno
debe traducir a ensamblador del ARM.
Fig. 5. Gráfico de barras del número de estudiantes que alcanzan los
rangos de calificación.
pruebas (existe una prueba por alumno) resultan de idéntica
dificultad.
Para aumentar el número de preguntas por categoría y
disminuir la probabilidad de que la misma pregunta se repita
varias veces, añadimos una estrategia más: dividimos a los
alumnos de forma aleatoria y completamente automática en
varios grupos y planteamos la prueba de cada grupo con las
mismas preguntas pero con un vector A distinto. En este
caso, para poder seguir realizando la corrección de las
pruebas de forma automática, deberemos añadir como
soluciones correctas las correspondientes a cada vector A
utilizado. La Fig. 7 muestra cómo ven el test los estudiantes
en el entorno Moodle (son cinco preguntas, una por página).
VI. EVALUACIÓN Y RESULTADOS
A. Escenario del Estudio
Para el estudio de la bondad de la metodología propuesta,
hemos analizado los resultados obtenidos por un grupo de
159alumnos de Fundamentos de Computadores, tanto en la
evaluación continua como en el examen final del segundo
cuatrimestre. Creemos que tomar como base de calificación
el examen final es una buena solución, pues es una prueba
que ha sido depurada por muchos profesores distintos a lo
largo de muchos cursos, y creemos que constituye una
referencia de calificación fiable y completa de la asignatura.
Asimismo, se comparan los resultados con los que
obtuvieron estos mismos alumnos en el primer cuatrimestre
de la misma asignatura. De esta forma comprobamos como
afecta la metodología a los mismos alumnos a la hora de
calificar la evaluación continua.
Dado que la dificultad de los conceptos a adquirir no es
equivalente entre el primer y el segundo cuatrimestre (como
corroboran todos los profesores que han impartido esta
materia), analizamos también los resultados obtenidos en el
segundo cuatrimestre por 105 alumnos pertenecientes a
grupos en los que no se ha seguido la metodología propuesta
sino una metodología basada en entrevistas como la descrita
en la Sección II.
Los grupos de alumnos se han formado como resultado de
haber extraído, del total de matriculados, aquellos alumnos
que no han realizado alguna de las 8 pruebas de evaluación
continua (4 por cuatrimestre) llevadas a cabo a lo largo de la
asignatura. Estos grupos los denotaremos en adelante del
siguiente modo:
E1: calificación sobre 10 del examen final del primer
cuatrimestre (en febrero).
C1: calificación sobre 10 de las actividades de
evaluación continua realizadas en el laboratorio en el
primer cuatrimestre (no se ha seguido la metodología
presentada en este artículo).
E2T: calificación sobre 10 del examen final del
segundo cuatrimestre (en junio) en el grupo de
alumnos que sigue la metodología propuesta.
C2T: calificación sobre 10 de las actividades de
segundo cuatrimestre en el grupo de alumnos que
sigue la metodología propuesta.
E2NoT: calificación sobre 10 del examen final del
segundo cuatrimestre (en junio) en el grupo de
alumnos que no sigue la metodología propuesta.
C2NoT: calificación sobre 10 de las actividades de
segundo cuatrimestre en el grupo de alumnos que no
sigue la metodología propuesta.
B. Resultados Experimentales
La Tabla I y la Fig. 8 muestran estadísticamente los
resultados obtenidos por los alumnos en cada grupo. En
particular, la Figura 8, ilustra en un gráfico de cajas, la
distribución del 50% de las calificaciones entorno a la
mediana.
Fig. 7. Vista del test de la práctica 2.
TABLA I
DESCRIPCIÓN ESTADÍSTICA DE LAS SEIS EVALUACIONES
Media
Mediana
D.
Estándar
Varianza
Mínimo
Máximo
E1
C1
E2T
C2T
E2NoT
C2NoT
5,64
5,7
8,27
8,8
4,36
4,25
4,46
4,2
3,78
4,00
2,20
6,20
6,73
2,64
2,40
5,74
0
10
2,11
4,46
1,2
10
2,45
6,03
0
10
2,76
7,54
0
10
4,83
0
9
6,99
0
10
TABLA II
PORCENTAJE SOBRE EL TOTAL DE APROBADOS EN CADA UNA
DE LAS EVALUACIONES
Aprobados
Nota ≥ 7,0
E1
63,5
35,2
C1
91,8
79,9
E2T
39,6
16,3
C2T
40,8
17,6
E2NoT
32,4
8,6
C2NoT
69,5
46,7
TABLA III
DESCRIPCIÓN DE LA CORRELACIÓN Y ANÁLISIS DE LAS
VARIANZAS DE LAS SEIS CALIFICACIONES ANALIZADAS
E2T vs C2T
E2NoTvs C2NoT
E1 vs C1
E2T vs E2NoT
a·x
b
Pearson
t
0,64
0,25
0,44
--
1,50
2,21
1,95
--
0,720
0,300
0,392
--
-0,529
-8,635
-14,45
-1,978
P(T<=t)
una cola
0,298
1e-14
1e-31
0,024
Fig. 9. Segundo cuatrimestre: Evaluación continua vs Examen Final, en los
grupos donde no se aplica la metodología.
Fig. 10. Segundo cuatrimestre: Evaluación continua vs Examen Final en los
grupos donde se aplica la metodología.
Fig. 8. Gráfico de cajas de la distribución de calificaciones sobre 10 de
cada una de las evaluaciones.
En la Tabla II estudiamos el porcentaje de alumnos que
han aprobado el examen y la evaluación continua por
separado, así como el porcentaje de alumnos que han
destacado en la calificación (aquellos que han obtenido un
siete o más).
La comparación del número de aprobados por si solo es
insuficiente para obtener una conclusión, por lo que para
conseguir una mejor caracterización de los resultados de los
dos métodos de evaluación continua hemos representado,
para cada grupo del segundo cuatrimestre (Figs. 9 y 10), la
calificación (sobre 10) de cada estudiante en el examen final
(eje Y) frente a la calificación (sobre 10) de cada estudiante
en la evaluación continua (eje X). Estas figuras nos facilitan
visualizar de forma rápida la correlación entre ambas
calificaciones.
Además, en las Figs. 9 y 10, se ha sombreado el recuadro
que representa a aquellos alumnos que suspendiendo la
evaluación continua aprobaron el examen y viceversa. Las
zonas sombreadas inferiores engloban a aquéllos que
aprobaron la evaluación continua pero suspendieron el
examen final. En el grupo de evaluación continua sin test
(Fig. 9) un 36,2% de los alumnos aprobaron la evaluación
continua y suspendieron el examen, mientras que en el
grupo de evaluación continua con test (Fig. 10) esta
proporción fue de tan solo un 14,5%. Las zonas sombreadas
superiores engloban a aquellos alumnos que aprobaron el
examen final pero suspendieron la evaluación continua, un
11,4% para el caso de evaluación continua sin test frente a
un 6,9% para el caso de evaluación continua con test.
La Tabla III muestra los resultados de la recta de
regresión que relaciona la calificación de la evaluación
continua con el examen, así como el coeficiente de
correlación de Pearson [27]. Las variables estarán tanto
mejor correlacionadas cuanto más cercano a 1 sea este
coeficiente. Además, la Tabla III presenta resultados de la t
de student [28], aplicada sobre muestras emparejadas para
los pares examen-evaluación continua (son los mismos
alumnos), y sobre dos muestras generales para los grupos
con y sin metodología en el examen del segundo
cuatrimestre (E2T vs E2NoT).
C. Discusión de los Resultados
En lo que se refiere a la similitud en las calificaciones
entre examen y evaluación continua, podemos ver en la
Tabla I que la media (y la mediana) de E2T y C2T son
mucho más parecidas que las de E1 y C1 y las de E2NoT y
C2NoT, lo cual, si tomamos el examen final como un
182
referente de calificación objetiva, completa y precisa del
estudiante, es un dato que apoya la bondad de la
metodología seguida en la evaluación continua. Además, los
resultados presentados en la Tabla III confirman que la
metodología proporciona unas calificaciones notablemente
cercanas a las obtenidas en el examen final del cuatrimestre
(Pearson = 0,720), algo que en cambio no ocurre ni para el
primer cuatrimestre ni para la evaluación continua sin test
(Pearson igual a 0,392 y 0,300 respectivamente).
Finalmente, del estudio de la t de student se puede observar
que no existen diferencias estadísticas entre la evaluación
continua del segundo cuatrimestre y su examen final si
seguimos la metodología propuesta, es decir, podríamos
predecir a partir de los resultados de la evaluación continua
la calificación en el examen (P(T<=t) una cota superior a
0,05). Sin embargo, no hay relación estadística entre la
evaluación continua y el examen final para los otros dos
grupos, donde la probabilidad es prácticamente cero
(P(T<=t) igual a 1e-31 y 1e-14).
Del análisis de las Figs. 9 y 10 se puede extraer que
aquellos alumnos que aprobaron la evaluación continua y
suspendieron el examen (recuadro sombreado inferior)
estaban sobre-evaluados (puede que se les trasladara la
sensación de que tenían un mejor conocimiento de la
asignatura del que tenían en realidad). Por el contrario,
aquellos que suspendieron la evaluación continua y
aprobaron el examen estaban infra-evaluados (recuadro
sombreado superior). Convendría en los dos casos que éstos
fueran el menor número posible, sin embargo, en el caso de
la evaluación continua sin test, estos dos casos suponen casi
un 50% frente a un 21% en la evaluación continua con test.
Además, obsérvese que los puntos de los recuadros
sombreados de la Fig.10 están mucho más cerca del centro,
con lo que las dos calificaciones (examen y evaluación
continua) pueden ser consideradas mucho más coherentes
entre sí que en la Fig. 9, en la que los puntos están mucho
más dispersos en dichos recuadros.
Finalmente, aunque no es el objetivo principal de este
artículo, de manera tangencial podemos comprobar que, al
utilizar nuestra metodología, no solo estamos calificando la
evaluación continua de forma fiable, (es decir, estamos
dando una visión correcta a los estudiantes de los
conocimientos alcanzados), sino que además estamos
ayudando a mejorar la adquisición de estos conocimientos y
por tanto su calificación en el examen. En la Tabla II, de la
comparación de los resultados E2T y E2noT se observa que
el número de aprobados es ligeramente superior al aplicar
esta propuesta, y además que el porcentaje de alumnos con
calificaciones buenas o muy buenas en el examen es el
doble en caso de seguir la metodología. Además, como
indica la Tabla III, hay una diferencia estadística entre los
resultados de E2T vs E2noT, que unido al hecho de que los
alumnos que siguieron esta propuesta tienen mejor media,
indicaría que al realizar la evaluación continua con la
metodología descrita en este artículo estaríamos mejorando
los resultados finales.
enseñanza más práctica, y por lo tanto, hacia una evaluación
continua.
En este artículo hemos presentado una metodología para
realizar la evaluación continua de la parte práctica de la
asignatura Fundamentos de Computadores, de tal forma que
ésta sea tan objetiva como pueda serlo un examen final,
normalmente más ampliamente aceptado por los docentes.
Del análisis de los resultados obtenidos podemos concluir en
primer lugar que la metodología propuesta mide fielmente
los conocimientos adquiridos por los alumnos. Además, la
evaluación por medio de exámenes de respuesta corta es
independiente del criterio particular de cada profesor de
laboratorio, y la técnica asegura que cada estudiante es
evaluado de forma individual. Por otra parte, estos
exámenes cubren perfectamente la evaluación de todos los
conocimientos de la práctica, por lo que podemos decir que
la evaluación es suficientemente completa (las prácticas
complementan y amplían los temas vistos en teoría). Por
último, la carga de trabajo para el profesor se ve muy
reducida (excepto en el primer curso de impartición de la
asignatura), gracias a la generación automática de exámenes
o a la autocorrección de preguntas que permite Moodle.
El hecho de que los resultados obtenidos en la evaluación
continua y en el examen final sean similares implica que al
seguir esta metodología se puede incrementar el peso de la
parte de la evaluación continua en la calificación final de la
asignatura, ya que no estaríamos calificando por exceso o
por defecto dicha evaluación con respecto al examen final.
Además, la metodología aquí presentada intenta reducir el
efecto nocivo que supone una calificación continua
excesiva, que estaría, desde nuestro punto de vista,
representada por el porcentaje de estudiantes que hayan
aprobado la evaluación continua pero suspendido el examen
final (en nuestro caso, ligeramente superior al 10%).
Por último, como resultado adicional, debemos destacar
que los estudiantes que siguieron esta metodología
obtuvieron mejor calificación final que los que no la
siguieron. Creemos que los motivos son que el alumno
recibe una mejor realimentación de la evaluación continua, y
que la metodología le exige mayor trabajo diario, con lo que
afianza mejor los conocimientos.
AGRADECIMIENTOS
Nos gustaría agradecer a los profesores del Departamento
de Arquitectura de Computadores y Automática, Guadalupe
Miñana, Katzalin Olcoz, Juan Lanchares, Victoria López y
Mª Carmen Molina, por colaborar con los datos de sus
evaluaciones.
REFERENCIAS
[1]
[2]
[3]
VII. CONCLUSIONES
La implantación del Espacio Europeo de Educación
Superior ha supuesto en muchos casos cambiar el modelo de
enseñanza y evaluación inclinando la balanza hacia una
[4]
Documento Marco del MEC sobre “La integración del sistema
universitario español en el Espacio Europeo de Enseñanza Superior”,
2003.
P. Salaburu (director), G. Haug y J. G. Mora, España y el proceso de
Bolonia Un encuentro imprescindible. Madrid: Academia Europea de
Ciencias y Artes, 2011.
M. Valero García, “Algunas reflexiones sobre innovación docente en
el marco del proyecto Bolonia,”ARBOR Ciencia, Pensamiento y
Cultura, vol. 187, pp. 117-122, Dic. 2011.
M. Del Pozo Andrés, “El proceso de Bolonia en las aulas
universitarias: una perspectiva europea,” Cuestiones Pedagógicas,
vol. 19, pp. 55-73, 2008/2009.
[5]
[6]
[7]
[8]
[9]
[10]
[11]
[12]
[13]
[14]
[15]
[16]
[17]
[18]
[19]
[20]
[21]
[22]
[23]
M. Llamas Nistal, “Una experiencia de evaluación continua en la
ETSIT: Nuevos costes para el profesor,” IEEE-RITA, vol. 7, pp. 46–
52, Feb. 2012.
T. M. Haladyna, S. M. Downing and M. C. Rodriguez, “A review of
multiple-choice
item-writing
guidelines
for
classroom
assessment,”Applied measurement in education, vol. 15, no. 3, pp.
309-333, 2002.
R. Arocena, C. Gascue y J. Leymonié, “Evaluación y validación de
pruebas parciales de opción múltiple de un curso universitario de
primer año,” Revista Electrónica de Enseñanza de las Ciencias, vol.
9, no. 3, pp. 737-756, 2010.
D. L. Stufflebeam, y A. J. Shinkfield, Evaluación sistemática. Guía
teórica y práctica. Madrid: Paidós, 1987.
Dindia, Laura "Pre-lecture Activities in Undergraduate Science
Courses," Teaching Innovation Projects: vol. 3, no. 1, Article 6,
2013.
A. García-Beltrán, R. Martínez, J. A. Jaén y S. Tapia, “La
autoevaluación como actividad docente en entornos virtuales de
aprendizaje/enseñanza,” Revista de Educación a Distancia, 2006.
S. K. Carpenter, ”Testing Enhances the Transfer of Learning,”
Current Directions in Psychological Science, vol. 21, pp. 279-283,
Oct. 2012.
G. O. Einstein, H. G. Mullet and T. L. Harrison, “The Testing Effect:
Illustrating a Fundamental Concept and Changing Study Strategies,”
Teaching of Psychology, vol. 39, no. 3, pp. 190-193, July 2012.
A. Garrido, M. C. Penadés y V. Pelechano, “Un modelo de evaluación
de prácticas en Laboratorio de Ingeniería del Software,” in Actas IV
Jornadas de Enseñanza Universitaria de Informática, pp. 222-227,
2001.
J. L. Poza, P. Cruz y V. Santoja, “Un método de evaluación de
prácticas de monitorización de redes basado en los incidentes
críticos,” in Actas del XI CIEET, pp. 10-19, paper 84-688-2216-7,
2003.
M. Durán, A. Caro y P. G. Rodríguez, “Una apuesta por la motivación
al alumnado en las asignaturas de programación: el sistema de
evaluación continuada,” in Actas de IX Jornadas de Educación
Universitaria de Informática, pp. 191-195, 2003.
A. Calduch, J. M. Prats, V. Giner y S. Vidal-Puig, “Un estudio sobre
la utilidad de realización de prácticas de laboratorio en el proceso de
aprendizaje y su influencia en los resultados de evaluación del
alumno,” in Actas de XII Jornadas de Educación Universitaria de
Informática, pp. 177-184, 2006.
M. M. Elizondo, V. M. M. Morejón, M. C. A. Acosta, J. D. B.
Cabrero and O. P. Ávila, “Skills centered professional training in an
e-learning environment using the Moodle,” in Global Conference on
Business & Finance Proceedings, vol. 7, no. 2, pp. 391, 2012.
J. I. Aguaded Gómez y J. Cabero Almenara, Educar en red: Internet
como recurso para la educación. Colección biblioteca de educación,
Aljibe, 2002.
A. Bates, Managing technological change. Strategies for College and
University Leaders. San Francisco: Jossey-Bass, 2002.
R. Perez Casales, J. Rojas Castro y P.Hechevarría, “Algunas
experiencias didácticas en el entorno de la plataforma Moodle,”
Revista de Informática Educativa y Medios Audiovisuales, vol.5, no.
10, 2008.
D. Seal, ARM Architecture reference manual. Glasgow: AddisonWesley, 2001.
D. A. Patterson and J. L. Hennessy, Estructura y Diseño de
Computadores. Interfaz hardware/software. Reverté, 2011.
ShenzenEmbestInfo&Tech Co., LTD. (2004). Embest IDE Pro for
ARM 2004. User guide. Disponible:
http://www.armkits.com/download/UserGuide2004.pdf
[24] Manual de Moodle, Gate-UPM. Disponible:
http://cvsp.cucs.udg.mx/drupal6/documentos/manualmoodle.pdf
[25] J. L. Risco-Martín, M. Sánchez-Élez y I.Pardines, “Experiencia
educativa para fomentar el aprendizaje autónomo a través de
preguntas tipo test generadas por los alumnos,” in Actas de las XVII
Jornadas de Enseñanza Universitaria en Informática, Sevilla, pp.
283-291, 2011.
[26] M. Sanchez-Elez, I. Pardines, P. García, G. Miñana, S. Roman, M.
Sánchez and J. L. Risco. “Enhancing students' learning process
through self-generated test,” Journal of Science Education and
Technology.Doi: 10.1007/s10956-013-9447-7
[27] Edwards, A. L. "The Correlation Coefficient", in An Introduction to
Linear Regression and Correlation. Ed. San Francisco, CA: W. H.
Freeman, pp. 33-46, 1976.
[28] S. S. Gupta, “Probability integrals of multivariate normal and
multivariate t”, Annals of Mathematical Statistics, vol. 34, pp. 792828, 1963.
Inmaculada Pardines es Doctora en Ciencias Físicas
(2007) por la Universidad de Santiago de Compostela.
Actualmente es Profesora Contratada Doctora en el
Departamento de Arquitectura de Computadores y
Automática de la Universidad Complutense de Madrid.
Sus áreas de interés son los sistemas de hardware
reconfigurable. Ha participado como autora o coautora
en más de 20 publicaciones en revistas y congresos.
Participa activamente en programas de innovación docente de su
universidad.
Marcos Sanchez-Elez es Doctor en Ciencias Físicas
(2004) por la Universidad Complutense de Madrid.
Actualmente es Profesor Contratado Doctor en el
Automática de dicha universidad. Sus áreas de interés
son los sistemas de hardware reconfigurable y diseño
VLSI. Ha participado como autor o coautor en más de
20 publicaciones en revistas y congresos. Participa
activamente en programas de innovación docente de su universidad.
Daniel A. Chaver Martínez es Licenciado en CC.
Físicas por la Universidad de Santiago de Compostela
(año 1998), e Ingeniero en Electrónica y Doctor por la
Universidad Complutense de Madrid (años 2000 y 2006
respectivamente). Actualmente es Profesor Titular en el
Automática de la UCM. Lleva impartiendo docencia en
las Fac. de Informática y de CC Físicas de la UCM
desde el año 2000. Sus áreas de interés en investigación son: Gestión de la
cache, Memorias PCM, Planificación en Multicores Asimétricos.
José Ignacio Gómez obtuvo su doctorado en la
Universidad Complutense de Madrid en el año 2007.
Actualmente es Profesor Contratado Doctor en el
Automática. En los últimos años ha trabajado tanto en
el área de alto rendimiento y paralelismo como en el
diseño y gestión de los sistemas de memoria de
sistemas empotrados de bajo consumo.

Evaluación Continua on-line en Sesiones Prácticas - IEEE-RITA

Transcripción

Documentos relacionados