Portafolios Digitales y Evaluación por competencias

Portafolios Digitales y Evaluación por competencias

I Encontro Internacional TIC e Educação
Portafolios Digitales y Evaluación por competencias: estudio
de casos múltiples entre la Universidad de Barcelona y la
Universidad Católica de Temucoi
JOSÉ LUIS RODRÍGUEZ ILLERA[1], CRISTINA GALVÁN FERNÁNDEZ[2],
MÓNICA KAECHELE OBREQUE[3]
Universidad de Barcelona[1,2], Universidad Católica de Temuco[3]
[email protected], [email protected], [email protected]
RESUMEN: Este artículo presenta los resultados
preliminares de dos estudios desarrollados en la
Universidad de Barcelona y en la Universidad
Católica de Temuco (Chile), sobre el uso de
portafolios digitales para la formación y evaluación
de competencias genéricas. En ambos casos se ha
utilizado la misma herramienta de portafolio digital,
especialmente diseñada para la construcción de
portafolios basados en competencias y su
seguimiento y monitoreo por parte de los docentes.
El objetivo central es determinar cuál es el efecto del
uso de los portafolios digitales en la formación por
competencias dentro de un contexto pedagógico
basado en el estudiante. La metodología es mixta y
se utilizan tanto cuestionarios estandarizados como
entrevistas y grupos focales. Los primero resultados
arrojan datos positivos respecto del uso del
portafolio digital y el desarrollo de competencias
genéricas.
años como una aproximación práctica a los procesos
evaluativos por competencia (Barberá et. Al, 2009;
Informe Becta, 2007). El EEES a través del
European Institute for E-Learning,
Eifel, ha
desarrollado una fuerte acción para introducir el uso
de los portafolios digitales en el actual marco de
educación con “clave Bolonia”, basado en
competencias. El portafolio como tal tiene una
amplia tradición en el campo educativo y ha derivado
en distintos dispositivos técnicos y
propósitos
evaluativos, siendo en la actualidad la preocupación
por cómo aporta en el desarrollo de competencias la
principal área de investigación (Marqués y Banqué
Maria, 2007, Barberá, 2009, Rodriguez Illera, 2009)
En el marco del proyecto “Evaluación del diseño
y del uso de los portafolios electrónicos, en el contexto
del EEES, como herramientas para la evaluación y el
aprendizaje por competencias” se explora cómo el uso
de los portafolios digitales favorece el desarrollo de
competencias genéricas entendido como una
herramienta para la evaluación continuada y para el
aprendizaje. Hasta ahora no existe investigación
definitiva que de cuenta de cómo los portafolios
digitales aportan a la formación universitaria en un
escenario complejo como es el del espacio de
Educación Superior Europeo.
Palabras claves: portafolio digital, evaluación,
competencias genéricas, aprendizaje virtual
ABSTRACT: This article presents the preliminary
results of two studies developed at the University of
Barcelona and at the Catholic University of Temuco
(Chile), on the use of the digital portfolio for training
and assesment of generic skill. In both case has used
the same digital portfolio tool. This tool has been
specially design to build based-competence portfolio
and improve their evaluation. The main goal is to
determine what effect the use of the digital portfolio
for development the skill within a based-student
pedagogical context. The methodology is mixed and
using both standard questionnaires and interviews
and focus groups. The first results show positive
data on the use digital portfolio and the development
of generic skills.
Los objetivos del proyecto son:
Los objetivos principales son demostrar su
capacidad de mejora en cuatro aspectos
principales:

Como ayuda a la gestión de la evaluación
continuada
 Como sistema para realizar una evaluación
Keywords: digital portfolio, assesment, skills,
basada en competencias
virtual learning
 Como sistema para la mejora del aprendizaje
de los estudiantes

Como forma organizativa personal de los
Introducción
estudiantes hacia espacios no universitarios
El uso de portafolios digitales en la educación (mundo laboral)
superior ha tenido un fuerte impulso en los últimos
787
I Encontro Internacional TIC e Educação
Desde nuestra perspectiva el uso de los
portafolios digitales aporta a la enseñanza
universitaria actual en al menos cuatro aspectos:
1) como herramienta autocontenida de la
experiencia de aprendizaje del estudiante,
permite al docente generar un juicio sobre el
desempeño de éste, basado en evidencias.
Desde esta perspectiva, el portafolio favorece la
generación de un “video” o un continuum de la
experiencia y no sólo una fotografía, como
ocurre con las evaluaciones más tradicionales;
2) re-sitúa la práctica docente en el trabajo del
estudiante y por tanto estimula una
transformación de la relación pedagógica que
enfatiza el desarrollo de niveles crecientes de
autonomía por parte del alumnado; 3) Los
portafolios como herramientas de objetivación
por medio de evidencias promueven la la
responsabilidad
(en
el
sentido
de
accountability) sobre lo que se muestra como
evidencia; es decir, el hecho mismo de que los
documentos dejen de pertenecer al ámbito
privado de su autor y puedan ser objeto de
valoraciones por parte de otra persona (por
ejemplo: El profesor) supone un grado elevado
de implicación n en lo que se está mostrando, y
4) por lo anterior, el uso del portafolio
representa una visión alternativa para la
enseñanza
universitaria
que
basa
su
aproximación en el desempeño y las evidencias
y que desplaza el locus de control desde el
docente hacia el estudiante (Rodríguez Illera,
2009).
vinculaciones entre el proceso de enseñanza
propiamente tal y los procesos evaluativos, que
tradicionalmente se consideran como un
procedimiento de finalización y no como una
practica recursiva de la enseñanza. En este
sentido la vinculación entre enseñar y evaluar
queda estrechamente conectada en el marco de
una herramienta que permite dar cuenta del
proceso de aprendizaje generando los insights
necesarios antes de la finalización del período
de enseñanza.
La tipología de portafolios (IMS, 2005;
Stefani, Mason y Pegler, 2007) suele incluir una
caracterización funcional o por objetivos
explícitos:
presentación;
evaluación;
aprendizaje; desarrollo personal; así como uno
más general de trabajo, o de gestión del sistema
de portafolios, que puede englobar a los
restantes. Dos de los tipos de portafolios
mencionados
(presentación,
desarrollo
personal) están orientados a un uso individual y
pertenecen a los intereses de la persona, quien
decide para qué fines y hacia qué grupos
hacerlos públicos; los otros dos (evaluación,
aprendizaje) tienen un carácter institucional, y
el marco educativo en el que se inscriben
determina su formato: están construidos para
ser analizados conjuntamente con un profesor.
Los
portafolios
como
herramienta
responden a una manera de entender tanto el
aprendizaje como el proceso de evaluación del
mismo, generando una articulación estrecha
entre curriculum y prácticas evaluativas
(Klenowski, V., 2005). El aprendizaje
comprendido como un proceso consciente que
involucra la implicación de quien aprende en
una actividad cultural con significado tanto
personal como social pone como primera
tensión a los proceso de formación universitaria
la motivación intrínseca del estudiantado y por
otro lado la alineación constructiva (Biggs, J.,
2006) de la enseñanza.
Estos aspectos, señalados ampliamente en
la literatura sobre aprendizaje y educación
superior, evidencian la necesidad de orientar la
enseñanza universitaria al desarrollo de
prácticas pedagógicas que promuevan en el
estudiantado responsabilidad por su aprendizaje
e independencia en su formación (Barberá,
2009), foco crucial de atención en el diseño de
modalidades de uso y evaluación basadas en el
portafolio digital y que como muestran los datos
preliminares de nuestra investigación es un
aspecto relevante para el éxito de experiencias
docente que utilicen esta herramienta como
espacio de aprendizaje y evaluación.
Los conceptos utilizados por Biggs sobre
aprendizaje profundo y aprendizaje superficial
(Biggs,2006) son potentes para comprender
tanto el estilo de enseñanza y el nivel de
implicación del estudiante en un curso
determinado de aprendizaje. En la medida que el
profesor desarrolla prácticas con poca
estructuración la tendencia hacia el aprendizaje
superficial aumenta como estrategia de “paso”
por parte del estudiante (Biggs, J., 2006). Este
proceso también es factible de encontrar usando
los portafolios, los cuáles en función de los
contextos pedagógicos diseñados para los
Estudio de casos múltiple
El uso de portafolios como herramienta
evaluativa surge como una necesidad frente a
los modelos cuantitativos de evaluación que no
permiten dar cuenta de las complejidades del
proceso de aprendizaje (Klenowski, V., 2005).
De igual forma permite generar estrechas
788
I Encontro Internacional TIC e Educação
estudiantes pueden volverse un carga o una
trivialidad, en tanto su uso no está alienado de
manera constructiva con las formas de
enseñanza. En este sentido se requiere observar
cuidadosamente la coherencia del diseño de la
práctica usando portafolios digitales
Barcelona y de la Universidad Católica de
Temuco, presentando la siguiente estimación de
matriculados en cada curso:
Tabla 1 Muestra primer año
Asignatura
N
T
Formación a
Distancia
50
Pedagogía
Pedagogía de la
Comunicación
40
Pedagogía
Investigación de
Medios en
Educación
50
Comunicación
Audiovisual
Varias (3-5
asignaturas)
20
Máster E-A en
Entornos
Digitales
Didáctica de la
Historia,
Geografía y CC.
Sociales
17
Formación de
Profesorado
de Primaria
Metodología
La metodología es de tipo evaluativa,
centrándose en la evaluación del impacto del
uso de los portafolios tanto en estudiantes como
en profesores/as, así como en la propia
herramienta denominada Carpeta Digital. para
llevarla a cabo se ha optado por un estudio de
casos múltiples según las propuestas de Stake
(1998) tomando dos centros universitarios con
claras diferencias entre ambos. Como
característica a destacar de la evaluación, está la
complementariedad
metodológica,
considerándose estrategias cuantitativas y
cualitativas. Las fases que guían el proceso de
evaluación figuran el siguiente esquema
(adaptando el último modelo propuesto por
Stufflebeam, 2003):
UB
UCT
Leyenda:N= número de estudiantes; T = Titulación
La Universidad Católica de Temuco
introduce una variable de contraste, porque el
contexto, el enfoque y la metodología didáctica
son diferentes: en Chile no se da el contexto
europeo de los principios de Bolonia ni se
realiza un aprendizaje basado en competencias
de la misma manera. Por otro lado, los aspectos
de la metodología didáctica que se llevarán a
cabo en ambas universidades serán también
diferentes. Estas diferencias nos permitirá
analizar diferentes tipos de impactos según las
condiciones de partida. Dentro de los dos casos
la unidad muestral es_ por el conglomerado
asignatura y esta se escoge según un muestreo
intencional (los casos en los que se está
implementando la herramienta Carpeta Digital).

Identificar y definir los indicadores de cada
variable a evaluar y medición de los valores
iniciales.
Las
macrovariables
son:
estudiantes, profesorado y herramienta
(Carpeta Digital)
 Dimensionar el contexto del programa:
características del alumnado, capacitación
del profesorado, personal técnico de ayuda,
medios para la mejora y desarrollo del
portafolios digital
 Identificar el valor de las variables al final del
programa
 Comparar las variables iniciales con las
finales mediante métodos y técnicas
cuantitativas y cualitativas. El impacto se
medirá sobre:
 El alumnado, según el incremento de
su satisfacción y la mejora de
competencias.
 El profesorado, según el incremento
de su satisfacción.
 El portafolios digital, según la mejora
estimada a partir de su uso.
Instrumentos de recogida de información
Se utilizarán diferentes herramientas para
la obtención de información combinando
estrategias tanto cuantitativas como cualitativas.
La siguiente tabla muestra el reparto de
instrumentos para la evaluación de las
diferentes variables de la investigación.
Muestra

La muestra de la investigación se ha
centrado en estudiantes de la Universidad de

789
Cuestionario cerrado R-SPQ-2F al alumnado
en dos momentos (pre y post)
Cuestionario cerrado AEQ al alumnado en
dos momentos (pre y post)
I Encontro Internacional TIC e Educação



Entrevista semiabierta al profesorado al
finalizar el curso
Focus-group al alumnado al finalizar el curso
Observación sistemática y abierta de las
evidencias y del conjunto del portafolios
aprendizaje realizado, que se manifiestan en la
incorporación de relatos auto-evaluativos y en
la discusión con el profesor sobre el aprendizaje
alcanzado.
La percepción del profesorado
La tabla siguiente muestra los objetivos de
la investigación que se pretenden cubrir con
cada instrumento.
Del
profesorado
nos
interesa
principalmente la satisfacción que tienen del
uso de la herramienta en sus actividades
formativas. Se elaboraron entrevistas a 4
miembros del proyecto en las que se describía
su uso, percepciones e intereses. En las mismas
podemos ver como el uso del portafolios digital
se planifica como una estrategia de doble
finalidad: a) como seguimiento de los
aprendizajes y de la evaluación y 2) como
instrumento para desarrollar competencias de
selección y reflexión, principalmente. Estas
competencias han sido básicas en la mayoría de
las asignaturas y han sido trabajadas en el
transcurso de las mismas; y por tanto los
docentes necesitaban una estrategia para
optimizarlas y asegurar que todos los
estudiantes las alcanzarán. La organización del
portafolios por secciones ha facilitado la tarea a
los estudiantes y el desarrollo de estas
competencias a partir de la elaboración de
evidencias y del uso del propio portafolio.
Tabla 2. Relación de objetivos e instrumentos
Cuestio
nario
Obj. 1
Obj. 2
Obj. 3
Obj. 4
X
X
Entrevist
as
X
X
Focus
Group
X
X
X
Observa
ción
X
X
X
De cada instrumento está previsto hacer
una
validación
mediante
tablas
de
especificación y juicio de expertos. El análisis
de datos será de tipo estadístico con pruebas de
contraste, y cualitativo (análisis de contenido,
elaboración de matrices temporales y
conceptuales).
Resultados
En base a la recogida de datos presentamos
los datos recogidos durante el primer curso de
investigación. Hemos aplicado todos los
instrumentos propuestos en todas las
asignaturas a excepción de los cuestionarios RSPQ-2F y AEQ a los estudiantes de Pedagogía
de la Formación a Distancia. En la presente
comunicación vamos a presentar una parte de
los datos obtenidos puesto que algunos están
aún en fase de análisis de acuerdo a nuestra
planificación.
En cuánto al seguimiento, los profesores
valoran la actitud de los estudiantes en relación
a la reelaboración de las evidencias que han
sido comentadas y dialogadas en un momento
de entrega.
Análisis portafolios
Todos los portafolios que pertenecen al
grupo investigador de este proyecto se han
basado en el seguimiento de las evidencias y en
un portafolios tanto de proceso con distintos
momentos de entrega y una entrega final en la
que se re-define y justifica todo el contenido.
Además, la organización de los portafolios se
ha adaptado a dos modalidades: a) según la
obligatoriedad de las actividades y su tipología
de contenido, y b) según el programa curricular
-organizado por temas-.
Recordando que nuestra hipótesis central
es que el uso continuado de un sistema de
portafolios electrónico avanzado mejora
diversas competencias transversales de los
estudiantes que lo utilizan (en el contexto de
cursos que adoptan el EEES) hemos tratado en
los cuestionarios cerrados, en las entrevistas y
en los focus-group las siguientes temáticas:
planificación global de los objetivos de
aprendizaje, a lo largo del curso y de la
totalidad de la carrera, competencias de gestión
de las evidencias de aprendizaje, que se
manifiestan mediante procesos de selección,
clasificación y presentación de la información
(en un sistema de evaluación continuada,
competencias
meta-cognitivas
sobre
el
Otro aspecto importante de los portafolios
analizados es que son pocos los que incluyen
evidencias utilizando al multimedialidad,
haciendo un uso generalmente textual en su
gran parte, de acuerdo también al tipo de
actividades que solicita el profesorado: mapas
conceptuales (imagen), narraciones reflexivas,
informes de proyectos, aportaciones en foros,
790
I Encontro Internacional TIC e Educação
actividades varias, elaboración de vídeos (sólo
en una asignatura).
incremento con el uso del portafolios en
relación a la estrategia en el aprendizaje, siendo
la motivación un aspecto poco variable.
Focus-group
Son varios los datos que se pueden
continuar analizando en relación a nuestros
objetivos. Estimamos que para la presentación
de la comunicación los tengamos todos y
podamos resolver cualquier duda que surja a
partir de los anteriores.
El focus-group se ha llevado a cabo en
conjunto para los estudiantes de las titulaciones
de Pedagogía y de Comunicación Audiovisual
de la Universidad de Barcelona y otro para los
estudiantes de la Universidad Católica de
Temuco. La diferencia de ambos grupos es que
en el primer caso hubo estudiantes que han
usado la herramienta en dos asignaturas
participantes en el proyecto, los cuáles
apuntaban hacia la petición de un uso más
continuado del portafolios a lo largo de los
cursos académicos visto que este uso permite
avanzar en la metodología por portafolios y
organizar las evidencias y planificar el
aprendizaje. Los estudiantes que solo la han
utilizado una vez están aún en la fase de
conocimiento del funcionamiento de la
herramienta y no es hasta los últimos momentos
de entrega en que ven el sentido de los
portafolios. Es también una dificultad para ellos
el seguimiento del portafolios cuando se les da
autonomía para elaborarlos ya que es un
proceso nuevo en el que la inmersión necesita
más soporte del profesor. Es aquí donde valoran
la participación del profesorado tanto en el aula
como en los diálogos que surgen de cada
evidencia (o conjunto de evidencias) dentro del
portafolios.
Conclusiones
En esta primera fase del proyecto tres
conclusiones relevantes es posible adelantar:
1. La percepción del profesorado sobre el
uso del portafolio digital en términos de su
aporte a la formación de competencias
genéricas como la selección y organización de
información y de reflexión y metacognición son
positivas. Los docentes entrevistados perciben
positivamente su uso tanto durante el proceso
de aprendizaje como en su calidad de
evaluación final llevando a cabo una
metodología para ello que no tiene porque ser
siempre la misma. Por ejemplo, en el caso de la
UCT se pone de relevancia la revisión aleatoria
de los portafolios digitales en clase, mientras
que en algún caso de la UB se hace uso de las
rúbricas para trabajar la metacognición de las
evidencias incluidas.
2. El uso del portafolio digital alineado
coherentemente con una práctica de enseñanza
centrada en el desarrollo de competencias
favorece de manera positiva el desarrollo de las
competencias provistas en cada curso. Sin
embargo, es necesario generar una continuidad
en el uso del portafolio digital, de modo que se
construya con el estudiante una ecología
informacional que facilite la incorporación de
este nuevo dispositivo como un “equipamiento”
para el aprendizaje. En el caso de la UB ya
hemos encontrado casos que han iniciado los
portafolios dentro de Carpeta Digital para varias
asignaturas y que han mostrado interés por
ampliarlo a otras de su titulación. Actualmente
en la UCT se están teniendo los primeros
estudiantes que repetirán la experiencia en
asignaturas distintas, por lo que hay que esperar
para saber su motivación en la continuidad del
uso de Carpeta Digital.
Cuestionarios
Una vez se han iniciado las asignaturas y
se han finalizado se han aplicado 2
cuestionarios a los estudiantes: 1) la versión_
adaptada al portafolios de Zegers, Gijbels y
Thurlings (2008) del cuestionario Assessment
Experience Questionnaire (AEQ) de Gibbs y
Simpson (2003); y b) el Revised Two-factor
Study Process Questionnaire (RSPQ-2F) de
Biggs, Kember y Leung (2001), el cuál analiza
el enfoque del aprendizaje de acuerdo a la
motivación y a la estrategia según sea profunda
o superficial. No obstante, hemos aplicado la
propuesta de Recio (2008) para valorar la
intensidad de estos enfoques dados los
resultados obtenidos.
Del primer cuestionario no tenemos una
relación entre el pre y el post por lo que nos
reservaremos estos resultados para la
presentación. En relación al segundo
cuestionario podemos avanzar que entre los dos
momentos de recogida de datos ha habido un
3. El portafolio digital como herramienta
de control del estudiante requiere diseñar tareas
y actividades que den cuenta de las
competencias alcanzadas dentro de una
791
I Encontro Internacional TIC e Educação
actividad de aprendizaje relevante y que por
tanto no se transforme exclusivamente en un
repositorio de información almacenada. En este
sentido el diseño de la interfaz de Carpeta
Digital, ha favorecido, tal como reconocen
profesores y estudiantes, una forma de
organizar los itinerarios de aprendizaje
individual que tienen efectos en la
aproximación al aprendizaje de los estudiantes
como en la propia motivación y estrategia según
los resultados obtenidos en ambos casos del
cuestionario R-SPQ-2F.
para prop_sitos m_ltiples: aspectos de
diseñ_o, de uso y de evaluació_n”. In
Revista de Educaci_ón a Distancia, añ_o
IX (n_úmero monográ_fico VIII).
[Online]; disponible en
http://www.um.es/ead/red/M8/ y
consultado el 15.Noviembre.2009 .
STAKE, Robert; (1998). Metodologí_a con
estudio de casos. Madrid: Morata.
STEFANI, Lorraine, MASON Robin &
PEGLER Chris; (2007). The educational
potential of E-portfolio. Supporting
personal development and reflective
learning. United State: Routledge
Bibliografía
BARBERÁ, Elena y MARTÍN Elena; (2009)
Portafolio electrónico: aprender a evaluar
el aprendizaje. Barcelona: Editorial UOC
STUFFLEBEAM, Daniel; KELLAGHAN,
Thomas; WINGATE, Lori; (2003)
International Handbook of Educational
Evaluation. New York: Kluwer Academic
Pub Published.
BIGGS, J. (2006). Calidad del Aprendizaje
Universitario. Madrid: Narcea
BIGGS, John., KEMBER, David. & LEUNG,
Doris (2001). The revised two-factor Study
Process Questionnaire: R-SPQ-2F. In
British Journal of Educational
Pshychology, 71, 133-149
i La presente comunicación expone datos recogidos en el
proyecto Evaluación del diseño y del uso de los
portafolios
electrónicos, en el contexto de EESS, como herramienta
para la evaluación y el aprendizaje por competencias,
subvencionado por el Ministerio de Ciencia e Innovación,
con referencia EDU2008-01458
GIBBS, Graham & SIMPSON, Claire; (2003).
Measuring the response of students to
assessment: the Assessment Experience
Questionnaire. In 11th International
Improving Student Learning Symposium;
Open University: Hinckley.
KLENOWSKI, Val; (2005) Desarrollo del
Portafolios para el aprendizaje y la
evaluación. Narcea: Madrid
RECIO SAUCEDIO, Michelle; (2008).
Enfoques de aprendizaje y rendimiento en
alumnos de educaci_ón a distancia. In
Revista Internacional de Ciencias Sociales
y Humanidades, XVIII (2), 113-144.
[Online]; disponible en
http://redalyc.uaemex.mx/src/inicio/ArtPdf
Red.jsp?iCve=65411193006 y consultado
el 23.abril.2010
RODRIGUEZ ILLERA, José Luis; (2009).
“Los portafolios digitales como
herramientas de evaluación y de
planificación personal”, in: Manuel
Castelló (org.), La evaluación auténtica en
educación superior y en secundaria.
Barcelona: Edebé.
RODRÍGUEZ ILLERA, José Luis; AGUADO,
Gemma; GALVÁN, Cristina; RUBIO,
M.José; (2009). “Portafolios electró_nicos
792