Elaboración de Rúbricas para Medición de Resultados de

Elaboración de Rúbricas para Medición de Resultados de

Elaboración de Rúbricas para Medición de Resultados de Aprendizaje Dr. Síxifo Falcones FIEC – ESPOL 2013 Criterios ABET [1] • 
• 
• 
• 
• 
• 
• 
• 
• 
Criterion 1. Students Criterion 2. Program EducaGonal ObjecGves Criterion 3. Student Outcomes Criterion 4. ConGnuous Improvement Criterion 5. Curriculum Criterion 6. Faculty Criterion 7. FaciliGes Criterion 8. InsGtuGonal Support Program Criteria CRITERION 4. CONTINUOUS IMPROVEMENT [1] This secGon of your self-­‐study report should document your processes for regularly assessing and evaluaGng the extent to which the student outcomes are being aZained. This secGon should also document the extent to which the student outcomes are being aZained. It should also describe how the results of these processes are being uGlized to effect conGnuous improvement of the program. Evaluation
and analysis and making a determination of the
value of findings and action to be taken.
Terminología ABET [2] ABET Terms
Program
Educational
Objectives
2011 Definitions
Broad statements that describe what graduates are expected to attain
within a few years after graduation.
Student
Outcomes
Student outcomes describe what students are expected to know and able
to do by the time of graduation. These relate to the knowledge, skills, and
behaviors that students acquire as they progress through the program.
Performance
Criteria
Specific, measurable statements identifying the performance(s) required to
meet the outcome; confirmable through evidence.
Assessment
Assessment is one or more processes that identify, collect, and prepare
data to evaluate the attainment of student outcomes and program
educational objectives. Effective assessment uses relevant direct, indirect,
quantitative and
d qualitative
l
measures as appropriate to the
h objective
b
or
outcome being measured. Appropriate sampling methods may be used as
part of an assessment process.
Evaluation
Evaluation is one or more processes for interpreting the data and evidence
accumulated through assessment processes. Evaluation determines the
extent to which student outcomes and program educational objectives are
being attained. Evaluation results in decisions and actions regarding
program improvement.
ABET Student Outcomes [1] a)  An ability to apply knowledge of mathemaGcs, science and engineering b)  An ability to design and conduct experiments, as well as to analyze and interpret data c)  An ability to design a system, component, or process to meet desired needs within realisGc constraints such as economic, environmental, social, poliGcal, ethical, health and safety, manufacturability, and sustainability d)  An ability to funcGon on mulGdisciplinary teams e)  An ability to idenGfy, formulate, and solve engineering problems f)  An understanding of professional and ethical responsibility g)  An ability to communicate effecGvely (3g1 orally, 3g2 wriZen) h)  The broad educaGon necessary to understand the impact of engineering soluGons in a global, economic, environmental, and societal context i)  A recogniGon of the need for, and an ability to engage in life-­‐long learning j)  A knowledge of contemporary issues k)  An ability to use the techniques, skills, and modern engineering tools necessary for engineering pracGce. Ejemplos de Criterios de Desempeño (Performance Criteria) para Evaluar El Resultado de Aprendizaje “d” [2] inar-March 2010
Program
Educational
Objective
Graduates will be able to
demonstrate ability to solve
complex problems and
participate in a team based
environment
Program
Student Outcome
Outcome Ability
to
An ability to func3on function
on effectively
mul3discipl
on a team
inary teams Performance
Criteria
Researches and gathers
i f
information
i
Fulfill duties of team roles
Shares in work of team
Listens to other
teammates
C
Taxonomía de Bloom: Niveles del Dominio CogniGvo [2] Los verbos uGlizados para definir los criterios desempeño deben ser escogidos según el nivel al cual corresponde el curso. 14
Evaluation
DEMONSTRATE/CREATE
Synthesis
Advanced
Analysis
REINFORCE
Comprehension
Knowledge
INTERMEDIATE
NOVICE
INTRODUCE
t © 2007 by ABET,, Inc.
Application
Taxonomía de Bloom: Niveles del Dominio CogniGvo [3] COGNITIVE:learning is demonstrated by knowledge recall and the intellectual skills: comprehending
information, organizing ideas, analyzing and synthesizing data, applying knowledge, choosing among
alternatives in problem-solving, and evaluating ideas or actions.
Level
Knowledge
Illustrative Verbs
arrange, define, describe, duplicate, identify, label, list,
match, memorize, name, order, outline, recognize,
relate, recall, repeat, reproduce, select, state
Definition
remembering
previously learned
information
classify convert,
classify,
convert defend
defend, describe
describe, discuss
discuss, distinguish
distinguish,
estimate, explain, express, extend, generalize, give
grasping the
Comprehension examples, identify, indicate, infer, locate, paraphrase,
meaning of
predict, recognize, rewrite, report, restate, review, select, information
summarize, translate
Application
Analysis
apply, change, choose, compute, demonstrate, discover,
dramatize, employ, illustrate, interpret, manipulate,
applying knowledge
modify, operate, practice, predict, prepare, produce,
to actual situations
relate, schedule, show, sketch, solve, use, write
analyze, appraise, break down, calculate, categorize,
compare, contrast, criticize, diagram, differentiate,
discriminate, distinguish, examine, experiment, identify,
illustrate, infer, model, outline, point out, question, relate,
select, separate, subdivide, test
Example
memory of specific facts, terminology,
rules, sequences, procedures,
classifications, categories, criteria,
methodology, principles, theories, and
structure
stating problem in own words,
words
translating a chemical formula,
understanding a flow chart, translating
words and phrases from a foreign
language
taking principles learned in math and
applying them to figuring the volume of
a cylinder in an internal combustion
engine
breaking down
objects or ideas into discussing how fluids and liquids differ,
simpler parts and
detecting logical fallacies in a student's
seeing how the
explanation of 's
s 1st law of motion
parts relate and are
organized
Synthesis
arrange, assemble, categorize, collect, combine, comply,
compose, construct, create, design, develop, devise,
rearranging
design, explain, formulate, generate, integrate, manage,
component ideas
modify, organize, plan, prepare, propose, rearrange,
into a new whole
reconstruct, relate, reorganize, revise, rewrite, set up,
summarize, synthesize, tell, write
writing a comprehensive report on a
problem-solving exercise, planning a
program or panel discussion, writing a
comprehensive term paper
Evaluation
appraise, argue, assess, attach, choose, compare,
conclude, contrast, defend, describe, discriminate,
estimate, evaluate, explain, judge, justify, interpret,
relate, predict, rate, select, summarize, support, value
evaluating alternative solutions to a
problem, detecting inconsistencies in
the speech of a student government
representative
making judgments
based on internal
evidence or external
criteria
r-March 2010
Copy
Las Rúbricas en el Proceso de Mejoramiento ConGnuo [2] Program
Educational
Objectives
Assess/
E l t
Evaluate
RUBRICS
Mission
Program
g
((Student))
Outcomes
Constituent/
Stakeholder
Evaluation:
Interpretation of
Evidence
Feedback for
Continuous
Improvement
Measurable
M
bl
Performance
Criteria
Educational
Practices/Strategies
Assessment:
Collection, Analysis
of Evidence
Assessment for Continuous Improvement©
Gloria Rogers – ABET, Inc.
¿Qué son las Rúbricas? [2] •  Son la manera de definir de manera específica lo que se espera del desempeño de los estudiantes. •  Establecen las caracterísGcas de los varios niveles de desempeño. •  Pueden ser uGlizadas para generar una calificación total o parcial, pero de una manera más específica, detallada y disociada que una calificación. •  Proveen a los evaluados información clara de su desempeño y una indicación clara de lo que necesitan alcanzar para mejorar su desempeño. ¿Qué es una Rúbrica? [2] •  Normalmente conGenen tres componentes: –  Dimensiones (criterios de desempeño) –  Escala (niveles de desempeño) –  Descriptores (Indicadores concretos para cada nivel) Componentes de una Rúbrica [3] Dimensiones Escala Excelente Cumplió Bien Cumplió Preparación Buen proceso de preparación, muestra profundidad en el desarrollo del tema. Cumplido en la presentación de los resúmenes aprovecha el Gempo para aclaraciones. Presenta el resumen y la acGvidad planeada sucintamente. Sustentación Teórica Domina el tema propuesto, logra conectarlo y explicarlo en sus diferentes aspectos. La evaluación logra analizar el tema. Logra explicar el tema relacionando los diferentes aspectos de éste. La evaluación Gene en cuenta los diversos aspectos presentados. Conoce el tema superficialmente, logra explicar los puntos planteados. La acGvidad de evaluación es poco adecuada. Manejo de la Discusión Bien liderada, suscita controversia y parGcipación. Es Organizada, puede contestar los diferentes interrogantes. La dirige, no resalta los puntos más importantes no llega a conclusiones. Par3cipación PerGnente. AcGva, es fundamental para el buen desarrollo de cada uno de los temas. Oportuna, aporta buenos elementos, presta atención a las disGntas parGcipaciones. Está presente. Presta poca atención a las disGntas parGcipaciones. Descriptores Percent meeting target performance
100%
Tipos de Rúbrica [2] 81%
80%
60%
Analí3ca 38%
Work Effectively
in Teams
40%
20%
0%
Research &
Gather
Information
25%
Satisfactory
3
Exemplary
4
Collects very
y little
information--some
relates to the topic.
Collects some
basic
information-most relates to
the topic.
Collects a
g
great
deal of
information-all relates to
the topic.
Unsatisfactory
1
Developing
2
Does not collect
any information
that relates to the
topic.
Research Fulfill Roles Share in
Information
work
Copyright 2010
Example of Results
Work effectively in teams
Listens
Fulfill Team
Role's
Duties
Does not perform
any duties of
assigned team
role.
Performs very little
duties.
Performs nearly
all duties.
Performs all
duties of
assigned
team role.
Share in
work of
team
Always relies on
others to do the
work.
Rarely does the
assigned work-often needs
reminding.
Usually does the
assigned work-rarely needs
reminding.
Always does
the assigned
work without
having to be
reminded.
Listen to
Other
Teammates
Is always talking-never allows
anyone else to
speak.
Usually doing most
of the talking--rarely
allows others to
speak.
Listens, but
sometimes talks
too much.
Listens and
speaks a fair
amount.
100%
Teaming Skills
4%
6%
Copyright © 2007 by ABET,, Inc.
Holís3ca 54%
32
4%
25%
80%
100%
34%
49%
G. Rogers - ABET, Inc.
60%
60%
40%
40%
20%
20%
0%
At a level expected for a student who will
graduate?
25%
[email protected]
77%
30%
30%
50%
32%
19%
15%
0%
Research and
gather
information
Fulfill roles and
duties
Exemplary
Developing
Shares in work
Listens
Satisfactory
Unsatisfactory
Copyright © 2007 by ABET,, Inc.
80%
¿Cuál Tipo UGlizar? [2] •  UGlizar una rúbrica holísGca cuando: –  Una vista rápida del desempeño es suficiente –  Una sola dimensión es adecuada para entender el desempeño del estudiante •  UGlizar una rúbrica analíGca cuando: – 
– 
– 
– 
Se necesita analizar debilidades y fortalezas Retroalimentación detallada es necesaria para realizar mejoras Se necesita evaluar habilidades complicadas Se quiere que los estudiantes autoevalúen su propio entendimiento o desempeño •  El número niveles en la escala debe ser no más de 6, de lo contrario la confiabilidad el inter-­‐evaluador e intra-­‐
evaluador se ve compromeGda. Ejemplo de Rúbrica Incorrecta Resultado de Aprendizaje “C” Diseñar sistemas, componentes o procesos bajo restricciones realistas Primera Medición: Se evaluó en los estudiantes el diseño y la simulación del circuito del proyecto, presentados durante la primera parte del curso. Se uGlizó la siguiente rúbrica: Bajo Medio Alto El estudiante muestra poco El estudiante demuestra criterio El estudiante demuestra criterio criterio al diseñar el circuito del al diseñar el circuito del proyecto. al diseñar el circuito del proyecto. proyecto. El diagrama de bloques El diagrama de bloques lo puede El diagrama de bloques lo puede no lo puede plantear como plantear como diagrama plantear como diagrama diagrama esquemáGco. El diseño esquemáGco. El diseño funciona esquemáGco. El diseño funciona no funciona en protoboard y no en protoboard con errores y en protoboard perfectamente y logra una simulación correcta. logra una simulación correcta. logra una simulación correcta. " Consideración numérica del nivel (sobre 10) Estudiantes que obtuvieron: ≤7 Estudiantes que obtuvieron: Entre 8 y 9 Estudiantes que obtuvieron: 10 Ejemplo de Rúbrica Mejorada [4] Criterio (peso) Inicial (0) En Desarrollo (1) Desarrollado (2) Excelencia (3) Selecciona un proyecto de diseño (2) La canGdad de diseño es mínimo ConGene algo de diseño ConGene diseño en su mayoría Todo debe ser diseñado En3ende el fundamento Teórico (1) EnGende superficialmente el funcionamiento del circuito EnGende en detalle el funcionamiento una porción del circuito EnGende en detalle el funcionamiento de la mayor parte del circuito EnGende en detalle el funcionamiento de todo el circuito U3liza la herramienta de simulación (1) El esquemáGco esta completo y la simulación no se ha realizado La simulación se ha realizado sólo para una porción del circuito Se realizó la simulación pero su resultado no ha sido uGlizado Se uGliza los resultados de la simulación para verificar el funcionamiento del circuito Implementa el circuito en protoboard (1) El circuito está parcialmente armado y no funciona El circuito está totalmente armado pero no funciona La mayor parte del circuito funciona Todo el circuito funciona Rendimiento General Inicial En Desarrollo Desarrollado Excelencia Puntaje Requerido 0-­‐4 5-­‐9 10-­‐13 14-­‐15 Puntaje TOTAL Recomendaciones • 
• 
• 
• 
• 
• 
• 
• 
• 
• 
Asegurarse de que los estudiantes se sientan moGvados a realizar el trabajo o responder la pregunta que se uGliza para evaluación (ej. ubicar la pregunta en el primer literal del problema y en las primeras páginas del examen, darle un peso significaGvo). Al diseñar las preguntas, si es posible, tratar de evaluar sólo un criterio a la vez. UGlizar sólo los cuatro niveles establecidos por la insGtución: inicial, en desarrollo, desarrollado y excelencia. Mostrar evidencia de haber calificado sólo la pregunta o trabajo que se uGlizó para la evaluación. Medio electrónico preferiblemente (ej. escanear la resolución de la pregunta con una calidad que requiera poca memoria). Sólo 4 estudiantes, 1 por cada nivel. La rúbrica debe ser unificada para todos los paralelos de una materia, y por ende consensuada entre todos los profesores. Medir el resultado de aprendizaje una sola vez por semestre. Si el curso debe evaluar más de un resultado de aprendizaje, distribuir las mediciones a lo largo del semestre (ej. una en la primera evaluación, y la otra en la segunda evaluación). Verificar que el texto del resultado de aprendizaje a evaluar coincida con el aprobado por el Consejo DirecGvo (ej. “Habilidad para Aplicar Conocimiento de MatemáGcas, Ciencia e Ingeniería”) ABET requiere que las mediciones se realice basados en rúbricas. ABET también requiere que en los portafolios, el análisis de los resultados y el seguimiento que se hace (ej. determinar si los cambios propuestos anteriormente han surGdo efecto) sean escritos en inglés) Referencias [1] Abet Self-­‐study QuesGonnaire: Template For A Self-­‐study Report, 2013-­‐2014 Review Cycle . [2] Gloria Rogers, Ph.D. Managing “Developing Rubrics”, Professional Services ABET, Inc. [3] Matriz de Valoración diseñada y usada por la profesora María del Pilar Aguirre en la Clase de Español, para el grado duodécimo, del Colegio Bolívar, Cali, Colombia. [4] Connie M. Schroeder, “Design Project Assessment Rubric (sample analyGc rubric)”, University of Wisconsin-­‐Milwaukee.