Elaboración de Rúbricas para Medición de Resultados de
Transcripción
Elaboración de Rúbricas para Medición de Resultados de
Elaboración de Rúbricas para Medición de Resultados de Aprendizaje Dr. Síxifo Falcones FIEC – ESPOL 2013 Criterios ABET [1] • • • • • • • • • Criterion 1. Students Criterion 2. Program EducaGonal ObjecGves Criterion 3. Student Outcomes Criterion 4. ConGnuous Improvement Criterion 5. Curriculum Criterion 6. Faculty Criterion 7. FaciliGes Criterion 8. InsGtuGonal Support Program Criteria CRITERION 4. CONTINUOUS IMPROVEMENT [1] This secGon of your self-‐study report should document your processes for regularly assessing and evaluaGng the extent to which the student outcomes are being aZained. This secGon should also document the extent to which the student outcomes are being aZained. It should also describe how the results of these processes are being uGlized to effect conGnuous improvement of the program. Evaluation and analysis and making a determination of the value of findings and action to be taken. Terminología ABET [2] ABET Terms Program Educational Objectives 2011 Definitions Broad statements that describe what graduates are expected to attain within a few years after graduation. Student Outcomes Student outcomes describe what students are expected to know and able to do by the time of graduation. These relate to the knowledge, skills, and behaviors that students acquire as they progress through the program. Performance Criteria Specific, measurable statements identifying the performance(s) required to meet the outcome; confirmable through evidence. Assessment Assessment is one or more processes that identify, collect, and prepare data to evaluate the attainment of student outcomes and program educational objectives. Effective assessment uses relevant direct, indirect, quantitative and d qualitative l measures as appropriate to the h objective b or outcome being measured. Appropriate sampling methods may be used as part of an assessment process. Evaluation Evaluation is one or more processes for interpreting the data and evidence accumulated through assessment processes. Evaluation determines the extent to which student outcomes and program educational objectives are being attained. Evaluation results in decisions and actions regarding program improvement. ABET Student Outcomes [1] a) An ability to apply knowledge of mathemaGcs, science and engineering b) An ability to design and conduct experiments, as well as to analyze and interpret data c) An ability to design a system, component, or process to meet desired needs within realisGc constraints such as economic, environmental, social, poliGcal, ethical, health and safety, manufacturability, and sustainability d) An ability to funcGon on mulGdisciplinary teams e) An ability to idenGfy, formulate, and solve engineering problems f) An understanding of professional and ethical responsibility g) An ability to communicate effecGvely (3g1 orally, 3g2 wriZen) h) The broad educaGon necessary to understand the impact of engineering soluGons in a global, economic, environmental, and societal context i) A recogniGon of the need for, and an ability to engage in life-‐long learning j) A knowledge of contemporary issues k) An ability to use the techniques, skills, and modern engineering tools necessary for engineering pracGce. Ejemplos de Criterios de Desempeño (Performance Criteria) para Evaluar El Resultado de Aprendizaje “d” [2] inar-March 2010 Program Educational Objective Graduates will be able to demonstrate ability to solve complex problems and participate in a team based environment Program Student Outcome Outcome Ability to An ability to func3on function on effectively mul3discipl on a team inary teams Performance Criteria Researches and gathers i f information i Fulfill duties of team roles Shares in work of team Listens to other teammates C Taxonomía de Bloom: Niveles del Dominio CogniGvo [2] Los verbos uGlizados para definir los criterios desempeño deben ser escogidos según el nivel al cual corresponde el curso. 14 Evaluation DEMONSTRATE/CREATE Synthesis Advanced Analysis REINFORCE Comprehension Knowledge INTERMEDIATE NOVICE INTRODUCE t © 2007 by ABET,, Inc. Application Taxonomía de Bloom: Niveles del Dominio CogniGvo [3] COGNITIVE:learning is demonstrated by knowledge recall and the intellectual skills: comprehending information, organizing ideas, analyzing and synthesizing data, applying knowledge, choosing among alternatives in problem-solving, and evaluating ideas or actions. Level Knowledge Illustrative Verbs arrange, define, describe, duplicate, identify, label, list, match, memorize, name, order, outline, recognize, relate, recall, repeat, reproduce, select, state Definition remembering previously learned information classify convert, classify, convert defend defend, describe describe, discuss discuss, distinguish distinguish, estimate, explain, express, extend, generalize, give grasping the Comprehension examples, identify, indicate, infer, locate, paraphrase, meaning of predict, recognize, rewrite, report, restate, review, select, information summarize, translate Application Analysis apply, change, choose, compute, demonstrate, discover, dramatize, employ, illustrate, interpret, manipulate, applying knowledge modify, operate, practice, predict, prepare, produce, to actual situations relate, schedule, show, sketch, solve, use, write analyze, appraise, break down, calculate, categorize, compare, contrast, criticize, diagram, differentiate, discriminate, distinguish, examine, experiment, identify, illustrate, infer, model, outline, point out, question, relate, select, separate, subdivide, test Example memory of specific facts, terminology, rules, sequences, procedures, classifications, categories, criteria, methodology, principles, theories, and structure stating problem in own words, words translating a chemical formula, understanding a flow chart, translating words and phrases from a foreign language taking principles learned in math and applying them to figuring the volume of a cylinder in an internal combustion engine breaking down objects or ideas into discussing how fluids and liquids differ, simpler parts and detecting logical fallacies in a student's seeing how the explanation of 's s 1st law of motion parts relate and are organized Synthesis arrange, assemble, categorize, collect, combine, comply, compose, construct, create, design, develop, devise, rearranging design, explain, formulate, generate, integrate, manage, component ideas modify, organize, plan, prepare, propose, rearrange, into a new whole reconstruct, relate, reorganize, revise, rewrite, set up, summarize, synthesize, tell, write writing a comprehensive report on a problem-solving exercise, planning a program or panel discussion, writing a comprehensive term paper Evaluation appraise, argue, assess, attach, choose, compare, conclude, contrast, defend, describe, discriminate, estimate, evaluate, explain, judge, justify, interpret, relate, predict, rate, select, summarize, support, value evaluating alternative solutions to a problem, detecting inconsistencies in the speech of a student government representative making judgments based on internal evidence or external criteria r-March 2010 Copy Las Rúbricas en el Proceso de Mejoramiento ConGnuo [2] Program Educational Objectives Assess/ E l t Evaluate RUBRICS Mission Program g ((Student)) Outcomes Constituent/ Stakeholder Evaluation: Interpretation of Evidence Feedback for Continuous Improvement Measurable M bl Performance Criteria Educational Practices/Strategies Assessment: Collection, Analysis of Evidence Assessment for Continuous Improvement© Gloria Rogers – ABET, Inc. ¿Qué son las Rúbricas? [2] • Son la manera de definir de manera específica lo que se espera del desempeño de los estudiantes. • Establecen las caracterísGcas de los varios niveles de desempeño. • Pueden ser uGlizadas para generar una calificación total o parcial, pero de una manera más específica, detallada y disociada que una calificación. • Proveen a los evaluados información clara de su desempeño y una indicación clara de lo que necesitan alcanzar para mejorar su desempeño. ¿Qué es una Rúbrica? [2] • Normalmente conGenen tres componentes: – Dimensiones (criterios de desempeño) – Escala (niveles de desempeño) – Descriptores (Indicadores concretos para cada nivel) Componentes de una Rúbrica [3] Dimensiones Escala Excelente Cumplió Bien Cumplió Preparación Buen proceso de preparación, muestra profundidad en el desarrollo del tema. Cumplido en la presentación de los resúmenes aprovecha el Gempo para aclaraciones. Presenta el resumen y la acGvidad planeada sucintamente. Sustentación Teórica Domina el tema propuesto, logra conectarlo y explicarlo en sus diferentes aspectos. La evaluación logra analizar el tema. Logra explicar el tema relacionando los diferentes aspectos de éste. La evaluación Gene en cuenta los diversos aspectos presentados. Conoce el tema superficialmente, logra explicar los puntos planteados. La acGvidad de evaluación es poco adecuada. Manejo de la Discusión Bien liderada, suscita controversia y parGcipación. Es Organizada, puede contestar los diferentes interrogantes. La dirige, no resalta los puntos más importantes no llega a conclusiones. Par3cipación PerGnente. AcGva, es fundamental para el buen desarrollo de cada uno de los temas. Oportuna, aporta buenos elementos, presta atención a las disGntas parGcipaciones. Está presente. Presta poca atención a las disGntas parGcipaciones. Descriptores Percent meeting target performance 100% Tipos de Rúbrica [2] 81% 80% 60% Analí3ca 38% Work Effectively in Teams 40% 20% 0% Research & Gather Information 25% Satisfactory 3 Exemplary 4 Collects very y little information--some relates to the topic. Collects some basic information-most relates to the topic. Collects a g great deal of information-all relates to the topic. Unsatisfactory 1 Developing 2 Does not collect any information that relates to the topic. Research Fulfill Roles Share in Information work Copyright 2010 Example of Results Work effectively in teams Listens Fulfill Team Role's Duties Does not perform any duties of assigned team role. Performs very little duties. Performs nearly all duties. Performs all duties of assigned team role. Share in work of team Always relies on others to do the work. Rarely does the assigned work-often needs reminding. Usually does the assigned work-rarely needs reminding. Always does the assigned work without having to be reminded. Listen to Other Teammates Is always talking-never allows anyone else to speak. Usually doing most of the talking--rarely allows others to speak. Listens, but sometimes talks too much. Listens and speaks a fair amount. 100% Teaming Skills 4% 6% Copyright © 2007 by ABET,, Inc. Holís3ca 54% 32 4% 25% 80% 100% 34% 49% G. Rogers - ABET, Inc. 60% 60% 40% 40% 20% 20% 0% At a level expected for a student who will graduate? 25% [email protected] 77% 30% 30% 50% 32% 19% 15% 0% Research and gather information Fulfill roles and duties Exemplary Developing Shares in work Listens Satisfactory Unsatisfactory Copyright © 2007 by ABET,, Inc. 80% ¿Cuál Tipo UGlizar? [2] • UGlizar una rúbrica holísGca cuando: – Una vista rápida del desempeño es suficiente – Una sola dimensión es adecuada para entender el desempeño del estudiante • UGlizar una rúbrica analíGca cuando: – – – – Se necesita analizar debilidades y fortalezas Retroalimentación detallada es necesaria para realizar mejoras Se necesita evaluar habilidades complicadas Se quiere que los estudiantes autoevalúen su propio entendimiento o desempeño • El número niveles en la escala debe ser no más de 6, de lo contrario la confiabilidad el inter-‐evaluador e intra-‐ evaluador se ve compromeGda. Ejemplo de Rúbrica Incorrecta Resultado de Aprendizaje “C” Diseñar sistemas, componentes o procesos bajo restricciones realistas Primera Medición: Se evaluó en los estudiantes el diseño y la simulación del circuito del proyecto, presentados durante la primera parte del curso. Se uGlizó la siguiente rúbrica: Bajo Medio Alto El estudiante muestra poco El estudiante demuestra criterio El estudiante demuestra criterio criterio al diseñar el circuito del al diseñar el circuito del proyecto. al diseñar el circuito del proyecto. proyecto. El diagrama de bloques El diagrama de bloques lo puede El diagrama de bloques lo puede no lo puede plantear como plantear como diagrama plantear como diagrama diagrama esquemáGco. El diseño esquemáGco. El diseño funciona esquemáGco. El diseño funciona no funciona en protoboard y no en protoboard con errores y en protoboard perfectamente y logra una simulación correcta. logra una simulación correcta. logra una simulación correcta. " Consideración numérica del nivel (sobre 10) Estudiantes que obtuvieron: ≤7 Estudiantes que obtuvieron: Entre 8 y 9 Estudiantes que obtuvieron: 10 Ejemplo de Rúbrica Mejorada [4] Criterio (peso) Inicial (0) En Desarrollo (1) Desarrollado (2) Excelencia (3) Selecciona un proyecto de diseño (2) La canGdad de diseño es mínimo ConGene algo de diseño ConGene diseño en su mayoría Todo debe ser diseñado En3ende el fundamento Teórico (1) EnGende superficialmente el funcionamiento del circuito EnGende en detalle el funcionamiento una porción del circuito EnGende en detalle el funcionamiento de la mayor parte del circuito EnGende en detalle el funcionamiento de todo el circuito U3liza la herramienta de simulación (1) El esquemáGco esta completo y la simulación no se ha realizado La simulación se ha realizado sólo para una porción del circuito Se realizó la simulación pero su resultado no ha sido uGlizado Se uGliza los resultados de la simulación para verificar el funcionamiento del circuito Implementa el circuito en protoboard (1) El circuito está parcialmente armado y no funciona El circuito está totalmente armado pero no funciona La mayor parte del circuito funciona Todo el circuito funciona Rendimiento General Inicial En Desarrollo Desarrollado Excelencia Puntaje Requerido 0-‐4 5-‐9 10-‐13 14-‐15 Puntaje TOTAL Recomendaciones • • • • • • • • • • Asegurarse de que los estudiantes se sientan moGvados a realizar el trabajo o responder la pregunta que se uGliza para evaluación (ej. ubicar la pregunta en el primer literal del problema y en las primeras páginas del examen, darle un peso significaGvo). Al diseñar las preguntas, si es posible, tratar de evaluar sólo un criterio a la vez. UGlizar sólo los cuatro niveles establecidos por la insGtución: inicial, en desarrollo, desarrollado y excelencia. Mostrar evidencia de haber calificado sólo la pregunta o trabajo que se uGlizó para la evaluación. Medio electrónico preferiblemente (ej. escanear la resolución de la pregunta con una calidad que requiera poca memoria). Sólo 4 estudiantes, 1 por cada nivel. La rúbrica debe ser unificada para todos los paralelos de una materia, y por ende consensuada entre todos los profesores. Medir el resultado de aprendizaje una sola vez por semestre. Si el curso debe evaluar más de un resultado de aprendizaje, distribuir las mediciones a lo largo del semestre (ej. una en la primera evaluación, y la otra en la segunda evaluación). Verificar que el texto del resultado de aprendizaje a evaluar coincida con el aprobado por el Consejo DirecGvo (ej. “Habilidad para Aplicar Conocimiento de MatemáGcas, Ciencia e Ingeniería”) ABET requiere que las mediciones se realice basados en rúbricas. ABET también requiere que en los portafolios, el análisis de los resultados y el seguimiento que se hace (ej. determinar si los cambios propuestos anteriormente han surGdo efecto) sean escritos en inglés) Referencias [1] Abet Self-‐study QuesGonnaire: Template For A Self-‐study Report, 2013-‐2014 Review Cycle . [2] Gloria Rogers, Ph.D. Managing “Developing Rubrics”, Professional Services ABET, Inc. [3] Matriz de Valoración diseñada y usada por la profesora María del Pilar Aguirre en la Clase de Español, para el grado duodécimo, del Colegio Bolívar, Cali, Colombia. [4] Connie M. Schroeder, “Design Project Assessment Rubric (sample analyGc rubric)”, University of Wisconsin-‐Milwaukee.