Tendencias en la evaluacion del aprendizaje en los EEUU.pptx

Tendencias en la evaluacion del aprendizaje en los EEUU.pptx

11/27/12 Tendencias en la evaluación del conocimiento y aprendizaje en la universidad estadounidense 14 de Noviembre 2012 Alberto F. Cabrera Profesor en Educación Superior Universidad de Maryland 1 Tendencias •  Situación actual de la educación superior en los EEUU –  Nueve tendencias •  Tendencias emergentes en la evaluación –  Énfasis en evaluar el involucramiento del estudiante en acDvidades de alto aprendizaje. •  Proyecto NSSE –  Énfasis en medir el valor agregado de la universidad. •  Proyecto AHELO –  Énfasis en la formación general (‘liberal arts educaDon”) e implicación civil y social •  Un Momento de Encrucijada (A Crucible Moment) –  Énfasis en la adquisición de competencias o destrezas •  El rol de los agentes de influencia en las prácDcas y políDcas educaDvas 2 1 11/27/12 Contexto Nueve Tendencias destacadas 1.  Pérdida de posición relaDva en la formación de egresados de la educación terciaria 2.  Otros países superaron a los EEUU en la producción de egresados en ingeniería entre 1985 y 2005 3.  Demandas crecientes de los empleadores de egresados preparados para la economía del siglo XXI 4.  51% de los egresados de la preparatoria carecen del dominio del idioma al nivel requerido para la universidad 5.  Es costoso ir a la universidad. De 1981 al 2012, el coste total de matricularse en la universidad publica casi se triplico. 3 Contexto Nueve tendencias destacadas 6.  Aproximadamente 40% de los estudiantes que ingresan a la universidad requieren al menos de un curso de nivelación 7.  Debate creciente sobre cuanto aprenden los estudiantes a medida de que el estudiante invierte menos horas en sus estudios. 8.  Desigualdad en el acceso y éxito en la universidad por parte de las minorías y de la población de bajos recursos socioeconómicos 9.  En el 2007, los EEUU ocuparon el 139 lugar en la parDcipación de la ciudadanía en el voto popular. 4 2 11/27/12 En 1998, los EEUU ocupaban el tercer lugar en la producción de btulos terciarios. En el 2009, los EEUU ocuparon el octavo lugar Retrieved in September 13, 2011 from
http://www.washingtonpost.com/local/education/playing-catch-up-in-college-completion/2011/09/12/gIQAegt6NK_graphic.html
Fuente: ep://www.slideshare.net/OECDEDU/eag-­‐2011-­‐key-­‐results 5 6 3 11/27/12 Porcentaje de 2tulos universitarios en Ingeniería: 1990-­‐2008 30 25 20 OCDE Japon 15 Corea Espana 10 EEUU 5 0 1990 1995 2000 2005 2007 2008 Basado en : Digest of Education Statistics 2011, Table 426
7 Porcentaje de 2tulos universitarios en MatemaCcas y Ciencias: 1990-­‐2008 40 35 30 OCDE 25 Japon 20 Corea 15 Espana 10 EEUU 5 0 2000 2005 2007 2008 Basado en : Digest of Education Statistics 2011, Table 426
8 4 11/27/12 Creciente demanda de los empleadores de egresados con
habilidades de orden superior
Fuente: Consejo de Índice de Competitividad de Competitividad
Fuente: Carol Geary Schneider, President, Association of American
Colleges and Universities. Chicago, Illinois. 11 de Abril del 2011
9 Proporción empleadores que reportan que la educación terciaria debería poner más énfasis en ayudar a los estudiantes a desarrollar las siguientes áreas :
Comunicación efecDva en forma oral y escrita Pensamiento críDco y razonamiento analíDco Conocimiento aplicado a situaciones reales Resolver problemas complejos Decisiones con base moral Habilidad para trabajar en equipo Habilidad para innovar Conocimiento de ciencia y tecnología 89%
81%
79%
75%
75%
71%
70%
70%
Fuente: “Raising the Bar: Employers’ Views on College Learning in the Wake of the Economic Downturn” (AAC&U and Hart Research Assoc. 2010) 10 5 11/27/12 Fuente: College Board (2011). Trends in college pricing Coste&de&matricula&en&universidades&publicas&
como&porcentaje&del&ingreso&familiar:&1993:2004&
60&
50&
40&
49&
40&
30&
25&
28&
19&
20&
1993&
21&
2004&
11&
10&
13&
0&
Ingreso&Bajo&
Ingreso&Medio&
Bajo&
Ingreso&Medio&
Ingreso&Alto&
Fuente:'College'Board'(2005).'Trends'in'college'pricing'
11 Preocupación creciente de que los estudiantes no aprenden y se desarrollan Fuente: Babcok & Marks (2010), p. 2 y 3. 12 6 11/27/12 13 Desigualdad en el acceso y éxito en el sector terciario por parte de las minorías y la población de bajos recursos socioeconómicos 14 7 11/27/12 Porcentaje de la población de 25- a- 29-años con
titulo universitario por etnia. Marzo 2007
35.5
40
35
29.6
30
25
19.5
20
11.6
15
10
5
0
Total
Origen Europeo
Origen Africano
Origen
Latinoamericano
Basado en IES (2008). The condition of education 2008. Indicator 25 Educational Attainment.
Appendix 1, Table 25-3, p. 145.
Degree attainment by HS academic resources and first institution type for LowestLowest-SES students
Academic
Resources
First Institution of
Attendance Type
4-Year
14.2% (9,175)
Low
22.0% (64,567)
2-Year
51.3% (33,090)
Probability of Securing a 4-Year Degree
4-Year
Other
Other
34.5% (22,302)
4-Year
27.7% (42,968)
Number
of Students
(292,691)
Medium
53.0% (155,037)
2-Year
47.4% (73,442)
High
25.0% (73,087)
2-Year
39.4% (28,841)
Other
10.7% (7,794)
0.7
0.0
0
10
%
4-Year
20
30
26
2-Year
3.3
Other
Other
24.9% (38,627)
4-Year
49.9% (36,452)
20.8
2-Year
2.9
0
10
20
%
30
4-Year
40
58.5
2-Year
18.2
Other
13.0
0
25
%
Cabrera, Burkum,
& La B
Nasa
(2005).LPathways
to aBFour-Year
degree
Fuente: Cabrera, urkum, aNasa &
ibo (2012). Pathways to a 4-­‐year degree. 50
75
16 8 11/27/12 Máxima escolaridad a nivel terciario obtenida en el año 2000 por la corte de estudiantes del octavo grado en 1980 70 65 60 Porcentaje 50 40 40 33 Europeo 30 LaDno 17 20 10 4 3 8 8 15 7 0 Ninguno CerDficado Asociado Licenciatura Postgrado Fuente: Swail, W. S., Cabrera, A.F., Lee, C., & Williams, A. (2005). Pathways to the bachelor’s degree for LaCno students 17 Tendencias Emergentes en la evaluación del aprendizaje •  Énfasis en evaluar el involucramiento del estudiante en acDvidades de alto aprendizaje. –  Proyecto NSSE •  Énfasis en medir el valor agregado de la universidad. –  Proyecto AHELO •  Énfasis en la formación general (‘liberal arts educaDon”) e implicación civil y social –  Un Momento de Encrucijada (A Crucible Moment) •  Énfasis en la adquisición de competencias o destrezas 18 9 11/27/12 Postulado de NSSE: El involucramiento con la universidad está ligado al aprendizaje. Los 5 Indicadores del proyecto NSSE (Universidad de Indiana) 1.  ParCcipación en métodos de aprendizaje acCva y colaboraCva 2.  Nivel de reto académico 3.  Interacciones con el profesorado dentro y fuera del aula 4.  Experiencias educaCvas enriquecedoras 5.  Clima de tolerancia y apoyo 19 NSSE Benchmarks basados en 250,000 estudiantes universitarios del primer y úlCmo año provenientes de 620 universidades entre los años 2000-­‐02 Experiencias educativas enriquecedoras
Fuente: Kuh (2004). The contribuDons of the research university to assessment and innovaDon in Undergraduate educaDon. p. 174-­‐175 20 10 11/27/12 ¿En qué medida NSSE está influyendo? •  Uso creciente: – En 1999, solo 56 universidades parDciparon. – En el 2009, 1400 insDtuciones parDciparon •  USA Today: En el 2009, 443 universidades publicaron sus puntajes en las cinco dimensiones del NSSE hep://www.usatoday.com/news/
educaDon/nsse.htm 21 Cabrera 22 22 11 11/27/12 NSSE ha sido reconocido por varias organizaciones de universidades presCgiosas entre ellas AAC&U y APLU 23 Empero, los resultados sobre la validez de los 5 indicadores de NSSE han sido contradictorios •  Pascarella, Seifer y Blaich (2009) reportaron que sólo 4 indicadores tuvieron correlación significaCva con 6 indicadores de aprendizaje. Las correlaciones ajustadas revelaron bajo nivel de asociación. •  Carini, Kuh y Klien (2006) reportaron bajas correlaciones entre algunos indicadores NSSE y desempeño académico. •  Gordon, Ludlum, y Hoey (2008) mostraron que los 5 indicadores NSSE tuvieron poca validez predicCva del desempeño en la universidad y en la persistencia en los estudios. •  Campbell y Cabrera (2011) encontraron que los 5 indicadores NSSE no eran confiables. Más aún, ellos reportaron que ningún indicador predijo desempeño académico. •  Porter (2011) revisó la literatura y concluyó que los 5 indicadores NSSE no saCsfacen principios básicos de validez y confiabilidad •  Arum and Roska (2011) encontraron que los estudios sobre NSSE no han demostrado en forma sistemáCca que las medidas subjeCvas de involucramiento o implicación contenidas en el cuesConario de NSSE están consistentemente 24 24 asociadas con el desarrollo del aprendizaje. 12 11/27/12 Asociación Americana de Colegios y Universidades (AAC&U) •  Fundada en 1915, es una de las organizaciones mas anDguas y presDgiosas en los EEUU •  Es el líder en poner énfasis en el aprendizaje y desarrollo del estudiante como mecanismo fundamental para evaluar la universidad Consecución del Ctulo universitario Calidad del aprendizaje Fuente: Dr. Tia McNair (2012). AssociaCon of American Colleges and UniversiCes 25 Recomendaciones clave para la educación superior en los EEUU •  Emphasis en la 1.  Fomentar una cultura de responsabilidad hacia la sociedad en todos los ámbitos de la universidad 2.  Hacer de la educación cívica una expectaDva básica para todos los estudiantes universitarios 3. Fomentar la reflexión ciudadana en todas las disciplinas académicas 4.  Fomentar la acción y responsabilidad civil. Fuente: Dr. Caryn McTighe Musil (2012). 26 AssociaCon of American Colleges and UniversiCes 13 11/27/12 Áreas de Aprendizaje a EnfaDzar • 
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
InvesDgación y Análisis Pensamiento críDco y creaDvo Comunicación oral y escrita Conocimientos en áreas cuanDtaDvas Habilidad para procesar información Trabajo en equipo y resolución de problemas Conocimiento y compromiso cívico-­‐local y global Competencia intercultural Razonamiento ÉDco Aprendizaje Permanente Conocimientos especializados y generales Fuente: Dr. Caryn McTighe Musil (2012). AssociaCon of American Colleges and UniversiCes 27 Problemas con el enfoque de implicación social de AAC&U •  Las recomendaciones asumen que todos los estudiantes están igualmente predispuestos a implicarse con la sociedad •  Se necesita invesDgación para determinar las experiencias que más impactan a largo plazo el compromiso del estudiante con la parDcipación ciudadana (Hollander y Burack, 2009). •  Las preguntas de invesDgación –  ¿En qué medida los estudiantes se involucran en comportamientos cívicos mientras asisba a la universidad? –  ¿En qué medida pueden los estudiantes clúster diversos comportamientos cívicos? 28 14 11/27/12 Los estudiantes universitarios como ciudadanos: Descubriendo las dimensiones de la parDcipación ciudadana en la universidad AssociaDon for the Study of Higher EducaDon (ASHE) 2012, Las Vegas, NV
David Weerts Alberto Cabrera Paulina Pérez Mejías University of Minnesota University of Maryland University of Maryland InvesCgando el comportamiento cívico del estudiante universitario O la historia de Águilas, abejas, nutrias y koalas 15 11/27/12 Clases de estudiantes por Dpo de implicación 1 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0 Professional Service Environment Aguilas (30.2%) PoliDcal Nutrias (6.2%) Social Cultural Abejas (38.9%) Youth Community Koalas(24.7%) Unpacking Civic Behaviors in College
Class
Class 1: EAGLES (30%)
Class 2: OTTERS (6%) Behavior
Social Cultural Community PoliCcal Professional Youth Service Environment
Social
Class 3: HONEYBEES (39%)
Professional Service Social Community (NON-­‐poliCcal or environmental) Class 4: KOALAS (25%)
None reported
Civic orientaCons/examples Involved in a robust set of civic-­‐oriented acCviCes that demonstrate a high level of involvement in campus/off-­‐campus programs (leadership, policymaking, etc.) Examples: Student Government, Campus Greening Commimee, Chemistry Society, Service Clubs, ParCsan poliCcal groups
Involved exclusively in social organizaCons, not clearly connected to civic purposes. Examples: Film FesCval Club, Dance Society, Sailing Club
Involved in professional, social-­‐fraternal, and provide value to the larger community. Behaviors NOT poliCcal or environmentally cause-­‐related. Examples: Business/service-­‐oriented sorority or fraternity (e.g., Lead charitable/service event to benefit local chapter of the Special Olympics)
No behaviors were reported related to the dimensions expressed above. The alum was not involved in civic or social organizaCons while in college. 16 11/27/12 Énfasis en medir el valor agregado de la universidad
•  Preocupación creciente por falta de evidencia de lo que los estudiantes universitarios en realidad aprenden. –  MoDvada por el reporte de La Comisión del Gobierno Federal Spellings del 2007 (A test of Leadership) •  Búsqueda de pruebas objeDvas que permitan evaluar habilidades en pensamiento críDco, razonamiento analíDco, habilidad para resolver problemas y habilidad para redactar documentos •  Se han desarrollado tres pruebas que tratan de medir estas habilidades –  Collegiate Learning Assessment (CLA) –  Collegiate Assessment Proficiency (CAAP) –  Measure of Academic Proficiency and Progress (MAPP) 33 AHELO: Evaluación de Aprendizaje en Educación Superior
•  La OCDE esta financiando un estudio para evaluar la viabilidad e la implementación de pruebas internacionales para comparar el desarrollo del aprendizaje a nivel internacional sin importar el idioma o contexto cultural y educaDvo. La prueba AHELO se basa en la prueba CLA •  La prueba CLA se basa en estudios de caso 34 17 11/27/12 Académicamente a la Deriva Richard Arum y Josipa Roksa •  El estudio siguió a más de 2000 estudiantes que se incorporaron a 24 insDtuciones en el otoño de 2005. •  45% de los estudiantes no lograron mejorar significaDvamente su habilidad en composición escrita y pensamiento críDco de acuerdo a los puntajes en la prueba CLA, durante sus primeros dos años de universidad •  Durante el tercer año escolar, 36% de los estudiantes no mejoraron en su aprendizaje 35 Desempeño(en(Promedio(en(la(prueba(CLA(
a(través(de(diferentes(grupos(étnicos((
La falta de mejora también se observó a través de niveles socioeconómicos y grupos étnicos. 1240(
1200(
1160(
1120(
1080(
1040(
1000(
960(
920(
880(
840(
800(
2005(
2006(
Origen(Africano( Origen(AsiaCco( Origen(LaCno( Origen(Europeo(
americano(
Desempeño(en(Promedio(en(la(prueba(CLA(a(
través(de(niveles(de(educación(de(los(padres((
Basado(en(Arum(&(Roksa((2011).(Table(A.2.1.(
1240(
1200(
1160(
2005(
La desigualdad entre los grupos étnicos permaneció a lo largo de los dos primeros años de la universidad. 2006(
1120(
1080(
1040(
Sin(estudios(
Sin(grado(
Grado(
Postgraduado(
Basado(en(Arum(&(Roksa((2011).(Table(A.2.1.(
36 18 11/27/12 Cambios en el enfoque en acreditación
•  Abandono del uso de recursos, procesos y
productos en favor de logros y adquisición
de competencias.
–  Énfasis en el desarrollo del estudiante como
punto focal en la evaluación.
•  1996 Middle States: Framework for Outcomes Assessment.
–  “El objetivo final en la evaluación es el mejoramiento del
aprendizaje y la enseñanza”
–  Asociación de escuelas de ingeniería (ABET).
•  Nuevos criterios de evaluación enfatizan el aprendizaje y la
enseñanza. Criterios de evaluación ABET 2000
37 Criterios de acreditación por parte de
ABET 2000: Habilidad para:
1.  Aplicar matemáticas,
ciencias y tecnología
2.  Diseñar y conducir
experimentos e
interpretar análisis
3.  Diseñar sistemas,
componentes o
procesos
4. 
Trabajar en equipos
multidisciplinarios
5. 
Identificar, formular y
resolver problemas de
ingeniería
6. 
Comunicarse
efectivamente
7. 
Usar técnicas, métodos e
instrumentos avanzados
38 19 11/27/12 Evaluando el impacto de acreditación ABET 2000 en
cambio de prácticas educativas en Ingeniería
1.  Directores de programa
reportan cambios en
prácticas educativas.
2.  Profesores reportan
adopción de métodos
educativos activos
3.  Se notaron cambios en
el reporte de
aprendizaje entre las
generaciones de 1994 y
del 2004
39 Fuente: Volkwein et al., (2007).
Un ejemplo del uso de competencias en la evaluación de programas académicos •  El caso de la Licenciatura en Criminología de la Universidad N. Morris •  Caso presentado ante la Fundación de Educación del Sureste. Conferencia sobre evaluación de resultados de aprendizaje •  Febrero 2 al 4 del 2012 40 20 11/27/12 41 42 21 11/27/12 En resumen •  El énfasis mayor es el de la búsqueda de indicadores que permitan evaluar el impacto de la universidad en el desarrollo cognosciDvo del estudiante a traves de diversas culturas, disciplinas academicas y Dpo de insDtuciones. •  La prueba CLA esta adquiriendo auge para evaluar el impacto de la universidad tanto en los EEUU como entre los miembros de la OCDE •  Hay una preocupacion creciente de que hay que formar egresados que tengan responsabilidad social. El reporte de Un Momento de Encrucijada ilustra esta preocupacion. 43 ¿Preguntas? 44 22 11/27/12 Por su atención 45 Bibliografía Arum, R. & Roksa, J. (2011). Academically adri7: Limited learning on college campuses. The University of Chicago Press. Babcok, P. & Marks, M. (2010). Leisure college USA: The decline in study Dme. Report # 7. Washington, DC.: American Enterprise InsDtute for Public Research. Cabrera, A.F., Burkum, K.R., & LaNasa, S.M, & Bibo, E.W. (2012). Pathways to a Four-­‐Year Degree: Determinants of Degree CompleDon (pp.167-­‐210). In A. Seidman (Ed.), College Student RetenDon: Formula for Student Success. Westport, CT: Praeger Publisher. Cabrera, A. F. & La Nasa, S. (2005). Classroom teaching practices: Ten lessons
learned. En W. de Vries (Ed.). Calidad, eficiencia y evaluación de la
educación superior (129-151). España, Madrid: Netbiblo.
Cabrera, A. F., Colbeck, C. L. & Terenzini, P. T. (2001). Developing performance
indicators for assessing classroom teaching practices and student learning.
Research in Higher Education, 42(3), 327-352.
Cabrera, A., Weerts, D. J., and Zulick, B. (2005). Making an Impact with Alumni
Surveys. In D. Weerts and J. Vidal, Reframing the Benefits of Alumni
Surveys: Lessons from the United States and Europe (pp. 5-17) New
Directions for Institutional Research. San Francisco: Jossey-Bass Publishing. 46 23 11/27/12 Bibliografía Campbell, C. & Cabrera, A.F. (2011). How sound is NSSE? InvesDgaDng the psychometric properDes of NSSE at a public, research extensive insDtuDon. Review of Higher EducaAon, 35(1), 77-­‐103 De Vise, D. (Mayo 22,2012). Are college sudents sailing through? Debate grows over how much they are learning as they spend less and less Dme studying. Washington Post, A1, A9 Kuh, G. D., Kinzie, J., Schuh, J. H., Whitt, E. J. &
associates.(2005). Student success in college:
Creating conditions that matter. San Francisco:
Jossey-Bass. Swail, W. S., Cabrera, A. F., Lee, C., & Williams, A. (2005). Part III: Pathways to the bachelor’s degree for LaAno students. Washington, DC.: The EducaDonal Policy InsDtute. 47 Bibliografía
The NaDonal Task Force on Civic Learning & DemocraDc Engagement. (2012). A crucible moment: College learning and democracy’s future. Washington, DC.: AAC&U.
Mayhew, M. J., Wolniak, G.C. & Pascarella, E. T. (2008).
How educational practices affect the development of
life-long learning orientations in traditional-aged
undergraduate students. Research in Higher
Education, 49(4), 337-356.
Volkwein, J. F., Lattuca, L.S., Harper, B. J. & Domingo,
R. J. (2007). Measuring the impact of professional
accrediation on student experiences and learning
outcomes. Research in Higher Education, 48(2),
251-282
48 24