Nivel 1 - Enlace - Secretaría de Educación Pública
Transcripción
Nivel 1 - Enlace - Secretaría de Educación Pública
Manual Técnico enlace Media Superior 2008-2010 Manual Técnico de la prueba Evaluación Nacional de Logro Académico en Centros Escolares de Educación Media Superior (enlace ms) D.R. © 2012, Centro Nacional de Evaluación para la Educación Superior, A.C. (Ceneval) Av. Camino al Desierto de los Leones 19, Col. San Ángel, Deleg. Álvaro Obregón, C.P. 01000, México, D.F. www.ceneval.edu.mx Diseño y formación: Álvaro Edel Reynoso Castañeda Febrero de 2012 Directorio del Ceneval Director General Mtro. Rafael Vidal Uribe Directora General Adjunta de Programas Especiales Dra. Rocío Llarena de Thierry Directora de Programas para la Administración Pública Dra. Alejandra Zúñiga Bohigas Coordinación de la prueba Lic. Sandra Reyes Lüscher Elaboración Lic. Sandra Reyes Lüscher Dra. Alejandra Zúñiga Bohigas Equipo de colaboración Lic. Araceli Castillo Núñez Lic. Erika Asunción González Mendieta Lic. Rubén Lugo Campos Psic. José Rodrigo Alanis Quezada Psic. Laura Audiffred Maldonado Lic. Sandra Villagómez Pérez Lic. Martha Verónica Contreras Valdés Lic. Claudia Guadalupe Durán Velandia Mtra. María del Carmen Zafrilla Sánchez Lic. Rafael Kornhauser García Índice Presentación 11 1. Antecedentes 15 2. Características generales de la prueba 19 20 20 20 20 22 23 23 2.1 2.2 2.3 2.4 2.5 2.6 2.7 Objetivo Propósito Población objetivo Características psicométricas Alcances y limitaciones Administración Resultados 3. Desarrollo de la prueba 3.1 Definición del contenido 3.1.1 Habilidad Lectora 3.1.2 Habilidad Matemática 3.2 Estructura de la prueba 3.2.1 Especificaciones de reactivos 3.3 Elaboración y validación de reactivos 3.3.1 Capacitación a elaboradores y validadores 3.3.2 Revisión cualitativa 3.3.2.1Revisión técnica 3.3.2.2Validación con especialistas 3.3.2.3Revisión de estilo 3.3.3 Revisión Cuantitativa 3.3.3.1Calibración de reactivos 3.3.3.2Corrección y validación externa 3.3.4 Mantenimiento del banco de reactivos 3.4 Ensamble de la prueba 3.4.1 Revisión editorial e impresión del instrumento 25 27 28 33 36 37 37 38 39 39 40 40 41 42 44 44 45 47 4. Aplicación 4.1 Diseño muestral 5. Calificación 5.1 Confiabilidad de la prueba 5.2 Establecimiento de puntos de corte y definición de niveles de desempeño 5.2.1 Análisis empírico 5.2.2 Análisis de juicio 5.2.2.1Niveles de dominio de la Habilidad Lectora 5.2.2.2Niveles de dominio de la Habilidad Matemática 5.2.3 Validación de los puntos de corte 5.3 Equiparación de las pruebas 6. Resultados 6.1 Reporte de resultados 6.2 Usos y difusión de resultados 6.3 Cuestionarios de contexto 7. Reflexiones acerca de la prueba 7.1 Comparación con evaluaciones similares 7.2 enlace Media Superior y la riems 49 50 53 54 54 54 55 56 57 58 58 63 65 67 68 71 74 77 Referencias 79 Anexo I Grupos de trabajo 81 Índice Anexo II Datos psicométricos de los reactivos piloteados 93 Anexo III Parámetros versión operativa 2008 97 Anexo IV Marco muestral. Levantamiento de datos de la prueba Anexo V Establecimiento de los puntos de corte y generación de algoritmo de calificación 103 111 Anexo VI Validación de los puntos de corte 115 Anexo VII Equiparación 131 Presentación El 11 MANUAL TÉCNICO ENLACE MEDIA SUPERIOR Centro Nacional para la Evaluación de la Educación Superior (Ceneval) es una institución no lucrativa cuya misión es contribuir a elevar la calidad de la educación en México, por medio del diseño y la aplicación de instrumentos de evaluación válidos, confiables y pertinentes. Estos instrumentos proporcionan información acerca de los conocimientos y habilidades que las personas adquieren al participar en procesos formales o informales de aprendizaje. Es importante que un instrumento de evaluación cuente con un reporte detallado de los procedimientos que se siguieron en el diseño y elaboración de una prueba para alcanzar altos niveles de calidad técnica. Este Manual Técnico resume la evidencia que fundamenta la estructura, la construcción y el mantenimiento de la Evaluación Nacional de Logro Académico en Centros Escolares (enlace) de nivel Medio Superior, que es uno de los instrumentos más importantes en cuya elaboración y seguimiento participa el Ceneval a petición de la Secretaría de Educación Pública (sep). enlace Media Superior es una prueba de diagnóstico individual que se aplica anualmente a la población del último año de ese nivel educativo. Debido a que ha resultado un instrumento útil en la toma de decisiones tanto para los sustentantes, como para los centros escolares y los titulares del poder público, es prioritario que la información relacionada con él se ponga a disposición de otros evaluadores, docentes, autoridades educativas, alumnos y padres de familia, de modo que se contribuya a la difusión de la prueba y la adecuada interpretación de sus resultados. MANUAL TÉCNICO ENLACE MEDIA SUPERIOR 12 Con la publicación del Manual Técnico se da cumplimiento a los estándares exigidos por el Ceneval y por diversas entidades que establecen lineamientos para las pruebas de aprovechamiento, entre ellas la American Educational Research Association (aera), la American Psychological Association (apa) y el National Council on Measurement in Education (ncme). A lo largo del documento, se describe puntualmente la forma en que el proceso de elaboración e instrumentación de la prueba enlace Media Superior cumple con diversos estándares de calidad. Incluso se indica entre paréntesis la clave numérica que corresponde al lineamiento establecido por las asociaciones mencionadas anteriormente en el documento normativo titulado The Standards for Educational and Psychological Testing (apa, aera y ncme, 1999). Antes de detallar las etapas de construcción que caracterizan a la prueba enlace Media Superior, se describen algunos antecedentes del examen, las instancias que promovieron el proyecto de evaluación, las necesidades que le dieron origen y el plan a largo plazo que se está implementando. El segundo capítulo incluye las características generales de la prueba, específicamente aquellas que fueron determinadas desde su planificación y que, en congruencia con los objetivos de evaluación, dictan permanentemente las líneas de acción en las etapas posteriores de desarrollo y mantenimiento del instrumento. El tercer apartado explica con detalle la estrategia con que se definió el contenido y la estructura del instrumento de evaluación, así como los procedimientos para contar con un banco de reactivos que cumpla con lineamientos internacionales de calidad, y permita el ensamble de los cuadernillos que son aplicados a la población objetivo. El cuarto capítulo presenta información acerca de las circunstancias particulares, las condiciones y los requisitos para aplicar el examen, se precisan los tiempos y número de sesiones requeridas, así como el ensamble y diseño de aplicación consecuentes con el propósito que ha caracterizado a la prueba enlace Media Superior desde 2008. La sección denominada Calificación describe los procedimientos para establecer los puntos de corte y definir los niveles de dominio con el apoyo de especialistas que se encargan de validarlos de manera empírica y teórica. Además de explicar el significado de ubicar a los sustentantes en uno u otro nivel, se detalla el proceso para cuidar que año con año la calificación y las comparaciones basadas en dichos niveles sean válidas. En el capítulo Resultados se muestra la distribución de sustentantes por nivel de dominio que se obtuvo en los tres años de aplicación. Además, se exponen las vías que tienen los sustentantes, los docentes y la comunidad en general para conocer los resultados, entre ellas, las estrategias de difusión que han puesto en práctica la sep, la Subsecretaría de Educación Media Superior (sems) y el Ceneval para promover el máximo aprovechamiento de la evaluación. En el último apartado se presenta una discusión de los alcances de esta evaluación y de la experiencia que se ha tenido durante los tres años de su aplicación, con el propósito de motivar la reflexión y retroalimentación en cuanto a la construcción y desarrollo de la prueba. De igual modo, se mencionan de manera breve algunos aspectos de la reestructuración que sufrió la prueba para su aplicación en 2011, en congruencia con los objetivos y lineamientos de la Reforma Integral de la Educación Media Superior (riems). MANUAL TÉCNICO ENLACE MEDIA SUPERIOR 13 1. Antecedentes En 15 MANUAL TÉCNICO ENLACE MEDIA SUPERIOR 2007 la Subsecretaría de Educación Media Superior ( sems ) comenzó el desarrollo del Sistema Nacional de Evaluación de la Educación Media Superior (sneems), en cumplimiento del Programa Sectorial de Educación 2007-2012. Dicho sistema persigue dos objetivos generales: 1) proporcionar elementos para mejorar la calidad de la educación media superior (ems) en todas sus dimensiones, subsistemas, modalidades y planteles, y 2) proporcionar elementos para rendir cuentas a la sociedad sobre el funcionamiento del nivel educativo, mediante mecanismos transparentes en beneficio de todos los sectores interesados. Para evaluar de manera integral la calidad de la ems es necesario utilizar varias estrategias, cuyos alcances y limitaciones se complementen de tal forma que ofrezcan una visión más amplia de la realidad educativa y la posibilidad de emitir juicios de valor que sustenten adecuadamente las decisiones que se tomen. Para ser consecuente con dicho principio, el sneems establece cinco grandes niveles o ámbitos de trabajo, cuya evaluación supone diversas estrategias con propósitos específicos e instrumentos que respondan de manera congruente y adecuada a las características de cada uno. Los ámbitos son: a) sistemas y subsistemas, b) programas e intervenciones, c) escuelas, d) maestros y e) alumnos. enlace Media Superior es uno de los instrumentos construidos para la evaluación MANUAL TÉCNICO ENLACE MEDIA SUPERIOR 16 de los alumnos. Entre otras líneas de acción, el Programa Sectorial que rige al sneems, expresa la necesidad de “diseñar, aplicar y consolidar los instrumentos de evaluación del desempeño académico de los estudiantes como insumo para reorientar la acción pedagógica y para integrar los programas de nivelación académica”.1 Esta evaluación se desarrolló con el fin de generar información para cada estudiante acerca de su capacidad de respuesta ante exigencias de la vida cotidiana al egresar de la ems, de tal forma que se proporcionen elementos para contribuir a la mejora del sistema educativo (incluyendo maestros, planteles, padres de familia, etcétera). En febrero de 2007 la sems y la Dirección General de Evaluación (dgep) de la sep solicitaron el apoyo de Ceneval para la elaboración de la prueba enlace Media Superior, a lo que el Centro respondió con tres propuestas: la primera incluía la evaluación de cinco áreas: Lenguaje y Comunicación, Matemáticas, Metodología, Ciencias Naturales e Introducción a las Ciencias Sociales; la segunda se centraba en la evaluación de tres ámbitos: Matemáticas, Lectura y Ciencias; y la tercera en la evaluación de dos habilidades básicas: Habilidad Lectora y Habilidad Matemática. Debido a la diversidad de subsistemas que hay en la educación media superior y a la existencia de más de 200 currículos en el ámbito nacional, se prefirió la elaboración de un instrumento abocado a dos habilidades generales que son parte fundamental en la educación: Habilidad Lectora y Habilidad Matemática. Ambas son transversales, es decir, se desarrollan a lo largo de la historia escolar y fuera de ella, además de que se manifiestan de modo diferencial en los individuos, lo cual permite identificar diferentes niveles de dominio. La construcción de la prueba implicó diversos procesos integrados y sistematizados en las etapas de la Metodología Ceneval: diseño, construcción, verificación, ensamble, aplicación, calificación y emisión de reportes. Las cuatro primeras fueron responsabilidad única del Ceneval y las tres últimas estuvieron a cargo de la dgep-sep; en todos los casos se supervisó el cumplimiento de lineamientos y estándares de carácter internacional (apa, aera & ncme, 1999). En cada una de las etapas, los procesos fueron avalados y legitimados por cuerpos colegiados que emitieron propuestas y juicios especializados. El Consejo Directivo, el Consejo Técnico, los Comités Académicos o el grupo de Asesores Externos están conformados por expertos en educación y evaluación de las habilidades que integran la prueba, nacionales e 1 Disponible en http://www.sep.gob.mx/wb/sep1/programa_sectorial internacionales. Dada la notoriedad que la prueba enlace Media Superior ha adquirido desde su primera aplicación, en 2008, resulta prioritario asegurar la calidad del proceso evaluativo. En la tabla 1 se muestra el incremento en la cobertura de la prueba en estos tres años, por número de centros escolares y de sustentantes individuales. Los datos para cada entidad federativa se encuentran disponibles en la página electrónica http://enlace.sep.gob.mx/ms/. Tabla 1. Cobertura de enlace Media Superior 2009 2010 Sustentantes 808,346 835,741 884,663 Escuelas 11,007 11,716 12,164 Como se mencionó, en 2011 la evaluación sufrió algunas modificaciones en respuesta a la solicitud de la sems de dar seguimiento a la Reforma Integral de la Educación Media Superior (riems) que centra sus esfuerzos en promover un perfil de egreso definido en términos de competencias. Debido a que el enfoque de la prueba enlace Media Superior siempre ha sido evaluar habilidades básicas, el cambio no será radical y actualmente ya se ha avanzado en el diseño y adaptación de la prueba de modo que para dar continuidad a la evaluación de Habilidad Lectora y Habilidad Matemática, en 2011 la prueba se abocó a los campos disciplinares que la riems identifica de la siguiente manera: Comunicación (Comprensión Lectora) y Matemáticas. En los siguientes apartados se documentan los acuerdos y actividades correspondientes a las diferentes etapas de construcción de la prueba que se aplicó entre 2008 y 2010, así como los resultados obtenidos. 17 MANUAL TÉCNICO ENLACE MEDIA SUPERIOR 2008 2. Características generales de la prueba Durante el periodo 2008-2010, la prueba enlace Media Superior se concibió como una evaluación diagnóstica de dos habilidades básicas para la vida. En el cuadro 1 se sintetizan las características de esta evaluación de acuerdo con las categorías establecidas (Vidal, 2009) para los instrumentos de evaluación generados en Ceneval. En las siguientes páginas se ofrece una explicación para cada una. Cuadro 1. Características de la prueba enlace Media Superior Evaluar personas Población sustentante Alumnos del último ciclo de la ems Periodicidad Anual Tipo de examen Diagnóstico Dominio explorado Habilidades básicas: lectora y matemáticas Cobertura de dominio Restringido Referente de calificación Criterial Sensibilidad a la instrucción Baja Cobertura de la población Censal Evidencias Opción múltiple Control de la aplicación Bajo Impacto Bajo 19 MANUAL TÉCNICO ENLACE MEDIA SUPERIOR Propósito 2.1 Objetivo El objetivo de la prueba Enlace Media Superior es determinar en qué medida los jóvenes son capaces de aplicar a situaciones del mundo real los conocimientos y habilidades adquiridos a lo largo de la educación media superior, que les permiten hacer un uso apropiado de la lengua (Habilidad Lectora) y las Matemáticas. 2.2 Propósito La prueba enlace Media Superior se aplica cada año y su propósito general es evaluar personas. Mediante los datos obtenidos en la aplicación, es posible: • • • Generar información, para cada alumno, acerca de su nivel de desempeño en dos habilidades básicas. • • • Proveer elementos que contribuyan a la mejora del sistema educativo. • • • Proveer información útil para el plantel, los profesores y los padres de familia. 2.3 Población objetivo MANUAL TÉCNICO ENLACE MEDIA SUPERIOR 20 La prueba enlace Media Superior está dirigida a los alumnos del último ciclo de bachillerato (cuatrimestre, semestre, año) en modalidad escolarizada de los diferentes subsistemas de las instituciones de educación media superior (bachilleratos generales, tecnológicos y bivalentes), tanto de sostenimiento público como privado, de la República Mexicana. Por ser una prueba estandarizada no es apta para aplicarse a alumnos con necesidades especiales o que usen una lengua diferente al español. 2.4 Características psicométricas Es una prueba objetiva y estandarizada, porque su aplicación y calificación mantiene las mismas condiciones para todos los sustentantes evaluados. Además, se caracteriza por: • • • ser un examen diagnóstico, ya que emite información general del desempeño de cada alumno, sin establecer alguna categoría de certificación o jerarquización; • • • explorar el dominio de los sustentantes en tareas relacionadas con habilidades básicas •• •• •• •• •• •• •• 21 MANUAL TÉCNICO ENLACE MEDIA SUPERIOR •• para la vida, a saber, Habilidad Lectora y Habilidad Matemática; • ser una evaluación de cobertura homogénea restringida, porque utiliza las mismas preguntas para medir, en todos los estudiantes, la presencia o ausencia únicamente de una muestra representativa de conocimientos, actividades y conductas relacionadas con sus habilidades; • su baja sensibilidad a la instrucción, puesto que examina un dominio restringido de habilidades que el sustentante desarrolla tanto dentro como fuera del aula, es decir que no dependen solamente del currículo escolar y la manera en que son enseñadas en los niveles de escolarización formal; • reportar los resultados con referencia a criterio, ya que el desempeño del individuo es independiente de lo que responden otros individuos, a diferencia de la evaluación referente a la norma, la cual compara el resultado del individuo con los resultados de una población o grupo al que pertenece. La evaluación criterial permite identificar con precisión, en relación con un criterio previamente fijado, el rendimiento de un sustentante en función de su desempeño o dominio de las habilidades evaluadas al resolver la prueba; • ubicar a los sustentantes en cuatro niveles de desempeño, que se definen con base en el contenido establecido en el perfil referencial; • ser censal, puesto que está programada para aplicarse a todos los sustentantes que cumplan con la descripción de la población objetivo; • estar conformada por reactivos de opción múltiple, ya que incluye preguntas o problemas que se acompañan de tres distractores verosímiles y una respuesta correcta. La elección de este tipo de reactivo para conformar la prueba se debe, por un lado, a su flexibilidad, ya que los reactivos de opción múltiple se adaptan a la complejidad de los contenidos que se pretende evaluar; por otro, a su versatilidad, ya que los reactivos de este tipo permiten medir la comprensión de nociones fundamentales y la habilidad del sustentante para razonar y aplicar lo aprendido; así también, una característica que los hace ideales es la facilidad de calificación, ya que puede hacerse de manera rápida y exacta, lo que resulta indispensable cuando se requiere evaluar poblaciones numerosas y ofrecer resultados rápidamente. • contar con un bajo control en su aplicación, lo cual responde al hecho de que únicamente sea una evaluación diagnóstica y se aplique a una población de alrededor de 800,000 sustentantes cada año. Aun así, en la cuarta sección del presente Manual se explican los detalles de la aplicación de la prueba a una muestra controlada, cuyos datos se utilizan para procesos de calificación e investigaciones alternativas; • ser un examen de bajo impacto, ya que sus resultados no deben tener consecuencias para los evaluados. 2.5 Alcances y limitaciones MANUAL TÉCNICO ENLACE MEDIA SUPERIOR 22 Las características y propósitos de la prueba enlace Media Superior determinan sus alcances y limitaciones en comparación con otros instrumentos de evaluación. Es importante hacer hincapié en dichos aspectos, ya que utilizar los resultados de la evaluación para fines distintos ocasionaría interpretaciones carentes de validez (estándares 1.1, 1.2 y 1.6).2 La prueba brinda a los sustentantes información útil sobre las fortalezas y debilidades que poseen en cuanto al desarrollo de su Habilidad Lectora y su Habilidad Matemática. El reporte de resultados presenta, de manera específica, las tareas que el sustentante es capaz de realizar y aquellas que no, de modo que pueda conocer áreas de oportunidad para así hacerse responsable de su educación y emplear herramientas que le ayuden a mejorar sus habilidades. Es importante considerar que, debido a que la prueba se planteó desde el inicio como diagnóstica, enlace Media Superior evalúa únicamente una muestra representativa de contenidos y procesos. En otras palabras, no incluye todas las temáticas y tareas que los estudiantes del nivel medio superior pueden y deben dominar. Además, el examen posee una baja sensibilidad a la instrucción, ya que la necesidad de evaluar a la población censal, aunada a la existencia de múltiples currículos de bachillerato, obligó a que el diseño de la prueba se centrara en la evaluación de dos habilidades que cualquier estudiante debe poseer, independientemente del subsistema que haya cursado. enlace Media Superior se clasifica como una prueba de bajo impacto pues los resultados obtenidos no tienen consecuencias académicas para los alumnos evaluados ni para las escuelas. El instrumento no permite derivar conclusiones acerca de la educación media superior, los subsistemas, las escuelas o el desempeño de las entidades federativas. El diseño y propósitos de esta prueba se limitan a la emisión de un diagnóstico general para el sustentante de fortalezas y debilidades en el desarrollo de su Habilidad Lectora y Habilidad Matemática. Las decisiones que se tomen a partir de los resultados deben considerar cuidadosamente el contexto de la evaluación y las condiciones de cada escuela, por lo que no es válido sacar conclusiones sobre el mejor o peor subsistema, plantel o plantilla docente. La prueba no sirve para hacer comparaciones entre alumnos, entre escuelas o entre subsistemas; sólo responde a los propósitos para los que fue creada: proporcionar un diagnóstico individual, elementos que contribuyan a la mejora del sistema educativo y retroalimentación para maestros, planteles y padres de familia. 2 Con este formato, de aquí en adelante se indican los estándares de calidad de la apa, aera y ncme (1999) que se siguieron durante el proceso de construcción y aplicación de enlace Media Superior, así como en la elaboración del presente Manual Técnico. En el caso de los docentes, la prueba es útil para conocer las fortalezas y debilidades que exhiben los sustentantes en lo que se definió como Habilidad Lectora y Habilidad Matemática en enlace Media Superior. Para las autoridades educativas, los resultados de la prueba representan un diagnóstico general útil para guiar las acciones de fomento de la Habilidad Lectora y la Habilidad Matemática. 2.6 Administración La aplicación de la prueba enlace Media Superior es responsabilidad de la dgep-sep y se hace año con año. La prueba se aplica de manera censal, lo que determina que el control del proceso sea bajo; sin embargo, para contar con datos confiables para la realización de los análisis estadísticos y los procesos de calificación, se planifica una aplicación controlada a una muestra representativa de la población objetivo. El instrumento se califica bajo las mismas condiciones para todos los evaluados por lo que se caracteriza como prueba estandarizada (estándar 3.20). Es importante mencionar que, una vez que se aplica, la prueba se hace pública; es decir se dan a conocer todos los reactivos que la conforman. En el capítulo cuarto se describen a detalle algunos aspectos relacionados con la administración de la prueba. 2.7 Resultados 23 MANUAL TÉCNICO ENLACE MEDIA SUPERIOR Tanto los estudiantes como los directivos, docentes y la comunidad en general, tienen acceso a los resultados de cada aplicación ingresando a la página electrónica oficial http://enlace. sep.gob.mx/ms/. Cada estudiante puede conocer el nivel de dominio en el que se encuentra: insuficiente, elemental, bueno o excelente para cada una de las habilidades evaluadas, así como las respuestas correctas de todos los reactivos. Los docentes y directivos también tienen la posibilidad de conocer los errores más comunes del alumnado y los resultados de cada plantel año con año. 3. Desarrollo de la prueba De 25 MANUAL TÉCNICO ENLACE MEDIA SUPERIOR acuerdo con la Metodología Ceneval (2008) y como parte del primer paso para desarrollar pruebas eficaces, la construcción de la prueba enlace Media Superior comenzó con el establecimiento de un plan general de evaluación. Las primeras acciones se orientaron a definir el propósito y las características generales del instrumento en congruencia con los requerimientos de la sems. Contar con objetivos claros y conocer los alcances y limitaciones de la aplicación deseada permite establecer un cronograma con actividades que aporten validez y solidez a la prueba en su conjunto (estándares 1.1, 3.2 y 3.9). De 2007 a la fecha, cada uno de los procesos involucrados en la elaboración de la prueba ha contado con la participación de distintos grupos de expertos. La validez de la estrategia de medición y las interpretaciones se ven fortalecidas por la constante retroalimentación que hay entre los cuerpos colegiados, ya que la implementación de la evaluación implica la coordinación y el consenso entre todos. A continuación se detallan las funciones de los grupos de trabajo que intervinieron en la elaboración de la prueba, tanto en su diseño como en su construcción y mantenimiento. En el anexo I se enlistan los nombres de los integrantes. • • • Consejo Directivo: sus integrantes dan seguimiento al sneems coordinando las estrategias •• •• •• •• •• MANUAL TÉCNICO ENLACE MEDIA SUPERIOR 26 •• propias de los cinco ámbitos ya mencionados. • Consejo Técnico: asesora a las autoridades educativas y a los Comités Académicos en el diseño, análisis y seguimiento de la prueba impulsando acciones que permitan respaldar su transparencia y confiabilidad; valida su estructura y sus contenidos; revisa los resultados del estudio piloto y propone modificaciones a partir de ellos; evalúa técnica y académicamente los informes que se producen y define los usos que son apropiados. Además, colabora en la propuesta de elaboración de los cuestionarios de contexto y aprueba la forma de aplicación de la prueba enlace Media Superior. • Comité Académico de Diseño: es el responsable de la definición de los contenidos que se van a evaluar, los grupos de procesos cognitivos y los niveles de complejidad que explora la prueba y determinan su estructura. A partir de ello, elabora las especificaciones de reactivos que son revisadas por el Comité Académico de Validación de Contenido y Especificaciones. • Comité Académico de Elaboración de Reactivos: está conformado por docentes del nivel medio superior y especialistas en los contenidos de la prueba, que elaboran los reactivos con base en las especificaciones. • Comité Académico de Validación de Reactivos: garantiza que los reactivos elaborados correspondan con lo que se desea evaluar y representen de manera clara y precisa los elementos necesarios para asegurar la validez de la evaluación. • Comité Académico de Establecimiento de Puntos de Corte y Definición de Niveles de Dominio: sus miembros son expertos en las áreas de evaluación y estadística, que revisan los parámetros obtenidos después del piloteo y aplicación de la prueba, identifican las puntuaciones de corte y definen los niveles de dominio. • Asesores externos: son especialistas reconocidos en Latinoamérica, Estados Unidos y Europa que establecen los estándares técnicos, evalúan los distintos indicadores de los instrumentos y hacen recomendaciones para el mejoramiento de los procesos de diseño, elaboración y administración de las pruebas. La decisión de integrar tan diversos cuerpos colegiados obedece a que en el Ceneval se considera importante contar con diferentes puntos de vista que enriquezcan el instrumento de evaluación. 3.1 Definición del contenido 3 Página oficial del Instituto http://www.cito.nl/ Sistema de Medición de la Calidad de la Educación (simce). Reporte de Resultados 2005. Santiago: Ministerio de Educación, Unidad de Curriculum y Evaluación (uce) de Chile. 4 27 MANUAL TÉCNICO ENLACE MEDIA SUPERIOR Una vez que el Consejo Directivo y el Consejo Técnico acordaron el plan general de la prueba –el cual incluye las características y propósitos descritos en el apartado anterior–, el personal del Ceneval estuvo en condiciones de convocar a los Comités Académicos e iniciar con la primera etapa de la metodología institucional para la construcción de pruebas: el diseño. Durante la etapa de diseño del instrumento de evaluación se definen los elementos que constituyen el marco conceptual y operacional en que se fundamentará todo el proceso. El primer paso es elaborar un perfil referencial (pr), que constituye el referente medular para el desarrollo de la prueba, porque describe las bases teóricas y la forma en que se estructura el instrumento de manera que se cumpla con sus propósitos y se atiendan las características de los sustentantes. De este modo, es posible establecer de manera clara y precisa aquello que se pretende medir (estándares 1.2 y 1.6). Para la prueba enlace Media Superior se elaboró un perfil de cada una de las habilidades evaluadas. Su delimitación estuvo a cargo de los Comités Académicos de Diseño, conformados por grupos de expertos en la enseñanza y desarrollo de la Habilidad Lectora y Matemática. Estos comités estudiaron los marcos teóricos de la evaluación de pisa (Programme for International Student Assessment) que lleva a cabo la Organización para la Cooperación y el Desarrollo Económicos, los materiales disponibles de la encuesta all (International Adult Literacy Survey), los procedimientos de Cito3 (Cito Instituut voor Toetsontwikkeling, conocido en inglés como Central Institute for Test Development) y algunas aproximaciones a la evaluación de habilidades que han resultado exitosas en el contexto latinoamericano (simce y timss). La revisión de literatura y de los planes y programas de las diferentes modalidades y subsistemas de la ems sirvió como referente para definir las dos habilidades e identificar los contenidos y los procesos por evaluar. Una de las concepciones teóricas generales que guio la elaboración del perfil corresponde con el enfoque de las pruebas pisa y simce, y fue la siguiente: • • • El alumno aprende poniendo en práctica habilidades que implican el despliegue de diferentes procesos cognitivos, y el profesor, como mediador del aprendizaje, debe identificarlas y tratar de desarrollarlas por medio de diversos contenidos (simce, 2005).4 MANUAL TÉCNICO ENLACE MEDIA SUPERIOR 28 Tanto la Habilidad Lectora como la Matemática están definidas en términos del contenido o estructura del conocimiento que los estudiantes necesitan adquirir a lo largo de la trayectoria escolar y los procesos que se requieren llevar a cabo (pisa, 2000, 2003, 2006). Tanto la Metodología Ceneval (2008) como Downing et al. (2006), recomiendan poner especial atención en la definición operacional de los contenidos y los procesos cognitivos implicados en las tareas que tendrá que resolver el alumnado, específicamente para facilitar la elaboración de los reactivos y apoyar a los investigadores e interesados en las interpretaciones que pudieran derivarse de los resultados de la evaluación (estándares 1.18 y 13.3). Los Comités Académicos diseñaron además las especificaciones de la prueba y definieron su estructura. Las especificaciones son enunciados que describen de manera clara y precisa la conducta que se espera que realice el sujeto al contestar un reactivo (estándares 3.2 y 3.11). Estas se construyen en correspondencia directa con los contenidos que cada comité determina como esenciales para que un estudiante que egresa del nivel bachillerato en nuestro país sea competente en las áreas de conocimiento. Un aspecto importante en la elaboración de especificaciones fue distribuirlas de modo que se contara con tareas en tres niveles de complejidad. Esta gradación se delimitó para cada uno de los grupos de procesos cognitivos, de modo que después de la aplicación se facilite la ubicación de los sustentantes en diferentes niveles de dominio. La pertinencia y relevancia de los contenidos y taxonomía diseñados para cumplir con los propósitos de enlace Media Superior fueron revisadas por Comités Académicos de Validación que perfeccionaron el diseño de la prueba. La propuesta final fue aprobada por el Consejo Técnico. A continuación se presentan los perfiles referenciales de la prueba enlace Media Superior, y se describen puntualmente sus contenidos, procesos y estructura. 3.1.1 Habilidad Lectora Leer es una de las actividades básicas en el desarrollo académico y personal. Evaluar la Habilidad Lectora del alumnado es importante porque cada estudiante requiere contar con un nivel de dominio suficiente para responder a las exigencias de su entorno. La evaluación de la Habilidad Lectora en la prueba enlace Media Superior conceptualiza a la lectura como una herramienta fundamental en todas las formas de crecimiento intelectual, no sólo en el ámbito académico como base del aprendizaje, sino también para actividades de tipo recreativo y para el desarrollo social. La diversidad de usos de la lectura constituye un proceso de naturaleza múltiple que involucra distintas habilidades que se adquieren en los primeros años de escuela y se forta- lecen en la vida cotidiana. Leer se considera un proceso porque implica la coordinación de diferentes habilidades y conocimientos en distintos tiempos y grados de participación, antes, durante y después del acto de leer. Es muy importante que el lector vaya construyendo una comprensión de la lengua que integre su aspecto morfológico y funcional, lo primero se refiere a las consideraciones formales del lenguaje que, como sistema, debe respetar signos, reglas y convenciones para ser entendido, y el segundo aspecto atiende a la función comunicativa del lenguaje. Partiendo de este universo conceptual, se elaboró una definición de la Habilidad Lectora, que es meramente operacional, es decir, responde a las necesidades de la prueba. Definición operacional Para la prueba enlace Media Superior se definió la Habilidad Lectora como la capacidad de un individuo para comprender, utilizar y analizar textos escritos, con el fin de alcanzar sus propias metas, desarrollar el conocimiento y el potencial personal, y participar en la sociedad. Contenidos 29 MANUAL TÉCNICO ENLACE MEDIA SUPERIOR El contenido por evaluar está asociado con el tipo de texto que se utiliza para medir la Habilidad Lectora. Los cuatro tipos de texto que contiene la prueba enlace Media Superior se eligieron por considerarse representativos del nivel educativo, y porque reflejan funciones importantes de la lengua. Su descripción es la siguiente: • • • Apelativo. Refleja la función apelativa, la cual trata de suscitar interés en el receptor o de convencerlo de actuar. Se busca seguir una instrucción; convence, sugiere, ruega, aconseja. Desarrolla el uso del verbo condicional o imperativo. • • • Argumentativo. Pretende expresar un argumento o contraargumento, probar o demostrar una idea, refutar la contraria para persuadir o disuadir al receptor. Intenta demostrar, convencer o cambiar ideas; por ello –además de la función apelativa presente en el desarrollo de los argumentos– aparece la función referencial, donde se expone la tesis. • • • Expositivo. Representa la función referencial o pragmática utilizada cuando se quiere expresar clara y objetivamente un mensaje. Se relaciona con el mundo real, con el contexto externo, y expresa lo que sucede, las acciones emprendidas por alguien, así como los resultados de investigaciones. Ayuda a aprender a describir o clarificar algún concepto, palabra o aspecto de un tema determinado. • • • Narrativo. Evoca la función poética, literaria o creativa, útil para describir la realidad en forma subjetiva, personal, original y creativa a través de la mirada del artista, quien selecciona y combina las palabras y frases; además de lo que se dice, es importante cómo se dice. Asimismo, se crearon listas de cotejo que señalan los requerimientos de forma y contenido para cada texto, con el fin de asegurar que los reactivos asociados permitan cumplir con la evaluación de los procesos necesarios, eviten ser ofensivos para algún grupo social y garanticen un lenguaje claro, sin regionalismos ni tecnicismos. Procesos y niveles de complejidad MANUAL TÉCNICO ENLACE MEDIA SUPERIOR 30 La prueba enlace Media Superior concibe la lectura como una actividad multidimensional, por lo que al evaluar la Habilidad Lectora se espera que los estudiantes demuestren su capacidad para obtener información, comprender los textos de manera general, interpretarlos y reflexionar sobre su contenido y su forma. Los procesos cognitivos que se definieron para la evaluación implican los procedimientos cognitivos mínimos que un sustentante con buena comprensión lectora debe poner en práctica para utilizar de manera adecuada los textos. La definición de cada uno de los procesos se muestra a continuación: •• 1. Extracción de información. Implica buscar, localizar y seleccionar la información específica de una o más oraciones, o de distintos párrafos de un texto. Se basa en el propio texto y en la información explícita que contiene. •• 2. Desarrollo de la comprensión. Está relacionado con la capacidad del lector para identificar de qué fenómeno o tema trata el texto y qué se dice de él. •• 3. Desarrollo de la interpretación. Implica atribuir significado y sentido a palabras, oraciones, conceptos, proposiciones al texto completo, de acuerdo con sus contenidos y propósitos. •• 4. Reflexión y evaluación del contenido. Tiene que ver con la valoración de las proposiciones que contiene un texto, para contrastarlas con los conocimientos previos y relacionar su información con otras fuentes de conocimiento, las cuales pueden proceder de textos facilitados en la prueba o de ideas explicitadas en la pregunta. •• 5. Reflexión y evaluación de la forma. Consiste en identificar el grado de correspondencia entre el contenido y la estructura del texto y evaluar su pertinencia, así como valorar qué tan adecuada es la forma en que se escribió el texto al contenido que se presenta. Con el fin de precisar aún más la medición de la Habilidad Lectora, se desagregaron los procesos en tres niveles de complejidad, de acuerdo con las características y tareas involucradas en cada uno: •• a) La información a la que recurre el sustentante. Puede utilizar información contenida en el texto o fuera de él, apoyándose en conocimientos externos del tema abordado. •• b) Los aspectos en los que se centra el lector. Pueden ser partes independientes del texto o relaciones entre sus apartados. •• c) El enfoque del lector en el texto. Puede considerarlo como un conjunto o hacer relaciones entre sus partes. La definición de los niveles de complejidad sirvió como referente para elaborar las especificaciones de la Habilidad Lectora. Fue exhaustiva para asegurar que se cuente con reactivos relacionados con todas las acciones cognitivas que se requieren para comprender un texto. Por esta razón, los grupos de procesos de Desarrollo de la comprensión y de la interpretación, así como Reflexión y evaluación del contenido y de la forma, se subdividieron para optimizar las actividades posteriores de construcción de la prueba. Los niveles se presentan a continuación: Niveles del proceso de extracción de información • • • Nivel 1. Localizar un elemento (tópico, concepto, episodio, participante) que se encuentre •• Niveles del proceso de desarrollo de la comprensión • • • Nivel 1. Identificar el tema central de un párrafo; el tema no es explícito, implica una •• inferencia local. • Nivel 2. Integrar diferentes partes de un texto para identificar la idea central; comprender una relación (problema-solución, causa-efecto, comparación-contraste, premisa- conclusión, ejemplificación, descripción, negación, etcétera). 31 MANUAL TÉCNICO ENLACE MEDIA SUPERIOR •• en el texto de manera explícita. Será muy evidente o notorio para el lector, y se puede encontrar en cualquier parte del texto. • Nivel 2. Localizar dos elementos relacionados (tópico, concepto, episodio, participante) que se encuentren a lo largo del texto de manera explícita. Estos elementos se encuentran en cualquier parte del texto o párrafo y carecen de marcadores. • Nivel 3. Localizar tres o más elementos relacionados. El elemento objetivo y sus distractores se ubican a lo largo del texto. • • • Nivel 3. Localizar tres o más elementos relacionados. El elemento objetivo y sus distractores se encuentran a lo largo del texto. Niveles del proceso de desarrollo de una interpretación • • • Nivel 1. Interpretar el significado de una palabra o frase corta con base en la situación •• •• descrita. • Nivel 2. Inferir relaciones entre los párrafos (problema-solución, causa-efecto, comparación-contraste, premisa-conclusión, emociones, etcétera). Se evalúan analogías. • Nivel 3. Vincular las múltiples interpretaciones e inferencias. Niveles del proceso de reflexión y evaluación del contenido • • • Nivel 1. Identificar la postura del autor de manera global. • • • Nivel 2. Identificar información que apoye el punto de vista del autor (un hecho, un •• dato, un contexto) y contrastar sus argumentos. • Nivel 3. Identificar los contraargumentos que se incluyen en el texto o establecer una comparación con un fragmento del mismo y un refrán o analogía. Niveles del proceso de reflexión y evaluación de la forma • • • Nivel 1. Determinar si los recursos gráficos (cursivas, viñetas, subtítulos, etcétera) uti•• MANUAL TÉCNICO ENLACE MEDIA SUPERIOR 32 •• lizados por el autor son adecuados y contribuyen a hacer una mejor interpretación del texto en el entorno local. • Nivel 2. Identificar si la estructura del texto es adecuada al contenido que se presenta. Establecer por qué se utilizan recursos gráficos en dos o más párrafos. • Nivel 3. Identificar si la organización, expresiones y recursos que el autor utiliza son adecuados al tipo de texto que se presenta y a su destinatario. Las especificaciones describen, de manera muy similar a las definiciones presentadas, cada una de las conductas que se busca en los sustentantes al responder un reactivo. La relación tan estrecha de las especificaciones con los propósitos y bases conceptuales de la prueba, permite tener claridad y precisión en lo que se va a medir, logrando así que la elaboración de reactivos tenga la menor discrecionalidad al interpretar lo que se quiere evaluar y puntualidad en lo que se debe preguntar. 3.1.2 Habilidad Matemática Los conceptos y tareas matemáticas están presentes en casi todas las situaciones de la vida diaria, de ahí que manejarlas satisfactoriamente se considere una habilidad básica. Su evaluación se ha abordado de diferentes modos; en algunas ocasiones se realizan las pruebas por medio de tareas que pertenecen a las ramas de la matemática, como álgebra, geometría, estadística, probabilidad o cálculo; pero otras aproximaciones se basan en la presentación de situaciones que dan pie a organizar y estructurar la información presente en el problema, identificar los aspectos matemáticos relacionados con dicha tarea y descubrir, entre otras cosas, relaciones, regularidades y estructuras. Todo este proceso se conoce como matematización (Freudenthal, 1999). Se decidió evaluar la Habilidad Matemática mediante operaciones matemáticas simples y complejas con ejercicios parecidos a los que se plantean en el aula. Se incluyeron también problemas menos estructurados, similares a los que enfrentará el alumnado en contextos sociales o de su vida cotidiana, en los que tendrá que analizar el procedimiento y la técnica matemática necesarios para poder solucionarlos. El Perfil Referencial de Habilidad Matemática de la prueba enlace Media Superior se organizó de manera sistemática, por un lado, a través de los contenidos matemáticos que engloban los temas o elementos conceptuales en los que un estudiante debe basarse para resolver un problema y, por el otro, con los procesos matemáticos en los que se agrupan las tareas cognitivas que el estudiante utiliza para responder un cuestionamiento o solucionar un problema. Definición operacional 33 MANUAL TÉCNICO ENLACE MEDIA SUPERIOR La Habilidad Matemática se definió como la aptitud de un individuo para identificar y comprender el papel que desempeñan las matemáticas en el mundo, alcanzando razonamientos bien fundados, utilizando y participando en las matemáticas en función de las necesidades de su vida como ciudadano constructivo, comprometido y reflexivo (ocde, 2006). La definición implica que aquel estudiante que cuente con Habilidad Matemática es capaz de valorar el papel que juegan las matemáticas en su vida y, de esa forma, aplicarlas en la solución de problemas que se le presenten en diferentes contextos. Contenidos Para afirmar que un sustentante posee cierto nivel de Habilidad Matemática, independientemente del área en que haya cursado, cada bachiller debe conocer y manejar cuatro contenidos matemáticos generales: cantidad, espacio y forma, cambios y relaciones, y matemáticas básicas. Su descripción es la siguiente: • • • Cambios y relaciones. Implica reconocer, describir y modelar de forma numérica, algebraica y gráfica las relaciones o funciones temporales y permanentes entre fenómenos. Prevé la necesidad de tomar decisiones a partir del análisis de los datos, representaciones de experimentos aleatorios y juegos de azar. • • • Cantidad. Subraya la necesidad de cuantificar para proceder a describir el entorno. Incluye aquellos conceptos involucrados en la comprensión y orden de tamaños relativos, reconocimiento de patrones numéricos, uso de números para representar cantidades y atributos cuantificables de los objetos del mundo real. • • • Espacio y forma. Señala la necesidad de reconocer patrones, imágenes, ubicaciones, movimientos o cualidades de los objetos que ocupan un lugar en el espacio, así como codificar y decodificar información de estos en contextos concretos (imágenes) y abstractos (descripciones). • • • Matemáticas básicas. Implica reconocer, describir y modelar objetos geométricos a partir de representaciones algebraicas; además, considera el estudio de las relaciones entre los ángulos y los lados de un triángulo valiéndose de funciones o razones. Procesos cognitivos MANUAL TÉCNICO ENLACE MEDIA SUPERIOR 34 El dominio de los contenidos matemáticos se evalúa a partir de tareas que implican el despliegue de tres grupos de procesos cognitivos: reproducción, conexión y reflexión. Las definiciones de los procesos describen conocimientos, actividades y tareas cognoscitivas progresivamente más sofisticadas. Por ello, en teoría debiera ser más fácil para los sustentantes contestar un reactivo del proceso de reproducción que uno de conexión, ya que el nivel de complejidad va aumentando de un proceso a otro; sin embargo, en la realidad se ha visto que otros aspectos influyen en la dificultad del reactivo, a saber: el contenido que se evalúa, la familiaridad que se tiene con la tarea realizada, la cercanía o lejanía entre el momento en que fue aprendida y evaluada, entre otros. Aun así, tener un punto de partida que sea congruente con las investigaciones vigentes brinda un marco conceptual adecuado para interpretar los resultados de la prueba año con año. La progresión en la complejidad de las tareas se ve con mayor claridad en los niveles de dominio que se presentan en el apartado de calificación. • • • Reproducción. Las habilidades de este grupo incluyen tareas que permiten determinar •• 35 MANUAL TÉCNICO ENLACE MEDIA SUPERIOR •• si el sustentante conoce y aplica la técnica matemática. Implica esencialmente: utilizar conocimientos y procedimientos matemáticos a problemas directos, reconocer equivalencias, utilizar objetos y propiedades matemáticas, así como manejar representaciones numéricas, simbólicas y gráficas. • Conexión. Las habilidades del grupo de conexión incluyen problemas que no son directos; es decir, se presentan a partir del planteamiento de problemas sencillos retomados de la vida real. Los problemas de este tipo plantean exigencias en su interpretación y requieren que el sustentante reconozca la técnica matemática que se ha de utilizar, con el fin de solucionar problemas que impliquen equivalencias, uso de propiedades matemáticas y empleo de representaciones numéricas, simbólicas y gráficas. • Reflexión. Las habilidades del grupo de reflexión incluyen problemas cuyo planteamiento no es directo; es decir, se presentan a partir de situaciones complejas retomadas de la vida real en las cuales se hace uso de más de una forma de representación de información (textual, numérica, simbólica o gráfica). Los problemas de este tipo plantean exigencias en su interpretación y requieren que el sustentante reconozca la técnica matemática por utilizar, establezca relaciones, combine e integre información entre distintas formas de representación o diferentes aspectos de una situación y que utilice más de un paso o proceso, con el fin de solucionar un problema. 3.2 Estructura de la prueba En las pruebas que diseña el Ceneval la estructura se refiere a la distribución de los reactivos por contenido y por proceso para cada habilidad evaluada, lo cual se determina en congruencia con la definición del constructo previamente establecida. La cantidad y dificultad de los reactivos consideran la relevancia de cada contenido para el diagnóstico de la habilidad en general, de acuerdo con el nivel educativo y las condiciones de la aplicación. La prueba enlace Media Superior 2008-2010 consta de 140 reactivos, de las cuales 50 corresponden a Habilidad Lectora y 90 a Habilidad Matemática. En la tabla 2 se presenta la distribución de reactivos por procesos y contenidos temáticos, que guio la construcción de la prueba. Tabla 2. Estructura de enlace Media Superior Área Habilidad Lectora MANUAL TÉCNICO ENLACE MEDIA SUPERIOR 36 Habilidad Matemática Reflexión Interpretación5 y evaluación Tipo de texto Extracción Argumentativo 4 4 2 10 Narrativo 5 7 2 14 Expositivo 7 8 2 17 Apelativo 4 3 2 9 Total de reactivos por proceso 20 22 8 50 Contenido Matemático Reproducción Conexión Reflexión Cantidad 7 13 5 25 Espacio y Forma 5 10 5 20 Cambios y Relaciones 9 11 5 25 Matemáticas Básicas 5 10 5 20 Total de reactivos por proceso 26 44 20 90 Total en la prueba 5 Total de reactivos Número de reactivos por Proceso Subárea 140 Se presentan integrados en esta columna los procesos de desarrollo de la interpretación y de la comprensión, y en la columna siguiente los de reflexión y evaluación del contenido y la forma. Una vez delimitada una estructura congruente con el perfil referencial y los objetivos de la evaluación, la Metodología Ceneval prescribe la siguiente fase, la construcción de la prueba, la cual consta de dos etapas: elaboración de especificaciones y de reactivos. 3.2.1 Especificaciones de reactivos Las especificaciones son enunciados concretos que, tomando en cuenta el contenido temático, el grupo de proceso y el nivel de complejidad al que pertenecen, nombran una tarea en particular cuya resolución muestra si el sustentante posee o no una parte específica de la Habilidad Lectora o la Habilidad Matemática de acuerdo con la definición que guía la prueba. De manera adicional, se solicitó a los Comités Académicos que construyeran otros enunciados identificados como de acotamiento o delimitación que acompañan a cada especificación. El acotamiento puntualiza aspectos relacionados con el formato de los reactivos, para indicar si se requiere presentar la información de una manera específica (en columnas, con datos numéricos, gráficos o verbales, entre otras) o si los datos pueden tener o no una relación directa con los textos o los contenidos temáticos que se revisan en el aula. Las especificaciones de reactivos tienen como propósito proporcionar un marco normativo, claro y significativo, que aporte los elementos necesarios para que los elaboradores construyan reactivos adecuados para evaluar los contenidos y procesos cognitivos, así como los detalles técnicos para que los ítems resulten efectivos en la población objetivo y permitan generar interpretaciones válidas. 3.3 Elaboración y validación de reactivos 37 MANUAL TÉCNICO ENLACE MEDIA SUPERIOR El Ceneval y la sems convocaron a especialistas en Habilidad Matemática y Habilidad Lectora para la elaboración de los reactivos. Un requisito indispensable para participar en los comités fue que sus integrantes contaran con experiencia en el nivel medio superior y tuvieran conocimientos en el área en la que elaborarían los reactivos. El Ceneval impartió talleres de capacitación con la metodología institucional de elaboración de reactivos. Dicha capacitación es esencial para la calidad de la prueba, ya que contar con reactivos técnicamente adecuados es uno de los primeros pasos para asegurar que los resultados de la prueba son válidos y no se deben a aspectos de forma o detalles externos al objeto y estructura de la evaluación. Todos los reactivos cumplieron una fase de verificación con la que se asegura la calidad de los reactivos. De hecho, cada uno de los ítems pasó por una serie de revisiones cualitativas y cuantitativas (estándar 3.10). 3.3.1 Capacitación a elaboradores y validadores MANUAL TÉCNICO ENLACE MEDIA SUPERIOR 38 De acuerdo con la Metodología Ceneval, la labor de capacitación a los elaboradores de reactivos es permanente, aun cuando se cuente con los ítems necesarios para las diferentes versiones de la prueba (Vidal et al., 2000). Esto permite mantener en operación un banco de reactivos de buena calidad, que responda a los requerimientos de la prueba enlace Media Superior. Tomando ello en consideración y de manera muy especial que la aplicación de la prueba es censal, todos los reactivos de la prueba enlace son de opción múltiple. El Ceneval posee una vasta experiencia en el desarrollo y calificación de este tipo de ítems, por lo que en la capacitación de los redactores y la posterior revisión técnica de los reactivos se siguen los requerimientos técnicos que han probado su eficacia en múltiples exámenes desarrollados por el Centro. Dichos lineamientos son explicados a los elaboradores en cursos-taller que se organizan en las instalaciones de Ceneval, al igual que en cada sesión de los Comités Académicos de Validación. En las reuniones se informa a los asistentes de la historia y objetivos del Centro, así como de las particularidades de la prueba enlace Media Superior, de modo que los ítems correspondan con el propósito y modelo taxonómico de la evaluación. Haladyna (2004, citado en Downing, 2006) considera que los reactivos de opción múltiple son los más adecuados para medir habilidades, especialmente las cognitivas de orden superior, como la capacidad de resolución de problemas, síntesis y valoración. Esto es así, entre otras cosas, porque permiten delimitar claramente los contenidos y tener una muestra representativa del universo amplio que implica cualquier área de conocimiento. Para maximizar la validez de las interpretaciones que se derivan de los reactivos de opción múltiple (Vidal et al., 2000), enfatizan la importancia de elaborar ítems claros, con un formato que incluya siempre la base del reactivo, las opciones de respuesta con justificación, la respuesta correcta, la referencia o bibliografía, la fecha y el nombre del autor. Para llevar a cabo estas actividades, los elaboradores son capacitados también para almacenar los reactivos en un sistema electrónico, el intranet de Ceneval, que agiliza los posteriores procesos de verificación y ensamble de pruebas, entre otros. Los validadores, en coordinación con un representante de Ceneval, llevan a cabo la revisión de reactivos en línea. Lo más importante es que ellos también dominen las temáticas y los lineamientos técnicos para que se cuente con ítems de calidad tanto en forma como en contenido. Una vez que los redactores informan que han concluido la elaboración de los reactivos, estos pasan por diferentes revisiones que se mencionan en la tabla 3 y se explican en las páginas siguientes. Tabla 3. Actividades para la verificación de la calidad de los reactivos Tipo de revisión Cualitativa Cuantitativa Revisión técnica de reactivos Piloteo de reactivos Validación con especialistas Calibración Revisión de estilo 3.3.2 Revisión cualitativa Una parte fundamental en la metodología institucional tiene que ver con los aspectos de verificación de la pertinencia y claridad del contenido de las especificaciones y los reactivos de las pruebas. Todo ello forma parte de los lineamientos internacionales que se deben cumplir durante la construcción de los exámenes (estándares 3.7, 7.2 y 13.18). 3.3.2.1 Revisión técnica 39 MANUAL TÉCNICO ENLACE MEDIA SUPERIOR El primer filtro para los reactivos elaborados es la revisión técnica, que consiste en verificar que correspondan con la especificación ubicada en el perfil referencial, con el proceso cognitivo que se va a evaluar y con el tipo de texto asociado o al contenido matemático, según el área correspondiente del reactivo. Esta actividad la realiza personal especializado del Ceneval con base en los siguientes lineamientos: •• 1. Base del reactivo. Debe incluir la información necesaria y suficiente para ser contestado, implicar una sola tarea o cuestionamiento, cumplir con alguno de los formatos establecidos (jerarquización, completamiento, elección de elementos, relación de columnas), y ser independiente de los demás ítems; es decir, la información contenida en un reactivo no ha de sugerir o requerir la solución de otro. •• 2. Opciones de respuesta. Debe tener sólo una respuesta correcta y tres distractores. En lo referente a la respuesta correcta, esta debe ser incuestionable y resolver el planteamiento de manera satisfactoria, mientras que los distractores han de ser plausibles y totalmente incorrectos. Para corroborar esto, se revisan con especial cuidado las justificaciones o argumentaciones que los elaboradores indican para cada opción de respuesta. Aunado a lo anterior, los textos que se utilizan para derivar los reactivos de Habilidad Lectora deben cubrir diversos criterios en cuanto al número de palabras, las características que los identifican y los temas a los que hacen referencia. Todos ellos se indican en una lista de verificación que los revisores técnicos tienen en cuenta para aceptar o pedir modificaciones. En caso de que algún reactivo no cumpla con estos criterios o con lineamientos editoriales, se proporciona retroalimentación al elaborador para su modificación, y sólo hasta que se cumplen las condiciones de calidad en contenido y forma, el reactivo es registrado en el sistema electrónico como aceptado y listo para la siguiente fase de verificación. 3.3.2.2 Validación con especialistas MANUAL TÉCNICO ENLACE MEDIA SUPERIOR 40 Los reactivos que cumplen con los lineamientos técnicos del Ceneval son sometidos a un proceso de validación para garantizar que correspondan a la especificación, contenido y proceso cognitivo que pretenden medir. De este modo, se asegura que representen, de manera clara y precisa, los elementos esenciales de las habilidades evaluadas en la prueba, ya sean conceptos, términos, definiciones, procedimientos, etcétera (estándares 3.7 y 3.17). Cada reactivo es revisado y validado por lo menos por dos especialistas, en coordinación con un representante del Ceneval. Los primeros se encargan de leerlo y analizarlo de manera individual, discutir colectivamente su contenido, emitir un dictamen (Sin dictamen, Aceptado, Modificado y aceptado, Aceptado – Requiere diseño, o Descartado) y, en su caso, hacer propuestas de mejora. El coordinador de mesa del Ceneval se ocupa de resolver preguntas acerca del perfil referencial, del procedimiento, y de realizar los cambios necesarios a los reactivos a solicitud de los especialistas, además de imprimir los informes de los ítems validados. 3.3.2.3 Revisión de estilo Únicamente los reactivos aceptados en la validación llegan a la tercera fase de verificación. La revisión de estilo, a cargo de personal de la Dirección General de Difusión del Ceneval, consiste en asegurar la presentación clara y homogénea de cada reactivo y de la prueba en su totalidad. Para ello se verifica el empleo correcto y uniforme del lenguaje, la puntuación, la ortografía, las abreviaturas y la presentación de tablas y otros apoyos gráficos, así como de la bibliografía y las citas textuales. La corrección de estilo le da mayor precisión y claridad de las preguntas, lo que aumenta la validez de la evaluación (estándar 7.2). El procedimiento de Ceneval para la verificación de estilo implica una retroalimentación constante entre los revisores técnico-pedagógicos y el personal de Difusión. 3.3.3 Revisión cuantitativa Después del proceso de revisión de estilo, se lleva a cabo el ensamble de las versiones para el estudio piloto de los reactivos. Para ello se consideran únicamente los reactivos que fueron aceptados en el proceso de validación. Esta primera revisión cuantitativa es importante para que la prueba operativa final se conforme con reactivos que han probado su efectividad para brindar información en cuanto a las habilidades que posee la población objetivo. Después de hacer las modificaciones señaladas por los correctores de estilo, se ensamblan cuadernillos que presentan diferentes bloques de reactivos de cada habilidad evaluada. Todas las propuestas de ensamble de las versiones piloto son avaladas por el Consejo Técnico de la prueba. En la tabla 4 se presenta el esquema general de ensamble que se ha mantenido en los primeros tres años de aplicación de la prueba. El ordenamiento en la presentación de las áreas de habilidad es el mismo que caracteriza a la versión operativa, condición importante para neutralizar cualquier efecto que pudiera tener ello en la respuesta de los estudiantes. Tabla 4. Formas para el estudio de reactivos piloto Forma 2 Forma 3 Forma 4 Forma 5 Forma 6 Habilidad Lectora Habilidad Matemática Habilidad Lectora Habilidad Matemática Habilidad Lectora Habilidad Matemática Habilidad Matemática Habilidad Lectora Habilidad Matemática Habilidad Lectora Habilidad Matemática Habilidad Lectora Habilidad Lectora Habilidad Matemática Habilidad Lectora Habilidad Matemática Habilidad Lectora Habilidad Matemática 96 94 96 94 96 94 41 MANUAL TÉCNICO ENLACE MEDIA SUPERIOR Reactivos por forma Forma 1 Otra de las razones por las que el diseño del piloteo se planteó de este modo fue para probar, en un inicio, qué cantidad de reactivos era adecuada para responderse en sesiones de 50 minutos, así como el número de sesiones pertinentes por día de aplicación, de modo que se controlaran variables como el cansancio o la deserción. En general se procura que las condiciones del piloto sean las mismas que la aplicación operativa; las variaciones corresponden a la cantidad de sustentantes que responden la prueba y el número de reactivos que la conforman, ya que la aplicación de las formas piloto se realiza de manera matricial. En la tabla 5 aparecen los datos referentes al número de cuadernillos que se han ensamblado para contar con ítems suficientes de buena calidad y la cantidad de alumnos que han participado en el piloteo de reactivos. Cada año se ensamblan pruebas piloto con meses de antelación a la aplicación anual. De este modo se asegura la calidad psicométrica de los ítems que servirán para emitir el diagnóstico individual que pretende la prueba enlace Media Superior con su versión operativa. Tabla 5. Cuadernillos y participantes en los estudios piloto 2007 2008 2009 20106 Cuadernillos 18 16 38 30 Sustentantes 9,526 4,709 8,525 9,953 La impresión de los materiales, la aplicación, la lectura óptica de hojas de respuesta y la conformación de la base de datos está a cargo de la dgep-sep. MANUAL TÉCNICO ENLACE MEDIA SUPERIOR 42 3.3.3.1 Calibración de reactivos La calibración de los reactivos se lleva a cabo para valorar su comportamiento estadístico y obtener sus características psicométricas que permitirán seleccionar los que conforman la prueba operativa. Para el análisis de los reactivos se revisa y depura la base de datos proporcionada por la dgep-sep eliminando los casos que presentan menos del 85% de respuestas. El análisis de los reactivos se realiza con base en la Teoría Clásica (tc) y la Teoría de la Respuesta al Ítem 6 Los reactivos que se pilotearon en 2010 corresponden, en su mayoría, a la estructura de la prueba que se utilizará en 2011, la cual presenta diferentes modificaciones que afectan de igual modo el ensamble de las versiones piloto. (tri) con el modelo logístico de tres parámetros. En el análisis de los reactivos, con base en la tc, se atienden dos indicadores: •• 1. Grado de dificultad. Se refiere al porcentaje de personas que responden correctamente un reactivo de una prueba. Entre mayor sea esta proporción, menor será su dificultad. De acuerdo con la Metodología Ceneval, los valores que se consideran aceptables en este parámetro son 20 ≤ GD ≤ 80%. La dificultad es una información básica al ensamblar el instrumento, ya que debe estar balanceado en cuanto a la dificultad global y en cada una de sus áreas o secciones (Vidal et al., 2000). •• 2. Correlación punto biserial o coeficiente de discriminación. Se calcula para determinar el grado en que cada reactivo aporta información certera en cuanto a las habilidades que mide de manera particular, y en conjunto con los demás ítems que conforman la prueba. El índice de correlación permite relacionar la tendencia de respuesta de cada ítem con respecto a la escala de la cual forma parte. Se supone que un sustentante con una puntuación alta en toda la prueba tiene mayores probabilidades de contestar correctamente un reactivo. También se debe esperar lo contrario, es decir, que quien tuvo bajas puntuaciones en la prueba, tenga pocas probabilidades de contestar correctamente el reactivo. Así, un buen reactivo debe discriminar entre aquellos que obtuvieron buenas calificaciones en la prueba y aquellos que obtuvieron bajas calificaciones. Generalmente, basta con que la correlación punto biserial de un reactivo sea positiva para aceptarla como medida de “discriminación” del reactivo; sin embargo, la Metodología Ceneval exige un mínimo de 0.2 para considerar que el ítem es óptimo (Vidal et al., op.cit). 43 MANUAL TÉCNICO ENLACE MEDIA SUPERIOR Adicionalmente, se realizan análisis que se basan en la tri. La diferencia entre la tc y la tri reside en que esta última se centra en las propiedades de los reactivos individuales y no en las propiedades globales de la prueba. La herramienta de la tri que se utiliza para valorar la calidad de los reactivos es la curva característica del ítem, la cual resulta del ajuste de una función matemática al comportamiento del reactivo, y representa la probabilidad de que un sujeto, con una determinada habilidad, responda correctamente el reactivo. Para el análisis de los reactivos de la prueba enlace Media Superior se utiliza el modelo de tres parámetros de tri. Los parámetros hacen alusión a los índices de discriminación, dificultad y pseudo-adivinación de los reactivos: •• 1. Índice de discriminación (a). Indica la cualidad que tiene el reactivo de diferenciar a los sustentantes que dominan el conocimiento de aquellos que no. Para considerar aceptables a los reactivos deben presentar una discriminación mayor que 0.45. •• 2. Índice de dificultad (b). Indica la posición del ítem en la escala de aptitud. Cuanto •• más grande es el valor de dificultad, mayor es la aptitud requerida para que el examinado tenga una probabilidad alta de resolver correctamente el ítem. Lo ideal es que los reactivos se encuentren en un intervalo de -3 a 3. 3. Índice de pseudo-adivinación (c). Permite conocer la probabilidad de que cada reactivo sea contestado correctamente al azar.7 Los datos psicométricos generales de las pruebas piloto correspondientes a 2007, 2008 y 2009 se presentan en el anexo II. El anexo III incluye los parámetros correspondientes a los ítems que integraron la versión operativa 2008 y que han servido para llevar a cabo los procedimientos de equiparación que se explican más adelante. 3.3.3.2 Corrección y validación externa MANUAL TÉCNICO ENLACE MEDIA SUPERIOR 44 Después de la calibración es posible elegir los reactivos con parámetros óptimos que conforman las versiones operativas. Los ítems restantes que cuentan con buenos estadísticos se mantienen en el banco de reactivos para posteriores aplicaciones o para presentarse en materiales de apoyo a los docentes y alumnado de educación media superior. En 2009 y 2010, los reactivos que no cumplieron con los requerimientos mencionados en el apartado anterior fueron revisados y corregidos nuevamente por especialistas con base en los datos estadísticos. De este modo, se identificaron los tipos y estilos de distractores que no funcionan en la población objetivo, y aquellos contenidos cuyo planteamiento se requiere depurar con mayor cuidado para obtener reactivos de buena calidad. Toda esta información se usa para optimizar los materiales de capacitación a los elaboradores, así como la revisión técnica de los reactivos. 3.3.4 Mantenimiento del banco de reactivos Una de las etapas importantes en la Metodología Ceneval para la elaboración de pruebas tiene que ver con el mantenimiento del banco de reactivos. El coordinador del proyecto es el encargado de establecer la meta de reactivos elaborados que debe cubrirse, el tiempo que se tiene para ello, así como las fechas de validación y calibración de los ítems. Después de estas fases, el Coordinador está en posición de contar con un detalle de los parámetros y dictámenes de 7 Este índice también es conocido como pseudo-azar debido a que los sustentantes difícilmente responden por “azar puro”. Normalmente intentan descartar algunas opciones de respuesta antes de adivinar. los reactivos; además, el mantenimiento del banco implica revisar constantemente la actualización de los contenidos y de los parámetros de los ítems de acuerdo con el número de veces que se haya presentado en diferentes versiones ya sea piloto u operativas, y con las posibles modificaciones en el objeto de medición o las normas de revisión editorial. En la tabla 6 se reporta la cantidad de reactivos que se han elaborado, validado y piloteado desde que comenzó la construcción de la prueba hasta agosto del 2010. Como puede verse, el mantenimiento del banco es de suma importancia para dar continuidad a las aplicaciones año con año. Tabla 6. Banco de reactivos enlace Media Superior 2008-2010 2007 2008 2009 2010 Total Reactivos elaborados 2,010 3,112 4,379 1,003 10,504 Reactivos validados 1,389 2,505 4,332 946 9,172 Reactivos piloteados 570 1,561 3,590 135 5,856 3.4 Ensamble de la prueba 45 MANUAL TÉCNICO ENLACE MEDIA SUPERIOR En esta fase se integra la versión operativa de la prueba con los reactivos que resultaron ser los mejores tanto en las revisiones cualitativas como cuantitativas (estándares 3.7 y 3.8). La validez de las interpretaciones de la calificación final depende en gran parte de que el ensamble se realice de manera adecuada (Downing, 2006). La disposición de los reactivos debe obedecer al plan de prueba que se estableció desde el inicio; así, las versiones son congruentes con los contenidos y niveles taxonómicos necesarios para contar con una muestra representativa del dominio de conocimiento que se va a evaluar. Todos estos aspectos contribuyen a la validez de contenido de la prueba. Sin embargo, para que las puntuaciones sean fiables no es suficiente con que se cumpla con el peso y cantidad de reactivos determinados en la estructura del instrumento. También deben controlarse variables como las siguientes: • • • El orden de presentación de los reactivos, de modo que se facilite la lectura y minimice •• •• MANUAL TÉCNICO ENLACE MEDIA SUPERIOR 46 cualquier carga cognitiva derivada de este aspecto. Para el ensamble de enlace Media Superior 2008 se decidió alternar los bloques de reactivos por área y subárea de la prueba y, dentro de cada bloque, ordenar los ítems por su dificultad de manera ascendente. En las siguientes aplicaciones, en aras de asegurar la comparabilidad de la prueba, el orden de los reactivos se ha mantenido sin cambio. Los ítems de 2009 y 2010 poseen, en su mayoría, dificultades similares a las de su par en la primera prueba. • La posición o localización de las respuestas correctas: esto disminuye la probabilidad de acertar por azar o por el sesgo natural a elegir las posiciones intermedias. Para la prueba enlace no existe alguna regla en el orden o frecuencia de presentación de cada clave de respuesta, los elaboradores la asignan según su criterio o en función de algunos lineamientos editoriales; por ejemplo, la longitud de las opciones, el orden ascendente de las respuestas numéricas, entre otros. • Cualquier aspecto visual que pudiera confundir a los sustentantes: para ello se equilibra el tamaño y orientación de los reactivos en el papel, asegurando, por ejemplo, que las tablas o los textos no queden incompletos en una página y que las imágenes sean nítidas, entre otros detalles. Otros aspectos que han de tomarse en cuenta para el ensamble son los aspectos de la administración de la prueba, la cual en el caso de enlace se realiza en seis sesiones de 50 minutos. Los 140 reactivos de la prueba operativa se ensamblan en un solo cuadernillo dividido en seis bloques: tres de Habilidad Lectora y tres de Habilidad Matemática, los cuales se intercalan para su aplicación. En la tabla 7 se muestra la distribución de la prueba operativa en función del número de reactivos y los contenidos. Tabla 7. Distribución de la prueba operativa enlace Media Superior 2008-2010 Día 1 Reactivos Día 2 Reactivos Habilidad Lectora (Apelativo y Argumentativo) 19 Habilidad Matemática (Cambios y Relaciones, y Matemáticas Básicas) 30 Habilidad Matemática (Cantidad y Matemáticas Básicas) 30 Habilidad Lectora (Expositivo) 17 Habilidad Lectora (Narrativo) 14 Habilidad Matemática (Espacio y Forma, y Matemáticas Básicas) 30 Cada sesión dura 50 minutos, aunque en los estudios piloto más recientes se ha estudiado la posibilidad de que para la aplicación de 2012 se reduzcan a 45 minutos. Una de las razones para sugerir el cambio son los reportes constantes por parte de los aplicadores en cuanto a que la mayoría de los sustentantes terminan de responder cada sesión en menos tiempo; además, es posible que en aplicaciones futuras se incluya la evaluación de un campo disciplinar adicional para responder a los objetivos de la riems. La logística de cada aplicación debe considerar los procedimientos necesarios para realizar la posterior equiparación y calificación de los instrumentos (Downing, 2006). En la prueba enlace Media Superior la escala se mantiene año con año gracias al ensamble y aplicación de una versión Pretest, que se distribuye mediante un diseño matricial a una muestra representativa de estudiantes que la contestan en el mismo periodo que la prueba operativa (apartado 5.2). Este esquema se denomina equiparación por población común (Moulton, 2007). 3.4.1 Revisión editorial e impresión del instrumento Todos los cuadernillos de la prueba se someten a una revisión editorial con la finalidad de asegurar su calidad; después se envían a la Comisión Nacional de Libros de Texto Gratuito (Conaliteg), la cual es responsable de su impresión. MANUAL TÉCNICO ENLACE MEDIA SUPERIOR 47 4. Aplicación La 49 MANUAL TÉCNICO ENLACE MEDIA SUPERIOR prueba operativa se aplica a los estudiantes que cursan el último grado de educación media superior en instituciones educativas de carácter público, federal y estatal, en los planteles particulares con reconocimiento de validez oficial otorgado por la sep, así como en instituciones de carácter autónomo que lo soliciten y en escuelas particulares incorporadas. Todos los sustentantes contestan la prueba operativa en seis sesiones de 50 minutos distribuidas en dos días (únicamente una muestra representativa de la población responde una versión del Pretest en una sesión extra). La aplicación de la prueba está a cargo de la dgep-sep, con el apoyo de los titulares de las Áreas Estatales de Evaluación de cada entidad federativa, responsables de elaborar la estrategia de aplicación, así como de coordinarla. Además, participan los representantes estatales de la sems y los titulares de las Oficinas de Servicios Federales de Apoyo a la Educación en las entidades federativas que supervisan la logística de la aplicación. Existen a su vez coordinadores regionales y coordinadores de la aplicación para cada plantel que deben asegurar que las pruebas se apliquen de acuerdo con la normativa. Es importante enfatizar que el control de la aplicación se considera bajo, ya que esta se realiza de manera censal en el ámbito nacional, a una población ubicada en localidades con características y sustentantes muy diferentes. Ahora bien, dada la importancia de contar con datos confiables para la calibración de reactivos y el proceso de calificación, cada año se selecciona una muestra representativa que aplica la prueba con un control más riguroso. En el apartado 4.1 se describe brevemente el diseño muestral utilizado. En la aplicación participan también padres de familia invitados previamente por los directores de los planteles, así como observadores externos que verifican que el proceso se realice de forma adecuada. La organización y calendarización de la prueba asegura la participación de los alumnos, sin afectar las actividades normales de la escuela. Debido a que enlace Media Superior sólo se aplica a los estudiantes del último grado, no se suspenden clases ni actividades escolares para el resto de los estudiantes. 4.1 Diseño muestral El diseño muestral permite contar con una muestra representativa de la población que responde la prueba con un control de aplicación más estricto. Los aplicadores de la muestra controlada provienen de la dgep, de modo que se reduce la posibilidad de copia, mala distribución de cuadernillos o de tiempo durante las sesiones. Los datos de la muestra controlada sirven para realizar los análisis estadísticos necesarios para realizar la equiparación de las pruebas de un año a otro, definir los puntos de corte y llevar a cabo diversas investigaciones de interés para la sems. Además, estos sustentantes responden cuestionarios de contexto que permiten estudiar variables asociadas al logro académico. Para 2008 y 2009 se aplicó un mismo diseño muestral con niveles de desagregación en que se trabajaron los resultados de enlace Media Superior, los cuales se muestran en la tabla 8. Tabla 8. Niveles de desagregación de la muestra 2008-2009 Nivel de desagregación 1 Tipo de resultado Nacional Nacional por tipo de bachillerato • General • Técnico • Tecnológico 2 Nacional por tipo de sostenimiento • Público • Privado Nacional por nivel de urbanidad • Rural • Urbano MANUAL TÉCNICO ENLACE MEDIA SUPERIOR 50 3 Estatal Nacional por tipo de bachillerato • General • Técnico • Tecnológico 4 Nacional por tipo de sostenimiento • Público • Privado Nacional por nivel de urbanidad • Rural • Urbano A petición de la sems, en 2010 se implementó un diseño muestral diferente. Para este nuevo diseño se determinó que no era posible alcanzar la desagregación por estados, dada la variabilidad que presentan las entidades en cuanto a la proporción de estudiantes de acuerdo con el tipo de bachillerato, tipo de sostenimiento y nivel de urbanidad. Por este motivo se establecieron los niveles de desagregación nacional en los tres diferentes rubros, como se muestra en la tabla 9. Tabla 9. Niveles de desagregación de la muestra 2010 Nivel de desagregación 1 Tipo de resultado Nacional Por tipo de bachillerato • General • Técnico • Tecnológico 2 Por tipo de sostenimiento • Público • Privado Por nivel de urbanidad • Rural • Urbano El procedimiento para calcular el tamaño de la muestra, así como los cambios requeridos desde la primera aplicación (2008) se describen en el anexo IV. MANUAL TÉCNICO ENLACE MEDIA SUPERIOR 51 5. Calificación MANUAL TÉCNICO ENLACE MEDIA SUPERIOR Esta etapa es esencial para cumplir con los propósitos de la prueba, en particular con la generación de información acerca del nivel de desempeño en dos habilidades básicas por parte de los sustentantes. Para ello, todos los años se procesa la información recolectada durante la fase de aplicación mediante la lectura de hojas de respuesta para después calificar a los sustentantes. La lectura y calificación son responsabilidad de la dgep-sep, instancia que cada año entrega las bases de datos para que el Ceneval valide sus resultados. Adicional a esto, en 2008 el Centro fue responsable de coordinar las actividades para establecer los puntos de corte que se utilizan en el proceso de calificación, así como de definir los niveles de desempeño que se han incluido en los reportes de resultados de los sustentantes en todas las aplicaciones. 53 5.1 Confiabilidad de la prueba Los datos de cada aplicación han permitido evaluar la confiabilidad de la prueba y tener información sobre la consistencia interna de la prueba. Para medir la estabilidad del instrumento se calcula el Alfa de Cronbach considerando que una prueba es confiable cuando obtiene un Alfa mayor a 0.70 (Nunally & Bernstein, 1994). La confiabilidad por año de la prueba enlace Media Superior se muestra en la tabla 10. Tabla 10. Confiabilidad enlace Media Superior 2008-2010 Año Habilidad Lectora Habilidad Matemática Global 2008 .808 .832 .885 2009 .858 .890 .924 2010 .852 .900 .928 5.2 Establecimiento de puntos de corte y definición de niveles de desempeño MANUAL TÉCNICO ENLACE MEDIA SUPERIOR 54 Uno de los aspectos fundamentales al elaborar un examen referido a un criterio es determinar el nivel mínimo de habilidad que garantiza que un sustentante tiene dominio sobre los contenidos de la prueba. Para ello es necesario establecer un punto de corte que permita diferenciar entre los sujetos que alcanzan determinado nivel de habilidad y los que no lo han logrado. En el caso de la prueba enlace Media Superior se utiliza el método Bookmark o del marcador (Mitzel, Lewis, Patz y Green, 2001). Este procedimiento toma en cuenta los resultados empíricos de la prueba (análisis empírico) y el juicio de los expertos (análisis de juicio), con el fin de identificar los contenidos que podría responder adecuadamente un sustentante perteneciente a las distintas categorías o niveles de habilidades que la prueba es capaz de medir. 5.2.1 Análisis empírico Para el análisis empírico es necesario contar con los datos de la primera aplicación del instrumento y los siguientes insumos: •• a) descripción de cómo está conformada la prueba: temas, subtemas, número de reactivos •• •• en cada uno b) clave de respuesta correcta de cada reactivo c) archivo con las respuestas de los sustentantes en formato .dbf o .txt (proporcionado por la dgep-sep). A partir de estos datos se estiman las características métricas de los reactivos (dificultad, discriminación, índice de adivinación) con base en la tc y del modelo logístico de tres parámetros de tri para comprobar su calidad. Entre otras cosas, este análisis permite determinar si los reactivos están funcionando de manera adecuada y si se presenta estabilidad entre las diferentes aplicaciones (estándar 3.22). Es importante detectar si existen ítems con problemas para no tomarlos en cuenta para la calificación ni para el establecimiento de puntos de corte (anexo V). Por ejemplo, en 2008, el análisis de los reactivos con tc permitió identificar 10 reactivos con correlación biserial negativa y/o dificultad muy alta que se eliminaron de la calificación. En 2009 se descartaron 11 reactivos y en 2010 sólo 3. El resto de los ítems de cada prueba operativa obtuvo parámetros estadísticos adecuados y ofrecen información válida acerca de la habilidad de los sustentantes. 5.2.2 Análisis de juicio 55 MANUAL TÉCNICO ENLACE MEDIA SUPERIOR Para llevar a cabo las tareas relacionadas con el análisis de juicio se convocó a expertos en el área de Matemáticas y Habilidad Lectora que conformaron los Comités Académicos de Establecimiento de Puntos de Corte y Definición de Niveles de Dominio. A los especialistas se les comisiona la descripción de los conocimientos y habilidades que los sustentantes deben mostrar para clasificarse en cada nivel de dominio. A petición de la sems, la clasificación de los niveles tomó en cuenta cuatro categorías: insuficiente, elemental, bueno y excelente. Después de tener una primera aproximación cualitativa, se procedió al establecimiento de los puntos de corte operacionales. Los miembros de comité trabajaron con los resultados del análisis empírico de la prueba y con el perfil referencial, siguiendo los pasos del método Bookmark que se mencionan a continuación: • • • Revisar los reactivos de la prueba operativa ordenados por su dificultad empírica. • • • Identificar el reactivo marcador para cada uno los niveles de dominio. La tarea de los jueces fue, tomando en cuenta la jerarquización por dificultad, elegir el ítem o tarea que •• •• actúa como punto de inflexión entre dos niveles de dominio. El cambio de un nivel a otro se produce cuando se identifica un reactivo que un estudiante promedio del nivel actual no puede responder. El punto de corte se establece en función del valor del parámetro b (dificultad) y no del número de reactivos que están contenidos en los conjuntos correspondiente a cada nivel de dominio. En la prueba enlace Media Superior se manejan cuatro niveles, por lo que se identificaron tres marcadores. • Determinar los rangos de habilidad en función de los puntos de corte que se establecieron (anexo V). La estructura de la prueba enlace Media Superior se mantuvo sin cambios durante los años 2008, 2009 y 2010, motivo por el cual los puntos de corte establecidos en 2008 han servido para los tres años. • Redactar un párrafo que sintetice de manera global el tipo de habilidades que caracterizan a los estudiantes de cada nivel de dominio. La descripción de cada nivel de dominio complementa la información tradicionalmente expresada en puntuaciones y permite conocer los elementos cualitativos relacionados con el desempeño de los sustentantes. En los reportes de resultados se indica que la persona evaluada posee las habilidades que se describen en el nivel en que está ubicado y las de los niveles inferiores. A continuación se transcriben los niveles de dominio que se trabajaron con el comité académico y que se presentan en los reportes de resultados de los sustentantes. 5.2.2.1 Niveles de dominio de la Habilidad Lectora • • • Insuficiente. Eres capaz de identificar elementos que se encuentran de manera explícita MANUAL TÉCNICO ENLACE MEDIA SUPERIOR 56 •• •• en textos narrativos y expositivos, ya sea acciones, hechos, episodios, personajes o sus características. Realizas inferencias sencillas sobre las acciones de los personajes y estableces relaciones entre dos o más elementos. Identificas si la estructura de algunas partes del texto es adecuada al contenido que presenta. • Elemental. Ubicas e integras diferentes partes de un texto. Reconoces la idea central y comprendes relaciones del tipo: problema–solución, causa–efecto, comparación–contraste. Infieres el significado de palabras, así como la relación entre párrafos e ideas. Reconoces la postura del autor. Relacionas la información del texto y la que se encuentra en tablas. • Bueno. Relacionas elementos que se encuentran a lo largo del texto y/o en glosarios. Comprendes el texto de forma completa y detallada, y sintetizas su contenido global. Infieres relaciones del tipo: problema–solución, causa–efecto, comparación–contraste. •• Estableces relaciones entre la postura del autor y la información que apoya su punto de vista. Por ejemplo: un hecho, un dato, el contexto, etcétera. Reconoces la función que cumplen las tablas en los textos expositivos. Evalúas la estructura del texto en relación con su contenido. • Excelente. Haces inferencias complejas para construir una interpretación global del texto. Comprendes la información contenida en tablas y esquemas y la relacionas con el contenido del texto. Estableces relaciones entre argumentos y contraargumentos. Analizas si la organización, las expresiones y los recursos que utiliza el autor son adecuados al tipo de texto y a su destinatario. 5.2.2.2 Niveles de dominio de la Habilidad Matemática • • • Insuficiente. Resuelves problemas donde la tarea se presenta directamente. Identificas •• •• 57 MANUAL TÉCNICO ENLACE MEDIA SUPERIOR •• información en esquemas o gráficas y realizas estimaciones. Efectúas sumas y restas con números enteros y traduces del lenguaje común al lenguaje algebraico. Resuelves problemas en los que se requiere identificar figuras planas y tridimensionales. • Elemental. Realizas multiplicaciones y divisiones con números enteros, y sumas que los combinan con números fraccionarios. Calculas porcentajes, utilizas fracciones equivalentes, ordenas y comparas información numérica. Estableces relaciones entre variables y resuelves problemas que combinan datos en tablas y gráficas. Aplicas conceptos simples de probabilidad y estadística. Construyes expresiones equivalentes a una ecuación algebraica y resuelves ejercicios con sistemas de ecuaciones lineales. Manejas conceptos sencillos de simetría y resuelves problemas que involucran un razonamiento viso-espacial. • Bueno. Resuelves problemas que involucran más de un procedimiento. Realizas multiplicaciones y divisiones combinando números enteros y fraccionarios. Calculas la raíz cuadrada, razones y proporciones, y resuelves problemas con números mixtos. Analizas las relaciones entre dos o más variables de un proceso social o natural y resuelves los sistemas de ecuaciones que las representan. Identificas funciones a partir de sus gráficas para estimar el comportamiento de un fenómeno. Construyes una figura tridimensional a partir de otras e identificas características de una figura transformada. Utilizas fórmulas para calcular superficies y volumen, y reconoces los elementos de una cónica a partir de su representación gráfica. • Excelente. Empleas operaciones con fracciones para solucionar problemas y resuelves combinaciones con signos de agrupación. Conviertes cantidades en sistema decimal a sexagesimal. Identificas la relación existente entre gráficas y funciones lineales o cuadráticas, y expresas algebraicamente una representación gráfica. Aplicas conceptos avanzados de probabilidad. Solucionas problemas con series de imágenes tridimensionales y aplicas conceptos de simetría. Utilizas fórmulas para calcular el perímetro de composiciones geométricas. Determinas los valores de los elementos de la circunferencia, la parábola y la elipse a partir de su ecuación y viceversa; identificas la ecuación de una recta a partir de sus elementos y la aplicas para encontrar la distancia entre dos puntos. Solucionas problemas donde se aplican funciones y leyes trigonométricas. 5.2.3 Validación de los puntos de corte Los puntos de corte permiten calificar a los sustentantes y calcular el porcentaje de población que pertenece a cada nivel de dominio. Para verificar que la clasificación refleje adecuadamente la realidad, en 2008 se llevó a cabo un proceso de validación de los puntos de corte que consiste en corroborar que éstos se encuentren claramente diferenciados en la escala de calificación y cubran el espectro de puntuaciones de manera suficiente (Gaviria, 2008). En este proceso se consideraron, por un lado, la relación entre las puntuaciones de la escala y la puntuación verdadera y, por otro, el error típico de la estimación que se obtuvo para cada punto de la escala en función del valor que en el mismo toma la función de información. A partir del estudio de validación, se concluyó que la separación entre los puntos de corte determinados para cada una de las áreas, es adecuada según los criterios que se manejaron. El detalle de la metodología utilizada y una descripción más exhaustiva de los resultados se presenta en el anexo VI. La validación cuantitativa de los puntos de corte le da mayor fortaleza a la definición cualitativa de los mismos que se desarrolla en la descripción de los niveles de dominio, y es la que se presenta en los reportes de resultados de los sustentantes. MANUAL TÉCNICO ENLACE MEDIA SUPERIOR 58 5.3 Equiparación de las pruebas Si bien las estrategias de ensamble de las versiones de enlace Media Superior garantizan que las versiones sean equivalentes en los que contenidos que miden, en un momento posterior a la aplicación pueden existir diferencias en su dificultad. Para controlar este efecto en la calificación de la prueba se recurre a una equiparación horizontal. Los métodos de equiparación son procedimientos empíricos para establecer una relación estadística entre los puntajes de dos versiones de una misma prueba. Dicha relación puede utilizarse para expresar los puntajes de una versión en términos de los puntajes de otra versión, lo que permite que los resultados de la prueba sean comparables año con año. La equiparación requiere de un diseño de recolección de datos y de una regla para transformar los puntajes de una versión a los puntajes de otra. En relación al primer aspecto se tomó en cuenta que, por cuestiones de transparencia, la prueba enlace Media Superior hace públicos todos sus reactivos después de cada aplicación. Dicha condición impide incluir reactivos ancla en las versiones operativas, por lo que se aplica de manera matricial una prueba denominada Pretest que se utiliza para calibrar los reactivos y obtener los parámetros que se fijan en cada aplicación. El Pretest es equivalente en contenido y dificultad a la prueba operativa. Se administra de manera matricial por lo que se ensamblan formas o cuadernillos que contienen entre 18 y 25 reactivos. La suma de todas las formas se convierte en la versión operativa del siguiente año. El Pretest se presenta a una muestra representativa de la población que aplica la prueba operativa (Diseño muestral, apartado 4.1). Los sustentantes que conforman la muestra responden ambos instrumentos (la prueba operativa y el Pretest), por lo que las puntuaciones de cada prueba son escaladas en un primer momento gracias a que se aplican a la misma población. La siguiente figura ejemplifica la forma en que se recolectan los datos para la equiparación horizontal. Figura 1. Diseño de recolección de datos: Equiparación Horizontal enlace-ems operativa (Aplicación censal) Pretest (Aplicación Matricial) Forma 1 59 Forma 2 Forma n La totalidad de los sustentantes responde las seis sesiones de aplicación de la prueba operativa y, de manera adicional, la muestra se somete a una séptima sesión en la que se le aplica una forma correspondiente al Pretest. La aplicación de las formas o cuadernillos del Pretest a la muestra controlada se organiza mediante un sistema de contrabalanceo, de modo MANUAL TÉCNICO ENLACE MEDIA SUPERIOR 140 reactivos que algunos sustentantes lo responden en alguna de las sesiones del primer día de aplicación, otros del segundo y un grupo más en un tercer día. Para lograr la equivalencia de los cuadernillos del Pretest, así como la que debe existir entre la versión Pretest-operativa, las formas se ensamblan con dos bloques intercalados de cada subárea considerando que todos deben ser similares en su índice global de dificultad en tc y cantidad de reactivos. En las tablas 11 y 12 se presenta el esquema general de ensamble del Pretest. Tabla 11. Habilidad Lectora Dificultad (tc) por forma Formas Reactivos Dificultad 1 22 55.61 2 18 53.59 3 19 54.96 4 18 54.44 5 23 55.48 Tabla 12. Habilidad Matemática Dificultad (tc) por forma MANUAL TÉCNICO ENLACE MEDIA SUPERIOR 60 Formas Reactivos Dificultad 1 26 40.20 2 26 40.16 3 25 40.17 4 25 40.10 5 26 40.24 6 26 40.26 7 26 40.17 El ensamble de las diferentes versiones es muy importante para brindar confianza en los procedimientos de calificación y equiparación, ya que todas deben medir el mismo constructo y conservar las condiciones de aplicación, de modo que se eliminen fuentes externas que afecten la respuesta del sustentante y esta dependa únicamente de su nivel de habilidad. Posteriormente, para equiparar los puntajes se realiza una transformación lineal, a partir del modelo logístico de tres parámetros de tri. De este modo, las puntuaciones provenientes de distintas versiones son intercambiables y todos los sustentantes son evaluados bajo el mismo criterio (estándares 4.19 y 4.20). En la tabla 13 se muestra la similaridad estadística que se ha mantenido cada año en las versiones operativas. Tabla 13. Parámetros globales equiparados 2008-2010 Dificultad tc Corr. Biserial tc 2008 44.74 0.221 2009 46.75 0.325 2010 48.63 0.257 El procedimiento de equiparación se explica de manera detallada en el anexo VII. MANUAL TÉCNICO ENLACE MEDIA SUPERIOR 61 6. Resultados Los •• En la página electrónica se pueden revisar, durante todo el año, las características generales de la prueba, las fechas de aplicación y noticias relacionadas con la evaluación. También se pueden consultar los reactivos que conformaron la prueba enlace Media Superior, así como los resultados por alumno, por escuela y por entidad federativa. Cualquier consulta a los datos disponibles debe hacerse considerando el propósito para el que fue diseñada la prueba: brindar un diagnóstico individual y general de fortalezas y debilidades en dos habilidades básicas: lectora y matemática. Si bien enlace Media Superior forma parte del sneems, como ya se explicó, es una prueba dirigida al alumnado y no puede utilizarse para evaluar el sistema educativo, los subsistemas, las escuelas o los docentes. Por todo esto, los resultados sólo deben ser usados para conocer el nivel de dominio de los sustentantes y planear estrategias de estudio, secuencias didácticas, campañas particulares, entre otras, que sean consecuentes con las necesidades que puedan detectarse haciendo uso de los datos. 63 MANUAL TÉCNICO ENLACE MEDIA SUPERIOR •• •• resultados de la prueba enlace Media Superior se encuentran disponibles al público en general en diferentes medios: • En la página electrónica oficial, con ligas a los reportes por alumno, por escuela y los resultados nacionales. • En carteles que se distribuyen a la comunidad educativa en cada escuela. • En notas de prensa. Estas consideraciones se reiteran varias veces en la página electrónica y las autoridades de la Subsecretaría se encargan de recordarlas al público en general en las conferencias y eventos de prensa. El Ceneval también hace énfasis en los alcances y limitaciones de la prueba, en todos los Comités que se organizan durante el desarrollo y mantenimiento de la prueba, y se pide a los participantes que divulguen la información para evitar malos usos de los datos y maximizar la validez de las interpretaciones de la propia evaluación (estándar 13.19). Los resultados de las primeras tres aplicaciones se muestran en la tabla 14. Tabla 14. Resultados aplicación enlace 2008-20108 2008 2009 2010 N sustentantes 808,346 835,741 884,663 N escuelas 11,007 11,716 12,246 Proporción de sustentantes por nivel de dominio Habilidad Lectora Habilidad Matemática % Excelente 6.7 7.2 9.6 % Bueno 45.5 42.6 47.7 % Elemental 35.4 33.1 31.2 % Insuficiente 12.4 17 11.5 % Excelente 3.4 4.8 5.3 % Bueno 12.2 13.9 15.1 % Elemental 37.8 35.1 39.1 % Insuficiente 46.6 46.1 40.6 MANUAL TÉCNICO ENLACE MEDIA SUPERIOR 64 En la tabla se presentan únicamente los resultados nacionales; sin embargo, en la página electrónica se pueden consultar los porcentajes para cada entidad federativa, tipo de bachillerato, sostenimiento y grado de marginación. Estas y otras características se utilizan para hacer estudios y tomar decisiones en cuanto a políticas públicas. 8 Datos disponibles en http://enlace.sep.gob.mx/ms/ 6.1 Reporte de resultados A continuación se muestra el reporte de resultados que se entregó a cada sustentante en las aplicaciones de 2008 y 2009. Desde 2010, está disponible únicamente en línea. En él se encuentran los datos de identificación del alumno, el objetivo de la prueba, la descripción de los niveles de desempeño y la ubicación del alumno en cada una de las habilidades evaluadas. Aunado a estos datos, se muestra el porcentaje de alumnos por cada nivel de dominio por plantel, entidad y a escala nacional. MANUAL TÉCNICO ENLACE MEDIA SUPERIOR 65 MANUAL TÉCNICO ENLACE MEDIA SUPERIOR 66 6.2 Usos y difusión de resultados De forma independiente a la utilidad que cada sustentante o docente le pueda dar a los datos obtenidos con base en la información del reporte individual, la sems, la sep y el Ceneval organizan un seminario acerca de los usos y difusión de los resultados de la prueba. Autoridades de cada instancia y representantes de organizaciones de la sociedad civil presentan diferentes ponencias en el seminario con el objetivo de que la comunidad en general conozca los propósitos de la prueba enlace Media Superior, sus características técnicas y la 67 MANUAL TÉCNICO ENLACE MEDIA SUPERIOR Los datos y porcentajes que se presentan en los reportes individuales incluyen los resultados de la población que asiste a escuelas del mismo tipo de sostenimiento (público o privado), que corresponda a la modalidad de bachillerato (general, tecnológico, técnico) y grado de marginación (muy alto, alto, medio, bajo, muy bajo). La intención de presentar los porcentajes que se obtuvieron en planteles con las mismas características es evitar que se hagan comparaciones que resultarían inválidas dadas las diferencias de los bachilleratos en cuanto a recursos, propósito, etcétera; por lo mismo, se incluye un breve párrafo que explica el propósito de la prueba en cada uno de los reportes (estándares 11.6, 11.12 y 11.15). Los cuatro niveles de dominio se describen de manera general con la intención de que el sustentante, el docente y el padre o madre de familia conozcan las fortalezas y debilidades que indica cada uno, considerando que determinado nivel implica las habilidades del o los anteriores. Además, se pueden consultar todos los reactivos con las respuestas que el estudiante eligió y compararlas con la opción correcta; cada pregunta incluye un enunciado que describe lo que es capaz de hacer el sustentante que responde adecuadamente al reactivo. En caso de que se requiera consultar el resultado de una escuela en particular, la liga correspondiente pedirá que se ingrese la Clave del Centro de Trabajo (cct) y que se indique el turno para el que se quiere consultar los datos. La información que se despliega incluye la ubicación, los datos generales de la escuela (tipo de sostenimiento, modalidad, grado de marginación) y el número de sustentantes evaluados del último grado escolar en relación con los programados para aplicar el examen. La posibilidad de revisar los resultados por escuela representa una ganancia para los docentes, especialmente porque cada pregunta se acompaña del porcentaje de estudiantes que la contestó incorrectamente, y se menciona la fortaleza o debilidad que los datos evidencian. De este modo, cada docente puede conocer aquellos contenidos y procesos que provocan más errores en su alumnado y así, mejorar su práctica educativa. forma en cómo puede aprovecharse no sólo en el ámbito académico, sino en planificación de políticas públicas o campañas sociales para promover actividades que favorezcan la lectura y la comprensión de las matemáticas como herramientas de la vida cotidiana. Otra estrategia para contribuir a que los resultados de la prueba sean de utilidad es la publicación de un Manual para Docentes y Directivos que se encuentra disponible en la página electrónica de la prueba. Se hace hincapié en los propósitos, los alcances y limitaciones de enlace Media Superior, además de que se presentan sugerencias en cuanto a las actividades en plantel o en el aula que pueden organizar los docentes para mejorar las habilidades de los sustentantes. En el manual se enfatiza el evitar las comparaciones entre alumnos, entre escuelas, y sobre todo el evitar los ejercicios de preparación exclusivamente para la prueba. Se incluye una explicación amplia de la forma en que se concibió el instrumento, entre otras cosas, como la medición de una muestra representativa de los contenidos a través de los cuales se pueden evaluar las habilidades básicas, pero que de ninguna manera incluyen todos los temas y ejercicios que forman parte de los planes y programas. Esta idea se refuerza con la descripción de la Habilidad Lectora y la Habilidad Matemática, como ejemplos de habilidades transversales que pueden y deben ser promovidas en todas las disciplinas y asignaturas del bachillerato, ya sea con trabajos de investigación bibliográfica, prácticas de campo, portafolios y ensayos, entre otros. Por algunas de las razones expuestas anteriormente, así como por el objetivo meramente diagnóstico de la prueba, enlace Media Superior no distribuye guías para el sustentante, únicamente se elabora anualmente el Manual para docentes y directivos. MANUAL TÉCNICO ENLACE MEDIA SUPERIOR 68 6.3 Cuestionarios de contexto El Ceneval aplica un cuestionario de contexto a la muestra controlada de sustentantes, maestros y directores, con el fin de recabar datos relacionados con variables de contraste específicas: subsistema educativo, nivel socioeconómico, motivación, compromiso académico, actividades extraescolares, situación laboral, recursos cognitivos y no cognitivos, trayectoria académica, características de las escuelas de procedencia y contexto familiar. Las variables de contexto son elegidas por un Consejo Técnico conformado por especialistas y autoridades de la sep. En el cuadro 2 se muestra la estructura del cuestionario de contexto de alumnos utilizada en 2010. En años anteriores se presentaron algunas variaciones en cuanto a los rubros y la cantidad de preguntas asociadas a cada uno, hasta que en 2010 se estableció una estructura que contiene un mayor abanico de variables de contexto que permiten describir a la población sustentante del examen operativo y explicar su desempeño. Los cuestionarios de los sustentantes se aplican en una sesión de 50 minutos, mientras que los dedicados a docentes y directivos pueden ser contestados en línea. Las preguntas dirigidas a los directores recaban información acerca de las características de la escuela, mientras que el cuestionario dirigido a los docentes se centra en variables asociadas a la función educativa. Cuadro 2. Estructura del cuestionario de contexto para alumnos 2010 Dominio Datos generales Recursos no cognitivos Tiempo libre Personal Situación laboral Comportamientos de riesgo Recursos cognitivos Trayectoria académica Características de las escuelas de procedencia Escolar Calidad de la escuela Social Familiar Variable Sexo Edad Estado civil Discapacidades Lengua indígena Motivación Compromiso académico Ejercicios físicos Actividades extracurriculares Otros Trabajo actual Consumo de sustancias adictivas Habilidad percibida para el uso del idioma Inglés Habilidad percibida para el uso de la computadora Preescolar Primaria Secundaria Nivel medio superior Primaria Secundaria Nivel medio superior Tiempo utilizado en traslado Exigencia de la escuela Tutorías Calidad de los maestros Clima escolar Estructura familiar Capital cultural Capital económico Total Preguntas 1 1 1 5 1 3 10 4 3 5 7 10 5 4 1 5 7 17 1 2 4 1 1 3 20 8 1 10 19 160 69 MANUAL TÉCNICO ENLACE MEDIA SUPERIOR Área Los hallazgos hasta ahora han resultado interesantes. Entre otros, los datos muestran de manera consistente que las variables que mejor predicen el desempeño de los sustentantes son, en orden de importancia, las asociadas al capital cultural y económico en el dominio familiar, las relacionadas con la motivación en cuanto a recursos no cognitivos y, por último, la habilidad percibida para el uso del idioma inglés y de la computadora. MANUAL TÉCNICO ENLACE MEDIA SUPERIOR 70 7. Reflexiones acerca de la prueba 71 MANUAL TÉCNICO ENLACE MEDIA SUPERIOR La prueba enlace Media Superior fue creada con la intención de proporcionar un diagnóstico general de fortalezas y debilidades en dos habilidades básicas para la vida, de tal forma que los datos sean útiles para mejorar la calidad de este tramo educativo trascendente en la vida profesional y académica de los individuos. Para contribuir con un propósito tan importante y fundamental, es prioritario que se sigan lineamientos de calidad estrictos en el desarrollo de la prueba. Por ello, además de usar como base la Metodología Ceneval, se organiza cada etapa procurando el cumplimiento de los estándares internacionales de evaluación educativa que instituciones como la apa y la aera publican periódicamente. Desde su origen, la prueba enlace Media Superior se planificó con la participación de reconocidos especialistas nacionales e internacionales; además, cada una de las decisiones importantes en su desarrollo ha sido consultada con autoridades en el tema y se ha recibido retroalimentación constante por parte de diferentes asesores. MANUAL TÉCNICO ENLACE MEDIA SUPERIOR 72 En cada una de las etapas de construcción de la prueba, la participación de personas con actividades y grados de profesionalización muy diferentes ha resultado enriquecedora. En los comités académicos se establecen diálogos y discusiones para llegar a acuerdos en cuanto a los contenidos que se deben evaluar para tener información válida y representativa; de la misma manera, llegar a un consenso en la redacción de especificaciones y delimitaciones implica que se intercambien muchos puntos de vista y experiencias en el plano docente, para equilibrar la dificultad de la prueba y adecuarla al nivel del alumnado de media superior. La misma experiencia de retroalimentación caracteriza a las reuniones de validación y posterior corrección de reactivos, donde los especialistas tienen que encontrar una única respuesta correcta y tres distractores que, si bien son plausibles, deben ser totalmente incorrectos. En el Ceneval, una constante es el trabajo en conjunto, tanto para los encargados de la coordinación como de quienes se ocupan de los bancos de reactivos y los análisis psicométricos, pues cada una de las actividades debe contribuir a los propósitos de la prueba y a la calidad de la misma. Todo el trabajo se ve materializado con la integración de diversas versiones cada año, no sólo para calificar a los sustentantes sino para verificar constantemente la calidad de los reactivos. En la prueba enlace Media Superior las formas piloto se ensamblan y aplican con anterioridad a la versión operativa y la versión Pretest, de modo que en la aplicación definitiva se incluyen siempre los mejores ítems. El cronograma de actividades se adapta a las necesidades de la prueba y las indicaciones de la sep-sems, de manera que en todo momento se cumpla con los lineamientos de calidad en cada fase del desarrollo de la evaluación. Todo ello no ha evitado que la prueba sufra críticas, sobre todo por el mal uso que en muchos sectores se hace de los resultados. Como se ha mencionado, la prueba enlace no está diseñada para hacer comparaciones entre subsistemas, entre escuelas o entre docentes, y las interpretaciones que se hacen al respecto son erróneas. El diseño de la prueba corresponde con el de una evaluación diagnóstica individual, y su función principal es representar una retroalimentación para cada estudiante, de modo que conozca el nivel de dominio que posee en cada habilidad y ponga en práctica estrategias para mejorarlo. Es común encontrar que algunos centros escolares se promocionan a sí mismos haciendo uso de los buenos resultados de su alumnado en la prueba enlace. Eso carece de fundamento, el hecho de que sea posible consultar los resultados de cada cct no implica que deban compararse, pues cada centro tiene sus condiciones particulares en cuanto a número de alumnos, tipo de sostenimiento, modalidad, etcétera, además de que los resultados, positivos o negativos, pueden deberse a multitud de variables que no están relacionadas con la calidad de la escuela en sí. 73 MANUAL TÉCNICO ENLACE MEDIA SUPERIOR La posibilidad de consultar los resultados año con año en la página electrónica de enlace Media Superior responde a la necesidad de tener un diagnóstico general constante que muestre las áreas de fortaleza y debilidad. Las comparaciones que pueden ser de utilidad son las que pueda hacer cada director de plantel en cuanto a los resultados año con año de su propia escuela, aunque esto de ninguna manera debe llevar a un veredicto en cuanto a las capacidades de sus docentes (ya se ha dicho que la prueba está dirigida al alumnado). Más bien puede dar indicios de las áreas acerca de las que pueden planificarse campañas internas, actividades extracurriculares, entre otras. Además de la fuente de información que representan los resultados de enlace, un propósito que se ha visto cumplido en estos tres años de aplicación ha sido la creciente concientización en la población acerca de la importancia de las habilidades evaluadas. Los interesados en el nivel medio superior pueden utilizar los resultados de la prueba de diferentes formas: • • • Para mejorar la práctica educativa después de analizar los errores y aciertos más comunes del alumnado, así como las concepciones que poseen acerca de los contenidos evaluados en la prueba. Esto debe hacerse considerando que la prueba enlace Media Superior únicamente evalúa una muestra representativa de lo que constituye y debe promoverse como parte de la Habilidad Lectora y la Habilidad Matemática. • • • Para planificar intervenciones en el aula, en el plantel, en un estado o en todo el país que fortalezcan el desarrollo de habilidades básicas. • • • Para tener datos que ayuden a detectar tendencias en el plantel y contar con una líneabase que permita la comparación con los resultados de aplicaciones posteriores y establecer el efecto que han tenido determinadas acciones educativas. • • • Para caracterizar a la población de un plantel o entidad federativa en términos de su distribución por niveles de logro, siempre y cuando la proporción de alumnos evaluados sea significativa. • • • Para promover investigaciones que detecten factores (económicos, sociales, de infraestructura, de enseñanza aprendizaje, entre otros) asociados al nivel de logro de las distintas muestras de población, sobre las cuales puedan actuarse. 7.1 Comparación con evaluaciones similares MANUAL TÉCNICO ENLACE MEDIA SUPERIOR 74 En nuestro país existen otras pruebas que también se aplican a los estudiantes del nivel medio superior. Algunas poseen características en común con enlace Media Superior pero tienen objetivos distintos. En la tabla 15 se presentan las características de dichos instrumentos. A partir de la tabla pueden reconocerse las diferencias que tiene enlace Media Superior con las demás pruebas; las más importantes se encuentran en su propósito y su método de aplicación. Mientras que enlace es una prueba de bajo impacto (su objetivo es meramente diagnóstico), existen otras evaluaciones que sí tienen consecuencias en la población objetivo, como la correspondiente al Acuerdo 286 Bachillerato (cuyo propósito es de acreditación) y el exani-i (que es una prueba de selección). La evaluación internacional de pisa, el egrems y el exani-ii al que se refiere la tabla, comparten con enlace Media Superior su carácter diagnóstico; sin embargo, la primera prueba se administra únicamente a una muestra representativa de la población, mientras que las otras dos se aplican de acuerdo con las solicitudes de las instituciones. En contraste con ello, la aplicación de enlace Media Superior se caracteriza por ser censal ya que se aplica casi al 100% de la población objetivo nacional, una vez al año. Los rasgos que comparten las seis pruebas reseñadas en la tabla tienen que ver con sus características psicométricas. Todas son evaluaciones objetivas ya que su calificación no depende de un criterio variable, además de que los controles en sus condiciones de aplicación y calificación las clasifican como pruebas estandarizadas. En todos los casos se evalúa a partir de reactivos de opción múltiple, aunque la prueba derivada del Acuerdo 286 también incluye la elaboración de un texto por parte del sustentante, y la de pisa complementa la información obtenida con los ítems cerrados con preguntas de respuesta construida. Como se mencionó, el proceso de construcción de la prueba enlace Media Superior retomó varios aspectos de la evaluación de pisa, pero ambas evaluaciones son muy distintas en su estructura, su método de aplicación y, sobre todo, en el uso de los resultados. El Programa pisa pretende comparar sistemas educativos nacionales por lo que sólo aplica una muestra de los reactivos a cada estudiante, que a su vez es seleccionado de manera aleatoria de una muestra. Los resultados se combinan en escalas globales que permiten comparar el desempeño de los países participantes. El esquema de aplicación de enlace Media Superior es distinto puesto que fue diseñado únicamente para emitir un diagnóstico individual de fortalezas y debilidades, que de ninguna manera debe ser utilizado para comparar escuelas o subsistemas. Aspirantes a un área específica de educación superior. Restringido. Alta. Egresados de educación secundaria, aspirantes a ingresar al bachillerato. Bajo demanda. 80 reactivos de opción múltiple: 20 de Razonamiento lógico-matemático, 20 de Matemáticas, 20 de Razonamiento Verbal, 20 de Español. Restringido. Media/Alta. Personas con 21 años cumplidos. Bajo demanda. 180 reactivos de opción múltiple: 28 de Comunicación, 61 de Matemáticas, 46 de Ciencias Experimentales, 45 de Ciencias Sociales (1ª fase), 20 reactivos de Comprensión Lectora y elaboración de 1 texto argumentativo (2ª fase). Restringido. Baja. Alumnado del último ciclo de bachillerato. Censo. 140 reactivos de opción múltiple: 50 de Habilidad Lectora y 90 de Habilidad Matemática. Cobertura de dominio Sensibilidad a la instrucción Población objetivo Cobertura de la población Población objetivo MANUAL TÉCNICO ENLACE MEDIA SUPERIOR Información disponible en http://www.ceneval.edu.mx y en http://www.inee.edu.mx (**) 9 Media/Alta. Competencias disciplinares/genéricas Competencias disciplinares. Habilidades básicas. Dominio explorado Nueve instrumentos de diferentes áreas de estudio con 100 reactivos de opción múltiple. Bajo demanda. Restringido. Conocimientos específicos. Evaluar personas. Diagnóstico de nivel de conocimientos en áreas específicas. Evaluar personas. Selección de estudiantes para el ingreso al nivel medio superior. Evaluar personas. Acreditación de conocimientos equivalentes al nivel educativo. Evaluar personas. Diagnóstico individual de fortalezas y debilidades. Propósito general y específico exani-ii exani-i 286 Bachillerato enlace Media Superior 300 reactivos de opción múltiple, 25 de cada área (Biología, Español, Ética, Física, Filosofía, Historia, Informática, Inglés, Matemáticas, Metodología de la investigación, Química). Bajo demanda. Egresados de educación media superior. Media/Baja. Restringido. Conocimientos disciplinares. Evaluar personas. Diagnóstico de nivel dominio en contenidos generales del nivel medio superior. egrems 180 reactivos de opción múltiple y respuesta construida, distribuidos de manera. Los ítems pueden ser de Competencia Lectora, Matemática y Científica. Muestra. Estudiantes de 15 años tres meses a 16 años dos meses. Media/Baja. Amplio. Competencias básicas. Evaluar sistemas educativos. Diagnóstico nacional. pisa México (**) Tabla 15. Características de los instrumentos de evaluación para la educación media superior en México (1 de 2)9 75 icne (Índice Ceneval). Aprobatorio o no aprobatorio. icne (Índice Ceneval): escala de 700 y 1300 puntos, con un límite de 1000 para considerarse aprobatorio. Cuatro categorías: Sobresaliente, Superior, Suficiente o No suficiente. Bajo. Cuatro niveles de dominio: Insuficiente, Bueno, Elemental, Excelente. Impacto Resultados Tres periodos por año. Bajo. Criterial. exani-ii icne (Índice Ceneval). Cuatro categorías: Sobresaliente, Satisfactorio, Elemental o Sin dictamen. Bajo. Cada proceso de Bajo demanda, de admisión a las instituciones acuerdo con las solicitudes de bachillerato. de las instituciones. Información disponible en http://www.ceneval.edu.mx y en http://www.inee.edu.mx (**) 10 Alto. Alto. Anual. Alto. Periodicidad Alto. Bajo. Normativo. Control de la aplicación Criterial. exani-i Criterial. 286 Bachillerato Referente de calificación enlace Media Superior Tres niveles de logro: Elemental, Satisfactorio, Sobresaliente. Escala continua con media en 500 puntos y una desviación típica de 100 puntos. Seis niveles de habilidad. Bajo. Cada tres años. Bajo demanda, de acuerdo con las solicitudes de las instituciones. Bajo. Alto. Criterial. pisa México (**) Bajo. Criterial. egrems Tabla 15. Características de los instrumentos de evaluación para la educación media superior en México (2 de 2)10 MANUAL TÉCNICO ENLACE MEDIA SUPERIOR 76 La existencia de estas y otras pruebas cuyo desarrollo y aplicación se ha multiplicado recientemente ha generado conciencia en las personas acerca de la importancia de contar con indicadores y datos del desempeño de los estudiantes que permitan mejorar el trabajo que se hace en las instituciones educativas. En respuesta a la concepción de que dicho fenómeno provoca que la población esté sobreevaluada, Vidal (2009) destaca el hecho de que cada instrumento tiene objetivos distintos y por tanto ofrece información en diferentes esferas que puede y debe ser revisada para contribuir a la mejora de la calidad de la educación de una manera integral. 7.2 enlace Media Superior y la riems 77 MANUAL TÉCNICO ENLACE MEDIA SUPERIOR La experiencia de evaluación de la prueba enlace ha significado aportaciones importantes que pudieran multiplicarse si se le utiliza adecuadamente. El equipo de Ceneval que trabaja en su desarrollo y mantenimiento también ha adquirido diversas enseñanzas en cuanto al cuidado y trabajo que implica una prueba de esta magnitud. En 2011 inició una nueva etapa para la prueba, ya que fue su primera aplicación con una estructura modificada en congruencia con la riems. El cambio más importante es la inclusión paulatina de la evaluación de indicios de competencias disciplinares básicas. Para 2011, además de 81 especificaciones iguales a las utilizadas de 2008-2010, se evalúan otras 29 completamente nuevas que se abocan a elementos particulares del mcc en los campos disciplinares de Comunicación (Comprensión Lectora) y Matemáticas. En futuras aplicaciones se prevé seguir el modelo de enlace Básica, el cual determina una rotación anual en los campos de Ciencias; esto significa aplicar una evaluación de competencias disciplinares para los campos de 1) Ciencias Sociales y Humanidades, y 2) Ciencias Experimentales, los cuales se alternarían año con año a partir de 2013, previa aprobación del Consejo Técnico. Con la conciencia de que todo proceso es perfectible, el Ceneval trabaja actualmente para optimizar cada una de las fases de construcción del instrumento esperando que, como hasta ahora, los resultados de la evaluación impacten en la calidad de la educación. Referencias • • • Angoff, •• •• •• •• •• •• •• •• •• •• •• •• •• •• •• •• •• •• 79 MANUAL TÉCNICO ENLACE MEDIA SUPERIOR •• W.H. (1984). Scales, norms and equivalent scores. Princenton, NJ: Educational Testing Service. • apa, aera y ncme (1999). The Standards for Educational and Psychological Testing. Washington, DC: aera Publications. • Ceneval (2008). Metodología Ceneval. México: Centro Nacional de Evaluación para la Educación Media Superior, A.C. • dgep (2010). Normas operativas. enlace 2010, Educación Media Superior. Unidad de Planeación y Evaluación de Políticas Educativas, sep. Disponible en http://enlace.sep. gob.mx/ms/docs/EMS2010_Normas_Operativas.pdf • Dorans, N.J. (1990). Equating methods and sampling designs. Applied Measurement in Education, 3, 3-17. • Downing, S. y Haladayna, T. (eds.) (2006). Handbook of test development. NJ: Lawrence Erlbaum Associates. • Freudenthal, H. (1983). Didactical Phenomenology of Mathematical Structures. Mathematics Education Library. Chicago: D. Reidel Publishing Company. • Gaviria, J. (2008). Informe de validación de puntos de corte en las pruebas de Matemáticas y Comprensión Lectora de enlace Media Superior. Universidad Complutense de Madrid, Documento Impreso. • Gravemeijer, K y Terwel, J. (2000). Hans Freudenthal, un matemático en Didáctica y teoría curricular. Journal of Curriculum Studies, 32, 6, pp.777-796. • Mitzel, H.C., Lewis, D.M., Patz, R.J., and Green, D.R. (2001). The bookmark procedure: Psychological perspectives. En G.J. Cizek (ed.), Setting performance standards: Concepts, methods and perspectives. Mahwah, NJ: Lawrence Erlbaum. • Moulton, N. (2007). One Ruler, Many Tests: A Primer on Test Equating. eds Publications, disponible en http://www.eddata.com/resources/publications/ • Niss, M. (1999). Aspects of the nature and state of research in mathematics education. Educational Studies in Mathematics, 40, 1-24. • Nunnally J.C., y Bernstein, T.H. (1994). Psychometric theory. New York: McGraw-Hill. • oecd (2006). Assessing Scientific, Reading and Mathematical Literacy: A Framework for pisa 2006. Paris: ocde. • Pajares, R., Sanz, A., y Rico, L. (2004). Aproximación a un modelo de evaluación: el proyecto Pisa 2000. Madrid: Ministerio de Educación, Cultura y Deporte. • Steen, L. (1990). On the Shoulders of Giants: New Approaches to Numeracy. National Research Council, Washington, D.C.: National Academy Press. • simce (2005). Diseño de instrumentos con metodología de enseñanza de habilidades. Chile: Copiapó. • Treffers, A. (1987). Three Dimensions. A Model of Goal and Theory Description in Mathematics Instruction: The Wiskobas Project. Dordrecht: Kluwer Academic Publishers. • Vidal, R. (2009). ¿Enlace, Exani, Excale o pisa? México: Ceneval. Disponible en http:// archivos.ceneval.edu.mx/archivos_portal/3065/Enlace_Exani_Excali_Pisa.pdf • Vidal, R. et al. (2000). Manual Técnico del Centro Nacional de Evaluación para la Educación Superior. México: Ceneval. MANUAL TÉCNICO ENLACE MEDIA SUPERIOR Grupos de Trabajo Anexo I 81 Consejo Directivo Lic. Miguel Ángel Martínez Espinosa Subsecretario de Educación Media Superior. sep. Lic. Ana María Aceves Estrada Directora General de Evaluación, dgep. sep. Lic. Elena Verdugo Quiñones Coordinadora de Asesores. sems. M en C. Daffny Rosado Moreno Coordinador Sectorial de Desarrollo Académico. sems. Ing. Roberto Peña Resendiz Director de Evaluación de Políticas y Sistemas Educativos. sep. Dra. Margarita María Zorrilla Fierro Directora General. inee. Dra. Annette Santos del Real Directora General Adjunta. inee. Mtro. Rafael Santiago Vidal Uribe Director General. Ceneval. Dra. Rocío Llarena de Thierry Directora General Adjunta de Programas Especiales. Ceneval. Consejo Técnico MANUAL TÉCNICO ENLACE MEDIA SUPERIOR 82 Lic. Miguel Ángel Martínez Espinosa Subsecretario de Educación Media Superior. sep. Lic. Ana María Aceves Estrada Directora General de Evaluación, dgep. sep. Lic. Elena Verdugo Quiñones Coordinadora de Asesores. sems. M. en C. Daffny Rosado Moreno Coordinador Sectorial de Desarrollo Académico. sems. Ing. Roberto Peña Resendiz Director de Evaluación de Políticas y Sistemas Educativos. sep. Ing. Carlos Goñi Carmona Director de Evaluación y Análisis del Proceso Educativo. sep. Dr. Eugenio González Asesor externo de Ceneval. iea-ets. Dr. José Luís Gaviria Asesor externo de sep. Universidad Complutense. M. en A. Ed. Maricruz Moreno Zagal Directora General Académica. anuies. Dra. Rosamaría Valle-Gómez Tagle Directora General de la dgee. unam. Dra. Carmen Villatoro Alvaradejo Coordinadora del Bachillerato a Distancia. unam. Dra. Teresa Bracho González Profesora investigadora. flacso. Dra. Lucía Monroy Cazorla Directora General Adjunta Técnica y de Investigación. Ceneval. Comités Académicos para el Diseño Habilidad Lectora Mtra. Ma. Lourdes Oliver Conde dgeti Lic. Mariana Godínez Morales cosnet Mtro. Felipe Mejía Rodríguez dgep Lic. Martha P. Martín Ramírez dgeta Lic. Diego Valenzuela Vázquez dgeta Mtro. Cesar Darío Fonseca dgeti Habilidad Matemática Mtro. Marco Antonio López dgeta Mtro. Miguel Ángel León Hernández inee Biol. Rodrigo Nava Mora dgcytm Lic. María Isabel Segura Gortarés cecyt Lic. Gilberto Castillo Peña dgb Mtro. Leonardo Martínez Galván dgep Mtro. Igor Rodríguez Ugaldez conalep Dr. Fernando Brambila unam Comité Académico para la Validación de contenidos y especificaciones Habilidad Lectora Asesora independiente Dra. Sylvia Margarita Rojas Ramírez unam Dra. Margarita Peón Zapata inee Habilidad Matemática Dr. Luis Fernando Magaña Solis unam Mtro. Salvador Zamora Muñoz unam 83 MANUAL TÉCNICO ENLACE MEDIA SUPERIOR Dra. Celia Díaz Agüero Comité Académico para el establecimiento de puntos de corte y definición de niveles de dominio Habilidad Lectora Dra. Celia Díaz Agüero Asesora independiente Dra. Sylvia Margarita Rojas Ramírez unam Dra. Nancy Mazón Parra unam Habilidad Matemática Dr. Luis Fernando Magaña Solis unam Mtro. Salvador Zamora Muñoz unam Asesores externos MANUAL TÉCNICO ENLACE MEDIA SUPERIOR 84 Dr. Eugenio González iea-ets Mtro. Edgar Andrade inee Lic. Gustavo Rodríguez inee Dr. José Luis Gaviria Universidad Complutense, Madrid Comité Académico de elaboración de reactivos Habilidad Lectora Preparatoria 6, unam cetis 35 cecyt, ipn Colegio Montessori fca, unam Centro de Estudios de Bachillerato “Lic. Jesús Reyes Heroles” cbtis 114 Independiente Preparatoria 5, unam CCH Azcapotzalco, unam Instituto Carlos Pellicer Colegio de Bachilleres Centro de Estudios Tecnológicos del Mar 02, Campeche Colegio de Bachilleres Universidad Autónoma de Morelos CCH Naucalpan, unam Universidad Justo Sierra amore Colegio México cbtis 201 amore ulsa Colegio de Bachilleres Preparatoria Luzac Colegio de Montaignac Preparatoria Villa de Cortés cbtis 107 conalep Universidad etac Independiente Colegio de Bachilleres Dirección General de Ciencia y Tecnologías del Mar, Ensenada cetis 116 Centro de Enseñanza Técnica Industrial cch Vallejo, unam Colegio de Bachilleres conalep Colegio de Bachilleres cbetis 40 cetis 03 Colegio de Bachilleres Universidad Simón Bolívar cch Sur, unam Independiente 85 MANUAL TÉCNICO ENLACE MEDIA SUPERIOR Alberto Saavedra Miranda Alejandro Rojas González Araceli Hernández Pérez Armando Axayácatl Viloria Corona Beatriz Ramírez Peña Benedicto Priego Hernández Camerina Medina Sáenz Carmen Luz Martínez Claudia Patricia Padilla Romero Edith Serrano Maldonado Enrique Arronte Rosales Genoveva Brambila Sánchez Gladys Isabel Yerbes Ordóñez Gloria Castellanos Hernández Gloria Elena Schmelling Villaseñor Gloria Hortensia Mondragón Guzmán Gloria Luz Hernández Padilla Griselda Cid Agama Guillermo Aguilar Fernández Hildelisa Arce Irma Anselma Alvarado Sánchez Jorge Toledo Salas José Antonio Rivera Soriano José de Jesús Velázquez Rendón José Pedro Hernández Acosta Juan Manuel Rodríguez San Juan Julián Domingo España Solís Laura Elena Gómez Cruz Leticia Vega Montoya Ma. de Jesús Barboza Morán Ma. del Carmen González Rubí Ma. del Carmen Hernández González Ma. del Carmen Larumbe Radilla Ma. del Corazón de Jesús Huerta Franco Ma. Catalina Ramírez Bonilla Ma. Elena Chávez Morales Ma. Guadalupe Sandoval Cornejo Ma. Ofelia Villeda Hidalgo Ma. Teresa Herrera Delgado Marcela Vega García Marco Antonio Flores Vargas Mario Castillo Sánchez Hidalgo Martha Galindo Becerra Miguel Ángel García Cueto Comité Académico de elaboración de reactivos Habilidad Lectora Miguel Ángel Jiménez Robledo Miguel Ángel Ortiz Luna Miguel Villaseñor Trinidad Mónica Karla Pérez Viveros Norma Angélica Reséndiz Hernández Octavio Cano Silva Ofelia Mulliert Carlín Olimpia Escalona Soto Oralia Prado Govea Óscar Benítez Hernández Raúl Zavala Cortés Rocío Rodríguez Benítez Rosalía Duarte Argándar Rosalía Mendizábal Izquierdo Rosalía Sonia Guerrero García Rosana Patricia Montalvo Hinojosa Salvador Saulés Estrada Sandra Cara Camarena Sandra Carreto Cabrera Sergio Gabriel Gamero Jiménez Susana Ortega Luna Teresa Espinosa Contreras Thelma Alcántara Ayala Tomás Gontran López Canseco Victoria Araceli Ibarra Soto MANUAL TÉCNICO ENLACE MEDIA SUPERIOR 86 Colegio de Bachilleres Centro de Estudios de Bachillerato “Juana Inés de Asbaje” conalep Colegio de Bachilleres Colegio de Bachilleres Independiente Independiente Colegio de Bachilleres Centro de Estudios Tecnológicos Aguas Continentales (Jalisco) unitec Colegio de Bachilleres cbta 88 Preparatoria 6, unam Preparatoria 5, unam Independiente Centro de Estudios de Bachillerato “José Vasconcelos” enep, unam enep, unam CCH Oriente, unam Colegio de Bachilleres Colegio de Bachilleres amore Colegio Británico Centro de Estudios de Bachillerato “José Vasconcelos” cetis 71 Comité Académico de elaboración de reactivos Habilidad Matemática CONALEP Facultad de Ciencias, UNAM Centro de Estudios de Bachillerato “Dr. Ignacio Chávez” Dirección Operativa 5, DGB CCH Azcapotzalco, UNAM Colegio de Bachilleres CONALEP CETIS 102 AMORE CCH Sur, UNAM CBTIS 215 Colegio de Bachilleres Independiente Centro de Estudios de Bachillerato “Lic. Jesús Reyes Heroles” CONALEP Centro de Estudios de Bachillerato “José Vasconcelos” Universidad Tecnológica de Nezahualcóyotl Colegio de Bachilleres Preparatoria Mixcoac Valle CINVESTAV CONALEP Colegio de Bachilleres ENEP 6, UNAM Colegio de Bachilleres CCH Sur, UNAM Colegio de Bachilleres CBTIS 145 Colegio de Bachilleres Colegio de Bachilleres CONALEP Facultad de Ciencias, UNAM CCH Oriente, UNAM Universidad Justo Sierra Centro de Bachillerato Tecnológico Agropecuario 39 Bachillerato de la Universidad Autónoma del Estado de Morelos Centro de Estudios de Bachillerato “Lic. Jesús Reyes Heroles” Preparatoria 5, UNAM Preparatoria 2, UNAM Universidad Autónoma de Querétaro Colegio de Bachilleres ULSA Vocacional, IPN CETIS 131 CINVESTAV, IPN 87 MANUAL TÉCNICO ENLACE MEDIA SUPERIOR Aidée Guevara Maycotte Alejandra Calvo Flores Alejandro Espino González Alejandro Olea Díaz Alejandro Raúl Reyes Esparza Alfredo Enciso Amalia Sánchez Barrera Ana María García Zúñiga Araceli Guzmán Tristán Armando Carlos Meza Romero Armando Castillo Nieves Armando Jesús Velasco Soriano Arturo Martínez Espitia Carlos Flores Arvizo César Augusto Santamaría Vergara César Esteban Mejía Acevedo Colbert Jerónimo López David Simón Contreras Rivas Edmundo Jorge Alejandro Lara Castillo Eduardo Basurto Hidalgo Eduardo Guadalupe Tellez Carmona Efraín Nava Alvarez Eleazar López Cruz Eugelio Gerónimo López Fausto Gómez Lorence Felipe Huerta Orea Fidel Alejandro Cortés Lorenzo Francisco Javier Cortés Cruz Francisco Javier Olivares González Francisco Pliego López Francisco Torres Placido Genoveva Olgín Ramírez Gerardo Luna Soto Gilberto Orozco Mayren Guillermo Tinoco Ojeda Gustavo Peralta Enríquez Heriberto Marín Israel Díaz García Jaime Nieves Medrano Javier Cervantes Santiago Javier Villanueva Ramos Jesús Alejandro Arreola Hernández Joel Camacho Salazar José Enrique Maciel Comité Académico de elaboración de reactivos Habilidad Matemática MANUAL TÉCNICO ENLACE MEDIA SUPERIOR 88 José Fernando Maldonado Hernández José Hilario Cid José Humberto López Sevilla José Juan Nieves Medrano José Juan Rodríguez José Luis Alvarado Chávez José Manuel Pérez Corona José Miguel García Muñoz José Salvador Mendieta Osorio Josueth Vázquez Román Juan Francisco Hernández Cruz Juan Gerardo Luna Soto Juan Manuel Lozano Vieyra Juan Manuel Osorio Fernández Juan Manuel Rodríguez Marín Julio César García de Alba Ibarra Julio García Valencia Julio Hernández Hernández Kesia Paola Audiffred Uriega Laura Angélica Hernández Martínez Lilia Montoya Gutiérrez Luis Miguel Ramírez Martínez Luis Rafael de la O Soriano Luz Adriana Bolaños García Ma. Crisalda Valdéz Martínez Ma. Elena García Salguero Ma. Zolayma Alcalá Castañeda Marciano Espinosa Flores Marcos Belisario González Loria Mario Aldana Sugarazo Maritza Pescador Rivera Miguel Agustín Castañeda Miranda Miguel Arcángel Núñez Torres Nelson Muriel Torrero Oscar Guadalupe Tovar Contreras Oscar Nelson López López Patricia Rangel Ontiveros Patricio Luna Ramales Raymundo García Samudio Rebeca Juárez Salomón Rita Ochoa Cruz Rocío Rodríguez Rodríguez Rogelio Toledo Toledo Roque Ruíz López conalep prefeco cbtis 260 Universidad Autónoma de Querétaro amore enep 6, unam Universidad Justo Sierra cetis 50 Preparatoria 5, unam cetis 50 conalep Universidad Insurgentes Preparatoria Panamericana Centro de Estudios de Bachillerato “Lic. Jesús Reyes Heroles” ulsa Centro de Enseñanza Técnica Industrial Universidad Insurgentes enep 6, unam Independiente Independiente Preparatoria 5, unam cetis 163 cbta 88 cetis 109 Colegio de Bachilleres Independiente conalep Centro de Estudios Tecnológicos del Mar 05, Salina Cruz, Oaxaca cetis 118 Colegio de Bachilleres Facultad de Ciencias, unam Colegio de Bachilleres Centro de Estudios Tecnológicos del Mar 16, La Paz, Baja California Facultad de Ciencias, unam Preparatoria 5, unam Escuela Preparatoria Federal por Cooperación “Antonio Audirac” conalep prefeco cch Vallejo, unam fes Zaragoza, unam Universidad Autónoma de Querétaro Colegio de Montaignac Centro de Estudios de Bachillerato “Dr. Ignacio Chávez” cbtis 59 Comité Académico de elaboración de reactivos Habilidad Matemática Colegio de Bachilleres Independiente Centro de Enseñanza Técnica Industrial Preparatoria 7, unam prefeco cbtis 6 Centro de Estudios Tecnológicos del Mar 18, Acapulco, Guerrero 89 MANUAL TÉCNICO ENLACE MEDIA SUPERIOR Rubén Telésforo Jiménez Salvador González Mendieta Sergio Agustín Brambila Horta Silvia de la Vega Hernández Sonia Elizabeth Ruelas Moreno Victor Agustín Sosa Gómez Víctor Manuel Talamante Estrada Comité Académico de validación de reactivos Habilidad Lectora MANUAL TÉCNICO ENLACE MEDIA SUPERIOR 90 Araceli Hernández Pérez cecyt, ipn Alejandro Vega Solís Universidad Autónoma de Querétaro Adriana Reyes-Márquez Hernández Colegio de Bachilleres Edith Serrano Maldonado cch Azcapotzalco, unam Francisco Javier Ortiz Ramos Colegio de Bachilleres Guadalupe Salcedo Gutiérrez Colegio de Bachilleres Gloria Elena Schmeling Villaseñor Universidad Autónoma de Morelos Gloria Hortensia Mondragón Guzmán cch Naucalpan, unam Gloria Luz Hernández Padilla Universidad Justo Sierra Gloria Castellanos Hernández Colegio de Bachilleres Ma. Catalina Ramírez Bonilla cch Vallejo, unam Ma. Martha Acosta y Carrasco cch Oriente,unam Mario Agustín Jesús Castillo Sánchez Hidalgo Preparatoria Panamericana Marcela Vega García cetis 03 Martha Galindo Becerra cch Sur, unam Mónica Karla Pérez Viveros Colegio de Bachilleres Ramón López Valdepeña Universidad Marista Roberto Hernández Álvarez Colegio de Bachilleres Rocío Edith González García Universidad Autónoma de Querétaro Sergio Centeno García Universidad Autónoma de Querétaro Sandra Obdulia Carreto Cabrera Colegio de Bachilleres Comité Académico de validación de reactivos Habilidad Matemática cch Azcapotzalco, unam Armando Jesús Velasco Soriano Colegio de Bachilleres Bernardo Tarango Frutos Universidad Marista Erick Mier Moreno Aprendizaje Matemático, amat Fausto Gómez Lorence cch Sur, unam Francisco Javier Cortés Cruz Colegio de Bachilleres Genoveva Olguín Ramírez cch Oriente, unam Guadalupe Mercedes Rodríguez Colegio de Bachilleres Guillermo Tinoco Ojeda Universidad Autónoma de Morelos Héctor Barajas Valdez Aprendizaje Matemático, amat Israel Díaz García Preparatoria 2, unam Jaime Nieves Medrano Universidad Autónoma de Querétaro Jesús Alejandro Arreola Hernández Instituto Politécnico Nacional José Juan Nieves Medrano Universidad Autónoma de Querétaro José Manuel Pérez Corona Universidad Justo Sierra Josueth Vázquez Román cetis 50 Juan Manuel Lozano Vieyra Preparatoria Panamericana Mario Aldana Sugarazo Colegio de Bachilleres Nelson Muriel Torrero Facultad de Ciencias, unam Rebeca Juárez Salomón fes Zaragoza, unam Rita Ochoa Cruz Universidad Autónoma de Querétaro Raymundo García Zamudio cch Vallejo, unam Víctor Agustín Sosa Gómez Colegio de Bachilleres 91 MANUAL TÉCNICO ENLACE MEDIA SUPERIOR Alejandro Raúl Reyes Esparza Anexo II Datos psicométricos de los reactivos piloteados De acuerdo con lo mencionado en el apartado de Revisión Cualitativa, los ítems que se aplican en las versiones Operativas son piloteados con un año de anticipación. En la siguiente tabla se presentan los datos psicométricos generales de las pruebas piloto aplicadas en 2007, 2008 y 2009. 2008 2009 Reactivos elaborados 2010 3112 4379 Reactivos validados 1389 2505 4332 Reactivos piloteados 570 1561 3590 Dificultad media (tc) 45.5 47.2 37.6 Correlación biserial media (tc) 0.201 0.200 0.123 Coeficiente de discriminación (tri) 1.248 1.055 0.595 Coeficiente de dificultad (tri) 1.286 1.185 1.247 270 578 1890 Reactivos con parámetros óptimos Como puede observarse en la aplicación de 2009 se piloteó la mayor cantidad de reactivos, ya que fue necesario probar ítems de dos nuevas áreas disciplinares cuya introducción en la prueba Operativa está actualmente en estudio. En las siguientes páginas se muestra un ejemplo de cómo se manejan las tablas estadísticas donde se reportan los datos psicométricos de los reactivos. • • • La columna Tipo de texto, en el caso de Habilidad Lectora, y Contenido, para Habilidad Matemática, indica las habilidades a evaluar en cada área. • • • La columna Ítem contiene el identificador del reactivo. • • • La columna cve muestra la opción de respuesta correcta a cada reactivo. • • • Las columnas agrupadas en Estadísticos comprenden los datos correspondientes al porcentaje de alumnos que contestaron correctamente al ítem, los datos obtenidos con Teoría Clásica (tc) y Teoría de Respuesta al Ítem (tri). En tc la columna dif indica la dificultad obtenida y la columna cpb contiene la correlación punto biserial de cada reactivo. En tri se identifica la discriminación del reactivo con A, la dificultad con B y el azar con C. 93 MANUAL TÉCNICO ENLACE MEDIA SUPERIOR 2007 MANUAL TÉCNICO ENLACE MEDIA SUPERIOR 94 Tipo de texto Ítem cve Apelativo Apelativo Apelativo Apelativo Apelativo Apelativo Apelativo Apelativo Apelativo Apelativo Argumentativo Argumentativo Argumentativo Argumentativo Argumentativo Argumentativo Argumentativo Argumentativo Expositivo Expositivo Expositivo Expositivo Expositivo Expositivo Expositivo Expositivo Expositivo Expositivo Expositivo Expositivo Expositivo Expositivo Expositivo Narrativo Narrativo Narrativo Narrativo Narrativo Narrativo Narrativo 10718 10720 10727 10730 10734 10737 10741 10752 10755 11213 10072 10073 10075 10076 10077 10080 10082 10083 10714 10715 10717 10725 10728 10729 10731 10736 10740 10745 10747 10753 10756 10759 10762 10089 10093 10097 10098 10103 10104 10106 D C B A A C B A D C B C D A C B C D C C C B A D A C B C D B A D C A D D A B A D dif 49.60 82.20 57.60 47.50 57.80 2.30 61.80 41.10 69.20 61.90 89.8 74.1 48 38 68 45 56.5 32.4 44.8 77 73.3 72.9 37.4 67.6 35.5 85.9 30.2 53.5 25.9 28.6 53.6 24.6 24.3 91.5 57.9 78.5 56.8 88.3 60.2 48.8 tc Estadísticos cpb b tri a c 0.287 0.169 0.186 0.048 0.097 -0.093 0.173 0.202 0.204 0.327 0.189 0.225 0.207 0.187 0.186 0.191 0.339 0.377 0.241 0.417 0.417 0.216 0.276 0.373 0.101 0.337 0.069 0.309 0.077 0.144 0.334 0.195 -0.006 0.392 0.403 0.459 0.361 0.412 0.221 0.274 0.756 -2.233 0.222 2.585 0.571 6.319 0.592 0.562 0.263 0.374 0.339 0.214 0.199 0.208 0.234 0.095 1.241 -0.918 -0.283 -2.18 -0.86 0.815 1.527 -0.584 1.294 0.276 0.931 1.082 -0.963 -0.763 -1.126 1.184 -0.528 2.811 -1.499 3.424 0.576 3.657 1.933 0.656 2.136 7.536 -1.735 -0.142 -1.064 -0.063 -1.53 -0.405 0.484 0.696 0.802 0.649 1.258 1.05 0.878 0.723 2.116 0.759 0.96 1.886 2.57 1.071 1.642 1.634 0.72 1.047 1.232 0.491 1.49 0.865 1.37 0.741 1.742 2.517 0.967 0.249 2.239 1.345 1.718 1.162 1.98 0.613 0.895 0.266 0.166 0.163 0.120 0.213 0.245 0.173 0.29 0.206 0.254 0.248 0.13 0.229 0.103 0.113 0.169 0.145 0.141 0.181 0.162 0.252 0.267 0.197 0.215 0.33 0.117 0.129 0.111 0.087 0.062 0.104 0.123 0.103 0.131 Habilidad Matemática Ítem cve Cantidad Cantidad Cantidad Cantidad Cantidad Cantidad Cantidad Cantidad Cantidad Cantidad Cambios y Relaciones Cambios y Relaciones Cambios y Relaciones Cambios y Relaciones Cambios y Relaciones Cambios y Relaciones Cambios y Relaciones Cambios y Relaciones Espacio y Forma Espacio y Forma Espacio y Forma Espacio y Forma Espacio y Forma Espacio y Forma Espacio y Forma Espacio y Forma Espacio y Forma Espacio y Forma Matemáticas Básicas Matemáticas Básicas Matemáticas Básicas Matemáticas Básicas Matemáticas Básicas Matemáticas Básicas Matemáticas Básicas Matemáticas Básicas Matemáticas Básicas Matemáticas Básicas Matemáticas Básicas Matemáticas Básicas 10515 10477 10359 10243 10563 10432 10821 10027 10497 10211 10519 10414 10508 11303 11092 11332 10429 10484 10521 10530 10407 10532 10214 10099 11378 10250 10126 11036 10811 10986 11011 10396 10249 11150 11089 11043 11265 11068 11037 11090 B D D D D B B B B B D B B C C C B D D B B D A A A D C D A A D C D C B C C B A A dif 65.70 35.60 31.20 58.30 31.70 45.90 51.80 71.70 47.80 72.00 54.50 58.50 56.40 67.50 16.80 47.50 52.90 17.30 16.70 35.70 43.00 43.60 41.10 33.90 55.40 34.40 56.60 5.50 19.90 22.20 18.20 19.80 27.70 26.30 29.60 34.30 22.60 29.90 30.20 16.20 tc Estadísticos cpb b tri a c 0.397 0.525 0.488 0.349 0.461 0.201 0.134 0.376 0.383 0.299 0.385 0.366 0.423 0.340 0.032 0.313 0.371 0.175 0.003 -0.025 0.169 0.230 0.155 0.040 0.221 0.295 0.151 0.104 0.012 0.050 0.058 -0.018 0.082 0.104 0.109 0.050 0.050 0.031 -0.005 -0.033 -0.186 0.668 0.856 0.611 0.910 1.364 1.866 -0.689 0.575 -0.630 0.231 -0.049 -0.009 -0.376 3.180 0.393 0.424 2.416 5.311 5.507 1.208 0.641 1.730 3.518 0.508 0.933 0.453 2.609 5.788 6.031 6.103 7.595 3.715 1.392 1.254 4.184 6.266 5.466 6.209 9.323 1.787 2.973 3.653 2.344 4.110 1.920 1.576 1.456 1.834 1.190 1.688 1.478 1.850 1.616 1.840 1.072 1.904 1.520 0.585 0.186 0.990 1.017 1.097 0.722 1.017 1.446 0.628 2.437 0.283 0.244 0.287 0.204 0.329 1.008 0.943 0.206 0.312 0.295 0.249 0.225 0.232 0.100 0.114 0.387 0.140 0.353 0.455 0.142 0.208 0.220 0.192 0.150 0.125 0.186 0.156 0.102 0.239 0.120 0.124 0.127 0.217 0.105 0.283 0.274 0.260 0.096 0.231 0.037 0.040 0.041 0.037 0.029 0.056 0.031 0.035 0.064 0.112 0.154 0.149 0.060 95 MANUAL TÉCNICO ENLACE MEDIA SUPERIOR Contenido Anexo III Parámetros versión operativa 2008 La 97 MANUAL TÉCNICO ENLACE MEDIA SUPERIOR siguiente tabla técnica de la prueba enlace Media Superior Operativa 2008 se utilizó para el establecimiento de los puntos de corte que sirvieron para la ubicación de los sustentantes en los diferentes niveles de dominio en las primeras tres aplicaciones. Asimismo, estos datos se utilizaron para los posteriores estudios de equiparación. La tabla contiene los siguientes datos en el orden en que se presentaron los ítems a los sustentantes: • • • Contenido. En el caso de Habilidad Lectora indica el tipo de texto y en Habilidad Matemática el contenido matemático a evaluar. • • • Ítem. Presenta el identificador del reactivo. • • • Estadísticos. Las columnas agrupadas comprenden los datos psicométricos de los reactivos en Teoría Clásica (tc) y Teoría de Respuesta al Ítem (tri). En TC la columna dif indica la dificultad obtenida y la columna cpb contiene la correlación punto biserial de cada reactivo. En tri se identifica la discriminación del reactivo con A, la dificultad con B y el azar con C. • • • cov. Contiene el valor obtenido de la covarianza de cada reactivo. Estadísticos Contenido MANUAL TÉCNICO ENLACE MEDIA SUPERIOR 98 Apelativo Apelativo Apelativo Apelativo Apelativo Apelativo Apelativo Apelativo Apelativo Argumentativo Argumentativo Argumentativo Argumentativo Argumentativo Argumentativo Argumentativo Argumentativo Argumentativo Argumentativo Cantidad Cantidad Cantidad Cantidad Cantidad Cantidad Cantidad Cantidad Cantidad Cantidad Cantidad Cantidad Cantidad Cantidad Cantidad Cantidad Cantidad Cantidad Cantidad Cantidad Cantidad Ítem 10727 10734 10752 10755 11213 11220 11223 11235 11238 10073 10075 10077 10080 10082 10520 10526 10539 10540 10542 10515 10423 10359 10236 10968 10432 10793 10412 10497 10211 10510 10003 10023 10371 10419 10004 10215 11299 10421 10276 10996 tc cov tri dif cpb b a c 57.60 57.80 41.10 69.20 61.90 21.70 48.60 56.60 77.80 74.10 48.00 68.00 45.00 56.50 34.00 54.90 51.40 48.80 24.50 65.70 37.70 31.20 36.40 31.40 45.90 43.50 61.30 47.80 72.00 28.80 34.80 46.10 38.90 43.20 61.40 57.70 31.00 67.60 23.50 46.90 0.186 0.097 0.202 0.204 0.327 0.132 0.285 0.358 0.241 0.225 0.207 0.186 0.191 0.339 0.185 0.197 0.277 0.335 0.120 0.397 0.512 0.488 0.239 0.315 0.201 0.351 0.289 0.383 0.299 0.143 0.269 0.292 0.180 0.26 0.441 0.362 0.144 0.283 0.351 0.277 0.222 0.571 1.241 -0.918 -0.283 2.282 0.718 -0.072 -1.193 -0.860 0.815 -0.584 1.294 0.276 1.705 0.465 0.835 0.373 2.834 -0.186 0.487 0.856 1.561 1.300 1.364 0.831 -0.299 0.575 -0.630 1.915 1.479 0.771 1.746 1.230 -0.138 -0.091 1.959 -0.360 1.364 1.073 0.562 0.374 0.802 0.649 1.258 1.325 8.126 1.415 0.981 0.878 0.723 0.759 0.960 1.886 1.751 0.860 2.055 1.306 0.864 1.787 2.821 3.653 1.953 1.728 1.920 1.995 0.959 1.834 1.190 2.921 1.505 1.177 2.215 1.461 1.913 1.672 2.088 1.354 1.888 1.542 0.199 0.234 0.166 0.163 0.120 0.144 0.328 0.098 0.192 0.245 0.173 0.206 0.254 0.248 0.252 0.229 0.336 0.133 0.158 0.232 0.052 0.114 0.271 0.162 0.353 0.226 0.123 0.208 0.220 0.248 0.215 0.195 0.327 0.273 0.162 0.111 0.256 0.212 0.089 0.298 1.515 0.908 2.026 1.232 2.09 1.001 1.778 2.632 1.586 1.473 1.589 1.537 1.306 2.224 1.422 1.258 1.795 2.151 0.825 2.287 2.291 2.275 1.254 1.554 1.218 2.006 1.547 2.166 1.958 0.664 1.505 1.747 1.081 1.219 2.485 2.2 1.016 1.488 1.585 1.513 Estadísticos Cantidad Cantidad Cantidad Cantidad Matemáticas Básicas Matemáticas Básicas Matemáticas Básicas Matemáticas Básicas Matemáticas Básicas Narrativo Narrativo Narrativo Narrativo Narrativo Narrativo Narrativo Narrativo Narrativo Narrativo Narrativo Narrativo Narrativo Narrativo Cambios y Relaciones Cambios y Relaciones Cambios y Relaciones Cambios y Relaciones Cambios y Relaciones Cambios y Relaciones Cambios y Relaciones Cambios y Relaciones Cambios y Relaciones Cambios y Relaciones Cambios y Relaciones Cambios y Relaciones Cambios y Relaciones Cambios y Relaciones Cambios y Relaciones Cambios y Relaciones Cambios y Relaciones Ítem 11114 10942 11026 10738 11265 11273 11081 11327 11325 10269 10272 10275 10444 10445 10453 10459 10468 11191 11193 11197 11208 11231 11236 10555 10936 10803 10378 11311 10523 10476 10519 10414 10574 10296 10408 11304 10429 10484 10422 10212 tc cov tri dif cpb b a c 51.90 20.80 30.50 36.80 22.60 22.90 31.40 30.20 30.10 47.00 41.10 35.80 59.80 59.00 45.90 65.00 35.90 54.10 77.40 71.20 55.20 76.50 49.60 57.30 56.00 26.70 29.60 24.80 14.10 33.80 54.50 58.50 40.20 79.30 43.90 49.80 52.90 17.30 33.10 40.50 0.318 0.318 0.128 0.046 0.050 0.035 0.053 0.061 0.113 0.238 0.239 0.254 0.218 0.457 0.239 0.342 0.040 0.356 0.430 0.454 0.208 0.493 0.346 0.198 0.330 0.170 0.206 0.021 0.129 0.079 0.385 0.366 0.309 0.216 0.183 0.305 0.371 0.175 0.064 0.226 0.661 1.544 2.363 2.497 6.266 3.958 1.926 2.177 1.436 0.779 0.955 1.172 -0.170 0.045 0.854 -0.537 4.288 0.350 -0.980 -0.515 -0.059 -0.695 0.232 0.048 0.386 2.219 1.961 2.609 2.918 2.353 0.231 -0.049 0.748 -1.106 0.787 0.306 0.424 2.416 2.109 1.240 1.731 1.978 1.464 2.324 0.312 0.348 0.482 0.453 0.657 0.856 0.659 1.729 0.627 1.972 0.801 1.014 0.226 1.697 1.616 1.775 0.525 2.254 1.050 0.724 1.512 1.364 1.514 3.684 1.281 1.900 1.688 1.478 1.622 1.317 0.778 1.494 1.904 1.520 3.975 1.110 0.289 0.094 0.254 0.348 0.112 0.028 0.028 0.028 0.007 0.169 0.079 0.189 0.153 0.189 0.159 0.101 0.116 0.221 0.110 0.187 0.090 0.194 0.079 0.159 0.263 0.195 0.214 0.241 0.101 0.304 0.192 0.150 0.138 0.178 0.112 0.134 0.239 0.120 0.308 0.207 2.016 1.466 0.563 0.566 0.653 0.014 0.191 -0.177 0.089 1.398 1.311 1.616 1.204 2.243 1.265 1.535 0.117 1.837 1.53 1.743 0.993 1.897 1.808 1.572 2.035 0.93 1.132 0.2 0.637 0.567 2.257 2.154 1.944 1.434 1.339 1.975 2.16 0.679 0.565 1.52 99 MANUAL TÉCNICO ENLACE MEDIA SUPERIOR Contenido Estadísticos Contenido MANUAL TÉCNICO ENLACE MEDIA SUPERIOR 100 Cambios y Relaciones Cambios y Relaciones Cambios y Relaciones Cambios y Relaciones Cambios y Relaciones Cambios y Relaciones Cambios y Relaciones Cambios y Relaciones Matemáticas Básicas Matemáticas Básicas Matemáticas Básicas Matemáticas Básicas Matemáticas Básicas Expositivo Expositivo Expositivo Expositivo Expositivo Expositivo Expositivo Expositivo Expositivo Expositivo Expositivo Expositivo Expositivo Expositivo Expositivo Expositivo Expositivo Espacio y Forma Espacio y Forma Espacio y Forma Espacio y Forma Espacio y Forma Espacio y Forma Espacio y Forma Espacio y Forma Espacio y Forma Espacio y Forma Ítem 10509 11292 10248 11028 10246 10458 11042 11055 11049 11044 10990 10971 11056 10893 10903 10905 10908 10911 10913 10916 10919 10921 10923 10924 10926 10927 11244 11248 11250 11251 10214 10099 11378 11047 10345 10317 10156 10398 10226 11138 tc cov tri dif cpb b a c 34.70 45.50 36.20 31.20 34.90 34.90 28.40 57.50 55.80 36.40 26.10 37.10 22.10 52.60 79.30 52.10 38.20 45.30 60.60 46.60 81.40 38.50 41.10 63.80 62.70 54.10 50.00 22.00 61.90 41.80 41.10 33.90 55.40 27.60 62.90 29.10 49.60 44.60 49.70 41.20 0.148 0.228 0.316 0.251 0.266 0.015 0.200 0.134 0.085 0.131 0.137 0.134 0.105 0.308 0.362 0.276 0.240 0.201 0.302 0.315 0.317 0.210 0.219 0.311 0.357 0.169 0.329 0.182 0.440 0.254 0.155 0.040 0.221 0.255 0.163 0.029 0.162 0.225 0.134 0.162 1.788 0.910 1.136 1.449 1.242 3.759 1.920 0.766 0.003 0.923 1.680 1.164 2.454 0.618 -1.103 0.839 1.275 1.401 0.221 0.610 -1.277 1.474 1.411 -0.427 -0.181 0.743 0.749 1.843 -0.197 1.155 1.730 3.518 0.508 1.376 -0.416 3.519 1.365 0.806 1.268 1.485 2.829 1.299 1.757 2.429 2.419 1.212 1.766 0.613 0.485 1.003 1.012 1.508 0.815 1.327 1.248 1.300 0.846 0.782 1.096 0.972 1.106 1.460 1.087 0.894 1.162 0.507 1.690 2.076 1.537 1.252 1.097 0.722 1.017 1.205 0.761 1.077 1.833 0.905 0.801 1.470 0.294 0.224 0.188 0.212 0.215 0.334 0.212 0.296 0.116 0.067 0.081 0.189 0.089 0.263 0.198 0.306 0.139 0.244 0.276 0.138 0.233 0.255 0.239 0.137 0.184 0.218 0.279 0.151 0.145 0.224 0.283 0.274 0.260 0.078 0.138 0.263 0.393 0.146 0.288 0.289 1.143 1.601 1.878 1.399 1.684 0.488 0.888 1.281 1.04 0.836 1.112 1.556 0.664 1.712 1.49 1.522 1.371 1.172 1.516 1.753 1.317 1.383 1.304 1.505 1.784 0.951 1.965 1.131 2.231 1.452 1.139 0.696 1.621 1.499 1.37 0.504 1.447 1.635 1.301 1.324 Estadísticos Espacio y Forma Espacio y Forma Espacio y Forma Espacio y Forma Espacio y Forma Espacio y Forma Espacio y Forma Espacio y Forma Espacio y Forma Espacio y Forma Matemáticas Básicas Matemáticas Básicas Matemáticas Básicas Matemáticas Básicas Matemáticas Básicas Matemáticas Básicas Matemáticas Básicas Matemáticas Básicas Matemáticas Básicas Matemáticas Básicas Ítem 11076 10554 10533 11305 11330 11029 10809 10129 10947 10532 11057 10735 10811 10986 10577 10382 10264 11150 11089 11006 tc cov tri dif cpb b a c 21.30 44.70 57.60 63.40 51.40 27.60 54.40 51.50 40.30 43.60 33.30 24.80 19.90 22.20 32.70 35.90 34.90 26.30 29.60 27.40 0.112 0.170 0.253 0.280 0.167 0.088 0.163 0.110 0.257 0.230 0.084 0.024 0.012 0.050 0.079 0.144 0.109 0.104 0.109 0.019 2.809 1.198 -0.070 -0.121 0.660 3.112 0.558 1.285 0.998 0.641 1.561 4.742 5.788 6.031 3.003 1.518 0.885 1.392 1.254 4.113 1.188 0.726 1.015 1.188 0.633 0.750 0.664 0.500 1.682 1.017 3.650 0.286 0.283 0.244 0.281 2.257 0.929 1.008 0.943 0.267 0.163 0.192 0.126 0.223 0.180 0.189 0.217 0.249 0.209 0.105 0.269 0.050 0.040 0.041 0.034 0.270 0.022 0.031 0.035 0.029 0.577 1.185 1.643 1.483 1.619 0.678 0.976 0.751 1.765 1.701 1.568 0.376 0.272 0.396 0.833 1.199 1.618 0.867 0.445 0.635 101 MANUAL TÉCNICO ENLACE MEDIA SUPERIOR Contenido MANUAL TÉCNICO ENLACE MEDIA SUPERIOR 102 Anexo IV Marco Muestral Levantamiento de datos de la prueba Introducción 103 MANUAL TÉCNICO ENLACE MEDIA SUPERIOR En marzo de 2009, se llevó a cabo la administración de la prueba enlace Media Superior (Evaluación Nacional del Logro Académico en Centros Escolares) a alumnos del nivel medio superior (bachillerato). La prueba enlace ms consta de 140 reactivos: 50 para medir la habilidad lectora y 90 para medir la habilidad matemática. A cada alumno evaluado se le proporciona un reporte de resultados, en el cual se identifica su nivel de dominio para cada una de las áreas evaluadas. La prueba se aplica de manera censal. Esta aplicación se lleva a cabo en 6 sesiones, distribuidas en dos días (tres sesiones por día) Con la finalidad de tener un control más estricto sobre la aplicación, se seleccionó una muestra representativa a la que además de aplicarle la prueba enlace ms, también le fueron suministradas, de forma matricial, tres pruebas: pretest, alfa y gama, además del cuestionario de contexto. Los reactivos de cada una de las pruebas (pretest, alfa y gama) se distribuyeron en 6 formas. En total se conformaron 18 formas; las cuales se aplicaron en un tercer día, esto es, en dos días se aplicó la prueba enlace ms y en un tercer día se aplicaron las formas de las tres pruebas adicionales, todo esto tomando en cuenta un contrabalanceo. El presente documento tiene por objetivo describir la metodología utilizada para seleccionar los planteles o cct que conforman la muestra, además de describir como se calculan los factores de expansión. Es importante mencionar que la selección de las escuelas que conformaron la muestra se hace tomando como referencia las bases de datos enviadas por la sems y la dgep. Una de ellas proporciona la información relacionada con entidad, datos de ubicación del cct, modalidad del bachillerato, tipo de sostenimiento y la cantidad de alumnos que presentan la prueba enlace; y otra los datos de nivel de urbanidad del cct A continuación se hace una descripción general del marco muestral que se utilizó en 2008 y 2009. El documento del 2008 fue elaborado por expertos del inee y el del 2009 fue realizado por Ceneval y avalado por el inee. El marco muestral de 2008 fue avalado en sesión de Consejo Técnico. Para 2009 se utilizaron los mismos dominios de estudio pero se seleccionaron otras escuelas. Más adelante se describen las diferencias con el marco muestral de 2010 realizado por la empresa Investigaciones Sociales, Políticas y de Opinión Pública, S. A. de C. V a petición de la sems. Objetivo del marco muestral MANUAL TÉCNICO ENLACE MEDIA SUPERIOR 104 Con los datos obtenidos de la aplicación de los distintos instrumentos a la muestra controlada de estudiantes se pretende: • • • obtener los valores psicométricos de los reactivos que se utilizarán para la calificación1 • • • equiparar la prueba enlace Media Superior año con año con la aplicación del Pretest • • • obtener información a partir de los cuestionarios de contexto • • • realizar investigaciones adicionales que solicita la sep o instituciones usuarias. 1 En la primera aplicación, los datos de la muestra se utilizaron además para determinar los puntos de corte. Población Objetivo La población objetivo son los alumnos que estén en el último año de bachillerato que se encuentren en cualquiera de las siguientes modalidades educativas: • • • Bachillerato General • • • Bachillerato Técnico • • • Bachillerato Tecnológico •• •• •• •• •• Los alumnos del último año de bachillerato se determinan de la siguiente manera: • Si son bachilleres anuales, se evaluarán a los del último año. • Si son bachilleres semestrales, con ingreso anual, se evaluarán a los de sexto semestre. • Si son bachilleres semestrales, con ingreso semestral, se evaluarán a los de quinto y sexto semestre. • Si son cuatrimestrales con entrada anual, se evaluarán a los del último cuatrimestre. • Si son cuatrimestrales con entrada cuatrimestral, se evaluarán a los de los tres últimos cuatrimestres. Para efectos del proceso de muestreo, se define a la escuela como la unión de cct y turno. Por ejemplo: si un cct cuenta con dos turnos, cada uno de los turnos se considera como una escuela o unidad primaria de muestreo. Para el proceso de selección de escuelas no se tomó en cuenta aquellas que tienen menos de 10 alumnos. La estratificación de la población consiste en agrupar a elementos de iguales características según criterios previamente establecidos. La estratificación de poblaciones se realiza en las primeras etapas del diseño muestral, ya que ésta ayudará a la selección de la misma. Un marco muestral generalmente esta estratificado en relación con una o más características. Las variables a ser objeto de análisis para la estratificación de los elementos de la población deben proporcionar información discriminante, es decir, que identifiquen y aíslen a estos elementos en relación con otros. De la misma manera, las variables seleccionadas para la estratificación de los sujetos deben ir con relación al estudio, es decir que la estratificación propuesta ayude a diferenciar a los distintos grupos de personas sobre la base de los objetivos del estudio que se realizará. 105 MANUAL TÉCNICO ENLACE MEDIA SUPERIOR Estratos muestrales Características de los estratos Las características esenciales en la creación de los estratos son que éstos deben tener homogeneidad interna, es decir que todos los integrantes posean una serie de características que los convierten en similares. La otra característica fundamental es que exista heterogeneidad entre los diferentes estratos construidos, es decir que los elementos de diferentes estratos se diferencian los unos de los otros. Los elementos de un estrato deberán ser mutuamente excluyentes en relación con los elementos de otros estratos, es decir que no se puede pertenecer a dos o más estratos a la vez. En este sentido uno de los objetivos de la construcción de estratos es disminuir el error de muestreo y permitir el cálculo de los parámetros. La estratificación de la población surge naturalmente de la combinación de las entidades federativas con la clasificación de tipo de bachillerato, tipo de sostenimiento y nivel de urbanidad de las escuelas como a continuación se presenta. Tipo de bachillerato Tipo de urbanidad No Identificado Rural Urbano No Identificado Rural Urbano No Identificado Rural Urbano Rural Urbano Privado Urbano Público Rural Privado No Identificado Público Urbano Privado Técnico Rural Público Tecnológico No Identificado Tipo de sostenimiento General Entidad n n n n n n n n n n n n n n n n n MANUAL TÉCNICO ENLACE MEDIA SUPERIOR 106 Al definir esta división de la población existen estratos que no contienen alumnos, los cuales se eliminan. Cálculo de tamaño de muestra El cálculo de tamaño de muestra se realiza bajo la consideración de que se van a estimar determinados estadísticos. Con la muestra se pretende estimar medias poblacionales del rendimiento escolar escalado con un modelo tri. Por otra parte, se calcula la proporción de respuestas correctas para cada reactivo y para este aspecto se consideran proporciones de respuesta a cada uno de ellos de 0.5, en donde la varianza del estimador es máxima. Para calcular el tamaño de la muestra considerando que se estimará la proporción de respuesta a cada reactivo se utiliza la siguiente expresión. (1) En donde: n0 = Número de alumnos necesarios para la estimación de un reactivo. deff = Efecto de diseño. TNR = Tasa de no respuesta de alumnos. δ = Error de muestreo máximo admisible. P = Proporción de la población. z = Cuantil de distribución normal estándar que deja un área de a la derecha de él. N = Tamaño de la población. Tomando en cuenta el diseño matricial de las pruebas, el número total de alumnos necesario está dado por la siguiente fórmula: En donde: n = número de alumnos necesarios para la estimación de todos los reactivos de la prueba. C = Número de cuadernillos en la prueba. A = Número de apariciones de un reactivo en los cuadernillos. En este diseño se considera que α =0.05, es decir z =1.96 lo cual fija el nivel de confianza de los intervalos en 95%. C =18 cuadernillos, A =1 apariciones cada 18 cuadernillos y como porcentaje de falta de respuesta de los alumnos se usa tnr =5% dada la existencia de escuelas pequeñas. Se fijó el efecto de diseño debido al muestreo en deff =1.2 que es un valor promedio que efectivamente ha aparecido en otras evaluaciones. 107 MANUAL TÉCNICO ENLACE MEDIA SUPERIOR (2) El estimador de P tiene su varianza máxima cuando P =0.5 por lo que se fija y se usa como margen de seguridad para los otros valores estimados de P diferentes a 0.5. Se estableció como criterio general que en cada dominio de estudio las estimaciones resultantes alrededor de las proporciones tuvieran un error de muestreo máximo de 5% correspondiente a una confianza del 95%. Distribución de la muestra En todos los casos, los alumnos se agrupan en la muestra de manera proporcional a la cantidad de alumnos en cada uno de los estratos. La distribución se describe con la siguiente relación: (3) En donde: nh = Es el número de alumnos en muestra para el estrato muestral h n = Es el número de alumnos en muestra. Nh = Es el número de alumnos del último año de bachillerato en el estrato h. N = Es el número de alumnos en la población. MANUAL TÉCNICO ENLACE MEDIA SUPERIOR 108 •• •• •• La distribución de la muestra se realiza tomando en cuenta: 1. el total de alumnos de la población 2. el total de alumnos de cada tipo de bachillerato 3. el total de alumnos de cada entidad Factores de expansión Para fines de las investigaciones relacionadas con la aplicación de la prueba enlace ms se calculan los factores de expansión. Los pesos muestrales o factores de expansión son ponderadores que asociados a los datos son necesarios para garantizar la confiabilidad de los resultados. Esto ha permitido corroborar que la muestra utilizada en cada año de aplicación es representativa de la población de estudio y por tanto, las estimaciones estadísticas derivadas de ella resultan confiables. El factor de expansión se puede interpretar como la cantidad de alumnos de la población que representa un estudiante de la muestra. Bajo el diseño muestral unietápico, los pesos muestrales por estrato para cada uno de los alumnos son los siguientes. (4) Donde: whij = Peso muestral del alumno j de la escuela i en el estrato h. h = 1,…, H. H = Cantidad de estratos en la población. NhI = Cantidad de escuelas en la población del estrato h. nhI = Cantidad de escuelas en muestra del estrato h. i = 1,…, NhI. Diferencias del marco muestral 2010 con los años anteriores En la siguiente tabla se muestran las características generales de cada uno de los marcos muestrales utilizados para llevar a cabo las aplicaciones controladas de enlace, Pretest y Cuestionarios de Contexto. 109 MANUAL TÉCNICO ENLACE MEDIA SUPERIOR Debido a las necesidades de la sems, el diseño muestral para la prueba 2010 fue realizado por una institución especializada ajena al Ceneval. El esquema conserva variables como la población objetivo, el esquema de selección y el cálculo de los factores de expansión utilizando las mismas herramientas estadísticas; sin embargo, hay algunas diferencias que vale la pena mencionar: • • • La propuesta del dominio de estudio a nivel Entidad (con niveles de desagregación como el tipo de bachillerato, tipo de sostenimiento y nivel de urbanidad) fue rechazada debido a la dificultad que conlleva calcular muestras representativas, dada la variabilidad de características dentro de cada una de las entidades y la proporción que representa para el resto del país. • • • Se agregan tres estratos: centros de trabajo con menos de ocho alumnos, centros de Bachillerato en Arte y las instituciones que habían participado en años anteriores, pero no habían confirmado su participación al momento de establecer el diseño muestral. MANUAL TÉCNICO ENLACE MEDIA SUPERIOR 110 Marco Muestral Niveles de desagregación Estratos Escuelas seleccionadas Alumnos 2008 4 1. Nacional 2. Nacional por tipo de bachillerato, nacional por tipo de sostenimiento y nacional por nivel de urbanidad 3. Estatal 4. Estatal por tipo de bachillerato, estatal por tipo de sostenimiento y estatal por nivel de urbanidad 320 2003 301,483 2009 4 1. Nacional 2. Nacional por tipo de bachillerato, nacional por tipo de sostenimiento y nacional por nivel de urbanidad 3. Estatal 4. Estatal por tipo de bachillerato, estatal por tipo de sostenimiento y estatal por nivel de urbanidad 353 2184 220,233 2010 2 1. Nacional 2. Nacional por tipo de bachillerato, nacional por tipo de sostenimiento y nacional por nivel de urbanidad 313 2072 283,245 Anexo V Establecimiento de los puntos de corte y generación de algoritmo de calificación 1 Para el análisis se consideraron a los sustentantes que contestaron el 85% o más de la prueba, por lo tanto el tamaño de la muestra con que se trabajó es 98,849 111 MANUAL TÉCNICO ENLACE MEDIA SUPERIOR El presente anexo describe el procedimiento con el cual se califica y dictamina a los sustentantes que presentaron la prueba enlace Media Superior, haciendo uso de la metodología Bookmark para el establecimiento de puntos de corte y la definición de los niveles de dominio. Es importante mencionar que el algoritmo de calificación con el que se obtienen los puntajes de habilidad que se presentan en las siguientes páginas se aplicó con base en los datos de la muestra controlada.1 Los resultados obtenidos están sujetos a las condiciones de la aplicación y, por tanto, son estimaciones que pueden diferir de los resultados que se obtienen de manera censal. La prueba enlace Media Superior fue construida para evaluar dos habilidades: Habilidad Lectora y Habilidad Matemática, con 50 y 90 reactivos respectivamente, por lo tanto, el dictamen de los sustentantes se realiza para cada una de las áreas que lo conforman. Para llevar a cabo el proceso de calificación se realizó lo siguiente: • • • Estimación de los parámetros del reactivo, dificultad, discriminación, azar y de la habilidad de los sustentantes con base en la Teoría de Respuesta al Ítem (tri), así como el cálculo del porcentaje de respuestas correctas de los sustentantes y la correlación punto biserial de los reactivos. • • • El análisis de los reactivos se hizo con base en los datos de la muestra y se dejaron fuera los reactivos que obtuvieron una correlación punto biserial negativa y los reactivos con dificultad extrema. En la Tabla 1 se muestran los reactivos que se eliminaron por área. Tabla 1. Reactivos eliminados que no se consideraron para calificación 2008 Parámetros Estadísticos Posición en versión Ítem N Comprensión Lectora 57 10468 98849 37457 37.90 30 10510 98849 30820 46 11273 98849 47 11081 48 Habilidad Matemática MANUAL TÉCNICO ENLACE MEDIA SUPERIOR 112 TC N_Resp Corr %_RC CPBIS Área TRI DISC DIF AZAR 0.007 0.041 16.185 0.057 31.20 0.020 0.027 38.055 0.069 20268 20.50 -0.094 0.001 22.449 0.006 98849 24712 25.00 0.047 2.180 3.160 0.243 11327 98849 27813 28.10 -0.059 0.001 15.876 0.006 49 11325 98849 26155 26.50 0.025 0.081 22.685 0.146 68 11311 98849 30109 30.50 -0.045 0.008 126.644 0.048 86 10458 98849 34144 34.50 0.056 0.290 6.641 0.247 133 10811 98849 22368 22.60 0.018 0.048 27.642 0.023 139 11089 98849 26703 27.00 0.001 0.025 45.115 0.030 • • • Establecimiento de los puntos de corte para cada una de las áreas del examen. Para ello se definieron conceptualmente los niveles de dominio en los cuales se ubicaría a cada sustentante que presentó la prueba enlace Media Superior, (Insuficiente, Elemental, Bueno y Excelente); después, se establecieron los puntos de corte para cada categoría a partir del método Bookmark o del marcador. En las Tablas 2 y 3 se muestran los rangos obtenidos por área en el 2008, que son los mismos que se utilizaron en 2009 y 2010 para asegurar la comparabilidad de la prueba. Como se puede observar los puntos de corte incluyen seis decimales esto permite que todas las habilidades que resultan de la calificación con el programa bilog se ubiquen en alguna de las categorías de manera más precisa. Tabla 2. Rangos de habilidad en Habilidad Lectora Nivel de Dominio Reactivo Marcador Puntos de corte (habilidad) Insuficiente 7 Menores o iguales que -0.916000 Elemental 21 -0.915999 0.096000 Bueno 42 0.096001 1.455000 Excelente – Mayores o iguales que 1.455001 Tabla 3. Rangos de habilidad en Habilidad Matemática Reactivo Marcador Puntos de corte (habilidad) Insuficiente 10 Menores o iguales que -0.053000 Elemental 33 -0.052999 1.176000 Bueno 53 1.176001 2.018000 Excelente – Mayores o iguales que 2.018001 La calificación censal la lleva a cabo la dgep, al igual que la ubicación de los sustentantes en los niveles de dominio de acuerdo con la habilidad que obtuvieron. 113 MANUAL TÉCNICO ENLACE MEDIA SUPERIOR Nivel de Dominio Anexo VI Validación de puntos de corte MANUAL TÉCNICO ENLACE MEDIA SUPERIOR 115 Informe de validación de puntos de corte en las pruebas de Matemáticas y Comprensión Lectora de Enlace Media Superior José Luis Gaviria Soto Universidad Complutense de Madrid México, 10 de Septiembre de 2008 Introducción 116 Supuestos MANUAL TÉCNICO ENLACE MEDIA SUPERIOR En este informe se hace un estudio de validación empírica de los puntos de corte determinados para las pruebas de ‘Español’ y ‘Matemáticas’ de tercero de Bachillerato del programa de evaluación ‘Enlace Media Superior’. Dado que la posición de los puntos de corte para los Niveles de Logro determina completamente el porcentaje de alumnos en cada uno de ellos, es muy importante asegurarse de que la información que se proporciona refleja adecuadamente la realidad y no es un artefacto del procedimiento de cálculo. Los Niveles de Logro tienen necesariamente un componente intrínsecamente valorativo y, de algún modo, subjetivo o arbitrario. Efectivamente, que el resultado obtenido por un estudiante se considere insuficiente, elemental, bueno o excelente depende en gran parte de las expectativas que tengamos. Por eso la determinación de los puntos de corte es un proceso delicado y sujeto siempre a discusión. La mayor parte de los procedimientos consisten en acuerdos entre expertos que deben justificar sus decisiones. Una vez justificadas esas decisiones es posible hacer un juicio que se base en evidencia empírica acerca de la congruencia de las decisiones adoptadas. Para juzgar lo adecuado de los puntos de corte partimos del supuesto básico de que la prueba refleja adecuadamente los conocimientos, destrezas o habilidades necesarios para demostrar el nivel adecuado de competencia en tercero de Bachillerato. Asumimos además que cuando los expertos han determinado los puntos de corte se han basado en el contenido de los reactivos que componen la prueba y que han determinado zonas de la escala en las que el nivel de dominio de los alumnos que se encuentran en cada una de ellas se diferencia claramente del nivel de dominio de otros alumnos que están en niveles superiores o inferiores. Nuestro juicio pretende ser empírico, es decir, debemos comprobar si es posible clasificar adecuadamente a los sujetos utilizando los puntos de corte definidos por los expertos. Para ello estos puntos de corte deben estar claramente diferenciados en la escala, suficientemente alejados unos de otros y cubriendo razonablemente bien el espectro de puntuaciones que corresponde a la escala. Procedimiento El procedimiento empleado para esta valoración se basa en dos puntos de vista: • • • por un lado nos fijamos en la relación entre las puntuaciones de la escala y la puntuación verdadera; • • • por otro lado nos fijamos en el error típico de estimación que se obtiene para cada punto de la escala en función del valor que en el mismo toma la función de información. Los puntos de corte son valores de la escala de habilidad cuyas propiedades derivan del modelo tri bajo el que se ha construido. Dado que este tipo de escalas tienen un origen y una unidad de medida arbitrarios es todavía más difícil juzgar lo adecuado de los puntos de corte basándose en los valores de los mismos. Pero como ya hemos establecido entre los supuestos que los ítems de la prueba reflejan adecuadamente los conocimientos o habilidades que deben poseer los alumnos, podemos basarnos en la relación entre la escala de habilidades y la puntuación verdadera para hacer algunos juicios. En efecto, una propiedad del modelo tri es que para cada alumno la suma de sus probabilidades de responder correctamente a cada uno de los reactivos es igual a la puntuación verdadera, es decir, al número de respuestas correctas que obtendría ese alumno si el test le midiese sin error. Si conociésemos la medida en el rasgo latente de θ1 entonces T1 es Cuando lo que tenemos es una estimación de θ1 entonces Esta relación la vemos empíricamente en las figuras 1• y 2. En ellas tenemos el diagrama de dispersión de la relación entre las puntuaciones en las respectivas habilidades latentes y el número de respuestas correctas en cada una de las pruebas. En el eje de ordenadas tenemos el número de respuestas correctas observadas. Para cada valor de la habilidad latente MANUAL TÉCNICO ENLACE MEDIA SUPERIOR 117 los valores observados se distribuyen por encima y por debajo del valor esperado, que es la puntuación verdadera. En las dos nubes de puntos de estas figuras puede apreciarse que la dispersión es mayor en la parte izquierda, lo que evidencia que en esa zona, especialmente en la prueba de Matemáticas, la cantidad de información es menor, por lo que se obtienen estimaciones con mayor incertidumbre. La incertidumbre con la que se produce la estimación de un parámetro determinado está en relación inversa con la cantidad de información de que se dispone. Cada reactivo en cada una de las pruebas proporciona una cantidad de información que es función de θ. De este modo la función de información del reactivo i viene dada por: La información que proporcionan todos los ítems del test es la suma de la de cada uno de ellos. En la ilustración 3 y 4 podemos ver las funciones de información de los reactivos de Comprensión Lectora y de la prueba completa, respectivamente. Del mismo modo en las ilustraciones 5 y 6 tenemos lo mismo respecto de las Matemáticas. MANUAL TÉCNICO ENLACE MEDIA SUPERIOR 118 Ilustración 1. Relación entre la Habilidad Matemática y el número de respuestas correctas en Matemáticas 80,00 Num_respuestas 60,00 40,00 20,00 ,00 -2,000000 ,000000 2,000000 4,000000 Habilidad Ilustración 2. Relación entre la Habilidad Lectora y el número de respuestas correctas en Lectura 50,00 119 30,00 20,00 10,00 ,00 -2,000000 ,000000 Habilidad 2,000000 4,000000 MANUAL TÉCNICO ENLACE MEDIA SUPERIOR Num_respuestas 40,00 -3.200 -3.079 -2.958 -2.836 -2.715 -2.594 -2.473 -2.362 -2.230 -2.109 -1.988 -1.867 -1.746 -1.624 -1.503 -1.382 -1.261 -1.140 -1.018 -0.897 -0.776 -0.655 -0.534 -0.412 -0.291 -0.170 -0.049 0.072 0.194 0.315 0.436 0.557 0.678 0.800 0.921 1.042 1.163 1.284 1.406 1.527 1.648 1.769 1.890 2.012 2.133 2.254 2.375 2.496 2.618 2.739 2.860 2.981 3.103 3.224 3.345 120 Función de Información MANUAL TÉCNICO ENLACE MEDIA SUPERIOR -3.200 -3.079 -2.958 -2.836 -2.715 -2.594 -2.473 -2.362 -2.230 -2.109 -1.988 -1.867 -1.745 -1.624 -1.503 -1.382 -1.261 -1.140 -1.018 -0.897 -0.776 -0.655 -0.534 -0.412 -0.291 -0.170 -0.049 0.072 0.194 0.315 0.436 0.557 0.678 0.800 0.921 1.042 1.163 1.284 1.406 1.527 1.648 1.769 1.890 2.012 2.133 2.254 2.375 2.496 2.618 2.739 2.860 2.981 3.103 3.224 3.345 Función de Información Ilustración 3. Función de información de los reactivos de Comprensión Lectora 1.2 1 0.8 0.6 0.4 0.2 0 Habilidad Ilustración 4. Función de información de la prueba de Comprensión Lectora Función de Información de la Prueba. Habilidad lectora 2008 8 7 6 5 4 3 2 1 0 Habilidad 15 10 5 0 Habilidad MANUAL TÉCNICO ENLACE MEDIA SUPERIOR -3.200 -3.079 -2.958 -2.836 -2.715 -2.594 -2.473 -2.362 -2.230 -2.109 -1.988 -1.867 -1.746 -1.624 -1.503 -1.382 -1.261 -1.140 -1.018 -0.897 -0.776 -0.655 -0.534 -0.412 -0.291 -0.170 -0.049 0.072 0.194 0.315 0.436 0.557 0.678 0.800 0.921 1.042 1.163 1.284 1.406 1.527 1.648 1.769 1.890 2.012 2.133 2.254 2.375 2.496 2.618 2.739 2.860 2.981 3.103 3.224 3.345 Función de Información -3.200 -3.079 -2.958 -2.836 -2.715 -2.594 -2.473 -2.362 -2.230 -2.109 -1.988 -1.867 -1.746 -1.624 -1.503 -1.382 -1.261 -1.140 -1.018 -0.897 -0.776 -0.655 -0.534 -0.412 -0.291 -0.170 -0.049 0.072 0.194 0.315 0.436 0.557 0.678 0.800 0.921 1.042 1.163 1.284 1.406 1.527 1.648 1.769 1.890 2.012 2.133 2.254 2.375 2.496 2.618 2.789 2.860 2.981 3.103 3.224 3.345 Función de Información Ilustración 5. Función de información de los reactivos de Matemáticas 1.4 1.2 1 0.8 0.6 0.4 0.2 0 Habilidad Ilustración 6. Función de información de la prueba de Matemáticas 25 20 121 Una primera cosa que hay que destacar es que en la prueba de Matemáticas la mayor cantidad de información está en la parte derecha de la escala. Esto quiere decir que la distinción entre los alumnos de los niveles de logro ‘Bueno’ y ‘Excelente’ se hace con mayor precisión que entre los alumnos de los niveles ‘Insuficiente’ y ‘Elemental’ y ‘Elemental’ y ‘Bueno’. En Comprensión Lectora la cantidad de información está más distribuida, aunque alcanza valores más bajos, entre otras cosas porque esta prueba tiene un número mucho menor de reactivos. Por eso la distinción entre los cuatro niveles tiene una precisión similar. Estudio de los puntos de corte MANUAL TÉCNICO ENLACE MEDIA SUPERIOR 122 Dado el porcentaje tan elevado de alumnos situados en el nivel ‘Insuficiente’, el punto de corte más crítico es precisamente el que separa los niveles de ‘Insuficiente’ y ‘Elemental’. Si este punto está demasiado a la derecha, un gran número de alumnos serán indebidamente asignados al nivel ‘Insuficiente’. Si este punto está demasiado a la izquierda un gran número de alumnos con un nivel de desempeño muy bajo será clasificados como de nivel ‘Elemental’. Para valorar lo adecuado del primer punto de corte comenzamos por definir un punto al que denominamos ‘Punto de Partida’. La prueba constaba de reactivos de cuatro alternativas de respuesta y una sola correcta. Como consecuencia, un alumno que hubiese contestado completamente al azar toda la prueba tendría una esperanza de respuestas correctas igual a un cuarto del número de ítems. En el caso de la prueba de Matemáticas ese valor es 20,25, ya que la prueba consta de 81 reactivos. En el caso de Español es de 12,25, ya que la prueba consta de 49 reactivos. Es evidente por tanto que un alumno que obtuviese sólo 20,25 respuestas correctas en Matemáticas o 12,25 en Español tiene un nivel de conocimientos o de habilidades equivalente a los de un alumno que sin saber nada hubiese contestado al azar. Es posible saber cuál es la puntuación en la escala de habilidad que corresponde a ese número de respuestas correctas ya que como hemos visto en el punto anterior hay una correspondencia entre la puntuación del rasgo latente y la puntuación verdadera. Para cada reactivo tenemos los valores estimados de sus parámetros por lo que es posible calcular cuál es la puntuación verdadera que corresponde a en estos dos tests a cada valor la escala de habilidad. Con esos valores es posible obtener una estimación de la puntuación verdadera. De este modo sabemos que en Matemáticas a la puntuación verdadera de 20,25 corresponde una puntuación de habilidad de -1,966, mientras que en Español a 12,25 corresponde una habilidad de -2,67. Estos dos son los que denominamos punto de partida. Estos puntos nos sirven para valorar la posición del primer punto de corte. En una primera aproximación, no tendría ningún sentido que el primer punto de corte estuviese a la izquierda o muy cerca del punto de partida. Es evidente que un alumno con número de respuestas correctas equivalentes a responder al azar está en un nivel de logro insuficiente. Pero por otra parte si el primer punto de corte se aleja en exceso del punto de partida entonces tal vez estemos exigiendo demasiados conocimientos o habilidades para acceder al nivel elemental. En las tablas 1 y 2 podemos ver la correspondencia entre los puntos de corte y las puntuaciones verdaderas respectivas. También podemos ver el porcentaje de respuestas correctas que les corresponde y el incremento en respuestas correctas que supone el pasar de un punto de corte al siguiente. Por definición el punto de partida se toma como la puntuación de habilidad y puntuación verdadera que corresponde a un porcentaje de respuestas correctas igual a 1/n° alternativas. En el caso de Matemáticas el punto de partida es -1,966. El primer punto de corte está en -0,053, y le corresponde una puntuación verdadera de 28,71, es decir, 8,46 respuestas correctas por encima del punto de partida. Podemos decir que no parece una exigencia excesiva el tener aproximadamente 9 respuestas correctas por encima de las que cabría esperar al responder por azar para ingresar en el nivel de logro ‘Elemental’. El incremento en respuestas correctas entre los otros dos puntos de corte está entre 12 y 13. Tabla 1. Puntos de corte de Matemáticas 30 de Bachillerato Punto de partida Primer punto de corte Segundo punto de corte Tercer punto de corte Puntuación de habilidad -1,966 -0,053 1,176 2,018 Puntuación Verdadera 20,25 28,71 41,54 54,07 Porcentaje Incremento sobre punto anterior 0,25 0,3544 0,51284 0,6675 8,46 12,83 12,53 MANUAL TÉCNICO ENLACE MEDIA SUPERIOR Matemáticas 123 Tabla 2. Puntos de corte de Lectura 30 de Bachillerato Español MANUAL TÉCNICO ENLACE MEDIA SUPERIOR 124 Punto de partida Primer punto de corte Segundo punto de corte Tercer punto de corte Puntuación de habilidad -2,67 .-0,916 0,096 1,455 Puntuación Verdadera 12,25 19,16 26,29 36,76 Porcentaje Incremento sobre punto anterior 0,25 0,391 0,53653 0,7502 6,91 7,13 10,47 En Lectura el número de reactivos es de 49, por lo que el 25% es 12,25. Otra vez, un alumno que respondiese correctamente 12 reactivos está produciendo un resultado equivalente al que se obtendría si hubiese contestado todo el test al azar. El incremento en respuestas correctas desde el punto de partida hasta el primer punto de corte es de 7, aproximadamente. La diferencia entre el primer punto de corte y el segundo es también de 7, y del segundo al tercero de 10,47. Por lo anterior podemos decir que basándonos en la relación entre el rasgo latente y la puntuación verdadera la distribución de los puntos de corte en las dos escalas parece muy razonable. La distancia de los puntos de corte entre sí, y del primer punto de corte con el punto de partida puede juzgarse también basándonos en la función de información. En efecto, en cada punto de la escala hay una relación entre la cantidad de información del test y el error típico de estimación del parámetro en ese punto. En las figuras 7 y 8 tenemos representada la distribución en la estimación de los puntos de corte. En la distribución correspondiente al punto de partida hemos sombreado la zona de las puntuaciones que quedan a la derecha del punto de corte más dos errores típicos. Como vemos el primer punto de corte queda muy cerca de ese límite. De hecho la probabilidad de que al estimar una puntuación en la escala de habilidad igual al punto de partida, la estimación obtenida sea mayor o igual al primer punto de corte es 0,055 para Matemáticas. Por otra parte la probabilidad de que un sujeto con una puntuación de habilidad igual al primer punto de corte se le estimase una puntuación menor o igual al punto de partida es de 9,68475E-06. Para Español esas cifras son 0,03884637 y 0,00013097 respectivamente. Podemos interpretar estas cifras del siguiente modo: un alumno que tenga una habilidad como máximo igual al punto de partida, tiene una probabilidad de ser asignado al nivel de logro ‘Elemental’ de 0,055 en Matemáticas y de 0,038 en Español; la probabilidad de que un sujeto que tenga como mínimo una habilidad igual a la del primer punto de corte tiene una probabilidad de estar realmente por debajo del punto de partida de 9,68x10-6 en Matemáticas y de 0,00013 en Español. Ilustración 7. Densidad de probabilidad de la estimación alrededor de los puntos de corte en Matemáticas 1,8 1,6 1,4 1,2 1 0,8 0,6 1,2 -3 -2.9 -2,7 -2,6 -2,4 -2,3 -2,1 ,2 -1,6 -1,7 -1,5 -1,4 -1,2 -1,1 -0,9 -0,8 -0,6 -0,5 -0,3 -0,2 0 0,15 0,3 0,45 0,6 0,75 0,9 1,05 1,2 1,35 1,5 1,65 1,8 1,95 2,1 2,25 2,4 2,55 2,7 2,85 3 0 MANUAL TÉCNICO ENLACE MEDIA SUPERIOR 125 0,4 Ilustración 8. Densidad de probabilidad de la estimación alrededor de los puntos de corte en Comprensión Lectora 1.2 1 0.8 0.6 0.4 0.2 -3 -2.9 -2,7 -2,6 -2,4 -2,3 -2,1 ,2 -1,6 -1,7 -1,5 -1,4 -1,2 -1,1 -0,9 -0,8 -0,6 -0,5 -0,3 -0,2 0 0,15 0,3 0,45 0,6 0,75 0,9 1,05 1,2 1,35 1,5 1,65 1,8 1,95 2,1 2,25 2,4 2,55 2,7 2,85 3 0 MANUAL TÉCNICO ENLACE MEDIA SUPERIOR 126 Del mismo modo podemos juzgar la separación de los puntos de corte entre sí. Entre dos niveles consecutivos hay siempre una gran superposición de áreas. Por ejemplo, dado el primer punto de corte, en el caso extremadamente favorable de que el error de estimación sea muy pequeño, la mitad del área de la distribución se encontrará sobre el nivel de logro ‘Elemental’. Y así con cada punto de corte. Por ello para juzgar lo separado de los puntos de corte es más adecuado observar cuál es área de la distribución que está más allá del siguiente punto, es decir, dos niveles de logro más allá. En las tablas 3 a 5 tenemos las áreas mencionadas. En la 3 y la 5 vemos el área de cada distribución que recae en dos niveles de logro más allá En la 4 y la 6 vemos el área que recae dos niveles por debajo. Es muy interesante comprobar que ésta es siempre mucho más pequeña. Esto se debe a que tanto en la prueba de Comprensión Lectora como en la de Matemáticas la mayor cantidad de información se encuentra a la derecha de la escala. Por eso es siempre más probable que sea mejor clasificado un sujeto con puntuación de habilidad alta que otro de habilidad más baja. Podemos comprobar que en todos los casos, excepto en uno, el valor de probabilidad es menor que 0,05. En el caso restante el valor es muy próximo al 5 por ciento. Tabla 3. Probabilidades de ser clasificado dos niveles por encima en Comprensión Lectora Comprensión Lectora Probabilidad de que estando por debajo de Punto de partida sea Clasificado como ‘Elemental’ 0,0 3884637 Probabilidad de que estando por debajo de primer Punto de Corte sea clasificado como ‘Bueno’ 0,0 1759606 Probabilidad de que estando por debajo de segundo Punto de Corte sea clasificado como ‘Bueno’ 0,0 0018519 Tabla 4. Probabilidades de ser clasificado dos niveles por debajo en Comprensión Lectora Comprensión Lectora Probabilidad de que estando en el primer Punto de Corte obtenga una estimación inferior al Punto de Partida 0,0 0013097 Probabilidad de que estando en el segundo Punto de Corte obtenga una estimación inferior al Primer Punto de Corte 0,0 0400921 Probabilidad de que estando en el tercer Punto de Corte obtenga una estimación inferior al segundo Punto de Corte 0,0 001053 Tabla 5. Probabilidades de ser clasificado dos niveles por encima en Matemáticas Probabilidad de que estando por debajo de Punto de partida sea Clasificado como ‘Elemental’ 0,0 5517635 Probabilidad de que estando por debajo de primer Punto de Corte sea Clasificado como ‘Bueno’ 0,0 0313079 Probabilidad de que estando por debajo de segundo Punto de Corte sea Clasificado como ‘Bueno’ 0,0 0090651 MANUAL TÉCNICO ENLACE MEDIA SUPERIOR 127 Matemáticas Tabla 6. Probabilidades de ser clasificado dos niveles por debajo en Matemáticas Matemáticas Probabilidad de que estando en el primer Punto de Corte obtenga una estimación inferior al Punto de Partida Probabilidad de que estando en el segundo Punto de Corte obtenga una estimación inferior al Primer Punto de Corte Probabilidad de que estando tercer Punto de Corte obtenga una estimación inferior al segundo Punto de Corte 9,68 1 475E-06 2,79 07E-06 0,0 0100023 Conclusiones y recomendaciones MANUAL TÉCNICO ENLACE MEDIA SUPERIOR 128 Analizados los puntos de corte determinados para las pruebas de Comprensión Lectora y Matemáticas y sus respectivas distancias en términos de la puntuación verdadera correspondiente y en términos de unidades de error típico de estimación, la separación entre ellos parece adecuada según los criterios que se han manejado. Si damos por supuesto que la prueba refleja adecuadamente el dominio de evaluación, entonces podemos concluir que la posición de los puntos de corte es adecuada en las dos pruebas analizadas. Probablemente es la posición del primer punto de corte la que más puede preocupar, ya que estamos indicando que los alumnos por debajo de ese punto tienen un nivel insuficiente de conocimientos. Pues bien, los análisis que hemos realizado nos permiten afirmar que si se mantiene el supuesto de que el contenido de las pruebas refleja adecuadamente el dominio que evaluamos, el primer punto de corte no es en absoluto excesivamente alto. Las recomendaciones que haremos tienen que ver con la función de información. En efecto, esta primera versión de las pruebas ha servido para determinar la escala y los puntos de corte. Pero hemos podido observar que la mayor cantidad de información se encuentra en la parte derecha de la distribución. Esto quiere decir que nuestras estimaciones tienen mayor precisión para los sujetos de capacidad relativamente alta, es decir, los que se encuentran en los niveles ‘Bueno’ y ‘Excelente’, pero menor en los otros dos. Sin embargo en la población evaluada la mayor parte de los individuos se encuentra en los niveles ‘Insuficiente’ y ‘Elemental’. Por eso en las evaluaciones subsiguientes, si se mantiene la distribución de los reactivos como en la actual, será difícil captar adecuadamente los incrementos que pudiesen producirse en los individuos de esos niveles. Por ese motivo se recomienda que, manteniéndose los mismos niveles de corte para el futuro, se redistribuyan sin embargo las dificultades de los reactivos, de modo que se incluyan más reactivos que midan adecuadamente en la parte inferior de la distribución para poder captar adecuadamente los cambios que puedan darse. MANUAL TÉCNICO ENLACE MEDIA SUPERIOR 129 Anexo VII Equiparación 131 MANUAL TÉCNICO ENLACE MEDIA SUPERIOR La equiparación por población que se realiza para la prueba enlace Media Superior tiene como objetivo igualar la escala de calificación de los sustentantes año con año de modo que los resultados en cada aplicación sean comparables. Para la realización de este proceso se seleccionó el método de equiparación por transformación lineal a partir del modelo logístico de tres parámetros de tri. La importancia de elegir este modelo logístico reside en el tipo de reactivos que utiliza la prueba (opción múltiple, con una sólo respuesta correcta) y la intención de generar un dictamen de la habilidad de los sustentantes. Esto último se relaciona con que, al ser un modelo de variables latentes, se asume que la respuesta de un sustentante a un reactivo depende únicamente del grado en que posee el atributo que se quiere medir (timss, 2003), en este caso su habilidad lectora o matemática. A través del cálculo de la dificultad, la discriminación y la pseudo-adivinación asociada a los ítems se puede describir la probabilidad de respuesta de los estudiantes y, por tanto, estimar su habilidad. Otra de las ventajas de realizar la equiparación partiendo de tri reside en el principio de invarianza, el cual reitera que la habilidad de los sustentantes no depende de la muestra de reactivos que les fueron presentados y, por su parte, los parámetros obtenidos de los reactivos son independientes a la distribución de habilidad de los sustentantes. Como resultado, la dificultad de las distintas versiones de la prueba puede variar moderadamente una de la otra siempre y cuando se cumplan los siguientes requerimientos: a) todas las versiones deben medir el mismo constructo y la confiabilidad de ambas debe ser similar; b) las puntuaciones escala obtenidas deben ser independientes de la prueba de referencia; c) las puntuaciones de ambos instrumentos pueden intercambiarse y d) la ecuación o tabla de equivalencia obtenida debe ser independiente del grupo de sujetos utilizados para derivarla (Angoff, 1984). En el caso de enlace Media Superior, todas las pruebas Operativas y el Pretest se conforman con reactivos que miden las mismas habilidades, cada uno de ellos tiene características específicas que no dependen del grupo de reactivos con los que es aplicado, y siempre se mantiene el orden de presentación de los mismos para este factor no afecte el patrón de respuesta. El Pretest se caracteriza por: •• 1. conformarse por una serie de cuadernillos, que en su conjunto constituye la prueba operativa del año siguiente, •• 2. administrarse de manera matricial a una muestra controlada seleccionada bajo el método de muestreo aleatorio estratificado unietápico (v. anexo V), y •• 3. ser útil para equiparar las pruebas año con año, pues a través de la aplicación de este instrumento se obtienen los datos psicométricos de los reactivos que se anclan. En el siguiente esquema se presenta de manera gráfica el proceso de equiparación. MANUAL TÉCNICO ENLACE MEDIA SUPERIOR 132 Toda la población Se calibra fijando los parámetros a, b y c del Petest 2009 y se obtienen los parámetros a, b y c que se fijan para calibrar el Pretest 2010 Forma 1 Muestra Forma 2 Muestra Forma 3 Muestra Forma n Muestra Se calibra fijando los parámetros a, b y c de la prueba enlace Media Superior 2008 y se obtienen los parámetros a, b y c fijan para calibrar la prueba enlace Media Superior 2009 Toda la población Se obtienen los parámetros estadísticos a, b y c de los reactivos y se fijan para calibrar el Pretest 2009 MANUAL TÉCNICO ENLACE MEDIA SUPERIOR Prueba enlace Media Superior 2009 (Aplicación Censal) Pretest 2009 (Aplicación Matricial) Pretest 2010 (Aplicación Matricial) Se calibra fijando los parámetros a, b y c de la prueba enlace Media Superior 2009 y se obtienen los parámetros a, b y c que se fijan para calibrar la prueba enlace Media Superior 2010 Forma 1 Muestra Forma 2 Muestra Forma 3 Muestra Forma n Muestra 2009 Prueba enlace Media Superior 2008 (Aplicación Censal) 2008 133 Se calibra fijando los parámetros a, b y c del Petest 2010 y se obtienen los parámetros a, b y c que se fijan para calibrar el Pretest 2011 Toda la población Prueba enlace Media Superior 2010 (Aplicación Censal) 2010 Escalamiento Para poder equiparar las puntuaciones entre las distintas versiones de la prueba, es necesario ubicar los parámetros estimados en una escala común, a este procedimiento se le conoce como escalamiento. El método de escalamiento utilizado en este caso es una transformación lineal de los parámetros, es decir, teniendo como base los parámetros obtenidos de la primera versión de la prueba, se ajustan las puntuaciones de las siguientes pruebas a la escala común por medio de modelos lineales de aplicación sencilla y que no requieren transformaciones complicadas. Para lograr la transformación lineal, hay que transformar cada uno de los tres parámetros en una escala común (Cook y Eignor, 1992): Tomando como base el modelo de tres parámetros de la tri: Dónde: Pi (θ) = Probabilidad de un examinado con una habilidad (θ) en contestar correctamente el reactivo i bi = Dificultad del reactivo i ai = Discriminación del reactivo i ci = Pseudo-adivinación del reactivo i e = Base de los logaritmos naturales (2,7183). MANUAL TÉCNICO ENLACE MEDIA SUPERIOR 134 Transformamos los parámetros de habilidad de forma lineal a través del siguiente modelo lineal simple: Dónde: θ a = a la habilidad del sustentante en escala A = la pendiente de la transformación lineal θa = a la habilidad del sustentante estimada en el modelo tri B = es la raíz de la transformación lineal * Para el parámetro a (discriminación) Dónde: a i = a la discriminación en escala ai = a la discriminación estimada en el modelo tri * Para el parámetro b (dificultad) Dónde: b i = a la discriminación en escala bi = a la discriminación estimada en el modelo tri * Puesto que el parámetro c (pseudo- adivinación) se toma de la probabilidad de acertar el reactivo correctamente por el simple hecho de dar una respuesta, es localizado en el eje Y del modelo y no necesita ser transformado a la escala. Sin embargo, éste se fija para la calibración ya que es parte de los parámetros con los que se obtienen las P(θ) de cada sustentante. Una vez que los parámetros son puestos en una escala común, las habilidades calculadas de los alumnos evaluados con ambas pruebas serán equivalentes, es decir si dos sustentantes en distintas aplicaciones, mostraran habilidades que los ubicaran dentro del mismo nivel de dominio (ver anexo VI), ambos poseen las habilidades equivalentes descritas en ese nivel. Revisión de resultados En primer lugar se realiza un análisis libre (sin estadísticos previos) de la prueba para obtener los parámetros estadísticos de los reactivos. Con este análisis se calcula correlación bivariada 135 MANUAL TÉCNICO ENLACE MEDIA SUPERIOR Igualación de calificaciones entre pruebas y se realizan gráficas de dispersión para los parámetros a, b y c. Asimismo se obtiene la habilidad de los sustentantes y se grafican en un histograma. En segundo lugar se hace un análisis fijando los parámetros y se calcula nuevamente la correlación bivariada y se realizan gráficas de dispersión para los parámetros a, b y c y se obtiene la habilidad de los sustentantes y se corrobora la distribución de las habilidades a partir del ajuste de los parámetros equiparados. Una vez que se ha equiparado la prueba de enlace Media Superior y se obtiene la habilidad de los sujetos, se asigna el nivel de dominio de acuerdo con los Puntos de Corte establecidos. Referencias • • • Brennan, R.J. (2006). Chained Linear Equating. casma Technical Note. Center for •• •• •• MANUAL TÉCNICO ENLACE MEDIA SUPERIOR 136 •• Advanced Studies in Measurement and Assessment. Universidad de Iowa: IA. Disponible en http://www.education.uiowa.edu/casma/documents/clinearreport3.pdf • Cook, L., & Eignor (1992). irt Equating Methods. items: The Instructional Topics in Educational Measurement Series, module 10 (fall 1991). Disponible en http://www. ncme.org/pubs/items/17.pdf • Livingston, S. (2004). Equating Test Scores (Without irt). Educational Testing Service: Princeton, NJ. • Moulton, N. (2007) One Ruler, Many Tests: A Primer on Test Equating. eds Publications, disponible en http://www.eddata.com/resources/publications/ • timss (2003). Technical Manual. timms & pirls International Study Center, Lynch School of Education: Boston, MA. www.ceneval.edu.mx