Nivel 1 - Enlace - Secretaría de Educación Pública

Transcripción

Manual Técnico enlace Media Superior 2008-2010
Manual Técnico de la prueba Evaluación Nacional de Logro Académico
en Centros Escolares de Educación Media Superior (enlace ms)
D.R. © 2012, Centro Nacional de Evaluación
para la Educación Superior, A.C. (Ceneval)
Av. Camino al Desierto de los Leones 19,
Col. San Ángel, Deleg. Álvaro Obregón,
C.P. 01000, México, D.F.
www.ceneval.edu.mx
Diseño y formación: Álvaro Edel Reynoso Castañeda
Febrero de 2012
Directorio del Ceneval
Director General
Mtro. Rafael Vidal Uribe
Directora General Adjunta de Programas Especiales
Dra. Rocío Llarena de Thierry
Directora de Programas para la Administración Pública
Dra. Alejandra Zúñiga Bohigas
Coordinación de la prueba
Lic. Sandra Reyes Lüscher
Elaboración
Lic. Sandra Reyes Lüscher
Dra. Alejandra Zúñiga Bohigas
Equipo de colaboración
Lic. Araceli Castillo Núñez
Lic. Erika Asunción González Mendieta
Lic. Rubén Lugo Campos
Psic. José Rodrigo Alanis Quezada
Psic. Laura Audiffred Maldonado
Lic. Sandra Villagómez Pérez
Lic. Martha Verónica Contreras Valdés
Lic. Claudia Guadalupe Durán Velandia
Mtra. María del Carmen Zafrilla Sánchez
Lic. Rafael Kornhauser García
Índice
Presentación
11
1. Antecedentes
15
2. Características generales de la prueba
19
20
20
20
20
22
23
23
2.1
2.2
2.3
2.4
2.5
2.6
2.7
Objetivo
Propósito
Población objetivo
Características psicométricas
Alcances y limitaciones
Administración
Resultados
3. Desarrollo de la prueba 3.1 Definición del contenido
3.1.1 Habilidad Lectora 3.1.2 Habilidad Matemática
3.2 Estructura de la prueba
3.2.1 Especificaciones de reactivos
3.3 Elaboración y validación de reactivos
3.3.1 Capacitación a elaboradores y validadores
3.3.2 Revisión cualitativa 3.3.2.1Revisión técnica 3.3.2.2Validación con especialistas 3.3.2.3Revisión de estilo 3.3.3 Revisión Cuantitativa 3.3.3.1Calibración de reactivos 3.3.3.2Corrección y validación externa 3.3.4 Mantenimiento del banco de reactivos 3.4 Ensamble de la prueba 3.4.1 Revisión editorial e impresión del instrumento
25
27
28
33
36
37
37
38
39
39
40
40
41
42
44
44
45
47
4. Aplicación 4.1 Diseño muestral
5. Calificación 5.1 Confiabilidad de la prueba 5.2 Establecimiento de puntos de corte y definición
de niveles de desempeño 5.2.1 Análisis empírico 5.2.2 Análisis de juicio 5.2.2.1Niveles de dominio de la Habilidad Lectora 5.2.2.2Niveles de dominio de la Habilidad Matemática 5.2.3 Validación de los puntos de corte 5.3 Equiparación de las pruebas 6. Resultados 6.1 Reporte de resultados 6.2 Usos y difusión de resultados 6.3 Cuestionarios de contexto 7. Reflexiones acerca de la prueba 7.1 Comparación con evaluaciones similares 7.2 enlace Media Superior y la riems 49
50
53
54
54
54
55
56
57
58
58
63
65
67
68
71
74
77
Referencias 79
Anexo I
Grupos de trabajo
81
Índice
Anexo II
Datos psicométricos de los reactivos piloteados 93
Anexo III
Parámetros versión operativa 2008 97
Anexo IV
Marco muestral. Levantamiento de datos de la prueba Anexo V
Establecimiento de los puntos de corte y generación de algoritmo de calificación
103
111
Anexo VI
Validación de los puntos de corte 115
Anexo VII
Equiparación 131
Presentación
El
11
MANUAL TÉCNICO ENLACE MEDIA SUPERIOR
Centro Nacional para la Evaluación de la Educación Superior (Ceneval) es una institución
no lucrativa cuya misión es contribuir a elevar la calidad de la educación en México,
por medio del diseño y la aplicación de instrumentos de evaluación válidos, confiables
y pertinentes. Estos instrumentos proporcionan información acerca de los conocimientos y
habilidades que las personas adquieren al participar en procesos formales o informales de
aprendizaje.
Es importante que un instrumento de evaluación cuente con un reporte detallado de
los procedimientos que se siguieron en el diseño y elaboración de una prueba para alcanzar
altos niveles de calidad técnica. Este Manual Técnico resume la evidencia que fundamenta la estructura, la construcción y el mantenimiento de la Evaluación Nacional de Logro Académico
en Centros Escolares (enlace) de nivel Medio Superior, que es uno de los instrumentos más
importantes en cuya elaboración y seguimiento participa el Ceneval a petición de la Secretaría
de Educación Pública (sep).
enlace Media Superior es una prueba de diagnóstico individual que se aplica anualmente a la población del último año de ese nivel educativo. Debido a que ha resultado un
instrumento útil en la toma de decisiones tanto para los sustentantes, como para los centros
escolares y los titulares del poder público, es prioritario que la información relacionada con
él se ponga a disposición de otros evaluadores, docentes, autoridades educativas, alumnos y
padres de familia, de modo que se contribuya a la difusión de la prueba y la adecuada interpretación de sus resultados.
12
Con la publicación del Manual Técnico se da cumplimiento a los estándares exigidos
por el Ceneval y por diversas entidades que establecen lineamientos para las pruebas de
aprovechamiento, entre ellas la American Educational Research Association (aera), la American Psychological Association (apa) y el National Council on Measurement in Education
(ncme). A lo largo del documento, se describe puntualmente la forma en que el proceso de
elaboración e instrumentación de la prueba enlace Media Superior cumple con diversos
estándares de calidad. Incluso se indica entre paréntesis la clave numérica que corresponde
al lineamiento establecido por las asociaciones mencionadas anteriormente en el documento
normativo titulado The Standards for Educational and Psychological Testing (apa, aera y ncme, 1999).
Antes de detallar las etapas de construcción que caracterizan a la prueba enlace Media
Superior, se describen algunos antecedentes del examen, las instancias que promovieron el
proyecto de evaluación, las necesidades que le dieron origen y el plan a largo plazo que se
está implementando.
El segundo capítulo incluye las características generales de la prueba, específicamente
aquellas que fueron determinadas desde su planificación y que, en congruencia con los objetivos de evaluación, dictan permanentemente las líneas de acción en las etapas posteriores de
desarrollo y mantenimiento del instrumento.
El tercer apartado explica con detalle la estrategia con que se definió el contenido y
la estructura del instrumento de evaluación, así como los procedimientos para contar con
un banco de reactivos que cumpla con lineamientos internacionales de calidad, y permita el
ensamble de los cuadernillos que son aplicados a la población objetivo.
El cuarto capítulo presenta información acerca de las circunstancias particulares, las
condiciones y los requisitos para aplicar el examen, se precisan los tiempos y número de sesiones requeridas, así como el ensamble y diseño de aplicación consecuentes con el propósito
que ha caracterizado a la prueba enlace Media Superior desde 2008.
La sección denominada Calificación describe los procedimientos para establecer los
puntos de corte y definir los niveles de dominio con el apoyo de especialistas que se encargan
de validarlos de manera empírica y teórica. Además de explicar el significado de ubicar a los
sustentantes en uno u otro nivel, se detalla el proceso para cuidar que año con año la calificación y las comparaciones basadas en dichos niveles sean válidas.
En el capítulo Resultados se muestra la distribución de sustentantes por nivel de dominio que se obtuvo en los tres años de aplicación. Además, se exponen las vías que tienen los
sustentantes, los docentes y la comunidad en general para conocer los resultados, entre ellas, las
estrategias de difusión que han puesto en práctica la sep, la Subsecretaría de Educación Media
Superior (sems) y el Ceneval para promover el máximo aprovechamiento de la evaluación.
En el último apartado se presenta una discusión de los alcances de esta evaluación y
de la experiencia que se ha tenido durante los tres años de su aplicación, con el propósito de
motivar la reflexión y retroalimentación en cuanto a la construcción y desarrollo de la prueba.
De igual modo, se mencionan de manera breve algunos aspectos de la reestructuración que
sufrió la prueba para su aplicación en 2011, en congruencia con los objetivos y lineamientos
de la Reforma Integral de la Educación Media Superior (riems).
13
1. Antecedentes
En
15
2007 la Subsecretaría de Educación Media Superior ( sems ) comenzó el
desarrollo del Sistema Nacional de Evaluación de la Educación Media Superior
(sneems), en cumplimiento del Programa Sectorial de Educación 2007-2012. Dicho sistema
persigue dos objetivos generales: 1) proporcionar elementos para mejorar la calidad de la
educación media superior (ems) en todas sus dimensiones, subsistemas, modalidades y planteles, y 2) proporcionar elementos para rendir cuentas a la sociedad sobre el funcionamiento
del nivel educativo, mediante mecanismos transparentes en beneficio de todos los sectores
interesados.
Para evaluar de manera integral la calidad de la ems es necesario utilizar varias estrategias, cuyos alcances y limitaciones se complementen de tal forma que ofrezcan una visión
más amplia de la realidad educativa y la posibilidad de emitir juicios de valor que sustenten adecuadamente las decisiones que se tomen. Para ser consecuente con dicho principio,
el sneems establece cinco grandes niveles o ámbitos de trabajo, cuya evaluación supone
diversas estrategias con propósitos específicos e instrumentos que respondan de manera
congruente y adecuada a las características de cada uno. Los ámbitos son: a) sistemas y subsistemas, b) programas e intervenciones, c) escuelas, d) maestros y e) alumnos.
enlace Media Superior es uno de los instrumentos construidos para la evaluación
16
de los alumnos. Entre otras líneas de acción, el Programa Sectorial que rige al sneems,
expresa la necesidad de “diseñar, aplicar y consolidar los instrumentos de evaluación del
desempeño académico de los estudiantes como insumo para reorientar la acción pedagógica
y para integrar los programas de nivelación académica”.1
Esta evaluación se desarrolló con el fin de generar información para cada estudiante
acerca de su capacidad de respuesta ante exigencias de la vida cotidiana al egresar de la ems,
de tal forma que se proporcionen elementos para contribuir a la mejora del sistema educativo
(incluyendo maestros, planteles, padres de familia, etcétera).
En febrero de 2007 la sems y la Dirección General de Evaluación (dgep) de la sep
solicitaron el apoyo de Ceneval para la elaboración de la prueba enlace Media Superior, a lo
que el Centro respondió con tres propuestas: la primera incluía la evaluación de cinco áreas:
Lenguaje y Comunicación, Matemáticas, Metodología, Ciencias Naturales e Introducción
a las Ciencias Sociales; la segunda se centraba en la evaluación de tres ámbitos: Matemáticas,
Lectura y Ciencias; y la tercera en la evaluación de dos habilidades básicas: Habilidad Lectora
y Habilidad Matemática.
Debido a la diversidad de subsistemas que hay en la educación media superior y a la
existencia de más de 200 currículos en el ámbito nacional, se prefirió la elaboración de un
instrumento abocado a dos habilidades generales que son parte fundamental en la educación:
Habilidad Lectora y Habilidad Matemática. Ambas son transversales, es decir, se desarrollan
a lo largo de la historia escolar y fuera de ella, además de que se manifiestan de modo diferencial en los individuos, lo cual permite identificar diferentes niveles de dominio.
La construcción de la prueba implicó diversos procesos integrados y sistematizados en
las etapas de la Metodología Ceneval: diseño, construcción, verificación, ensamble, aplicación,
calificación y emisión de reportes. Las cuatro primeras fueron responsabilidad única del Ceneval
y las tres últimas estuvieron a cargo de la dgep-sep; en todos los casos se supervisó el cumplimiento de lineamientos y estándares de carácter internacional (apa, aera & ncme, 1999).
En cada una de las etapas, los procesos fueron avalados y legitimados por cuerpos
colegiados que emitieron propuestas y juicios especializados. El Consejo Directivo, el Consejo
Técnico, los Comités Académicos o el grupo de Asesores Externos están conformados por
expertos en educación y evaluación de las habilidades que integran la prueba, nacionales e
1
Disponible en http://www.sep.gob.mx/wb/sep1/programa_sectorial
internacionales. Dada la notoriedad que la prueba enlace Media Superior ha adquirido desde
su primera aplicación, en 2008, resulta prioritario asegurar la calidad del proceso evaluativo.
En la tabla 1 se muestra el incremento en la cobertura de la prueba en estos tres años,
por número de centros escolares y de sustentantes individuales. Los datos para cada entidad
federativa se encuentran disponibles en la página electrónica http://enlace.sep.gob.mx/ms/.
Tabla 1. Cobertura de enlace Media Superior
2009
2010
Sustentantes
808,346
835,741
884,663
Escuelas
11,007
11,716
12,164
Como se mencionó, en 2011 la evaluación sufrió algunas modificaciones en respuesta a
la solicitud de la sems de dar seguimiento a la Reforma Integral de la Educación Media Superior (riems) que centra sus esfuerzos en promover un perfil de egreso definido en términos
de competencias. Debido a que el enfoque de la prueba enlace Media Superior siempre ha
sido evaluar habilidades básicas, el cambio no será radical y actualmente ya se ha avanzado
en el diseño y adaptación de la prueba de modo que para dar continuidad a la evaluación de
Habilidad Lectora y Habilidad Matemática, en 2011 la prueba se abocó a los campos disciplinares que la riems identifica de la siguiente manera: Comunicación (Comprensión Lectora)
y Matemáticas.
En los siguientes apartados se documentan los acuerdos y actividades correspondientes a las diferentes etapas de construcción de la prueba que se aplicó entre 2008 y 2010, así
como los resultados obtenidos.
17
2008
2. Características
generales de la prueba
Durante
el periodo 2008-2010, la prueba enlace Media Superior se
concibió como una evaluación diagnóstica de dos habilidades
básicas para la vida. En el cuadro 1 se sintetizan las características de esta evaluación de
acuerdo con las categorías establecidas (Vidal, 2009) para los instrumentos de evaluación
generados en Ceneval. En las siguientes páginas se ofrece una explicación para cada una.
Cuadro 1. Características de la prueba enlace Media Superior
Evaluar personas
Población sustentante
Alumnos del último ciclo de la ems
Periodicidad
Anual
Tipo de examen
Diagnóstico
Dominio explorado
Habilidades básicas: lectora y matemáticas
Cobertura de dominio
Restringido
Referente de calificación
Criterial
Sensibilidad a la instrucción
Baja
Cobertura de la población
Censal
Evidencias
Opción múltiple
Control de la aplicación
Bajo
Impacto
Bajo
19
Propósito
2.1 Objetivo
El objetivo de la prueba Enlace Media Superior es determinar en qué medida los jóvenes son
capaces de aplicar a situaciones del mundo real los conocimientos y habilidades adquiridos a
lo largo de la educación media superior, que les permiten hacer un uso apropiado de la lengua
(Habilidad Lectora) y las Matemáticas.
2.2 Propósito
La prueba enlace Media Superior se aplica cada año y su propósito general es evaluar personas. Mediante los datos obtenidos en la aplicación, es posible:
• • • Generar información, para cada alumno, acerca de su nivel de desempeño en dos habilidades básicas.
• • • Proveer elementos que contribuyan a la mejora del sistema educativo.
• • • Proveer información útil para el plantel, los profesores y los padres de familia.
2.3 Población objetivo
20
La prueba enlace Media Superior está dirigida a los alumnos del último ciclo de bachillerato
(cuatrimestre, semestre, año) en modalidad escolarizada de los diferentes subsistemas de las
instituciones de educación media superior (bachilleratos generales, tecnológicos y bivalentes),
tanto de sostenimiento público como privado, de la República Mexicana.
Por ser una prueba estandarizada no es apta para aplicarse a alumnos con necesidades
especiales o que usen una lengua diferente al español.
2.4 Características psicométricas
Es una prueba objetiva y estandarizada, porque su aplicación y calificación mantiene las mismas
condiciones para todos los sustentantes evaluados. Además, se caracteriza por:
• • • ser un examen diagnóstico, ya que emite información general del desempeño de cada
alumno, sin establecer alguna categoría de certificación o jerarquización;
• • • explorar el dominio de los sustentantes en tareas relacionadas con habilidades básicas
••
••
••
••
••
••
••
21
••
para la vida, a saber, Habilidad Lectora y Habilidad Matemática;
• ser una evaluación de cobertura homogénea restringida, porque utiliza las mismas preguntas
para medir, en todos los estudiantes, la presencia o ausencia únicamente de una muestra
representativa de conocimientos, actividades y conductas relacionadas con sus habilidades;
• su baja sensibilidad a la instrucción, puesto que examina un dominio restringido de habilidades que el sustentante desarrolla tanto dentro como fuera del aula, es decir que
no dependen solamente del currículo escolar y la manera en que son enseñadas en los
niveles de escolarización formal;
• reportar los resultados con referencia a criterio, ya que el desempeño del individuo es independiente de lo que responden otros individuos, a diferencia de la evaluación referente a la
norma, la cual compara el resultado del individuo con los resultados de una población
o grupo al que pertenece. La evaluación criterial permite identificar con precisión, en relación con un criterio previamente fijado, el rendimiento de un sustentante en función
de su desempeño o dominio de las habilidades evaluadas al resolver la prueba;
• ubicar a los sustentantes en cuatro niveles de desempeño, que se definen con base en el contenido establecido en el perfil referencial;
• ser censal, puesto que está programada para aplicarse a todos los sustentantes que cumplan con la descripción de la población objetivo;
• estar conformada por reactivos de opción múltiple, ya que incluye preguntas o problemas que
se acompañan de tres distractores verosímiles y una respuesta correcta. La elección de
este tipo de reactivo para conformar la prueba se debe, por un lado, a su flexibilidad, ya
que los reactivos de opción múltiple se adaptan a la complejidad de los contenidos que se
pretende evaluar; por otro, a su versatilidad, ya que los reactivos de este tipo permiten medir la comprensión de nociones fundamentales y la habilidad del sustentante para razonar
y aplicar lo aprendido; así también, una característica que los hace ideales es la facilidad de
calificación, ya que puede hacerse de manera rápida y exacta, lo que resulta indispensable
cuando se requiere evaluar poblaciones numerosas y ofrecer resultados rápidamente.
• contar con un bajo control en su aplicación, lo cual responde al hecho de que únicamente
sea una evaluación diagnóstica y se aplique a una población de alrededor de 800,000
sustentantes cada año. Aun así, en la cuarta sección del presente Manual se explican los
detalles de la aplicación de la prueba a una muestra controlada, cuyos datos se utilizan
para procesos de calificación e investigaciones alternativas;
• ser un examen de bajo impacto, ya que sus resultados no deben tener consecuencias para
los evaluados.
2.5 Alcances y limitaciones
22
Las características y propósitos de la prueba enlace Media Superior determinan sus alcances
y limitaciones en comparación con otros instrumentos de evaluación. Es importante hacer
hincapié en dichos aspectos, ya que utilizar los resultados de la evaluación para fines distintos
ocasionaría interpretaciones carentes de validez (estándares 1.1, 1.2 y 1.6).2
La prueba brinda a los sustentantes información útil sobre las fortalezas y debilidades
que poseen en cuanto al desarrollo de su Habilidad Lectora y su Habilidad Matemática. El
reporte de resultados presenta, de manera específica, las tareas que el sustentante es capaz
de realizar y aquellas que no, de modo que pueda conocer áreas de oportunidad para así
hacerse responsable de su educación y emplear herramientas que le ayuden a mejorar sus
habilidades. Es importante considerar que, debido a que la prueba se planteó desde el inicio
como diagnóstica, enlace Media Superior evalúa únicamente una muestra representativa
de contenidos y procesos. En otras palabras, no incluye todas las temáticas y tareas que los
estudiantes del nivel medio superior pueden y deben dominar. Además, el examen posee una
baja sensibilidad a la instrucción, ya que la necesidad de evaluar a la población censal, aunada a
la existencia de múltiples currículos de bachillerato, obligó a que el diseño de la prueba se
centrara en la evaluación de dos habilidades que cualquier estudiante debe poseer, independientemente del subsistema que haya cursado.
enlace Media Superior se clasifica como una prueba de bajo impacto pues los resultados obtenidos no tienen consecuencias académicas para los alumnos evaluados ni para
las escuelas. El instrumento no permite derivar conclusiones acerca de la educación media
superior, los subsistemas, las escuelas o el desempeño de las entidades federativas. El diseño y propósitos de esta prueba se limitan a la emisión de un diagnóstico general para el
sustentante de fortalezas y debilidades en el desarrollo de su Habilidad Lectora y Habilidad
Matemática. Las decisiones que se tomen a partir de los resultados deben considerar cuidadosamente el contexto de la evaluación y las condiciones de cada escuela, por lo que no es
válido sacar conclusiones sobre el mejor o peor subsistema, plantel o plantilla docente. La
prueba no sirve para hacer comparaciones entre alumnos, entre escuelas o entre subsistemas;
sólo responde a los propósitos para los que fue creada: proporcionar un diagnóstico individual, elementos que contribuyan a la mejora del sistema educativo y retroalimentación para
maestros, planteles y padres de familia.
2
Con este formato, de aquí en adelante se indican los estándares de calidad de la apa, aera y ncme (1999) que se siguieron durante
el proceso de construcción y aplicación de enlace Media Superior, así como en la elaboración del presente Manual Técnico.
En el caso de los docentes, la prueba es útil para conocer las fortalezas y debilidades
que exhiben los sustentantes en lo que se definió como Habilidad Lectora y Habilidad Matemática en enlace Media Superior. Para las autoridades educativas, los resultados de la prueba
representan un diagnóstico general útil para guiar las acciones de fomento de la Habilidad
Lectora y la Habilidad Matemática.
2.6 Administración
La aplicación de la prueba enlace Media Superior es responsabilidad de la dgep-sep y se
hace año con año. La prueba se aplica de manera censal, lo que determina que el control del
proceso sea bajo; sin embargo, para contar con datos confiables para la realización de los
análisis estadísticos y los procesos de calificación, se planifica una aplicación controlada a una
muestra representativa de la población objetivo.
El instrumento se califica bajo las mismas condiciones para todos los evaluados por lo
que se caracteriza como prueba estandarizada (estándar 3.20). Es importante mencionar que,
una vez que se aplica, la prueba se hace pública; es decir se dan a conocer todos los reactivos
que la conforman. En el capítulo cuarto se describen a detalle algunos aspectos relacionados con
la administración de la prueba.
2.7 Resultados
23
Tanto los estudiantes como los directivos, docentes y la comunidad en general, tienen acceso
a los resultados de cada aplicación ingresando a la página electrónica oficial http://enlace.
sep.gob.mx/ms/. Cada estudiante puede conocer el nivel de dominio en el que se encuentra:
insuficiente, elemental, bueno o excelente para cada una de las habilidades evaluadas, así
como las respuestas correctas de todos los reactivos. Los docentes y directivos también tienen
la posibilidad de conocer los errores más comunes del alumnado y los resultados de cada
plantel año con año.
3. Desarrollo de la prueba
De
25
acuerdo con la Metodología Ceneval (2008) y como parte del primer paso para
desarrollar pruebas eficaces, la construcción de la prueba enlace Media Superior
comenzó con el establecimiento de un plan general de evaluación. Las primeras acciones se
orientaron a definir el propósito y las características generales del instrumento en congruencia con los requerimientos de la sems. Contar con objetivos claros y conocer los alcances y
limitaciones de la aplicación deseada permite establecer un cronograma con actividades que
aporten validez y solidez a la prueba en su conjunto (estándares 1.1, 3.2 y 3.9).
De 2007 a la fecha, cada uno de los procesos involucrados en la elaboración de la prueba
ha contado con la participación de distintos grupos de expertos. La validez de la estrategia
de medición y las interpretaciones se ven fortalecidas por la constante retroalimentación que
hay entre los cuerpos colegiados, ya que la implementación de la evaluación implica la coordinación y el consenso entre todos.
A continuación se detallan las funciones de los grupos de trabajo que intervinieron en
la elaboración de la prueba, tanto en su diseño como en su construcción y mantenimiento.
En el anexo I se enlistan los nombres de los integrantes.
• • • Consejo Directivo: sus integrantes dan seguimiento al sneems coordinando las estrategias
••
••
••
••
••
26
••
propias de los cinco ámbitos ya mencionados.
• Consejo Técnico: asesora a las autoridades educativas y a los Comités Académicos en el diseño, análisis y seguimiento de la prueba impulsando acciones que permitan respaldar su
transparencia y confiabilidad; valida su estructura y sus contenidos; revisa los resultados
del estudio piloto y propone modificaciones a partir de ellos; evalúa técnica y académicamente los informes que se producen y define los usos que son apropiados. Además,
colabora en la propuesta de elaboración de los cuestionarios de contexto y aprueba la
forma de aplicación de la prueba enlace Media Superior.
• Comité Académico de Diseño: es el responsable de la definición de los contenidos que se
van a evaluar, los grupos de procesos cognitivos y los niveles de complejidad que explora
la prueba y determinan su estructura. A partir de ello, elabora las especificaciones de reactivos que son revisadas por el Comité Académico de Validación de Contenido y Especificaciones.
• Comité Académico de Elaboración de Reactivos: está conformado por docentes del nivel medio
superior y especialistas en los contenidos de la prueba, que elaboran los reactivos con
base en las especificaciones.
• Comité Académico de Validación de Reactivos: garantiza que los reactivos elaborados correspondan con lo que se desea evaluar y representen de manera clara y precisa los
elementos necesarios para asegurar la validez de la evaluación.
• Comité Académico de Establecimiento de Puntos de Corte y Definición de Niveles de Dominio: sus
miembros son expertos en las áreas de evaluación y estadística, que revisan los parámetros obtenidos después del piloteo y aplicación de la prueba, identifican las puntuaciones de corte y definen los niveles de dominio.
• Asesores externos: son especialistas reconocidos en Latinoamérica, Estados Unidos y
Europa que establecen los estándares técnicos, evalúan los distintos indicadores de los
instrumentos y hacen recomendaciones para el mejoramiento de los procesos de diseño,
elaboración y administración de las pruebas.
La decisión de integrar tan diversos cuerpos colegiados obedece a que en el Ceneval se
considera importante contar con diferentes puntos de vista que enriquezcan el instrumento
de evaluación.
3.1 Definición del contenido
3
Página oficial del Instituto http://www.cito.nl/
Sistema de Medición de la Calidad de la Educación (simce). Reporte de Resultados 2005. Santiago: Ministerio de Educación, Unidad
de Curriculum y Evaluación (uce) de Chile.
4
27
Una vez que el Consejo Directivo y el Consejo Técnico acordaron el plan general de la prueba
–el cual incluye las características y propósitos descritos en el apartado anterior–, el personal
del Ceneval estuvo en condiciones de convocar a los Comités Académicos e iniciar con la
primera etapa de la metodología institucional para la construcción de pruebas: el diseño.
Durante la etapa de diseño del instrumento de evaluación se definen los elementos que
constituyen el marco conceptual y operacional en que se fundamentará todo el proceso. El
primer paso es elaborar un perfil referencial (pr), que constituye el referente medular para
el desarrollo de la prueba, porque describe las bases teóricas y la forma en que se estructura el
instrumento de manera que se cumpla con sus propósitos y se atiendan las características de
los sustentantes. De este modo, es posible establecer de manera clara y precisa aquello que se
pretende medir (estándares 1.2 y 1.6).
Para la prueba enlace Media Superior se elaboró un perfil de cada una de las habilidades evaluadas. Su delimitación estuvo a cargo de los Comités Académicos de Diseño,
conformados por grupos de expertos en la enseñanza y desarrollo de la Habilidad Lectora y Matemática. Estos comités estudiaron los marcos teóricos de la evaluación de pisa
(Programme for International Student Assessment) que lleva a cabo la Organización para
la Cooperación y el Desarrollo Económicos, los materiales disponibles de la encuesta all
(International Adult Literacy Survey), los procedimientos de Cito3 (Cito Instituut voor Toetsontwikkeling, conocido en inglés como Central Institute for Test Development) y algunas
aproximaciones a la evaluación de habilidades que han resultado exitosas en el contexto
latinoamericano (simce y timss). La revisión de literatura y de los planes y programas de las
diferentes modalidades y subsistemas de la ems sirvió como referente para definir las dos habilidades e identificar los contenidos y los procesos por evaluar. Una de las concepciones teóricas
generales que guio la elaboración del perfil corresponde con el enfoque de las pruebas pisa
y simce, y fue la siguiente:
• • • El alumno aprende poniendo en práctica habilidades que implican el despliegue de diferentes procesos
cognitivos, y el profesor, como mediador del aprendizaje, debe identificarlas y tratar de desarrollarlas
por medio de diversos contenidos (simce, 2005).4
28
Tanto la Habilidad Lectora como la Matemática están definidas en términos del contenido
o estructura del conocimiento que los estudiantes necesitan adquirir a lo largo de la trayectoria
escolar y los procesos que se requieren llevar a cabo (pisa, 2000, 2003, 2006). Tanto la Metodología Ceneval (2008) como Downing et al. (2006), recomiendan poner especial atención
en la definición operacional de los contenidos y los procesos cognitivos implicados en las
tareas que tendrá que resolver el alumnado, específicamente para facilitar la elaboración de
los reactivos y apoyar a los investigadores e interesados en las interpretaciones que pudieran
derivarse de los resultados de la evaluación (estándares 1.18 y 13.3).
Los Comités Académicos diseñaron además las especificaciones de la prueba y definieron su estructura. Las especificaciones son enunciados que describen de manera clara y
precisa la conducta que se espera que realice el sujeto al contestar un reactivo (estándares
3.2 y 3.11). Estas se construyen en correspondencia directa con los contenidos que cada
comité determina como esenciales para que un estudiante que egresa del nivel bachillerato
en nuestro país sea competente en las áreas de conocimiento. Un aspecto importante en la
elaboración de especificaciones fue distribuirlas de modo que se contara con tareas en tres
niveles de complejidad. Esta gradación se delimitó para cada uno de los grupos de procesos
cognitivos, de modo que después de la aplicación se facilite la ubicación de los sustentantes en
diferentes niveles de dominio.
La pertinencia y relevancia de los contenidos y taxonomía diseñados para cumplir con
los propósitos de enlace Media Superior fueron revisadas por Comités Académicos de
Validación que perfeccionaron el diseño de la prueba. La propuesta final fue aprobada por
el Consejo Técnico.
A continuación se presentan los perfiles referenciales de la prueba enlace Media
Superior, y se describen puntualmente sus contenidos, procesos y estructura.
3.1.1 Habilidad Lectora
Leer es una de las actividades básicas en el desarrollo académico y personal. Evaluar la
Habilidad Lectora del alumnado es importante porque cada estudiante requiere contar con
un nivel de dominio suficiente para responder a las exigencias de su entorno.
La evaluación de la Habilidad Lectora en la prueba enlace Media Superior conceptualiza a la lectura como una herramienta fundamental en todas las formas de crecimiento
intelectual, no sólo en el ámbito académico como base del aprendizaje, sino también para
actividades de tipo recreativo y para el desarrollo social.
La diversidad de usos de la lectura constituye un proceso de naturaleza múltiple que
involucra distintas habilidades que se adquieren en los primeros años de escuela y se forta-
lecen en la vida cotidiana. Leer se considera un proceso porque implica la coordinación de
diferentes habilidades y conocimientos en distintos tiempos y grados de participación, antes,
durante y después del acto de leer. Es muy importante que el lector vaya construyendo una
comprensión de la lengua que integre su aspecto morfológico y funcional, lo primero se
refiere a las consideraciones formales del lenguaje que, como sistema, debe respetar signos,
reglas y convenciones para ser entendido, y el segundo aspecto atiende a la función comunicativa del lenguaje.
Partiendo de este universo conceptual, se elaboró una definición de la Habilidad Lectora,
que es meramente operacional, es decir, responde a las necesidades de la prueba.
Definición operacional
Para la prueba enlace Media Superior se definió la Habilidad Lectora como la capacidad de
un individuo para comprender, utilizar y analizar textos escritos, con el fin de alcanzar sus propias metas,
desarrollar el conocimiento y el potencial personal, y participar en la sociedad.
Contenidos
29
El contenido por evaluar está asociado con el tipo de texto que se utiliza para medir la
Habilidad Lectora. Los cuatro tipos de texto que contiene la prueba enlace Media Superior
se eligieron por considerarse representativos del nivel educativo, y porque reflejan funciones
importantes de la lengua.
Su descripción es la siguiente:
• • • Apelativo. Refleja la función apelativa, la cual trata de suscitar interés en el receptor
o de convencerlo de actuar. Se busca seguir una instrucción; convence, sugiere, ruega,
aconseja. Desarrolla el uso del verbo condicional o imperativo.
• • • Argumentativo. Pretende expresar un argumento o contraargumento, probar o demostrar una idea, refutar la contraria para persuadir o disuadir al receptor. Intenta demostrar,
convencer o cambiar ideas; por ello –además de la función apelativa presente en el desarrollo de los argumentos– aparece la función referencial, donde se expone la tesis.
• • • Expositivo. Representa la función referencial o pragmática utilizada cuando se quiere
expresar clara y objetivamente un mensaje. Se relaciona con el mundo real, con el contexto externo, y expresa lo que sucede, las acciones emprendidas por alguien, así como
los resultados de investigaciones. Ayuda a aprender a describir o clarificar algún concepto, palabra o aspecto de un tema determinado.
• • • Narrativo. Evoca la función poética, literaria o creativa, útil para describir la realidad
en forma subjetiva, personal, original y creativa a través de la mirada del artista, quien
selecciona y combina las palabras y frases; además de lo que se dice, es importante
cómo se dice.
Asimismo, se crearon listas de cotejo que señalan los requerimientos de forma y contenido para cada texto, con el fin de asegurar que los reactivos asociados permitan cumplir
con la evaluación de los procesos necesarios, eviten ser ofensivos para algún grupo social y
garanticen un lenguaje claro, sin regionalismos ni tecnicismos.
Procesos y niveles de complejidad
30
La prueba enlace Media Superior concibe la lectura como una actividad multidimensional,
por lo que al evaluar la Habilidad Lectora se espera que los estudiantes demuestren su capacidad para obtener información, comprender los textos de manera general, interpretarlos y
reflexionar sobre su contenido y su forma. Los procesos cognitivos que se definieron para la
evaluación implican los procedimientos cognitivos mínimos que un sustentante con buena
comprensión lectora debe poner en práctica para utilizar de manera adecuada los textos.
La definición de cada uno de los procesos se muestra a continuación:
•• 1. Extracción de información. Implica buscar, localizar y seleccionar la información
específica de una o más oraciones, o de distintos párrafos de un texto. Se basa en el
propio texto y en la información explícita que contiene.
•• 2. Desarrollo de la comprensión. Está relacionado con la capacidad del lector para
identificar de qué fenómeno o tema trata el texto y qué se dice de él.
•• 3. Desarrollo de la interpretación. Implica atribuir significado y sentido a palabras,
oraciones, conceptos, proposiciones al texto completo, de acuerdo con sus contenidos
y propósitos.
•• 4. Reflexión y evaluación del contenido. Tiene que ver con la valoración de las proposiciones que contiene un texto, para contrastarlas con los conocimientos previos y
relacionar su información con otras fuentes de conocimiento, las cuales pueden proceder
de textos facilitados en la prueba o de ideas explicitadas en la pregunta.
•• 5. Reflexión y evaluación de la forma. Consiste en identificar el grado de correspondencia entre el contenido y la estructura del texto y evaluar su pertinencia, así como valorar
qué tan adecuada es la forma en que se escribió el texto al contenido que se presenta.
Con el fin de precisar aún más la medición de la Habilidad Lectora, se desagregaron
los procesos en tres niveles de complejidad, de acuerdo con las características y tareas involucradas en cada uno:
•• a) La información a la que recurre el sustentante. Puede utilizar información contenida
en el texto o fuera de él, apoyándose en conocimientos externos del tema abordado.
•• b) Los aspectos en los que se centra el lector. Pueden ser partes independientes del texto
o relaciones entre sus apartados.
•• c) El enfoque del lector en el texto. Puede considerarlo como un conjunto o hacer relaciones entre sus partes.
La definición de los niveles de complejidad sirvió como referente para elaborar las
especificaciones de la Habilidad Lectora. Fue exhaustiva para asegurar que se cuente con
reactivos relacionados con todas las acciones cognitivas que se requieren para comprender
un texto. Por esta razón, los grupos de procesos de Desarrollo de la comprensión y de la
interpretación, así como Reflexión y evaluación del contenido y de la forma, se subdividieron
para optimizar las actividades posteriores de construcción de la prueba. Los niveles se presentan a continuación:
Niveles del proceso de extracción de información
• • • Nivel 1. Localizar un elemento (tópico, concepto, episodio, participante) que se encuentre
••
Niveles del proceso de desarrollo de la comprensión
• • • Nivel 1. Identificar el tema central de un párrafo; el tema no es explícito, implica una
••
inferencia local.
• Nivel 2. Integrar diferentes partes de un texto para identificar la idea central; comprender
una relación (problema-solución, causa-efecto, comparación-contraste, premisa- conclusión, ejemplificación, descripción, negación, etcétera).
31
••
en el texto de manera explícita. Será muy evidente o notorio para el lector, y se puede
encontrar en cualquier parte del texto.
• Nivel 2. Localizar dos elementos relacionados (tópico, concepto, episodio, participante)
que se encuentren a lo largo del texto de manera explícita. Estos elementos se encuentran
en cualquier parte del texto o párrafo y carecen de marcadores.
• Nivel 3. Localizar tres o más elementos relacionados. El elemento objetivo y sus distractores se ubican a lo largo del texto.
• • • Nivel 3. Localizar tres o más elementos relacionados. El elemento objetivo y sus distractores se encuentran a lo largo del texto.
Niveles del proceso de desarrollo de una interpretación
• • • Nivel 1. Interpretar el significado de una palabra o frase corta con base en la situación
••
••
descrita.
• Nivel 2. Inferir relaciones entre los párrafos (problema-solución, causa-efecto, comparación-contraste, premisa-conclusión, emociones, etcétera). Se evalúan analogías.
• Nivel 3. Vincular las múltiples interpretaciones e inferencias.
Niveles del proceso de reflexión y evaluación del contenido
• • • Nivel 1. Identificar la postura del autor de manera global.
• • • Nivel 2. Identificar información que apoye el punto de vista del autor (un hecho, un
••
dato, un contexto) y contrastar sus argumentos.
• Nivel 3. Identificar los contraargumentos que se incluyen en el texto o establecer una
comparación con un fragmento del mismo y un refrán o analogía.
Niveles del proceso de reflexión y evaluación de la forma
• • • Nivel 1. Determinar si los recursos gráficos (cursivas, viñetas, subtítulos, etcétera) uti••
32
••
lizados por el autor son adecuados y contribuyen a hacer una mejor interpretación del
texto en el entorno local.
• Nivel 2. Identificar si la estructura del texto es adecuada al contenido que se presenta.
Establecer por qué se utilizan recursos gráficos en dos o más párrafos.
• Nivel 3. Identificar si la organización, expresiones y recursos que el autor utiliza son
adecuados al tipo de texto que se presenta y a su destinatario.
Las especificaciones describen, de manera muy similar a las definiciones presentadas,
cada una de las conductas que se busca en los sustentantes al responder un reactivo. La
relación tan estrecha de las especificaciones con los propósitos y bases conceptuales de la
prueba, permite tener claridad y precisión en lo que se va a medir, logrando así que la elaboración de reactivos tenga la menor discrecionalidad al interpretar lo que se quiere evaluar y
puntualidad en lo que se debe preguntar.
3.1.2 Habilidad Matemática
Los conceptos y tareas matemáticas están presentes en casi todas las situaciones de la vida
diaria, de ahí que manejarlas satisfactoriamente se considere una habilidad básica. Su evaluación se ha abordado de diferentes modos; en algunas ocasiones se realizan las pruebas
por medio de tareas que pertenecen a las ramas de la matemática, como álgebra, geometría,
estadística, probabilidad o cálculo; pero otras aproximaciones se basan en la presentación
de situaciones que dan pie a organizar y estructurar la información presente en el problema,
identificar los aspectos matemáticos relacionados con dicha tarea y descubrir, entre otras cosas,
relaciones, regularidades y estructuras. Todo este proceso se conoce como matematización
(Freudenthal, 1999).
Se decidió evaluar la Habilidad Matemática mediante operaciones matemáticas simples
y complejas con ejercicios parecidos a los que se plantean en el aula. Se incluyeron también
problemas menos estructurados, similares a los que enfrentará el alumnado en contextos
sociales o de su vida cotidiana, en los que tendrá que analizar el procedimiento y la técnica
matemática necesarios para poder solucionarlos.
El Perfil Referencial de Habilidad Matemática de la prueba enlace Media Superior se
organizó de manera sistemática, por un lado, a través de los contenidos matemáticos que engloban los temas o elementos conceptuales en los que un estudiante debe basarse para resolver
un problema y, por el otro, con los procesos matemáticos en los que se agrupan las tareas cognitivas que el estudiante utiliza para responder un cuestionamiento o solucionar un problema.
Definición operacional
33
La Habilidad Matemática se definió como la aptitud de un individuo para identificar y comprender
el papel que desempeñan las matemáticas en el mundo, alcanzando razonamientos bien fundados, utilizando
y participando en las matemáticas en función de las necesidades de su vida como ciudadano constructivo,
comprometido y reflexivo (ocde, 2006).
La definición implica que aquel estudiante que cuente con Habilidad Matemática es
capaz de valorar el papel que juegan las matemáticas en su vida y, de esa forma, aplicarlas en
la solución de problemas que se le presenten en diferentes contextos.
Contenidos
Para afirmar que un sustentante posee cierto nivel de Habilidad Matemática, independientemente del área en que haya cursado, cada bachiller debe conocer y manejar cuatro contenidos
matemáticos generales: cantidad, espacio y forma, cambios y relaciones, y matemáticas básicas.
Su descripción es la siguiente:
• • • Cambios y relaciones. Implica reconocer, describir y modelar de forma numérica,
algebraica y gráfica las relaciones o funciones temporales y permanentes entre fenómenos. Prevé la necesidad de tomar decisiones a partir del análisis de los datos, representaciones de experimentos aleatorios y juegos de azar.
• • • Cantidad. Subraya la necesidad de cuantificar para proceder a describir el entorno. Incluye aquellos conceptos involucrados en la comprensión y orden de tamaños relativos,
reconocimiento de patrones numéricos, uso de números para representar cantidades y
atributos cuantificables de los objetos del mundo real.
• • • Espacio y forma. Señala la necesidad de reconocer patrones, imágenes, ubicaciones,
movimientos o cualidades de los objetos que ocupan un lugar en el espacio, así como
codificar y decodificar información de estos en contextos concretos (imágenes) y
abstractos (descripciones).
• • • Matemáticas básicas. Implica reconocer, describir y modelar objetos geométricos a
partir de representaciones algebraicas; además, considera el estudio de las relaciones
entre los ángulos y los lados de un triángulo valiéndose de funciones o razones.
Procesos cognitivos
34
El dominio de los contenidos matemáticos se evalúa a partir de tareas que implican el despliegue de tres grupos de procesos cognitivos: reproducción, conexión y reflexión.
Las definiciones de los procesos describen conocimientos, actividades y tareas cognoscitivas progresivamente más sofisticadas. Por ello, en teoría debiera ser más fácil para
los sustentantes contestar un reactivo del proceso de reproducción que uno de conexión, ya
que el nivel de complejidad va aumentando de un proceso a otro; sin embargo, en la realidad
se ha visto que otros aspectos influyen en la dificultad del reactivo, a saber: el contenido que
se evalúa, la familiaridad que se tiene con la tarea realizada, la cercanía o lejanía entre el momento en que fue aprendida y evaluada, entre otros. Aun así, tener un punto de partida que
sea congruente con las investigaciones vigentes brinda un marco conceptual adecuado para
interpretar los resultados de la prueba año con año.
La progresión en la complejidad de las tareas se ve con mayor claridad en los niveles de
dominio que se presentan en el apartado de calificación.
• • • Reproducción. Las habilidades de este grupo incluyen tareas que permiten determinar
••
35
••
si el sustentante conoce y aplica la técnica matemática. Implica esencialmente: utilizar
conocimientos y procedimientos matemáticos a problemas directos, reconocer equivalencias, utilizar objetos y propiedades matemáticas, así como manejar representaciones
numéricas, simbólicas y gráficas.
• Conexión. Las habilidades del grupo de conexión incluyen problemas que no son
directos; es decir, se presentan a partir del planteamiento de problemas sencillos
retomados de la vida real. Los problemas de este tipo plantean exigencias en su interpretación y requieren que el sustentante reconozca la técnica matemática que se ha de
utilizar, con el fin de solucionar problemas que impliquen equivalencias, uso de propiedades matemáticas y empleo de representaciones numéricas, simbólicas y gráficas.
• Reflexión. Las habilidades del grupo de reflexión incluyen problemas cuyo planteamiento no es directo; es decir, se presentan a partir de situaciones complejas retomadas
de la vida real en las cuales se hace uso de más de una forma de representación de
información (textual, numérica, simbólica o gráfica). Los problemas de este tipo plantean exigencias en su interpretación y requieren que el sustentante reconozca la técnica
matemática por utilizar, establezca relaciones, combine e integre información entre
distintas formas de representación o diferentes aspectos de una situación y que utilice
más de un paso o proceso, con el fin de solucionar un problema.
3.2 Estructura de la prueba
En las pruebas que diseña el Ceneval la estructura se refiere a la distribución de los reactivos
por contenido y por proceso para cada habilidad evaluada, lo cual se determina en congruencia con la definición del constructo previamente establecida. La cantidad y dificultad de los
reactivos consideran la relevancia de cada contenido para el diagnóstico de la habilidad en
general, de acuerdo con el nivel educativo y las condiciones de la aplicación.
La prueba enlace Media Superior 2008-2010 consta de 140 reactivos, de las cuales
50 corresponden a Habilidad Lectora y 90 a Habilidad Matemática. En la tabla 2 se presenta
la distribución de reactivos por procesos y contenidos temáticos, que guio la construcción
de la prueba.
Tabla 2. Estructura de enlace Media Superior
Área
Habilidad
Lectora
36
Habilidad
Matemática
Reflexión
Interpretación5 y evaluación
Tipo de texto
Extracción
Argumentativo
4
4
2
10
Narrativo
5
7
2
14
Expositivo
7
8
2
17
Apelativo
4
3
2
9
Total de reactivos
por proceso
20
22
8
50
Contenido Matemático
Reproducción
Conexión
Reflexión
Cantidad
7
13
5
25
Espacio y Forma
5
10
5
20
Cambios y Relaciones
9
11
5
25
Matemáticas Básicas
5
10
5
20
Total de reactivos
por proceso
26
44
20
90
Total en la prueba
5
Total de
reactivos
Número de reactivos por Proceso
Subárea
140
Se presentan integrados en esta columna los procesos de desarrollo de la interpretación y de la comprensión, y en la columna
siguiente los de reflexión y evaluación del contenido y la forma.
Una vez delimitada una estructura congruente con el perfil referencial y los objetivos
de la evaluación, la Metodología Ceneval prescribe la siguiente fase, la construcción de la
prueba, la cual consta de dos etapas: elaboración de especificaciones y de reactivos.
3.2.1 Especificaciones de reactivos
Las especificaciones son enunciados concretos que, tomando en cuenta el contenido temático, el grupo de proceso y el nivel de complejidad al que pertenecen, nombran una tarea en
particular cuya resolución muestra si el sustentante posee o no una parte específica de la
Habilidad Lectora o la Habilidad Matemática de acuerdo con la definición que guía la prueba.
De manera adicional, se solicitó a los Comités Académicos que construyeran otros
enunciados identificados como de acotamiento o delimitación que acompañan a cada especificación. El acotamiento puntualiza aspectos relacionados con el formato de los reactivos,
para indicar si se requiere presentar la información de una manera específica (en columnas, con
datos numéricos, gráficos o verbales, entre otras) o si los datos pueden tener o no una relación directa con los textos o los contenidos temáticos que se revisan en el aula.
Las especificaciones de reactivos tienen como propósito proporcionar un marco normativo, claro y significativo, que aporte los elementos necesarios para que los elaboradores
construyan reactivos adecuados para evaluar los contenidos y procesos cognitivos, así como
los detalles técnicos para que los ítems resulten efectivos en la población objetivo y permitan
generar interpretaciones válidas.
3.3 Elaboración y validación de reactivos
37
El Ceneval y la sems convocaron a especialistas en Habilidad Matemática y Habilidad Lectora
para la elaboración de los reactivos. Un requisito indispensable para participar en los comités
fue que sus integrantes contaran con experiencia en el nivel medio superior y tuvieran conocimientos en el área en la que elaborarían los reactivos.
El Ceneval impartió talleres de capacitación con la metodología institucional de elaboración de reactivos. Dicha capacitación es esencial para la calidad de la prueba, ya que contar
con reactivos técnicamente adecuados es uno de los primeros pasos para asegurar que los
resultados de la prueba son válidos y no se deben a aspectos de forma o detalles externos al
objeto y estructura de la evaluación.
Todos los reactivos cumplieron una fase de verificación con la que se asegura la calidad
de los reactivos. De hecho, cada uno de los ítems pasó por una serie de revisiones cualitativas
y cuantitativas (estándar 3.10).
3.3.1 Capacitación a elaboradores y validadores
38
De acuerdo con la Metodología Ceneval, la labor de capacitación a los elaboradores de
reactivos es permanente, aun cuando se cuente con los ítems necesarios para las diferentes
versiones de la prueba (Vidal et al., 2000). Esto permite mantener en operación un banco de reactivos de buena calidad, que responda a los requerimientos de la prueba enlace Media Superior.
Tomando ello en consideración y de manera muy especial que la aplicación de la prueba
es censal, todos los reactivos de la prueba enlace son de opción múltiple. El Ceneval posee
una vasta experiencia en el desarrollo y calificación de este tipo de ítems, por lo que en la capacitación de los redactores y la posterior revisión técnica de los reactivos se siguen los requerimientos
técnicos que han probado su eficacia en múltiples exámenes desarrollados por el Centro.
Dichos lineamientos son explicados a los elaboradores en cursos-taller que se organizan
en las instalaciones de Ceneval, al igual que en cada sesión de los Comités Académicos de
Validación. En las reuniones se informa a los asistentes de la historia y objetivos del Centro,
así como de las particularidades de la prueba enlace Media Superior, de modo que los
ítems correspondan con el propósito y modelo taxonómico de la evaluación.
Haladyna (2004, citado en Downing, 2006) considera que los reactivos de opción
múltiple son los más adecuados para medir habilidades, especialmente las cognitivas de orden
superior, como la capacidad de resolución de problemas, síntesis y valoración. Esto es así,
entre otras cosas, porque permiten delimitar claramente los contenidos y tener una muestra
representativa del universo amplio que implica cualquier área de conocimiento.
Para maximizar la validez de las interpretaciones que se derivan de los reactivos de
opción múltiple (Vidal et al., 2000), enfatizan la importancia de elaborar ítems claros, con un
formato que incluya siempre la base del reactivo, las opciones de respuesta con justificación,
la respuesta correcta, la referencia o bibliografía, la fecha y el nombre del autor. Para llevar a
cabo estas actividades, los elaboradores son capacitados también para almacenar los reactivos
en un sistema electrónico, el intranet de Ceneval, que agiliza los posteriores procesos de
verificación y ensamble de pruebas, entre otros.
Los validadores, en coordinación con un representante de Ceneval, llevan a cabo la
revisión de reactivos en línea. Lo más importante es que ellos también dominen las temáticas
y los lineamientos técnicos para que se cuente con ítems de calidad tanto en forma como
en contenido.
Una vez que los redactores informan que han concluido la elaboración de los reactivos,
estos pasan por diferentes revisiones que se mencionan en la tabla 3 y se explican en las
páginas siguientes.
Tabla 3. Actividades para la verificación de la calidad de los reactivos
Tipo de revisión
Cualitativa
Cuantitativa
Revisión técnica de reactivos
Piloteo de reactivos
Validación con especialistas
Calibración
Revisión de estilo
3.3.2 Revisión cualitativa
Una parte fundamental en la metodología institucional tiene que ver con los aspectos de
verificación de la pertinencia y claridad del contenido de las especificaciones y los reactivos
de las pruebas. Todo ello forma parte de los lineamientos internacionales que se deben cumplir
durante la construcción de los exámenes (estándares 3.7, 7.2 y 13.18).
3.3.2.1 Revisión técnica
39
El primer filtro para los reactivos elaborados es la revisión técnica, que consiste en verificar
que correspondan con la especificación ubicada en el perfil referencial, con el proceso cognitivo que se va a evaluar y con el tipo de texto asociado o al contenido matemático, según el
área correspondiente del reactivo.
Esta actividad la realiza personal especializado del Ceneval con base en los siguientes
lineamientos:
•• 1. Base del reactivo. Debe incluir la información necesaria y suficiente para ser contestado, implicar una sola tarea o cuestionamiento, cumplir con alguno de los formatos
establecidos (jerarquización, completamiento, elección de elementos, relación de columnas), y ser independiente de los demás ítems; es decir, la información contenida en
un reactivo no ha de sugerir o requerir la solución de otro.
•• 2. Opciones de respuesta. Debe tener sólo una respuesta correcta y tres distractores.
En lo referente a la respuesta correcta, esta debe ser incuestionable y resolver el planteamiento de manera satisfactoria, mientras que los distractores han de ser plausibles
y totalmente incorrectos. Para corroborar esto, se revisan con especial cuidado las
justificaciones o argumentaciones que los elaboradores indican para cada opción de
respuesta.
Aunado a lo anterior, los textos que se utilizan para derivar los reactivos de Habilidad
Lectora deben cubrir diversos criterios en cuanto al número de palabras, las características
que los identifican y los temas a los que hacen referencia. Todos ellos se indican en una lista
de verificación que los revisores técnicos tienen en cuenta para aceptar o pedir modificaciones.
En caso de que algún reactivo no cumpla con estos criterios o con lineamientos editoriales, se proporciona retroalimentación al elaborador para su modificación, y sólo hasta que
se cumplen las condiciones de calidad en contenido y forma, el reactivo es registrado en el
sistema electrónico como aceptado y listo para la siguiente fase de verificación.
3.3.2.2 Validación con especialistas
40
Los reactivos que cumplen con los lineamientos técnicos del Ceneval son sometidos a un
proceso de validación para garantizar que correspondan a la especificación, contenido y proceso cognitivo que pretenden medir. De este modo, se asegura que representen, de manera
clara y precisa, los elementos esenciales de las habilidades evaluadas en la prueba, ya sean
conceptos, términos, definiciones, procedimientos, etcétera (estándares 3.7 y 3.17).
Cada reactivo es revisado y validado por lo menos por dos especialistas, en coordinación
con un representante del Ceneval. Los primeros se encargan de leerlo y analizarlo de manera
individual, discutir colectivamente su contenido, emitir un dictamen (Sin dictamen, Aceptado,
Modificado y aceptado, Aceptado – Requiere diseño, o Descartado) y, en su caso, hacer propuestas de
mejora. El coordinador de mesa del Ceneval se ocupa de resolver preguntas acerca del perfil
referencial, del procedimiento, y de realizar los cambios necesarios a los reactivos a solicitud
de los especialistas, además de imprimir los informes de los ítems validados.
3.3.2.3 Revisión de estilo
Únicamente los reactivos aceptados en la validación llegan a la tercera fase de verificación.
La revisión de estilo, a cargo de personal de la Dirección General de Difusión del Ceneval,
consiste en asegurar la presentación clara y homogénea de cada reactivo y de la prueba en su
totalidad. Para ello se verifica el empleo correcto y uniforme del lenguaje, la puntuación, la
ortografía, las abreviaturas y la presentación de tablas y otros apoyos gráficos, así como de
la bibliografía y las citas textuales.
La corrección de estilo le da mayor precisión y claridad de las preguntas, lo que aumenta la validez de la evaluación (estándar 7.2). El procedimiento de Ceneval para la verificación
de estilo implica una retroalimentación constante entre los revisores técnico-pedagógicos y
el personal de Difusión.
3.3.3 Revisión cuantitativa
Después del proceso de revisión de estilo, se lleva a cabo el ensamble de las versiones para el
estudio piloto de los reactivos. Para ello se consideran únicamente los reactivos que fueron
aceptados en el proceso de validación. Esta primera revisión cuantitativa es importante para
que la prueba operativa final se conforme con reactivos que han probado su efectividad para
brindar información en cuanto a las habilidades que posee la población objetivo.
Después de hacer las modificaciones señaladas por los correctores de estilo, se ensamblan cuadernillos que presentan diferentes bloques de reactivos de cada habilidad evaluada.
Todas las propuestas de ensamble de las versiones piloto son avaladas por el Consejo Técnico de la prueba.
En la tabla 4 se presenta el esquema general de ensamble que se ha mantenido en los
primeros tres años de aplicación de la prueba. El ordenamiento en la presentación de las
áreas de habilidad es el mismo que caracteriza a la versión operativa, condición importante
para neutralizar cualquier efecto que pudiera tener ello en la respuesta de los estudiantes.
Tabla 4. Formas para el estudio de reactivos piloto
Forma 2
Forma 3
Forma 4
Forma 5
Forma 6
Habilidad
Lectora
Habilidad
Matemática
Habilidad
Lectora
Habilidad
Matemática
Habilidad
Lectora
Habilidad
Matemática
Habilidad
Matemática
Habilidad
Lectora
Habilidad
Matemática
Habilidad
Lectora
Habilidad
Matemática
Habilidad
Lectora
Habilidad
Lectora
Habilidad
Matemática
Habilidad
Lectora
Habilidad
Matemática
Habilidad
Lectora
Habilidad
Matemática
96
94
96
94
96
94
41
Reactivos
por forma
Forma 1
Otra de las razones por las que el diseño del piloteo se planteó de este modo fue para
probar, en un inicio, qué cantidad de reactivos era adecuada para responderse en sesiones de
50 minutos, así como el número de sesiones pertinentes por día de aplicación, de modo que
se controlaran variables como el cansancio o la deserción.
En general se procura que las condiciones del piloto sean las mismas que la aplicación
operativa; las variaciones corresponden a la cantidad de sustentantes que responden la prueba
y el número de reactivos que la conforman, ya que la aplicación de las formas piloto se realiza
de manera matricial. En la tabla 5 aparecen los datos referentes al número de cuadernillos
que se han ensamblado para contar con ítems suficientes de buena calidad y la cantidad de
alumnos que han participado en el piloteo de reactivos. Cada año se ensamblan pruebas piloto
con meses de antelación a la aplicación anual. De este modo se asegura la calidad psicométrica de los ítems que servirán para emitir el diagnóstico individual que pretende la prueba
enlace Media Superior con su versión operativa.
Tabla 5. Cuadernillos y participantes en los estudios piloto
2007
2008
2009
20106
Cuadernillos
18
16
38
30
Sustentantes
9,526
4,709
8,525
9,953
La impresión de los materiales, la aplicación, la lectura óptica de hojas de respuesta y la
conformación de la base de datos está a cargo de la dgep-sep.
42
3.3.3.1 Calibración de reactivos
La calibración de los reactivos se lleva a cabo para valorar su comportamiento estadístico y
obtener sus características psicométricas que permitirán seleccionar los que conforman la
prueba operativa.
Para el análisis de los reactivos se revisa y depura la base de datos proporcionada por la
dgep-sep eliminando los casos que presentan menos del 85% de respuestas. El análisis de
los reactivos se realiza con base en la Teoría Clásica (tc) y la Teoría de la Respuesta al Ítem
6
Los reactivos que se pilotearon en 2010 corresponden, en su mayoría, a la estructura de la prueba que se utilizará en 2011, la cual
presenta diferentes modificaciones que afectan de igual modo el ensamble de las versiones piloto.
(tri) con el modelo logístico de tres parámetros. En el análisis de los reactivos, con base en
la tc, se atienden dos indicadores:
•• 1. Grado de dificultad. Se refiere al porcentaje de personas que responden correctamente un reactivo de una prueba. Entre mayor sea esta proporción, menor será su
dificultad. De acuerdo con la Metodología Ceneval, los valores que se consideran aceptables en este parámetro son 20 ≤ GD ≤ 80%. La dificultad es una información básica
al ensamblar el instrumento, ya que debe estar balanceado en cuanto a la dificultad
global y en cada una de sus áreas o secciones (Vidal et al., 2000).
•• 2. Correlación punto biserial o coeficiente de discriminación. Se calcula para determinar el grado en que cada reactivo aporta información certera en cuanto a las
habilidades que mide de manera particular, y en conjunto con los demás ítems que
conforman la prueba. El índice de correlación permite relacionar la tendencia de respuesta de cada ítem con respecto a la escala de la cual forma parte. Se supone que un
sustentante con una puntuación alta en toda la prueba tiene mayores probabilidades
de contestar correctamente un reactivo. También se debe esperar lo contrario, es decir,
que quien tuvo bajas puntuaciones en la prueba, tenga pocas probabilidades de contestar correctamente el reactivo. Así, un buen reactivo debe discriminar entre aquellos
que obtuvieron buenas calificaciones en la prueba y aquellos que obtuvieron bajas calificaciones. Generalmente, basta con que la correlación punto biserial de un reactivo
sea positiva para aceptarla como medida de “discriminación” del reactivo; sin embargo, la
Metodología Ceneval exige un mínimo de 0.2 para considerar que el ítem es óptimo
(Vidal et al., op.cit).
43
Adicionalmente, se realizan análisis que se basan en la tri. La diferencia entre la tc y
la tri reside en que esta última se centra en las propiedades de los reactivos individuales y no
en las propiedades globales de la prueba. La herramienta de la tri que se utiliza para valorar
la calidad de los reactivos es la curva característica del ítem, la cual resulta del ajuste de una
función matemática al comportamiento del reactivo, y representa la probabilidad de que un
sujeto, con una determinada habilidad, responda correctamente el reactivo.
Para el análisis de los reactivos de la prueba enlace Media Superior se utiliza el modelo
de tres parámetros de tri. Los parámetros hacen alusión a los índices de discriminación,
dificultad y pseudo-adivinación de los reactivos:
•• 1. Índice de discriminación (a). Indica la cualidad que tiene el reactivo de diferenciar
a los sustentantes que dominan el conocimiento de aquellos que no. Para considerar
aceptables a los reactivos deben presentar una discriminación mayor que 0.45.
•• 2. Índice de dificultad (b). Indica la posición del ítem en la escala de aptitud. Cuanto
••
más grande es el valor de dificultad, mayor es la aptitud requerida para que el examinado
tenga una probabilidad alta de resolver correctamente el ítem. Lo ideal es que los reactivos se encuentren en un intervalo de -3 a 3.
3. Índice de pseudo-adivinación (c). Permite conocer la probabilidad de que cada
reactivo sea contestado correctamente al azar.7
Los datos psicométricos generales de las pruebas piloto correspondientes a 2007, 2008
y 2009 se presentan en el anexo II. El anexo III incluye los parámetros correspondientes a
los ítems que integraron la versión operativa 2008 y que han servido para llevar a cabo los
procedimientos de equiparación que se explican más adelante.
3.3.3.2 Corrección y validación externa
44
Después de la calibración es posible elegir los reactivos con parámetros óptimos que conforman las versiones operativas. Los ítems restantes que cuentan con buenos estadísticos se
mantienen en el banco de reactivos para posteriores aplicaciones o para presentarse en materiales de apoyo a los docentes y alumnado de educación media superior.
En 2009 y 2010, los reactivos que no cumplieron con los requerimientos mencionados
en el apartado anterior fueron revisados y corregidos nuevamente por especialistas con base
en los datos estadísticos. De este modo, se identificaron los tipos y estilos de distractores que
no funcionan en la población objetivo, y aquellos contenidos cuyo planteamiento se requiere
depurar con mayor cuidado para obtener reactivos de buena calidad. Toda esta información
se usa para optimizar los materiales de capacitación a los elaboradores, así como la revisión
técnica de los reactivos.
3.3.4 Mantenimiento del banco de reactivos
Una de las etapas importantes en la Metodología Ceneval para la elaboración de pruebas
tiene que ver con el mantenimiento del banco de reactivos. El coordinador del proyecto es el
encargado de establecer la meta de reactivos elaborados que debe cubrirse, el tiempo que se
tiene para ello, así como las fechas de validación y calibración de los ítems. Después de estas
fases, el Coordinador está en posición de contar con un detalle de los parámetros y dictámenes de
7
Este índice también es conocido como pseudo-azar debido a que los sustentantes difícilmente responden por “azar puro”. Normalmente intentan descartar algunas opciones de respuesta antes de adivinar.
los reactivos; además, el mantenimiento del banco implica revisar constantemente la actualización de los contenidos y de los parámetros de los ítems de acuerdo con el número de veces
que se haya presentado en diferentes versiones ya sea piloto u operativas, y con las posibles
modificaciones en el objeto de medición o las normas de revisión editorial.
En la tabla 6 se reporta la cantidad de reactivos que se han elaborado, validado y piloteado desde que comenzó la construcción de la prueba hasta agosto del 2010. Como puede
verse, el mantenimiento del banco es de suma importancia para dar continuidad a las aplicaciones año con año.
Tabla 6. Banco de reactivos enlace Media Superior 2008-2010
2007
2008
2009
2010
Total
Reactivos
elaborados
2,010
3,112
4,379
1,003
10,504
Reactivos
validados
1,389
2,505
4,332
946
9,172
Reactivos
piloteados
570
1,561
3,590
135
5,856
3.4 Ensamble de la prueba
45
En esta fase se integra la versión operativa de la prueba con los reactivos que resultaron
ser los mejores tanto en las revisiones cualitativas como cuantitativas (estándares 3.7 y 3.8).
La validez de las interpretaciones de la calificación final depende en gran parte de que el
ensamble se realice de manera adecuada (Downing, 2006). La disposición de los reactivos
debe obedecer al plan de prueba que se estableció desde el inicio; así, las versiones son congruentes con los contenidos y niveles taxonómicos necesarios para contar con una muestra
representativa del dominio de conocimiento que se va a evaluar.
Todos estos aspectos contribuyen a la validez de contenido de la prueba. Sin embargo,
para que las puntuaciones sean fiables no es suficiente con que se cumpla con el peso y cantidad de reactivos determinados en la estructura del instrumento. También deben controlarse
variables como las siguientes:
• • • El orden de presentación de los reactivos, de modo que se facilite la lectura y minimice
••
••
46
cualquier carga cognitiva derivada de este aspecto. Para el ensamble de enlace Media
Superior 2008 se decidió alternar los bloques de reactivos por área y subárea de la prueba
y, dentro de cada bloque, ordenar los ítems por su dificultad de manera ascendente.
En las siguientes aplicaciones, en aras de asegurar la comparabilidad de la prueba, el
orden de los reactivos se ha mantenido sin cambio. Los ítems de 2009 y 2010 poseen,
en su mayoría, dificultades similares a las de su par en la primera prueba.
• La posición o localización de las respuestas correctas: esto disminuye la probabilidad
de acertar por azar o por el sesgo natural a elegir las posiciones intermedias. Para la
prueba enlace no existe alguna regla en el orden o frecuencia de presentación de cada
clave de respuesta, los elaboradores la asignan según su criterio o en función de algunos
lineamientos editoriales; por ejemplo, la longitud de las opciones, el orden ascendente
de las respuestas numéricas, entre otros.
• Cualquier aspecto visual que pudiera confundir a los sustentantes: para ello se equilibra
el tamaño y orientación de los reactivos en el papel, asegurando, por ejemplo, que las
tablas o los textos no queden incompletos en una página y que las imágenes sean nítidas,
entre otros detalles.
Otros aspectos que han de tomarse en cuenta para el ensamble son los aspectos de la
administración de la prueba, la cual en el caso de enlace se realiza en seis sesiones de 50
minutos. Los 140 reactivos de la prueba operativa se ensamblan en un solo cuadernillo dividido en seis bloques: tres de Habilidad Lectora y tres de Habilidad Matemática, los cuales se
intercalan para su aplicación. En la tabla 7 se muestra la distribución de la prueba operativa
en función del número de reactivos y los contenidos.
Tabla 7. Distribución de la prueba operativa enlace Media Superior 2008-2010
Día 1
Reactivos
Día 2
Reactivos
Habilidad Lectora
(Apelativo y Argumentativo)
19
Habilidad Matemática (Cambios y
Relaciones, y Matemáticas Básicas)
30
Habilidad Matemática
(Cantidad y Matemáticas Básicas)
30
Habilidad Lectora
(Expositivo)
17
Habilidad Lectora
(Narrativo)
14
Habilidad Matemática (Espacio y
Forma, y Matemáticas Básicas)
30
Cada sesión dura 50 minutos, aunque en los estudios piloto más recientes se ha estudiado la posibilidad de que para la aplicación de 2012 se reduzcan a 45 minutos. Una de las
razones para sugerir el cambio son los reportes constantes por parte de los aplicadores en
cuanto a que la mayoría de los sustentantes terminan de responder cada sesión en menos
tiempo; además, es posible que en aplicaciones futuras se incluya la evaluación de un campo
disciplinar adicional para responder a los objetivos de la riems.
La logística de cada aplicación debe considerar los procedimientos necesarios para
realizar la posterior equiparación y calificación de los instrumentos (Downing, 2006). En
la prueba enlace Media Superior la escala se mantiene año con año gracias al ensamble y
aplicación de una versión Pretest, que se distribuye mediante un diseño matricial a una muestra representativa de estudiantes que la contestan en el mismo periodo que la prueba operativa
(apartado 5.2). Este esquema se denomina equiparación por población común (Moulton, 2007).
3.4.1 Revisión editorial e impresión del instrumento
Todos los cuadernillos de la prueba se someten a una revisión editorial con la finalidad de
asegurar su calidad; después se envían a la Comisión Nacional de Libros de Texto Gratuito
(Conaliteg), la cual es responsable de su impresión.
47
4. Aplicación
La
49
prueba operativa se aplica a los estudiantes que cursan el último grado de educación
media superior en instituciones educativas de carácter público, federal y estatal, en los
planteles particulares con reconocimiento de validez oficial otorgado por la sep, así como en
instituciones de carácter autónomo que lo soliciten y en escuelas particulares incorporadas.
Todos los sustentantes contestan la prueba operativa en seis sesiones de 50 minutos distribuidas
en dos días (únicamente una muestra representativa de la población responde una versión del
Pretest en una sesión extra).
La aplicación de la prueba está a cargo de la dgep-sep, con el apoyo de los titulares
de las Áreas Estatales de Evaluación de cada entidad federativa, responsables de elaborar
la estrategia de aplicación, así como de coordinarla. Además, participan los representantes
estatales de la sems y los titulares de las Oficinas de Servicios Federales de Apoyo a la Educación en las entidades federativas que supervisan la logística de la aplicación. Existen a su
vez coordinadores regionales y coordinadores de la aplicación para cada plantel que deben
asegurar que las pruebas se apliquen de acuerdo con la normativa.
Es importante enfatizar que el control de la aplicación se considera bajo, ya que esta
se realiza de manera censal en el ámbito nacional, a una población ubicada en localidades
con características y sustentantes muy diferentes. Ahora bien, dada la importancia de contar
con datos confiables para la calibración de reactivos y el proceso de calificación, cada año se
selecciona una muestra representativa que aplica la prueba con un control más riguroso. En
el apartado 4.1 se describe brevemente el diseño muestral utilizado.
En la aplicación participan también padres de familia invitados previamente por los
directores de los planteles, así como observadores externos que verifican que el proceso se
realice de forma adecuada. La organización y calendarización de la prueba asegura la participación de los alumnos, sin afectar las actividades normales de la escuela. Debido a que
enlace Media Superior sólo se aplica a los estudiantes del último grado, no se suspenden
clases ni actividades escolares para el resto de los estudiantes.
4.1 Diseño muestral
El diseño muestral permite contar con una muestra representativa de la población que responde la prueba con un control de aplicación más estricto. Los aplicadores de la muestra
controlada provienen de la dgep, de modo que se reduce la posibilidad de copia, mala distribución de cuadernillos o de tiempo durante las sesiones. Los datos de la muestra controlada
sirven para realizar los análisis estadísticos necesarios para realizar la equiparación de
las pruebas de un año a otro, definir los puntos de corte y llevar a cabo diversas investigaciones
de interés para la sems. Además, estos sustentantes responden cuestionarios de contexto que
permiten estudiar variables asociadas al logro académico.
Para 2008 y 2009 se aplicó un mismo diseño muestral con niveles de desagregación en
que se trabajaron los resultados de enlace Media Superior, los cuales se muestran en la tabla 8.
Tabla 8. Niveles de desagregación de la muestra 2008-2009
Nivel de desagregación
1
Tipo de resultado
Nacional
Nacional por tipo de bachillerato
• General
• Técnico
• Tecnológico
2
Nacional por tipo de sostenimiento
• Público
• Privado
Nacional por nivel de urbanidad
• Rural
• Urbano
50
3
Estatal
Nacional por tipo de bachillerato
• General
• Técnico
• Tecnológico
4
Nacional por tipo de sostenimiento
• Público
• Privado
Nacional por nivel de urbanidad
• Rural
• Urbano
A petición de la sems, en 2010 se implementó un diseño muestral diferente. Para este
nuevo diseño se determinó que no era posible alcanzar la desagregación por estados, dada la
variabilidad que presentan las entidades en cuanto a la proporción de estudiantes de acuerdo con el tipo de bachillerato, tipo de sostenimiento y nivel de urbanidad. Por este motivo
se establecieron los niveles de desagregación nacional en los tres diferentes rubros, como se
muestra en la tabla 9.
Tabla 9. Niveles de desagregación de la muestra 2010
Nivel de desagregación
1
Tipo de resultado
Nacional
Por tipo de bachillerato
• General
• Técnico
• Tecnológico
2
Por tipo de sostenimiento
• Público
• Privado
Por nivel de urbanidad
• Rural
• Urbano
El procedimiento para calcular el tamaño de la muestra, así como los cambios requeridos
desde la primera aplicación (2008) se describen en el anexo IV.
51
5. Calificación
Esta
etapa es esencial para cumplir con los propósitos de la prueba, en particular
con la generación de información acerca del nivel de desempeño en dos habilidades básicas por parte de los sustentantes. Para ello, todos los años se procesa la información
recolectada durante la fase de aplicación mediante la lectura de hojas de respuesta para después calificar a los sustentantes.
La lectura y calificación son responsabilidad de la dgep-sep, instancia que cada año
entrega las bases de datos para que el Ceneval valide sus resultados. Adicional a esto, en 2008
el Centro fue responsable de coordinar las actividades para establecer los puntos de corte que se
utilizan en el proceso de calificación, así como de definir los niveles de desempeño que se han
incluido en los reportes de resultados de los sustentantes en todas las aplicaciones.
53
5.1 Confiabilidad de la prueba
Los datos de cada aplicación han permitido evaluar la confiabilidad de la prueba y tener
información sobre la consistencia interna de la prueba. Para medir la estabilidad del instrumento se calcula el Alfa de Cronbach considerando que una prueba es confiable cuando
obtiene un Alfa mayor a 0.70 (Nunally & Bernstein, 1994). La confiabilidad por año de la
prueba enlace Media Superior se muestra en la tabla 10.
Tabla 10. Confiabilidad enlace Media Superior 2008-2010
Año
Habilidad
Lectora
Habilidad
Matemática
Global
2008
.808
.832
.885
2009
.858
.890
.924
2010
.852
.900
.928
5.2 Establecimiento de puntos
de corte y definición de niveles de desempeño
54
Uno de los aspectos fundamentales al elaborar un examen referido a un criterio es determinar el
nivel mínimo de habilidad que garantiza que un sustentante tiene dominio sobre los contenidos
de la prueba. Para ello es necesario establecer un punto de corte que permita diferenciar entre
los sujetos que alcanzan determinado nivel de habilidad y los que no lo han logrado.
En el caso de la prueba enlace Media Superior se utiliza el método Bookmark o del
marcador (Mitzel, Lewis, Patz y Green, 2001). Este procedimiento toma en cuenta los resultados empíricos de la prueba (análisis empírico) y el juicio de los expertos (análisis de juicio), con
el fin de identificar los contenidos que podría responder adecuadamente un sustentante perteneciente a las distintas categorías o niveles de habilidades que la prueba es capaz de medir.
5.2.1 Análisis empírico
Para el análisis empírico es necesario contar con los datos de la primera aplicación del instrumento y los siguientes insumos:
•• a) descripción de cómo está conformada la prueba: temas, subtemas, número de reactivos
••
••
en cada uno
b) clave de respuesta correcta de cada reactivo
c) archivo con las respuestas de los sustentantes en formato .dbf o .txt (proporcionado
por la dgep-sep).
A partir de estos datos se estiman las características métricas de los reactivos (dificultad,
discriminación, índice de adivinación) con base en la tc y del modelo logístico de tres parámetros de tri para comprobar su calidad. Entre otras cosas, este análisis permite determinar
si los reactivos están funcionando de manera adecuada y si se presenta estabilidad entre las
diferentes aplicaciones (estándar 3.22).
Es importante detectar si existen ítems con problemas para no tomarlos en cuenta
para la calificación ni para el establecimiento de puntos de corte (anexo V). Por ejemplo,
en 2008, el análisis de los reactivos con tc permitió identificar 10 reactivos con correlación
biserial negativa y/o dificultad muy alta que se eliminaron de la calificación. En 2009 se descartaron 11 reactivos y en 2010 sólo 3.
El resto de los ítems de cada prueba operativa obtuvo parámetros estadísticos adecuados
y ofrecen información válida acerca de la habilidad de los sustentantes.
5.2.2 Análisis de juicio
55
Para llevar a cabo las tareas relacionadas con el análisis de juicio se convocó a expertos en
el área de Matemáticas y Habilidad Lectora que conformaron los Comités Académicos de
Establecimiento de Puntos de Corte y Definición de Niveles de Dominio.
A los especialistas se les comisiona la descripción de los conocimientos y habilidades
que los sustentantes deben mostrar para clasificarse en cada nivel de dominio. A petición de
la sems, la clasificación de los niveles tomó en cuenta cuatro categorías: insuficiente, elemental,
bueno y excelente. Después de tener una primera aproximación cualitativa, se procedió al
establecimiento de los puntos de corte operacionales.
Los miembros de comité trabajaron con los resultados del análisis empírico de la prueba
y con el perfil referencial, siguiendo los pasos del método Bookmark que se mencionan a
continuación:
• • • Revisar los reactivos de la prueba operativa ordenados por su dificultad empírica.
• • • Identificar el reactivo marcador para cada uno los niveles de dominio. La tarea de los
jueces fue, tomando en cuenta la jerarquización por dificultad, elegir el ítem o tarea que
••
••
actúa como punto de inflexión entre dos niveles de dominio. El cambio de un nivel a
otro se produce cuando se identifica un reactivo que un estudiante promedio del nivel
actual no puede responder. El punto de corte se establece en función del valor del
parámetro b (dificultad) y no del número de reactivos que están contenidos en los conjuntos correspondiente a cada nivel de dominio. En la prueba enlace Media Superior
se manejan cuatro niveles, por lo que se identificaron tres marcadores.
• Determinar los rangos de habilidad en función de los puntos de corte que se establecieron (anexo V). La estructura de la prueba enlace Media Superior se mantuvo sin
cambios durante los años 2008, 2009 y 2010, motivo por el cual los puntos de corte
establecidos en 2008 han servido para los tres años.
• Redactar un párrafo que sintetice de manera global el tipo de habilidades que caracterizan a los estudiantes de cada nivel de dominio.
La descripción de cada nivel de dominio complementa la información tradicionalmente expresada en puntuaciones y permite conocer los elementos cualitativos relacionados
con el desempeño de los sustentantes. En los reportes de resultados se indica que la persona
evaluada posee las habilidades que se describen en el nivel en que está ubicado y las de los
niveles inferiores.
A continuación se transcriben los niveles de dominio que se trabajaron con el comité
académico y que se presentan en los reportes de resultados de los sustentantes.
5.2.2.1 Niveles de dominio de la Habilidad Lectora
• • • Insuficiente. Eres capaz de identificar elementos que se encuentran de manera explícita
56
••
••
en textos narrativos y expositivos, ya sea acciones, hechos, episodios, personajes o
sus características. Realizas inferencias sencillas sobre las acciones de los personajes y
estableces relaciones entre dos o más elementos. Identificas si la estructura de algunas
partes del texto es adecuada al contenido que presenta.
• Elemental. Ubicas e integras diferentes partes de un texto. Reconoces la idea central y
comprendes relaciones del tipo: problema–solución, causa–efecto, comparación–contraste. Infieres el significado de palabras, así como la relación entre párrafos e ideas.
Reconoces la postura del autor. Relacionas la información del texto y la que se encuentra en tablas.
• Bueno. Relacionas elementos que se encuentran a lo largo del texto y/o en glosarios.
Comprendes el texto de forma completa y detallada, y sintetizas su contenido global.
Infieres relaciones del tipo: problema–solución, causa–efecto, comparación–contraste.
••
Estableces relaciones entre la postura del autor y la información que apoya su punto de
vista. Por ejemplo: un hecho, un dato, el contexto, etcétera. Reconoces la función que
cumplen las tablas en los textos expositivos. Evalúas la estructura del texto en relación
con su contenido.
• Excelente. Haces inferencias complejas para construir una interpretación global del
texto. Comprendes la información contenida en tablas y esquemas y la relacionas con
el contenido del texto. Estableces relaciones entre argumentos y contraargumentos.
Analizas si la organización, las expresiones y los recursos que utiliza el autor son adecuados al tipo de texto y a su destinatario.
5.2.2.2 Niveles de dominio de la Habilidad Matemática
• • • Insuficiente. Resuelves problemas donde la tarea se presenta directamente. Identificas
••
••
57
••
información en esquemas o gráficas y realizas estimaciones. Efectúas sumas y restas con
números enteros y traduces del lenguaje común al lenguaje algebraico. Resuelves problemas en los que se requiere identificar figuras planas y tridimensionales.
• Elemental. Realizas multiplicaciones y divisiones con números enteros, y sumas que
los combinan con números fraccionarios. Calculas porcentajes, utilizas fracciones equivalentes, ordenas y comparas información numérica. Estableces relaciones entre variables y
resuelves problemas que combinan datos en tablas y gráficas. Aplicas conceptos simples
de probabilidad y estadística. Construyes expresiones equivalentes a una ecuación algebraica y resuelves ejercicios con sistemas de ecuaciones lineales. Manejas conceptos
sencillos de simetría y resuelves problemas que involucran un razonamiento viso-espacial.
• Bueno. Resuelves problemas que involucran más de un procedimiento. Realizas multiplicaciones y divisiones combinando números enteros y fraccionarios. Calculas la
raíz cuadrada, razones y proporciones, y resuelves problemas con números mixtos.
Analizas las relaciones entre dos o más variables de un proceso social o natural y resuelves los sistemas de ecuaciones que las representan. Identificas funciones a partir de
sus gráficas para estimar el comportamiento de un fenómeno. Construyes una figura
tridimensional a partir de otras e identificas características de una figura transformada.
Utilizas fórmulas para calcular superficies y volumen, y reconoces los elementos de
una cónica a partir de su representación gráfica.
• Excelente. Empleas operaciones con fracciones para solucionar problemas y resuelves
combinaciones con signos de agrupación. Conviertes cantidades en sistema decimal a
sexagesimal. Identificas la relación existente entre gráficas y funciones lineales o cuadráticas, y expresas algebraicamente una representación gráfica. Aplicas conceptos
avanzados de probabilidad. Solucionas problemas con series de imágenes tridimensionales y aplicas conceptos de simetría. Utilizas fórmulas para calcular el perímetro de
composiciones geométricas. Determinas los valores de los elementos de la circunferencia, la parábola y la elipse a partir de su ecuación y viceversa; identificas la ecuación
de una recta a partir de sus elementos y la aplicas para encontrar la distancia entre dos
puntos. Solucionas problemas donde se aplican funciones y leyes trigonométricas.
5.2.3 Validación de los puntos de corte
Los puntos de corte permiten calificar a los sustentantes y calcular el porcentaje de población
que pertenece a cada nivel de dominio. Para verificar que la clasificación refleje adecuadamente la realidad, en 2008 se llevó a cabo un proceso de validación de los puntos de corte
que consiste en corroborar que éstos se encuentren claramente diferenciados en la escala de
calificación y cubran el espectro de puntuaciones de manera suficiente (Gaviria, 2008). En
este proceso se consideraron, por un lado, la relación entre las puntuaciones de la escala y
la puntuación verdadera y, por otro, el error típico de la estimación que se obtuvo para cada
punto de la escala en función del valor que en el mismo toma la función de información.
A partir del estudio de validación, se concluyó que la separación entre los puntos de
corte determinados para cada una de las áreas, es adecuada según los criterios que se manejaron. El detalle de la metodología utilizada y una descripción más exhaustiva de los resultados
se presenta en el anexo VI.
La validación cuantitativa de los puntos de corte le da mayor fortaleza a la definición
cualitativa de los mismos que se desarrolla en la descripción de los niveles de dominio, y es la
que se presenta en los reportes de resultados de los sustentantes.
58
5.3 Equiparación de las pruebas
Si bien las estrategias de ensamble de las versiones de enlace Media Superior garantizan
que las versiones sean equivalentes en los que contenidos que miden, en un momento posterior a la aplicación pueden existir diferencias en su dificultad. Para controlar este efecto en
la calificación de la prueba se recurre a una equiparación horizontal. Los métodos de equiparación
son procedimientos empíricos para establecer una relación estadística entre los puntajes de dos
versiones de una misma prueba. Dicha relación puede utilizarse para expresar los puntajes de
una versión en términos de los puntajes de otra versión, lo que permite que los resultados de la
prueba sean comparables año con año.
La equiparación requiere de un diseño de recolección de datos y de una regla para
transformar los puntajes de una versión a los puntajes de otra. En relación al primer aspecto
se tomó en cuenta que, por cuestiones de transparencia, la prueba enlace Media Superior
hace públicos todos sus reactivos después de cada aplicación. Dicha condición impide incluir
reactivos ancla en las versiones operativas, por lo que se aplica de manera matricial una prueba
denominada Pretest que se utiliza para calibrar los reactivos y obtener los parámetros que se
fijan en cada aplicación.
El Pretest es equivalente en contenido y dificultad a la prueba operativa. Se administra
de manera matricial por lo que se ensamblan formas o cuadernillos que contienen entre 18 y
25 reactivos. La suma de todas las formas se convierte en la versión operativa del siguiente año.
El Pretest se presenta a una muestra representativa de la población que aplica la prueba
operativa (Diseño muestral, apartado 4.1). Los sustentantes que conforman la muestra responden ambos instrumentos (la prueba operativa y el Pretest), por lo que las puntuaciones
de cada prueba son escaladas en un primer momento gracias a que se aplican a la misma
población. La siguiente figura ejemplifica la forma en que se recolectan los datos para la
equiparación horizontal.
Figura 1. Diseño de recolección de datos: Equiparación Horizontal
enlace-ems operativa
(Aplicación censal)
Pretest
(Aplicación Matricial)
Forma 1
59
Forma 2
Forma n
La totalidad de los sustentantes responde las seis sesiones de aplicación de la prueba
operativa y, de manera adicional, la muestra se somete a una séptima sesión en la que se le
aplica una forma correspondiente al Pretest. La aplicación de las formas o cuadernillos del
Pretest a la muestra controlada se organiza mediante un sistema de contrabalanceo, de modo
140 reactivos
que algunos sustentantes lo responden en alguna de las sesiones del primer día de
aplicación, otros del segundo y un grupo más en un tercer día.
Para lograr la equivalencia de los cuadernillos del Pretest, así como la que debe existir
entre la versión Pretest-operativa, las formas se ensamblan con dos bloques intercalados de
cada subárea considerando que todos deben ser similares en su índice global de dificultad en
tc y cantidad de reactivos. En las tablas 11 y 12 se presenta el esquema general de ensamble
del Pretest.
Tabla 11. Habilidad Lectora Dificultad (tc) por forma
Formas
Reactivos
Dificultad
1
22
55.61
2
18
53.59
3
19
54.96
4
18
54.44
5
23
55.48
Tabla 12. Habilidad Matemática Dificultad (tc) por forma
60
Formas
Reactivos
Dificultad
1
26
40.20
2
26
40.16
3
25
40.17
4
25
40.10
5
26
40.24
6
26
40.26
7
26
40.17
El ensamble de las diferentes versiones es muy importante para brindar confianza en
los procedimientos de calificación y equiparación, ya que todas deben medir el mismo constructo y conservar las condiciones de aplicación, de modo que se eliminen fuentes externas
que afecten la respuesta del sustentante y esta dependa únicamente de su nivel de habilidad.
Posteriormente, para equiparar los puntajes se realiza una transformación lineal, a partir
del modelo logístico de tres parámetros de tri. De este modo, las puntuaciones provenientes
de distintas versiones son intercambiables y todos los sustentantes son evaluados bajo el mismo
criterio (estándares 4.19 y 4.20). En la tabla 13 se muestra la similaridad estadística que se ha
mantenido cada año en las versiones operativas.
Tabla 13. Parámetros globales equiparados 2008-2010
Dificultad tc
Corr. Biserial tc
2008
44.74
0.221
2009
46.75
0.325
2010
48.63
0.257
El procedimiento de equiparación se explica de manera detallada en el anexo VII.
61
6. Resultados
Los
••
En la página electrónica se pueden revisar, durante todo el año, las características generales de la prueba, las fechas de aplicación y noticias relacionadas con la evaluación. También
se pueden consultar los reactivos que conformaron la prueba enlace Media Superior, así
como los resultados por alumno, por escuela y por entidad federativa.
Cualquier consulta a los datos disponibles debe hacerse considerando el propósito
para el que fue diseñada la prueba: brindar un diagnóstico individual y general de fortalezas y
debilidades en dos habilidades básicas: lectora y matemática. Si bien enlace Media Superior
forma parte del sneems, como ya se explicó, es una prueba dirigida al alumnado y no puede
utilizarse para evaluar el sistema educativo, los subsistemas, las escuelas o los docentes. Por
todo esto, los resultados sólo deben ser usados para conocer el nivel de dominio de los sustentantes y planear estrategias de estudio, secuencias didácticas, campañas particulares, entre otras,
que sean consecuentes con las necesidades que puedan detectarse haciendo uso de los datos.
63
••
••
resultados de la prueba enlace Media Superior se encuentran disponibles al
público en general en diferentes medios:
• En la página electrónica oficial, con ligas a los reportes por alumno, por escuela y los
resultados nacionales.
• En carteles que se distribuyen a la comunidad educativa en cada escuela.
• En notas de prensa.
Estas consideraciones se reiteran varias veces en la página electrónica y las autoridades de
la Subsecretaría se encargan de recordarlas al público en general en las conferencias y eventos
de prensa. El Ceneval también hace énfasis en los alcances y limitaciones de la prueba, en
todos los Comités que se organizan durante el desarrollo y mantenimiento de la prueba, y se
pide a los participantes que divulguen la información para evitar malos usos de los datos y
maximizar la validez de las interpretaciones de la propia evaluación (estándar 13.19).
Los resultados de las primeras tres aplicaciones se muestran en la tabla 14.
Tabla 14. Resultados aplicación enlace 2008-20108
2008
2009
2010
N sustentantes
808,346
835,741
884,663
N escuelas
11,007
11,716
12,246
Proporción de sustentantes por nivel de dominio
Habilidad Lectora
% Excelente
6.7
7.2
9.6
% Bueno
45.5
42.6
47.7
% Elemental
35.4
33.1
31.2
% Insuficiente
12.4
17
11.5
% Excelente
3.4
4.8
5.3
% Bueno
12.2
13.9
15.1
% Elemental
37.8
35.1
39.1
% Insuficiente
46.6
46.1
40.6
64
En la tabla se presentan únicamente los resultados nacionales; sin embargo, en la página electrónica se pueden consultar los porcentajes para cada entidad federativa, tipo de
bachillerato, sostenimiento y grado de marginación. Estas y otras características se utilizan
para hacer estudios y tomar decisiones en cuanto a políticas públicas.
8
Datos disponibles en http://enlace.sep.gob.mx/ms/
6.1 Reporte de resultados
A continuación se muestra el reporte de resultados que se entregó a cada sustentante en las
aplicaciones de 2008 y 2009. Desde 2010, está disponible únicamente en línea. En él se encuentran los datos de identificación del alumno, el objetivo de la prueba, la descripción de
los niveles de desempeño y la ubicación del alumno en cada una de las habilidades evaluadas.
Aunado a estos datos, se muestra el porcentaje de alumnos por cada nivel de dominio
por plantel, entidad y a escala nacional.
65
66
6.2 Usos y difusión de resultados
De forma independiente a la utilidad que cada sustentante o docente le pueda dar a los datos
obtenidos con base en la información del reporte individual, la sems, la sep y el Ceneval
organizan un seminario acerca de los usos y difusión de los resultados de la prueba.
Autoridades de cada instancia y representantes de organizaciones de la sociedad civil
presentan diferentes ponencias en el seminario con el objetivo de que la comunidad en general
conozca los propósitos de la prueba enlace Media Superior, sus características técnicas y la
67
Los datos y porcentajes que se presentan en los reportes individuales incluyen los
resultados de la población que asiste a escuelas del mismo tipo de sostenimiento (público
o privado), que corresponda a la modalidad de bachillerato (general, tecnológico, técnico) y
grado de marginación (muy alto, alto, medio, bajo, muy bajo). La intención de presentar los
porcentajes que se obtuvieron en planteles con las mismas características es evitar que se
hagan comparaciones que resultarían inválidas dadas las diferencias de los bachilleratos en
cuanto a recursos, propósito, etcétera; por lo mismo, se incluye un breve párrafo que explica
el propósito de la prueba en cada uno de los reportes (estándares 11.6, 11.12 y 11.15).
Los cuatro niveles de dominio se describen de manera general con la intención de que el
sustentante, el docente y el padre o madre de familia conozcan las fortalezas y debilidades que
indica cada uno, considerando que determinado nivel implica las habilidades del o los anteriores.
Además, se pueden consultar todos los reactivos con las respuestas que el estudiante
eligió y compararlas con la opción correcta; cada pregunta incluye un enunciado que describe lo
que es capaz de hacer el sustentante que responde adecuadamente al reactivo.
En caso de que se requiera consultar el resultado de una escuela en particular, la liga
correspondiente pedirá que se ingrese la Clave del Centro de Trabajo (cct) y que se indique
el turno para el que se quiere consultar los datos. La información que se despliega incluye la
ubicación, los datos generales de la escuela (tipo de sostenimiento, modalidad, grado de marginación) y el número de sustentantes evaluados del último grado escolar en relación con los
programados para aplicar el examen.
La posibilidad de revisar los resultados por escuela representa una ganancia para los
docentes, especialmente porque cada pregunta se acompaña del porcentaje de estudiantes
que la contestó incorrectamente, y se menciona la fortaleza o debilidad que los datos evidencian. De este modo, cada docente puede conocer aquellos contenidos y procesos que
provocan más errores en su alumnado y así, mejorar su práctica educativa.
forma en cómo puede aprovecharse no sólo en el ámbito académico, sino en planificación de
políticas públicas o campañas sociales para promover actividades que favorezcan la lectura y
la comprensión de las matemáticas como herramientas de la vida cotidiana.
Otra estrategia para contribuir a que los resultados de la prueba sean de utilidad es la
publicación de un Manual para Docentes y Directivos que se encuentra disponible en la página
electrónica de la prueba. Se hace hincapié en los propósitos, los alcances y limitaciones de
enlace Media Superior, además de que se presentan sugerencias en cuanto a las actividades
en plantel o en el aula que pueden organizar los docentes para mejorar las habilidades de
los sustentantes.
En el manual se enfatiza el evitar las comparaciones entre alumnos, entre escuelas, y sobre todo el
evitar los ejercicios de preparación exclusivamente para la prueba. Se incluye una explicación amplia
de la forma en que se concibió el instrumento, entre otras cosas, como la medición de una
muestra representativa de los contenidos a través de los cuales se pueden evaluar las habilidades básicas, pero que de ninguna manera incluyen todos los temas y ejercicios que forman
parte de los planes y programas. Esta idea se refuerza con la descripción de la Habilidad
Lectora y la Habilidad Matemática, como ejemplos de habilidades transversales que pueden
y deben ser promovidas en todas las disciplinas y asignaturas del bachillerato, ya sea con trabajos de investigación bibliográfica, prácticas de campo, portafolios y ensayos, entre otros.
Por algunas de las razones expuestas anteriormente, así como por el objetivo meramente diagnóstico de la prueba, enlace Media Superior no distribuye guías para el sustentante,
únicamente se elabora anualmente el Manual para docentes y directivos.
68
6.3 Cuestionarios de contexto
El Ceneval aplica un cuestionario de contexto a la muestra controlada de sustentantes, maestros
y directores, con el fin de recabar datos relacionados con variables de contraste específicas:
subsistema educativo, nivel socioeconómico, motivación, compromiso académico, actividades
extraescolares, situación laboral, recursos cognitivos y no cognitivos, trayectoria académica,
características de las escuelas de procedencia y contexto familiar.
Las variables de contexto son elegidas por un Consejo Técnico conformado por especialistas y autoridades de la sep. En el cuadro 2 se muestra la estructura del cuestionario de
contexto de alumnos utilizada en 2010. En años anteriores se presentaron algunas variaciones
en cuanto a los rubros y la cantidad de preguntas asociadas a cada uno, hasta que en 2010
se estableció una estructura que contiene un mayor abanico de variables de contexto que
permiten describir a la población sustentante del examen operativo y explicar su desempeño.
Los cuestionarios de los sustentantes se aplican en una sesión de 50 minutos, mientras
que los dedicados a docentes y directivos pueden ser contestados en línea. Las preguntas dirigidas a los directores recaban información acerca de las características de la escuela, mientras que
el cuestionario dirigido a los docentes se centra en variables asociadas a la función educativa.
Cuadro 2. Estructura del cuestionario de contexto para alumnos 2010
Dominio
Datos generales
Recursos no cognitivos
Tiempo libre
Personal
Situación laboral
Comportamientos de riesgo
Recursos cognitivos
Trayectoria académica
Características de las escuelas
de procedencia
Escolar
Calidad de la escuela
Social
Familiar
Variable
Sexo
Edad
Estado civil
Discapacidades
Lengua indígena
Motivación
Compromiso académico
Ejercicios físicos
Actividades extracurriculares
Otros
Trabajo actual
Consumo de sustancias adictivas
Habilidad percibida para el uso
del idioma Inglés
Habilidad percibida para el uso
de la computadora
Preescolar
Primaria
Secundaria
Nivel medio superior
Primaria
Secundaria
Nivel medio superior
Tiempo utilizado en traslado
Exigencia de la escuela
Tutorías
Calidad de los maestros
Clima escolar
Estructura familiar
Capital cultural
Capital económico
Total
Preguntas
1
1
1
5
1
3
10
4
3
5
7
10
5
4
1
5
7
17
1
2
4
1
1
3
20
8
1
10
19
160
69
Área
Los hallazgos hasta ahora han resultado interesantes. Entre otros, los datos muestran
de manera consistente que las variables que mejor predicen el desempeño de los sustentantes
son, en orden de importancia, las asociadas al capital cultural y económico en el dominio
familiar, las relacionadas con la motivación en cuanto a recursos no cognitivos y, por último, la
habilidad percibida para el uso del idioma inglés y de la computadora.
70
7. Reflexiones
acerca de la prueba
71
La
prueba enlace Media Superior fue creada con la intención de proporcionar un
diagnóstico general de fortalezas y debilidades en dos habilidades básicas para la
vida, de tal forma que los datos sean útiles para mejorar la calidad de este tramo educativo
trascendente en la vida profesional y académica de los individuos.
Para contribuir con un propósito tan importante y fundamental, es prioritario que se
sigan lineamientos de calidad estrictos en el desarrollo de la prueba. Por ello, además de usar
como base la Metodología Ceneval, se organiza cada etapa procurando el cumplimiento de
los estándares internacionales de evaluación educativa que instituciones como la apa y la
aera publican periódicamente.
Desde su origen, la prueba enlace Media Superior se planificó con la participación
de reconocidos especialistas nacionales e internacionales; además, cada una de las decisiones
importantes en su desarrollo ha sido consultada con autoridades en el tema y se ha recibido
retroalimentación constante por parte de diferentes asesores.
72
En cada una de las etapas de construcción de la prueba, la participación de personas
con actividades y grados de profesionalización muy diferentes ha resultado enriquecedora.
En los comités académicos se establecen diálogos y discusiones para llegar a acuerdos en
cuanto a los contenidos que se deben evaluar para tener información válida y representativa;
de la misma manera, llegar a un consenso en la redacción de especificaciones y delimitaciones
implica que se intercambien muchos puntos de vista y experiencias en el plano docente, para
equilibrar la dificultad de la prueba y adecuarla al nivel del alumnado de media superior. La
misma experiencia de retroalimentación caracteriza a las reuniones de validación y posterior
corrección de reactivos, donde los especialistas tienen que encontrar una única respuesta correcta y tres distractores que, si bien son plausibles, deben ser totalmente incorrectos.
En el Ceneval, una constante es el trabajo en conjunto, tanto para los encargados de la
coordinación como de quienes se ocupan de los bancos de reactivos y los análisis psicométricos, pues cada una de las actividades debe contribuir a los propósitos de la prueba y a la calidad
de la misma. Todo el trabajo se ve materializado con la integración de diversas versiones
cada año, no sólo para calificar a los sustentantes sino para verificar constantemente
la calidad de los reactivos. En la prueba enlace Media Superior las formas piloto se ensamblan y aplican con anterioridad a la versión operativa y la versión Pretest, de modo que en la
aplicación definitiva se incluyen siempre los mejores ítems.
El cronograma de actividades se adapta a las necesidades de la prueba y las indicaciones
de la sep-sems, de manera que en todo momento se cumpla con los lineamientos de calidad
en cada fase del desarrollo de la evaluación.
Todo ello no ha evitado que la prueba sufra críticas, sobre todo por el mal uso que en
muchos sectores se hace de los resultados. Como se ha mencionado, la prueba enlace no
está diseñada para hacer comparaciones entre subsistemas, entre escuelas o entre docentes, y
las interpretaciones que se hacen al respecto son erróneas. El diseño de la prueba corresponde
con el de una evaluación diagnóstica individual, y su función principal es representar una
retroalimentación para cada estudiante, de modo que conozca el nivel de dominio que posee
en cada habilidad y ponga en práctica estrategias para mejorarlo.
Es común encontrar que algunos centros escolares se promocionan a sí mismos haciendo uso de los buenos resultados de su alumnado en la prueba enlace. Eso carece de
fundamento, el hecho de que sea posible consultar los resultados de cada cct no implica que
deban compararse, pues cada centro tiene sus condiciones particulares en cuanto a número
de alumnos, tipo de sostenimiento, modalidad, etcétera, además de que los resultados, positivos o negativos, pueden deberse a multitud de variables que no están relacionadas con la
calidad de la escuela en sí.
73
La posibilidad de consultar los resultados año con año en la página electrónica de
enlace Media Superior responde a la necesidad de tener un diagnóstico general constante
que muestre las áreas de fortaleza y debilidad. Las comparaciones que pueden ser de utilidad
son las que pueda hacer cada director de plantel en cuanto a los resultados año con año de
su propia escuela, aunque esto de ninguna manera debe llevar a un veredicto en cuanto a las
capacidades de sus docentes (ya se ha dicho que la prueba está dirigida al alumnado). Más bien
puede dar indicios de las áreas acerca de las que pueden planificarse campañas internas, actividades extracurriculares, entre otras.
Además de la fuente de información que representan los resultados de enlace, un
propósito que se ha visto cumplido en estos tres años de aplicación ha sido la creciente concientización en la población acerca de la importancia de las habilidades evaluadas.
Los interesados en el nivel medio superior pueden utilizar los resultados de la prueba
de diferentes formas:
• • • Para mejorar la práctica educativa después de analizar los errores y aciertos más comunes del alumnado, así como las concepciones que poseen acerca de los contenidos
evaluados en la prueba. Esto debe hacerse considerando que la prueba enlace Media
Superior únicamente evalúa una muestra representativa de lo que constituye y debe
promoverse como parte de la Habilidad Lectora y la Habilidad Matemática.
• • • Para planificar intervenciones en el aula, en el plantel, en un estado o en todo el país
que fortalezcan el desarrollo de habilidades básicas.
• • • Para tener datos que ayuden a detectar tendencias en el plantel y contar con una líneabase que permita la comparación con los resultados de aplicaciones posteriores y establecer el efecto que han tenido determinadas acciones educativas.
• • • Para caracterizar a la población de un plantel o entidad federativa en términos de su
distribución por niveles de logro, siempre y cuando la proporción de alumnos evaluados
sea significativa.
• • • Para promover investigaciones que detecten factores (económicos, sociales, de infraestructura, de enseñanza aprendizaje, entre otros) asociados al nivel de logro de las
distintas muestras de población, sobre las cuales puedan actuarse.
7.1 Comparación con evaluaciones similares
74
En nuestro país existen otras pruebas que también se aplican a los estudiantes del nivel medio
superior. Algunas poseen características en común con enlace Media Superior pero tienen
objetivos distintos. En la tabla 15 se presentan las características de dichos instrumentos.
A partir de la tabla pueden reconocerse las diferencias que tiene enlace Media Superior
con las demás pruebas; las más importantes se encuentran en su propósito y su método de
aplicación. Mientras que enlace es una prueba de bajo impacto (su objetivo es meramente
diagnóstico), existen otras evaluaciones que sí tienen consecuencias en la población objetivo,
como la correspondiente al Acuerdo 286 Bachillerato (cuyo propósito es de acreditación) y
el exani-i (que es una prueba de selección).
La evaluación internacional de pisa, el egrems y el exani-ii al que se refiere la tabla,
comparten con enlace Media Superior su carácter diagnóstico; sin embargo, la primera
prueba se administra únicamente a una muestra representativa de la población, mientras que
las otras dos se aplican de acuerdo con las solicitudes de las instituciones. En contraste con
ello, la aplicación de enlace Media Superior se caracteriza por ser censal ya que se aplica
casi al 100% de la población objetivo nacional, una vez al año.
Los rasgos que comparten las seis pruebas reseñadas en la tabla tienen que ver con
sus características psicométricas. Todas son evaluaciones objetivas ya que su calificación no
depende de un criterio variable, además de que los controles en sus condiciones de aplicación
y calificación las clasifican como pruebas estandarizadas. En todos los casos se evalúa a partir
de reactivos de opción múltiple, aunque la prueba derivada del Acuerdo 286 también incluye
la elaboración de un texto por parte del sustentante, y la de pisa complementa la información
obtenida con los ítems cerrados con preguntas de respuesta construida.
Como se mencionó, el proceso de construcción de la prueba enlace Media Superior
retomó varios aspectos de la evaluación de pisa, pero ambas evaluaciones son muy distintas
en su estructura, su método de aplicación y, sobre todo, en el uso de los resultados. El Programa pisa pretende comparar sistemas educativos nacionales por lo que sólo aplica una
muestra de los reactivos a cada estudiante, que a su vez es seleccionado de manera aleatoria
de una muestra. Los resultados se combinan en escalas globales que permiten comparar el
desempeño de los países participantes. El esquema de aplicación de enlace Media Superior es distinto puesto que fue diseñado únicamente para emitir un diagnóstico individual de
fortalezas y debilidades, que de ninguna manera debe ser utilizado para comparar escuelas o
subsistemas.
Aspirantes a un área
específica de
educación superior.
Restringido.
Alta.
Egresados de
educación secundaria,
aspirantes a ingresar
al bachillerato.
Bajo demanda.
80 reactivos de
opción múltiple: 20
de Razonamiento
lógico-matemático, 20
de Matemáticas, 20 de
Razonamiento Verbal,
20 de Español.
Restringido.
Media/Alta.
Personas con 21 años
cumplidos.
Bajo demanda.
180 reactivos de opción
múltiple: 28 de
Comunicación, 61 de
Matemáticas, 46 de
Ciencias Experimentales,
45 de Ciencias Sociales
(1ª fase), 20 reactivos de
Comprensión Lectora y
elaboración de 1 texto
argumentativo (2ª fase).
Restringido.
Baja.
Alumnado del último
ciclo de bachillerato.
Censo.
140 reactivos de
opción múltiple: 50 de
Habilidad Lectora y 90
de Habilidad
Matemática.
Cobertura
de dominio
Sensibilidad
a la instrucción
Población
objetivo
Cobertura
de la población
Población objetivo
Información disponible en http://www.ceneval.edu.mx y en http://www.inee.edu.mx (**)
9
Media/Alta.
Competencias
disciplinares/genéricas
Competencias
disciplinares.
Habilidades básicas.
Dominio
explorado
Nueve instrumentos
de diferentes áreas de
estudio con 100 reactivos
de opción múltiple.
Bajo demanda.
Restringido.
Conocimientos
específicos.
Evaluar personas.
Diagnóstico de nivel de
conocimientos
en áreas específicas.
Evaluar personas.
Selección de estudiantes
para el ingreso al nivel
medio superior.
Evaluar personas.
Acreditación de
conocimientos
equivalentes al nivel
educativo.
Evaluar personas.
Diagnóstico individual
de fortalezas
y debilidades.
Propósito general
y específico
exani-ii
exani-i
286
Bachillerato
enlace
Media Superior
múltiple, 25 de cada área
(Biología, Español, Ética,
Física, Filosofía, Historia,
Informática, Inglés,
Matemáticas, Metodología
de la investigación,
Química).
Bajo demanda.
Egresados de educación
media superior.
Media/Baja.
Restringido.
Conocimientos
disciplinares.
Evaluar personas.
Diagnóstico de nivel
dominio en contenidos
generales del nivel
medio superior.
egrems
múltiple y respuesta
construida, distribuidos
de manera. Los ítems
pueden ser de
Competencia Lectora,
Matemática y Científica.
Muestra.
Estudiantes de 15 años
tres meses a 16 años
dos meses.
Media/Baja.
Amplio.
Competencias básicas.
Evaluar sistemas
educativos. Diagnóstico
nacional.
pisa México (**)
Tabla 15. Características de los instrumentos de evaluación para la educación media superior en México (1 de 2)9
75
icne (Índice Ceneval).
Aprobatorio o no
aprobatorio.
icne (Índice Ceneval):
escala de 700 y 1300
puntos, con un límite
de 1000 para considerarse
aprobatorio. Cuatro
categorías:
Sobresaliente,
Superior, Suficiente o
No suficiente.
Bajo.
Cuatro niveles
de dominio:
Insuficiente, Bueno,
Elemental, Excelente.
Impacto
Resultados
Tres periodos por año.
Bajo.
Criterial.
exani-ii
icne (Índice Ceneval).
Cuatro categorías:
Sobresaliente,
Satisfactorio, Elemental
o Sin dictamen.
Bajo.
Cada proceso de
Bajo demanda, de
admisión a las instituciones acuerdo con las solicitudes
de bachillerato.
de las instituciones.
Información disponible en http://www.ceneval.edu.mx y en http://www.inee.edu.mx (**)
10
Alto.
Alto.
Anual.
Alto.
Periodicidad
Alto.
Bajo.
Normativo.
Control
de la aplicación
Criterial.
exani-i
Criterial.
286
Bachillerato
Referente
de calificación
enlace
Media Superior
Tres niveles de logro:
Elemental, Satisfactorio,
Sobresaliente.
Escala continua con
media en 500 puntos
y una desviación típica
de 100 puntos. Seis
niveles de habilidad.
Bajo.
Cada tres años.
Bajo demanda,
de acuerdo con las
solicitudes de las
instituciones.
Bajo.
Alto.
Criterial.
pisa México (**)
Bajo.
Criterial.
egrems
Tabla 15. Características de los instrumentos de evaluación para la educación media superior en México (2 de 2)10
76
La existencia de estas y otras pruebas cuyo desarrollo y aplicación se ha multiplicado
recientemente ha generado conciencia en las personas acerca de la importancia de contar con
indicadores y datos del desempeño de los estudiantes que permitan mejorar el trabajo que
se hace en las instituciones educativas. En respuesta a la concepción de que dicho fenómeno
provoca que la población esté sobreevaluada, Vidal (2009) destaca el hecho de que cada instrumento tiene objetivos distintos y por tanto ofrece información en diferentes esferas que
puede y debe ser revisada para contribuir a la mejora de la calidad de la educación de una
manera integral.
7.2 enlace Media Superior y la riems
77
La experiencia de evaluación de la prueba enlace ha significado aportaciones importantes
que pudieran multiplicarse si se le utiliza adecuadamente. El equipo de Ceneval que trabaja
en su desarrollo y mantenimiento también ha adquirido diversas enseñanzas en cuanto al
cuidado y trabajo que implica una prueba de esta magnitud.
En 2011 inició una nueva etapa para la prueba, ya que fue su primera aplicación con
una estructura modificada en congruencia con la riems. El cambio más importante es la
inclusión paulatina de la evaluación de indicios de competencias disciplinares básicas. Para
2011, además de 81 especificaciones iguales a las utilizadas de 2008-2010, se evalúan otras
29 completamente nuevas que se abocan a elementos particulares del mcc en los campos
disciplinares de Comunicación (Comprensión Lectora) y Matemáticas. En futuras aplicaciones se prevé seguir el modelo de enlace Básica, el cual determina una rotación anual en los
campos de Ciencias; esto significa aplicar una evaluación de competencias disciplinares para
los campos de 1) Ciencias Sociales y Humanidades, y 2) Ciencias Experimentales, los cuales
se alternarían año con año a partir de 2013, previa aprobación del Consejo Técnico.
Con la conciencia de que todo proceso es perfectible, el Ceneval trabaja actualmente
para optimizar cada una de las fases de construcción del instrumento esperando que, como
hasta ahora, los resultados de la evaluación impacten en la calidad de la educación.
Referencias
• • • Angoff,
••
••
••
••
••
••
••
••
••
••
••
••
••
••
••
••
••
••
79
••
W.H. (1984). Scales, norms and equivalent scores. Princenton, NJ: Educational
Testing Service.
• apa, aera y ncme (1999). The Standards for Educational and Psychological Testing. Washington,
DC: aera Publications.
• Ceneval (2008). Metodología Ceneval. México: Centro Nacional de Evaluación para la
Educación Media Superior, A.C.
• dgep (2010). Normas operativas. enlace 2010, Educación Media Superior. Unidad de
Planeación y Evaluación de Políticas Educativas, sep. Disponible en http://enlace.sep.
gob.mx/ms/docs/EMS2010_Normas_Operativas.pdf
• Dorans, N.J. (1990). Equating methods and sampling designs. Applied Measurement in
Education, 3, 3-17.
• Downing, S. y Haladayna, T. (eds.) (2006). Handbook of test development. NJ: Lawrence
Erlbaum Associates.
• Freudenthal, H. (1983). Didactical Phenomenology of Mathematical Structures. Mathematics
Education Library. Chicago: D. Reidel Publishing Company.
• Gaviria, J. (2008). Informe de validación de puntos de corte en las pruebas de Matemáticas y
Comprensión Lectora de enlace Media Superior. Universidad Complutense de Madrid,
Documento Impreso.
• Gravemeijer, K y Terwel, J. (2000). Hans Freudenthal, un matemático en Didáctica y
teoría curricular. Journal of Curriculum Studies, 32, 6, pp.777-796.
• Mitzel, H.C., Lewis, D.M., Patz, R.J., and Green, D.R. (2001). The bookmark procedure:
Psychological perspectives. En G.J. Cizek (ed.), Setting performance standards: Concepts,
methods and perspectives. Mahwah, NJ: Lawrence Erlbaum.
• Moulton, N. (2007). One Ruler, Many Tests: A Primer on Test Equating. eds Publications,
disponible en http://www.eddata.com/resources/publications/
• Niss, M. (1999). Aspects of the nature and state of research in mathematics education.
Educational Studies in Mathematics, 40, 1-24.
• Nunnally J.C., y Bernstein, T.H. (1994). Psychometric theory. New York: McGraw-Hill.
• oecd (2006). Assessing Scientific, Reading and Mathematical Literacy: A Framework for pisa
2006. Paris: ocde.
• Pajares, R., Sanz, A., y Rico, L. (2004). Aproximación a un modelo de evaluación: el proyecto
Pisa 2000. Madrid: Ministerio de Educación, Cultura y Deporte.
• Steen, L. (1990). On the Shoulders of Giants: New Approaches to Numeracy. National Research Council, Washington, D.C.: National Academy Press.
• simce (2005). Diseño de instrumentos con metodología de enseñanza de habilidades. Chile: Copiapó.
• Treffers, A. (1987). Three Dimensions. A Model of Goal and Theory Description in Mathematics
Instruction: The Wiskobas Project. Dordrecht: Kluwer Academic Publishers.
• Vidal, R. (2009). ¿Enlace, Exani, Excale o pisa? México: Ceneval. Disponible en http://
archivos.ceneval.edu.mx/archivos_portal/3065/Enlace_Exani_Excali_Pisa.pdf
• Vidal, R. et al. (2000). Manual Técnico del Centro Nacional de Evaluación para la Educación
Superior. México: Ceneval.
Grupos de Trabajo
Anexo I
81
Consejo Directivo
Lic. Miguel Ángel Martínez Espinosa
Subsecretario de Educación Media Superior. sep.
Lic. Ana María Aceves Estrada
Directora General de Evaluación, dgep. sep.
Lic. Elena Verdugo Quiñones
Coordinadora de Asesores. sems.
M en C. Daffny Rosado Moreno
Coordinador Sectorial de Desarrollo Académico. sems.
Ing. Roberto Peña Resendiz
Director de Evaluación de Políticas y Sistemas Educativos. sep.
Dra. Margarita María Zorrilla Fierro
Directora General. inee.
Dra. Annette Santos del Real
Directora General Adjunta. inee.
Mtro. Rafael Santiago Vidal Uribe
Director General. Ceneval.
Dra. Rocío Llarena de Thierry
Directora General Adjunta de Programas Especiales. Ceneval.
Consejo Técnico
82
Lic. Miguel Ángel Martínez Espinosa
Subsecretario de Educación Media Superior. sep.
Lic. Ana María Aceves Estrada
Directora General de Evaluación, dgep. sep.
Lic. Elena Verdugo Quiñones
Coordinadora de Asesores. sems.
M. en C. Daffny Rosado Moreno
Coordinador Sectorial de Desarrollo Académico. sems.
Ing. Roberto Peña Resendiz
Director de Evaluación de Políticas y Sistemas Educativos. sep.
Ing. Carlos Goñi Carmona
Director de Evaluación y Análisis del Proceso Educativo. sep.
Dr. Eugenio González
Asesor externo de Ceneval. iea-ets.
Dr. José Luís Gaviria
Asesor externo de sep. Universidad Complutense.
M. en A. Ed. Maricruz Moreno Zagal
Directora General Académica. anuies.
Dra. Rosamaría Valle-Gómez Tagle
Directora General de la dgee. unam.
Dra. Carmen Villatoro Alvaradejo
Coordinadora del Bachillerato a Distancia. unam.
Dra. Teresa Bracho González
Profesora investigadora. flacso.
Dra. Lucía Monroy Cazorla
Directora General Adjunta Técnica y de Investigación. Ceneval.
Comités Académicos para el Diseño
Habilidad Lectora
Mtra. Ma. Lourdes Oliver Conde
dgeti
Lic. Mariana Godínez Morales
cosnet
Mtro. Felipe Mejía Rodríguez
dgep
Lic. Martha P. Martín Ramírez
dgeta
Lic. Diego Valenzuela Vázquez
dgeta
Mtro. Cesar Darío Fonseca
dgeti
Mtro. Marco Antonio López
dgeta
Mtro. Miguel Ángel León Hernández
inee
Biol. Rodrigo Nava Mora
dgcytm
Lic. María Isabel Segura Gortarés
cecyt
Lic. Gilberto Castillo Peña
dgb
Mtro. Leonardo Martínez Galván
dgep
Mtro. Igor Rodríguez Ugaldez
conalep
Dr. Fernando Brambila
unam
Comité Académico para la Validación de contenidos y especificaciones
Habilidad Lectora
Asesora independiente
Dra. Sylvia Margarita Rojas Ramírez
unam
Dra. Margarita Peón Zapata
inee
Dr. Luis Fernando Magaña Solis
unam
Mtro. Salvador Zamora Muñoz
unam
83
Dra. Celia Díaz Agüero
Comité Académico para el establecimiento de puntos de corte y definición de niveles de dominio
Habilidad Lectora
Dra. Celia Díaz Agüero
Asesora independiente
Dra. Sylvia Margarita Rojas Ramírez
unam
Dra. Nancy Mazón Parra
unam
Dr. Luis Fernando Magaña Solis
unam
Mtro. Salvador Zamora Muñoz
unam
Asesores externos
84
Dr. Eugenio González
iea-ets
Mtro. Edgar Andrade
inee
Lic. Gustavo Rodríguez
inee
Dr. José Luis Gaviria
Universidad Complutense, Madrid
Comité Académico de elaboración de reactivos
Habilidad Lectora
Preparatoria 6, unam
cetis 35
cecyt, ipn
Colegio Montessori
fca, unam
Centro de Estudios de Bachillerato “Lic. Jesús Reyes Heroles”
cbtis 114
Independiente
CCH Azcapotzalco, unam
Instituto Carlos Pellicer
Colegio de Bachilleres
Centro de Estudios Tecnológicos del Mar 02, Campeche
Universidad Autónoma de Morelos
CCH Naucalpan, unam
Universidad Justo Sierra
amore
Colegio México
cbtis 201
amore
ulsa
Preparatoria Luzac
Colegio de Montaignac
Preparatoria Villa de Cortés
cbtis 107
conalep
Universidad etac
Independiente
Dirección General de Ciencia y Tecnologías del Mar, Ensenada
cetis 116
Centro de Enseñanza Técnica Industrial
cch Vallejo, unam
conalep
cbetis 40
cetis 03
Universidad Simón Bolívar
cch Sur, unam
Independiente
85
Alberto Saavedra Miranda
Alejandro Rojas González
Araceli Hernández Pérez
Armando Axayácatl Viloria Corona
Beatriz Ramírez Peña
Benedicto Priego Hernández
Camerina Medina Sáenz
Carmen Luz Martínez
Claudia Patricia Padilla Romero
Edith Serrano Maldonado
Enrique Arronte Rosales
Genoveva Brambila Sánchez
Gladys Isabel Yerbes Ordóñez
Gloria Castellanos Hernández
Gloria Elena Schmelling Villaseñor
Gloria Hortensia Mondragón Guzmán
Gloria Luz Hernández Padilla
Griselda Cid Agama
Guillermo Aguilar Fernández
Hildelisa Arce
Irma Anselma Alvarado Sánchez
Jorge Toledo Salas
José Antonio Rivera Soriano
José de Jesús Velázquez Rendón
José Pedro Hernández Acosta
Juan Manuel Rodríguez San Juan
Julián Domingo España Solís
Laura Elena Gómez Cruz
Leticia Vega Montoya
Ma. de Jesús Barboza Morán
Ma. del Carmen González Rubí
Ma. del Carmen Hernández González
Ma. del Carmen Larumbe Radilla
Ma. del Corazón de Jesús Huerta Franco
Ma. Catalina Ramírez Bonilla
Ma. Elena Chávez Morales
Ma. Guadalupe Sandoval Cornejo
Ma. Ofelia Villeda Hidalgo
Ma. Teresa Herrera Delgado
Marcela Vega García
Marco Antonio Flores Vargas
Mario Castillo Sánchez Hidalgo
Martha Galindo Becerra
Miguel Ángel García Cueto
Habilidad Lectora
Miguel Ángel Jiménez Robledo
Miguel Ángel Ortiz Luna
Miguel Villaseñor Trinidad
Mónica Karla Pérez Viveros
Norma Angélica Reséndiz Hernández
Octavio Cano Silva
Ofelia Mulliert Carlín
Olimpia Escalona Soto
Oralia Prado Govea
Óscar Benítez Hernández
Raúl Zavala Cortés
Rocío Rodríguez Benítez
Rosalía Duarte Argándar
Rosalía Mendizábal Izquierdo
Rosalía Sonia Guerrero García
Rosana Patricia Montalvo Hinojosa
Salvador Saulés Estrada
Sandra Cara Camarena
Sandra Carreto Cabrera
Sergio Gabriel Gamero Jiménez
Susana Ortega Luna
Teresa Espinosa Contreras
Thelma Alcántara Ayala
Tomás Gontran López Canseco
Victoria Araceli Ibarra Soto
86
Centro de Estudios de Bachillerato “Juana Inés de Asbaje”
conalep
Independiente
Independiente
Centro de Estudios Tecnológicos Aguas Continentales (Jalisco)
unitec
cbta 88
Independiente
Centro de Estudios de Bachillerato “José Vasconcelos”
enep, unam
enep, unam
CCH Oriente, unam
amore
Colegio Británico
cetis 71
CONALEP
Facultad de Ciencias, UNAM
Centro de Estudios de Bachillerato “Dr. Ignacio Chávez”
Dirección Operativa 5, DGB
CCH Azcapotzalco, UNAM
CONALEP
CETIS 102
AMORE
CCH Sur, UNAM
CBTIS 215
Independiente
CONALEP
Universidad Tecnológica de Nezahualcóyotl
Preparatoria Mixcoac Valle
CINVESTAV
CONALEP
ENEP 6, UNAM
CCH Sur, UNAM
CBTIS 145
CONALEP
Facultad de Ciencias, UNAM
CCH Oriente, UNAM
Centro de Bachillerato Tecnológico Agropecuario 39
Bachillerato de la Universidad Autónoma del Estado de Morelos
Preparatoria 5, UNAM
Preparatoria 2, UNAM
Universidad Autónoma de Querétaro
ULSA
Vocacional, IPN
CETIS 131
CINVESTAV, IPN
87
Aidée Guevara Maycotte
Alejandra Calvo Flores
Alejandro Espino González
Alejandro Olea Díaz
Alejandro Raúl Reyes Esparza
Alfredo Enciso
Amalia Sánchez Barrera
Ana María García Zúñiga
Araceli Guzmán Tristán
Armando Carlos Meza Romero
Armando Castillo Nieves
Armando Jesús Velasco Soriano
Arturo Martínez Espitia
Carlos Flores Arvizo
César Augusto Santamaría Vergara
César Esteban Mejía Acevedo
Colbert Jerónimo López
David Simón Contreras Rivas
Edmundo Jorge Alejandro Lara Castillo
Eduardo Basurto Hidalgo
Eduardo Guadalupe Tellez Carmona
Efraín Nava Alvarez
Eleazar López Cruz
Eugelio Gerónimo López
Fausto Gómez Lorence
Felipe Huerta Orea
Fidel Alejandro Cortés Lorenzo
Francisco Javier Cortés Cruz
Francisco Javier Olivares González
Francisco Pliego López
Francisco Torres Placido
Genoveva Olgín Ramírez
Gerardo Luna Soto
Gilberto Orozco Mayren
Guillermo Tinoco Ojeda
Gustavo Peralta Enríquez
Heriberto Marín
Israel Díaz García
Jaime Nieves Medrano
Javier Cervantes Santiago
Javier Villanueva Ramos
Jesús Alejandro Arreola Hernández
Joel Camacho Salazar
José Enrique Maciel
88
José Fernando Maldonado Hernández
José Hilario Cid
José Humberto López Sevilla
José Juan Nieves Medrano
José Juan Rodríguez
José Luis Alvarado Chávez
José Manuel Pérez Corona
José Miguel García Muñoz
José Salvador Mendieta Osorio
Josueth Vázquez Román
Juan Francisco Hernández Cruz
Juan Gerardo Luna Soto
Juan Manuel Lozano Vieyra
Juan Manuel Osorio Fernández
Juan Manuel Rodríguez Marín
Julio César García de Alba Ibarra
Julio García Valencia
Julio Hernández Hernández
Kesia Paola Audiffred Uriega
Laura Angélica Hernández Martínez
Lilia Montoya Gutiérrez
Luis Miguel Ramírez Martínez
Luis Rafael de la O Soriano
Luz Adriana Bolaños García
Ma. Crisalda Valdéz Martínez
Ma. Elena García Salguero
Ma. Zolayma Alcalá Castañeda
Marciano Espinosa Flores
Marcos Belisario González Loria
Mario Aldana Sugarazo
Maritza Pescador Rivera
Miguel Agustín Castañeda Miranda
Miguel Arcángel Núñez Torres
Nelson Muriel Torrero
Oscar Guadalupe Tovar Contreras
Oscar Nelson López López
Patricia Rangel Ontiveros
Patricio Luna Ramales
Raymundo García Samudio
Rebeca Juárez Salomón
Rita Ochoa Cruz
Rocío Rodríguez Rodríguez
Rogelio Toledo Toledo
Roque Ruíz López
conalep
prefeco
cbtis 260
amore
enep 6, unam
cetis 50
cetis 50
conalep
Universidad Insurgentes
Preparatoria Panamericana
ulsa
Universidad Insurgentes
enep 6, unam
Independiente
Independiente
cetis 163
cbta 88
cetis 109
Independiente
conalep
Centro de Estudios Tecnológicos del Mar 05, Salina Cruz, Oaxaca
cetis 118
Facultad de Ciencias, unam
Centro de Estudios Tecnológicos del Mar 16, La Paz, Baja California
Escuela Preparatoria Federal por Cooperación “Antonio Audirac”
conalep
prefeco
cch Vallejo, unam
fes Zaragoza, unam
Colegio de Montaignac
Centro de Estudios de Bachillerato “Dr. Ignacio Chávez”
cbtis 59
Independiente
prefeco
cbtis 6
Centro de Estudios Tecnológicos del Mar 18, Acapulco, Guerrero
89
Rubén Telésforo Jiménez
Salvador González Mendieta
Sergio Agustín Brambila Horta
Silvia de la Vega Hernández
Sonia Elizabeth Ruelas Moreno
Victor Agustín Sosa Gómez
Víctor Manuel Talamante Estrada
Comité Académico de validación de reactivos
Habilidad Lectora
90
Araceli Hernández Pérez
cecyt, ipn
Alejandro Vega Solís
Adriana Reyes-Márquez Hernández
Edith Serrano Maldonado
cch Azcapotzalco, unam
Francisco Javier Ortiz Ramos
Guadalupe Salcedo Gutiérrez
Gloria Elena Schmeling Villaseñor
Gloria Hortensia Mondragón Guzmán
cch Naucalpan, unam
Gloria Luz Hernández Padilla
Gloria Castellanos Hernández
Ma. Catalina Ramírez Bonilla
cch Vallejo, unam
Ma. Martha Acosta y Carrasco
cch Oriente,unam
Mario Agustín Jesús Castillo Sánchez Hidalgo
Marcela Vega García
cetis 03
Martha Galindo Becerra
cch Sur, unam
Mónica Karla Pérez Viveros
Ramón López Valdepeña
Universidad Marista
Roberto Hernández Álvarez
Rocío Edith González García
Sergio Centeno García
Sandra Obdulia Carreto Cabrera
Comité Académico de validación de reactivos
cch Azcapotzalco, unam
Armando Jesús Velasco Soriano
Bernardo Tarango Frutos
Universidad Marista
Erick Mier Moreno
Aprendizaje Matemático, amat
Fausto Gómez Lorence
cch Sur, unam
Francisco Javier Cortés Cruz
Genoveva Olguín Ramírez
cch Oriente, unam
Guadalupe Mercedes Rodríguez
Guillermo Tinoco Ojeda
Héctor Barajas Valdez
Aprendizaje Matemático, amat
Israel Díaz García
Jaime Nieves Medrano
Jesús Alejandro Arreola Hernández
Instituto Politécnico Nacional
José Juan Nieves Medrano
José Manuel Pérez Corona
Josueth Vázquez Román
cetis 50
Juan Manuel Lozano Vieyra
Mario Aldana Sugarazo
Nelson Muriel Torrero
Rebeca Juárez Salomón
fes Zaragoza, unam
Rita Ochoa Cruz
Raymundo García Zamudio
cch Vallejo, unam
Víctor Agustín Sosa Gómez
91
Alejandro Raúl Reyes Esparza
Anexo II
Datos psicométricos de los reactivos piloteados
De
acuerdo con lo mencionado en el apartado de Revisión Cualitativa, los ítems que
se aplican en las versiones Operativas son piloteados con un año de anticipación.
En la siguiente tabla se presentan los datos psicométricos generales de las pruebas piloto
aplicadas en 2007, 2008 y 2009.
2008
2009
Reactivos elaborados
2010
3112
4379
Reactivos validados
1389
2505
4332
Reactivos piloteados
570
1561
3590
Dificultad media (tc)
45.5
47.2
37.6
Correlación biserial media (tc)
0.201
0.200
0.123
Coeficiente de discriminación (tri)
1.248
1.055
0.595
Coeficiente de dificultad (tri)
1.286
1.185
1.247
270
578
1890
Reactivos con parámetros óptimos
Como puede observarse en la aplicación de 2009 se piloteó la mayor cantidad de reactivos, ya que fue necesario probar ítems de dos nuevas áreas disciplinares cuya introducción
en la prueba Operativa está actualmente en estudio.
En las siguientes páginas se muestra un ejemplo de cómo se manejan las tablas estadísticas donde se reportan los datos psicométricos de los reactivos.
• • • La columna Tipo de texto, en el caso de Habilidad Lectora, y Contenido, para Habilidad
Matemática, indica las habilidades a evaluar en cada área.
• • • La columna Ítem contiene el identificador del reactivo.
• • • La columna cve muestra la opción de respuesta correcta a cada reactivo.
• • • Las columnas agrupadas en Estadísticos comprenden los datos correspondientes al
porcentaje de alumnos que contestaron correctamente al ítem, los datos obtenidos con
Teoría Clásica (tc) y Teoría de Respuesta al Ítem (tri). En tc la columna dif indica
la dificultad obtenida y la columna cpb contiene la correlación punto biserial de cada
reactivo. En tri se identifica la discriminación del reactivo con A, la dificultad con B y
el azar con C.
93
2007
94
Tipo de texto
Ítem
cve
Apelativo
Apelativo
Apelativo
Apelativo
Apelativo
Apelativo
Apelativo
Apelativo
Apelativo
Apelativo
Argumentativo
Argumentativo
Argumentativo
Argumentativo
Argumentativo
Argumentativo
Argumentativo
Argumentativo
Expositivo
Expositivo
Expositivo
Expositivo
Expositivo
Expositivo
Expositivo
Expositivo
Expositivo
Expositivo
Expositivo
Expositivo
Expositivo
Expositivo
Expositivo
Narrativo
Narrativo
Narrativo
Narrativo
Narrativo
Narrativo
Narrativo
10718
10720
10727
10730
10734
10737
10741
10752
10755
11213
10072
10073
10075
10076
10077
10080
10082
10083
10714
10715
10717
10725
10728
10729
10731
10736
10740
10745
10747
10753
10756
10759
10762
10089
10093
10097
10098
10103
10104
10106
D
C
B
A
A
C
B
A
D
C
B
C
D
A
C
B
C
D
C
C
C
B
A
D
A
C
B
C
D
B
A
D
C
A
D
D
A
B
A
D
dif
49.60
82.20
57.60
47.50
57.80
2.30
61.80
41.10
69.20
61.90
89.8
74.1
48
38
68
45
56.5
32.4
44.8
77
73.3
72.9
37.4
67.6
35.5
85.9
30.2
53.5
25.9
28.6
53.6
24.6
24.3
91.5
57.9
78.5
56.8
88.3
60.2
48.8
tc
Estadísticos
cpb
b
tri
a
c
0.287
0.169
0.186
0.048
0.097
-0.093
0.173
0.202
0.204
0.327
0.189
0.225
0.207
0.187
0.186
0.191
0.339
0.377
0.241
0.417
0.417
0.216
0.276
0.373
0.101
0.337
0.069
0.309
0.077
0.144
0.334
0.195
-0.006
0.392
0.403
0.459
0.361
0.412
0.221
0.274
0.756
-2.233
0.222
2.585
0.571
6.319
0.592
0.562
0.263
0.374
0.339
0.214
0.199
0.208
0.234
0.095
1.241
-0.918
-0.283
-2.18
-0.86
0.815
1.527
-0.584
1.294
0.276
0.931
1.082
-0.963
-0.763
-1.126
1.184
-0.528
2.811
-1.499
3.424
0.576
3.657
1.933
0.656
2.136
7.536
-1.735
-0.142
-1.064
-0.063
-1.53
-0.405
0.484
0.696
0.802
0.649
1.258
1.05
0.878
0.723
2.116
0.759
0.96
1.886
2.57
1.071
1.642
1.634
0.72
1.047
1.232
0.491
1.49
0.865
1.37
0.741
1.742
2.517
0.967
0.249
2.239
1.345
1.718
1.162
1.98
0.613
0.895
0.266
0.166
0.163
0.120
0.213
0.245
0.173
0.29
0.206
0.254
0.248
0.13
0.229
0.103
0.113
0.169
0.145
0.141
0.181
0.162
0.252
0.267
0.197
0.215
0.33
0.117
0.129
0.111
0.087
0.062
0.104
0.123
0.103
0.131
Ítem
cve
Cantidad
Cantidad
Cantidad
Cantidad
Cantidad
Cantidad
Cantidad
Cantidad
Cantidad
Cantidad
Espacio y Forma
Espacio y Forma
Espacio y Forma
Espacio y Forma
Espacio y Forma
Espacio y Forma
Espacio y Forma
Espacio y Forma
Espacio y Forma
Espacio y Forma
10515
10477
10359
10243
10563
10432
10821
10027
10497
10211
10519
10414
10508
11303
11092
11332
10429
10484
10521
10530
10407
10532
10214
10099
11378
10250
10126
11036
10811
10986
11011
10396
10249
11150
11089
11043
11265
11068
11037
11090
B
D
D
D
D
B
B
B
B
B
D
B
B
C
C
C
B
D
D
B
B
D
A
A
A
D
C
D
A
A
D
C
D
C
B
C
C
B
A
A
dif
65.70
35.60
31.20
58.30
31.70
45.90
51.80
71.70
47.80
72.00
54.50
58.50
56.40
67.50
16.80
47.50
52.90
17.30
16.70
35.70
43.00
43.60
41.10
33.90
55.40
34.40
56.60
5.50
19.90
22.20
18.20
19.80
27.70
26.30
29.60
34.30
22.60
29.90
30.20
16.20
tc
Estadísticos
cpb
b
tri
a
c
0.397
0.525
0.488
0.349
0.461
0.201
0.134
0.376
0.383
0.299
0.385
0.366
0.423
0.340
0.032
0.313
0.371
0.175
0.003
-0.025
0.169
0.230
0.155
0.040
0.221
0.295
0.151
0.104
0.012
0.050
0.058
-0.018
0.082
0.104
0.109
0.050
0.050
0.031
-0.005
-0.033
-0.186
0.668
0.856
0.611
0.910
1.364
1.866
-0.689
0.575
-0.630
0.231
-0.049
-0.009
-0.376
3.180
0.393
0.424
2.416
5.311
5.507
1.208
0.641
1.730
3.518
0.508
0.933
0.453
2.609
5.788
6.031
6.103
7.595
3.715
1.392
1.254
4.184
6.266
5.466
6.209
9.323
1.787
2.973
3.653
2.344
4.110
1.920
1.576
1.456
1.834
1.190
1.688
1.478
1.850
1.616
1.840
1.072
1.904
1.520
0.585
0.186
0.990
1.017
1.097
0.722
1.017
1.446
0.628
2.437
0.283
0.244
0.287
0.204
0.329
1.008
0.943
0.206
0.312
0.295
0.249
0.225
0.232
0.100
0.114
0.387
0.140
0.353
0.455
0.142
0.208
0.220
0.192
0.150
0.125
0.186
0.156
0.102
0.239
0.120
0.124
0.127
0.217
0.105
0.283
0.274
0.260
0.096
0.231
0.037
0.040
0.041
0.037
0.029
0.056
0.031
0.035
0.064
0.112
0.154
0.149
0.060
95
Contenido
Anexo III
Parámetros versión operativa 2008
La
97
siguiente tabla técnica de la prueba enlace Media Superior Operativa 2008 se utilizó
para el establecimiento de los puntos de corte que sirvieron para la ubicación de los
sustentantes en los diferentes niveles de dominio en las primeras tres aplicaciones. Asimismo,
estos datos se utilizaron para los posteriores estudios de equiparación.
La tabla contiene los siguientes datos en el orden en que se presentaron los ítems a los
sustentantes:
• • • Contenido. En el caso de Habilidad Lectora indica el tipo de texto y en Habilidad
Matemática el contenido matemático a evaluar.
• • • Ítem. Presenta el identificador del reactivo.
• • • Estadísticos. Las columnas agrupadas comprenden los datos psicométricos de los
reactivos en Teoría Clásica (tc) y Teoría de Respuesta al Ítem (tri). En TC la columna dif indica la dificultad obtenida y la columna cpb contiene la correlación punto
biserial de cada reactivo. En tri se identifica la discriminación del reactivo con A, la
dificultad con B y el azar con C.
• • • cov. Contiene el valor obtenido de la covarianza de cada reactivo.
Estadísticos
Contenido
98
Apelativo
Apelativo
Apelativo
Apelativo
Apelativo
Apelativo
Apelativo
Apelativo
Apelativo
Argumentativo
Argumentativo
Argumentativo
Argumentativo
Argumentativo
Argumentativo
Argumentativo
Argumentativo
Argumentativo
Argumentativo
Cantidad
Cantidad
Cantidad
Cantidad
Cantidad
Cantidad
Cantidad
Cantidad
Cantidad
Cantidad
Cantidad
Cantidad
Cantidad
Cantidad
Cantidad
Cantidad
Cantidad
Cantidad
Cantidad
Cantidad
Cantidad
Ítem
10727
10734
10752
10755
11213
11220
11223
11235
11238
10073
10075
10077
10080
10082
10520
10526
10539
10540
10542
10515
10423
10359
10236
10968
10432
10793
10412
10497
10211
10510
10003
10023
10371
10419
10004
10215
11299
10421
10276
10996
tc
cov
tri
dif
cpb
b
a
c
57.60
57.80
41.10
69.20
61.90
21.70
48.60
56.60
77.80
74.10
48.00
68.00
45.00
56.50
34.00
54.90
51.40
48.80
24.50
65.70
37.70
31.20
36.40
31.40
45.90
43.50
61.30
47.80
72.00
28.80
34.80
46.10
38.90
43.20
61.40
57.70
31.00
67.60
23.50
46.90
0.186
0.097
0.202
0.204
0.327
0.132
0.285
0.358
0.241
0.225
0.207
0.186
0.191
0.339
0.185
0.197
0.277
0.335
0.120
0.397
0.512
0.488
0.239
0.315
0.201
0.351
0.289
0.383
0.299
0.143
0.269
0.292
0.180
0.26
0.441
0.362
0.144
0.283
0.351
0.277
0.222
0.571
1.241
-0.918
-0.283
2.282
0.718
-0.072
-1.193
-0.860
0.815
-0.584
1.294
0.276
1.705
0.465
0.835
0.373
2.834
-0.186
0.487
0.856
1.561
1.300
1.364
0.831
-0.299
0.575
-0.630
1.915
1.479
0.771
1.746
1.230
-0.138
-0.091
1.959
-0.360
1.364
1.073
0.562
0.374
0.802
0.649
1.258
1.325
8.126
1.415
0.981
0.878
0.723
0.759
0.960
1.886
1.751
0.860
2.055
1.306
0.864
1.787
2.821
3.653
1.953
1.728
1.920
1.995
0.959
1.834
1.190
2.921
1.505
1.177
2.215
1.461
1.913
1.672
2.088
1.354
1.888
1.542
0.199
0.234
0.166
0.163
0.120
0.144
0.328
0.098
0.192
0.245
0.173
0.206
0.254
0.248
0.252
0.229
0.336
0.133
0.158
0.232
0.052
0.114
0.271
0.162
0.353
0.226
0.123
0.208
0.220
0.248
0.215
0.195
0.327
0.273
0.162
0.111
0.256
0.212
0.089
0.298
1.515
0.908
2.026
1.232
2.09
1.001
1.778
2.632
1.586
1.473
1.589
1.537
1.306
2.224
1.422
1.258
1.795
2.151
0.825
2.287
2.291
2.275
1.254
1.554
1.218
2.006
1.547
2.166
1.958
0.664
1.505
1.747
1.081
1.219
2.485
2.2
1.016
1.488
1.585
1.513
Estadísticos
Cantidad
Cantidad
Cantidad
Cantidad
Narrativo
Narrativo
Narrativo
Narrativo
Narrativo
Narrativo
Narrativo
Narrativo
Narrativo
Narrativo
Narrativo
Narrativo
Narrativo
Narrativo
Ítem
11114
10942
11026
10738
11265
11273
11081
11327
11325
10269
10272
10275
10444
10445
10453
10459
10468
11191
11193
11197
11208
11231
11236
10555
10936
10803
10378
11311
10523
10476
10519
10414
10574
10296
10408
11304
10429
10484
10422
10212
tc
cov
tri
dif
cpb
b
a
c
51.90
20.80
30.50
36.80
22.60
22.90
31.40
30.20
30.10
47.00
41.10
35.80
59.80
59.00
45.90
65.00
35.90
54.10
77.40
71.20
55.20
76.50
49.60
57.30
56.00
26.70
29.60
24.80
14.10
33.80
54.50
58.50
40.20
79.30
43.90
49.80
52.90
17.30
33.10
40.50
0.318
0.318
0.128
0.046
0.050
0.035
0.053
0.061
0.113
0.238
0.239
0.254
0.218
0.457
0.239
0.342
0.040
0.356
0.430
0.454
0.208
0.493
0.346
0.198
0.330
0.170
0.206
0.021
0.129
0.079
0.385
0.366
0.309
0.216
0.183
0.305
0.371
0.175
0.064
0.226
0.661
1.544
2.363
2.497
6.266
3.958
1.926
2.177
1.436
0.779
0.955
1.172
-0.170
0.045
0.854
-0.537
4.288
0.350
-0.980
-0.515
-0.059
-0.695
0.232
0.048
0.386
2.219
1.961
2.609
2.918
2.353
0.231
-0.049
0.748
-1.106
0.787
0.306
0.424
2.416
2.109
1.240
1.731
1.978
1.464
2.324
0.312
0.348
0.482
0.453
0.657
0.856
0.659
1.729
0.627
1.972
0.801
1.014
0.226
1.697
1.616
1.775
0.525
2.254
1.050
0.724
1.512
1.364
1.514
3.684
1.281
1.900
1.688
1.478
1.622
1.317
0.778
1.494
1.904
1.520
3.975
1.110
0.289
0.094
0.254
0.348
0.112
0.028
0.028
0.028
0.007
0.169
0.079
0.189
0.153
0.189
0.159
0.101
0.116
0.221
0.110
0.187
0.090
0.194
0.079
0.159
0.263
0.195
0.214
0.241
0.101
0.304
0.192
0.150
0.138
0.178
0.112
0.134
0.239
0.120
0.308
0.207
2.016
1.466
0.563
0.566
0.653
0.014
0.191
-0.177
0.089
1.398
1.311
1.616
1.204
2.243
1.265
1.535
0.117
1.837
1.53
1.743
0.993
1.897
1.808
1.572
2.035
0.93
1.132
0.2
0.637
0.567
2.257
2.154
1.944
1.434
1.339
1.975
2.16
0.679
0.565
1.52
99
Contenido
Estadísticos
Contenido
100
Expositivo
Expositivo
Expositivo
Expositivo
Expositivo
Expositivo
Expositivo
Expositivo
Expositivo
Expositivo
Expositivo
Expositivo
Expositivo
Expositivo
Expositivo
Expositivo
Expositivo
Espacio y Forma
Espacio y Forma
Espacio y Forma
Espacio y Forma
Espacio y Forma
Espacio y Forma
Espacio y Forma
Espacio y Forma
Espacio y Forma
Espacio y Forma
Ítem
10509
11292
10248
11028
10246
10458
11042
11055
11049
11044
10990
10971
11056
10893
10903
10905
10908
10911
10913
10916
10919
10921
10923
10924
10926
10927
11244
11248
11250
11251
10214
10099
11378
11047
10345
10317
10156
10398
10226
11138
tc
cov
tri
dif
cpb
b
a
c
34.70
45.50
36.20
31.20
34.90
34.90
28.40
57.50
55.80
36.40
26.10
37.10
22.10
52.60
79.30
52.10
38.20
45.30
60.60
46.60
81.40
38.50
41.10
63.80
62.70
54.10
50.00
22.00
61.90
41.80
41.10
33.90
55.40
27.60
62.90
29.10
49.60
44.60
49.70
41.20
0.148
0.228
0.316
0.251
0.266
0.015
0.200
0.134
0.085
0.131
0.137
0.134
0.105
0.308
0.362
0.276
0.240
0.201
0.302
0.315
0.317
0.210
0.219
0.311
0.357
0.169
0.329
0.182
0.440
0.254
0.155
0.040
0.221
0.255
0.163
0.029
0.162
0.225
0.134
0.162
1.788
0.910
1.136
1.449
1.242
3.759
1.920
0.766
0.003
0.923
1.680
1.164
2.454
0.618
-1.103
0.839
1.275
1.401
0.221
0.610
-1.277
1.474
1.411
-0.427
-0.181
0.743
0.749
1.843
-0.197
1.155
1.730
3.518
0.508
1.376
-0.416
3.519
1.365
0.806
1.268
1.485
2.829
1.299
1.757
2.429
2.419
1.212
1.766
0.613
0.485
1.003
1.012
1.508
0.815
1.327
1.248
1.300
0.846
0.782
1.096
0.972
1.106
1.460
1.087
0.894
1.162
0.507
1.690
2.076
1.537
1.252
1.097
0.722
1.017
1.205
0.761
1.077
1.833
0.905
0.801
1.470
0.294
0.224
0.188
0.212
0.215
0.334
0.212
0.296
0.116
0.067
0.081
0.189
0.089
0.263
0.198
0.306
0.139
0.244
0.276
0.138
0.233
0.255
0.239
0.137
0.184
0.218
0.279
0.151
0.145
0.224
0.283
0.274
0.260
0.078
0.138
0.263
0.393
0.146
0.288
0.289
1.143
1.601
1.878
1.399
1.684
0.488
0.888
1.281
1.04
0.836
1.112
1.556
0.664
1.712
1.49
1.522
1.371
1.172
1.516
1.753
1.317
1.383
1.304
1.505
1.784
0.951
1.965
1.131
2.231
1.452
1.139
0.696
1.621
1.499
1.37
0.504
1.447
1.635
1.301
1.324
Estadísticos
Espacio y Forma
Espacio y Forma
Espacio y Forma
Espacio y Forma
Espacio y Forma
Espacio y Forma
Espacio y Forma
Espacio y Forma
Espacio y Forma
Espacio y Forma
Ítem
11076
10554
10533
11305
11330
11029
10809
10129
10947
10532
11057
10735
10811
10986
10577
10382
10264
11150
11089
11006
tc
cov
tri
dif
cpb
b
a
c
21.30
44.70
57.60
63.40
51.40
27.60
54.40
51.50
40.30
43.60
33.30
24.80
19.90
22.20
32.70
35.90
34.90
26.30
29.60
27.40
0.112
0.170
0.253
0.280
0.167
0.088
0.163
0.110
0.257
0.230
0.084
0.024
0.012
0.050
0.079
0.144
0.109
0.104
0.109
0.019
2.809
1.198
-0.070
-0.121
0.660
3.112
0.558
1.285
0.998
0.641
1.561
4.742
5.788
6.031
3.003
1.518
0.885
1.392
1.254
4.113
1.188
0.726
1.015
1.188
0.633
0.750
0.664
0.500
1.682
1.017
3.650
0.286
0.283
0.244
0.281
2.257
0.929
1.008
0.943
0.267
0.163
0.192
0.126
0.223
0.180
0.189
0.217
0.249
0.209
0.105
0.269
0.050
0.040
0.041
0.034
0.270
0.022
0.031
0.035
0.029
0.577
1.185
1.643
1.483
1.619
0.678
0.976
0.751
1.765
1.701
1.568
0.376
0.272
0.396
0.833
1.199
1.618
0.867
0.445
0.635
101
Contenido
102
Anexo IV
Marco Muestral
Levantamiento de datos de la prueba
Introducción
103
En
marzo de 2009, se llevó a cabo la administración de la prueba enlace Media Superior
(Evaluación Nacional del Logro Académico en Centros Escolares) a alumnos del
nivel medio superior (bachillerato). La prueba enlace ms consta de 140 reactivos: 50 para
medir la habilidad lectora y 90 para medir la habilidad matemática. A cada alumno evaluado
se le proporciona un reporte de resultados, en el cual se identifica su nivel de dominio para
cada una de las áreas evaluadas. La prueba se aplica de manera censal. Esta aplicación se lleva
a cabo en 6 sesiones, distribuidas en dos días (tres sesiones por día)
Con la finalidad de tener un control más estricto sobre la aplicación, se seleccionó una
muestra representativa a la que además de aplicarle la prueba enlace ms, también le fueron
suministradas, de forma matricial, tres pruebas: pretest, alfa y gama, además del cuestionario
de contexto.
Los reactivos de cada una de las pruebas (pretest, alfa y gama) se distribuyeron en 6
formas. En total se conformaron 18 formas; las cuales se aplicaron en un tercer día, esto es,
en dos días se aplicó la prueba enlace ms y en un tercer día se aplicaron las formas de las
tres pruebas adicionales, todo esto tomando en cuenta un contrabalanceo.
El presente documento tiene por objetivo describir la metodología utilizada para seleccionar los planteles o cct que conforman la muestra, además de describir como se calculan
los factores de expansión. Es importante mencionar que la selección de las escuelas que
conformaron la muestra se hace tomando como referencia las bases de datos enviadas por la
sems y la dgep. Una de ellas proporciona la información relacionada con entidad, datos de
ubicación del cct, modalidad del bachillerato, tipo de sostenimiento y la cantidad de alumnos
que presentan la prueba enlace; y otra los datos de nivel de urbanidad del cct
A continuación se hace una descripción general del marco muestral que se utilizó en
2008 y 2009. El documento del 2008 fue elaborado por expertos del inee y el del 2009 fue
realizado por Ceneval y avalado por el inee. El marco muestral de 2008 fue avalado en sesión
de Consejo Técnico. Para 2009 se utilizaron los mismos dominios de estudio pero se seleccionaron otras escuelas. Más adelante se describen las diferencias con el marco muestral de
2010 realizado por la empresa Investigaciones Sociales, Políticas y de Opinión Pública, S. A.
de C. V a petición de la sems.
Objetivo del marco muestral
104
Con los datos obtenidos de la aplicación de los distintos instrumentos a la muestra controlada de estudiantes se pretende:
• • • obtener los valores psicométricos de los reactivos que se utilizarán para la calificación1
• • • equiparar la prueba enlace Media Superior año con año con la aplicación del Pretest
• • • obtener información a partir de los cuestionarios de contexto
• • • realizar investigaciones adicionales que solicita la sep o instituciones usuarias.
1
En la primera aplicación, los datos de la muestra se utilizaron además para determinar los puntos de corte.
Población Objetivo
La población objetivo son los alumnos que estén en el último año de bachillerato que se encuentren en cualquiera de las siguientes modalidades educativas:
• • • Bachillerato General
• • • Bachillerato Técnico
• • • Bachillerato Tecnológico
••
••
••
••
••
Los alumnos del último año de bachillerato se determinan de la siguiente manera:
• Si son bachilleres anuales, se evaluarán a los del último año.
• Si son bachilleres semestrales, con ingreso anual, se evaluarán a los de sexto semestre.
• Si son bachilleres semestrales, con ingreso semestral, se evaluarán a los de quinto y
sexto semestre.
• Si son cuatrimestrales con entrada anual, se evaluarán a los del último cuatrimestre.
• Si son cuatrimestrales con entrada cuatrimestral, se evaluarán a los de los tres últimos
cuatrimestres.
Para efectos del proceso de muestreo, se define a la escuela como la unión de cct y
turno. Por ejemplo: si un cct cuenta con dos turnos, cada uno de los turnos se considera
como una escuela o unidad primaria de muestreo. Para el proceso de selección de escuelas no
se tomó en cuenta aquellas que tienen menos de 10 alumnos.
La estratificación de la población consiste en agrupar a elementos de iguales características
según criterios previamente establecidos. La estratificación de poblaciones se realiza en las
primeras etapas del diseño muestral, ya que ésta ayudará a la selección de la misma. Un marco
muestral generalmente esta estratificado en relación con una o más características. Las variables a ser objeto de análisis para la estratificación de los elementos de la población deben
proporcionar información discriminante, es decir, que identifiquen y aíslen a estos elementos
en relación con otros. De la misma manera, las variables seleccionadas para la estratificación
de los sujetos deben ir con relación al estudio, es decir que la estratificación propuesta ayude a
diferenciar a los distintos grupos de personas sobre la base de los objetivos del estudio que
se realizará.
105
Estratos muestrales
Características de los estratos
Las características esenciales en la creación de los estratos son que éstos deben tener homogeneidad interna, es decir que todos los integrantes posean una serie de características que
los convierten en similares. La otra característica fundamental es que exista heterogeneidad
entre los diferentes estratos construidos, es decir que los elementos de diferentes estratos
se diferencian los unos de los otros. Los elementos de un estrato deberán ser mutuamente
excluyentes en relación con los elementos de otros estratos, es decir que no se puede pertenecer a dos o más estratos a la vez. En este sentido uno de los objetivos de la construcción
de estratos es disminuir el error de muestreo y permitir el cálculo de los parámetros.
La estratificación de la población surge naturalmente de la combinación de las entidades federativas con la clasificación de tipo de bachillerato, tipo de sostenimiento y nivel de
urbanidad de las escuelas como a continuación se presenta.
Tipo de bachillerato
Tipo de urbanidad
No Identificado
Rural
Urbano
No Identificado
Rural
Urbano
No Identificado
Rural
Urbano
Rural
Urbano
Privado
Urbano
Público
Rural
Privado
No Identificado
Público
Urbano
Privado
Técnico
Rural
Público
Tecnológico
No Identificado
Tipo de sostenimiento
General
Entidad
n
n
n
n
n
n
n
n
n
n
n
n
n
n
n
n
n
106
Al definir esta división de la población existen estratos que no contienen alumnos, los
cuales se eliminan.
Cálculo de tamaño de muestra
El cálculo de tamaño de muestra se realiza bajo la consideración de que se van a estimar
determinados estadísticos. Con la muestra se pretende estimar medias poblacionales del rendimiento escolar escalado con un modelo tri.
Por otra parte, se calcula la proporción de respuestas correctas para cada reactivo y
para este aspecto se consideran proporciones de respuesta a cada uno de ellos de 0.5, en
donde la varianza del estimador es máxima.
Para calcular el tamaño de la muestra considerando que se estimará la proporción de
respuesta a cada reactivo se utiliza la siguiente expresión.
(1)
En donde:
n0 = Número de alumnos necesarios para la estimación de un reactivo.
deff = Efecto de diseño.
TNR = Tasa de no respuesta de alumnos.
δ = Error de muestreo máximo admisible.
P = Proporción de la población.
z = Cuantil de distribución normal estándar que deja un área de
a la derecha de él.
N = Tamaño de la población.
Tomando en cuenta el diseño matricial de las pruebas, el número total de alumnos
necesario está dado por la siguiente fórmula:
En donde:
n = número de alumnos necesarios para la estimación de todos los reactivos de la prueba.
C = Número de cuadernillos en la prueba.
A = Número de apariciones de un reactivo en los cuadernillos.
En este diseño se considera que α =0.05, es decir z =1.96 lo cual fija el nivel de confianza de los intervalos en 95%. C =18 cuadernillos, A =1 apariciones cada 18 cuadernillos y
como porcentaje de falta de respuesta de los alumnos se usa tnr =5% dada la existencia de
escuelas pequeñas. Se fijó el efecto de diseño debido al muestreo en deff =1.2 que es un valor
promedio que efectivamente ha aparecido en otras evaluaciones.
107
(2)
El estimador de P tiene su varianza máxima cuando P =0.5 por lo que se fija y se usa
como margen de seguridad para los otros valores estimados de P diferentes a 0.5. Se estableció como criterio general que en cada dominio de estudio las estimaciones resultantes
alrededor de las proporciones tuvieran un error de muestreo máximo de 5% correspondiente
a una confianza del 95%.
Distribución de la muestra
En todos los casos, los alumnos se agrupan en la muestra de manera proporcional a la cantidad
de alumnos en cada uno de los estratos. La distribución se describe con la siguiente relación:
(3)
En donde:
nh = Es el número de alumnos en muestra para el estrato muestral h
n = Es el número de alumnos en muestra.
Nh = Es el número de alumnos del último año de bachillerato en el estrato h.
N = Es el número de alumnos en la población.
108
••
••
••
La distribución de la muestra se realiza tomando en cuenta:
1. el total de alumnos de la población
2. el total de alumnos de cada tipo de bachillerato
3. el total de alumnos de cada entidad
Factores de expansión
Para fines de las investigaciones relacionadas con la aplicación de la prueba enlace ms se
calculan los factores de expansión. Los pesos muestrales o factores de expansión son ponderadores que asociados a los datos son necesarios para garantizar la confiabilidad de los resultados. Esto ha permitido corroborar que la muestra utilizada en cada año de aplicación es
representativa de la población de estudio y por tanto, las estimaciones estadísticas derivadas
de ella resultan confiables.
El factor de expansión se puede interpretar como la cantidad de alumnos de la población
que representa un estudiante de la muestra. Bajo el diseño muestral unietápico, los pesos
muestrales por estrato para cada uno de los alumnos son los siguientes.
(4)
Donde:
whij = Peso muestral del alumno j de la escuela i en el estrato h.
h = 1,…, H.
H = Cantidad de estratos en la población.
NhI = Cantidad de escuelas en la población del estrato h.
nhI = Cantidad de escuelas en muestra del estrato h.
i = 1,…, NhI.
Diferencias del marco muestral 2010 con los años anteriores
En la siguiente tabla se muestran las características generales de cada uno de los marcos
muestrales utilizados para llevar a cabo las aplicaciones controladas de enlace, Pretest y
Cuestionarios de Contexto.
109
Debido a las necesidades de la sems, el diseño muestral para la prueba 2010 fue realizado
por una institución especializada ajena al Ceneval. El esquema conserva variables como la
población objetivo, el esquema de selección y el cálculo de los factores de expansión utilizando las mismas herramientas estadísticas; sin embargo, hay algunas diferencias que vale la
pena mencionar:
• • • La propuesta del dominio de estudio a nivel Entidad (con niveles de desagregación
como el tipo de bachillerato, tipo de sostenimiento y nivel de urbanidad) fue rechazada
debido a la dificultad que conlleva calcular muestras representativas, dada la variabilidad de características dentro de cada una de las entidades y la proporción que representa para el resto del país.
• • • Se agregan tres estratos: centros de trabajo con menos de ocho alumnos, centros de
Bachillerato en Arte y las instituciones que habían participado en años anteriores, pero
no habían confirmado su participación al momento de establecer el diseño muestral.
110
Marco
Muestral
Niveles de desagregación
Estratos
Escuelas
seleccionadas
Alumnos
2008
4
1. Nacional
2. Nacional por tipo de bachillerato,
nacional por tipo de sostenimiento
y nacional por nivel de urbanidad
3. Estatal
4. Estatal por tipo de bachillerato, estatal
por tipo de sostenimiento y estatal por
nivel de urbanidad
320
2003
301,483
2009
4
1. Nacional
3. Estatal
4. Estatal por tipo de bachillerato, estatal
por tipo de sostenimiento y estatal por
nivel de urbanidad
353
2184
220,233
2010
2
1. Nacional
313
2072
283,245
Anexo V
Establecimiento de los puntos de corte
y generación de algoritmo de calificación
1
Para el análisis se consideraron a los sustentantes que contestaron el 85% o más de la prueba, por lo tanto el tamaño de la muestra
con que se trabajó es 98,849
111
El
presente anexo describe el procedimiento con el cual se califica y dictamina a los
sustentantes que presentaron la prueba enlace Media Superior, haciendo uso de
la metodología Bookmark para el establecimiento de puntos de corte y la definición de los
niveles de dominio.
Es importante mencionar que el algoritmo de calificación con el que se obtienen los
puntajes de habilidad que se presentan en las siguientes páginas se aplicó con base en los datos
de la muestra controlada.1 Los resultados obtenidos están sujetos a las condiciones de la aplicación y, por tanto, son estimaciones que pueden diferir de los resultados que se obtienen de
manera censal.
La prueba enlace Media Superior fue construida para evaluar dos habilidades: Habilidad Lectora y Habilidad Matemática, con 50 y 90 reactivos respectivamente, por lo tanto, el
dictamen de los sustentantes se realiza para cada una de las áreas que lo conforman.
Para llevar a cabo el proceso de calificación se realizó lo siguiente:
• • • Estimación de los parámetros del reactivo, dificultad, discriminación, azar y de la habilidad de los sustentantes con base en la Teoría de Respuesta al Ítem (tri), así como
el cálculo del porcentaje de respuestas correctas de los sustentantes y la correlación
punto biserial de los reactivos.
• • • El análisis de los reactivos se hizo con base en los datos de la muestra y se dejaron fuera
los reactivos que obtuvieron una correlación punto biserial negativa y los reactivos con
dificultad extrema. En la Tabla 1 se muestran los reactivos que se eliminaron por área.
Tabla 1. Reactivos eliminados que no se consideraron para calificación 2008
Parámetros Estadísticos
Posición
en versión
Ítem
N
Comprensión
Lectora
57
10468
98849
37457
37.90
30
10510
98849
30820
46
11273
98849
47
11081
48
Habilidad
Matemática
112
TC
N_Resp
Corr
%_RC CPBIS
Área
TRI
DISC
DIF
AZAR
0.007
0.041
16.185
0.057
31.20
0.020
0.027
38.055
0.069
20268
20.50
-0.094
0.001
22.449
0.006
98849
24712
25.00
0.047
2.180
3.160
0.243
11327
98849
27813
28.10
-0.059
0.001
15.876
0.006
49
11325
98849
26155
26.50
0.025
0.081
22.685
0.146
68
11311
98849
30109
30.50
-0.045
0.008 126.644 0.048
86
10458
98849
34144
34.50
0.056
0.290
6.641
0.247
133
10811
98849
22368
22.60
0.018
0.048
27.642
0.023
139
11089
98849
26703
27.00
0.001
0.025
45.115
0.030
• • • Establecimiento de los puntos de corte para cada una de las áreas del examen. Para ello
se definieron conceptualmente los niveles de dominio en los cuales se ubicaría a cada
sustentante que presentó la prueba enlace Media Superior, (Insuficiente, Elemental,
Bueno y Excelente); después, se establecieron los puntos de corte para cada categoría
a partir del método Bookmark o del marcador.
En las Tablas 2 y 3 se muestran los rangos obtenidos por área en el 2008, que son los
mismos que se utilizaron en 2009 y 2010 para asegurar la comparabilidad de la prueba.
Como se puede observar los puntos de corte incluyen seis decimales esto permite que
todas las habilidades que resultan de la calificación con el programa bilog se ubiquen en
alguna de las categorías de manera más precisa.
Tabla 2. Rangos de habilidad en Habilidad Lectora
Nivel de Dominio
Reactivo Marcador
Puntos de corte (habilidad)
Insuficiente
7
Menores o iguales que -0.916000
Elemental
21
-0.915999
0.096000
Bueno
42
0.096001
1.455000
Excelente
–
Mayores o iguales que 1.455001
Tabla 3. Rangos de habilidad en Habilidad Matemática
Reactivo Marcador
Puntos de corte (habilidad)
Insuficiente
10
Menores o iguales que -0.053000
Elemental
33
-0.052999
1.176000
Bueno
53
1.176001
2.018000
Excelente
–
Mayores o iguales que 2.018001
La calificación censal la lleva a cabo la dgep, al igual que la ubicación de los sustentantes
en los niveles de dominio de acuerdo con la habilidad que obtuvieron.
113
Nivel de Dominio
Anexo VI
Validación de puntos de corte
115
Informe de validación de puntos de corte en las pruebas
de Matemáticas y Comprensión Lectora de Enlace Media Superior
José Luis Gaviria Soto
Universidad Complutense de Madrid
México, 10 de Septiembre de 2008
Introducción
116
Supuestos
En este informe se hace un estudio de validación empírica de los puntos de corte determinados
para las pruebas de ‘Español’ y ‘Matemáticas’ de tercero de Bachillerato del programa de
evaluación ‘Enlace Media Superior’.
Dado que la posición de los puntos de corte para los Niveles de Logro determina completamente el porcentaje de alumnos en cada uno de ellos, es muy importante asegurarse de
que la información que se proporciona refleja adecuadamente la realidad y no es un artefacto
del procedimiento de cálculo.
Los Niveles de Logro tienen necesariamente un componente intrínsecamente valorativo
y, de algún modo, subjetivo o arbitrario. Efectivamente, que el resultado obtenido por un
estudiante se considere insuficiente, elemental, bueno o excelente depende en gran parte de
las expectativas que tengamos. Por eso la determinación de los puntos de corte es un proceso
delicado y sujeto siempre a discusión. La mayor parte de los procedimientos consisten en
acuerdos entre expertos que deben justificar sus decisiones. Una vez justificadas esas decisiones
es posible hacer un juicio que se base en evidencia empírica acerca de la congruencia de las
decisiones adoptadas.
Para juzgar lo adecuado de los puntos de corte partimos del supuesto básico de que la prueba
refleja adecuadamente los conocimientos, destrezas o habilidades necesarios para demostrar
el nivel adecuado de competencia en tercero de Bachillerato.
Asumimos además que cuando los expertos han determinado los puntos de corte se
han basado en el contenido de los reactivos que componen la prueba y que han determinado
zonas de la escala en las que el nivel de dominio de los alumnos que se encuentran en cada
una de ellas se diferencia claramente del nivel de dominio de otros alumnos que están en
niveles superiores o inferiores.
Nuestro juicio pretende ser empírico, es decir, debemos comprobar si es posible clasificar adecuadamente a los sujetos utilizando los puntos de corte definidos por los expertos.
Para ello estos puntos de corte deben estar claramente diferenciados en la escala, suficientemente alejados unos de otros y cubriendo razonablemente bien el espectro de puntuaciones
que corresponde a la escala.
Procedimiento
El procedimiento empleado para esta valoración se basa en dos puntos de vista:
• • • por un lado nos fijamos en la relación entre las puntuaciones de la escala y la puntuación
verdadera;
• • • por otro lado nos fijamos en el error típico de estimación que se obtiene para cada
punto de la escala en función del valor que en el mismo toma la función de información.
Los puntos de corte son valores de la escala de habilidad cuyas propiedades derivan del
modelo tri bajo el que se ha construido. Dado que este tipo de escalas tienen un origen y
una unidad de medida arbitrarios es todavía más difícil juzgar lo adecuado de los puntos de
corte basándose en los valores de los mismos. Pero como ya hemos establecido entre los
supuestos que los ítems de la prueba reflejan adecuadamente los conocimientos o habilidades
que deben poseer los alumnos, podemos basarnos en la relación entre la escala de habilidades y
la puntuación verdadera para hacer algunos juicios.
En efecto, una propiedad del modelo tri es que para cada alumno la suma de sus probabilidades de responder correctamente a cada uno de los reactivos es igual a la puntuación
verdadera, es decir, al número de respuestas correctas que obtendría ese alumno si el test le
midiese sin error. Si conociésemos la medida en el rasgo latente de θ1 entonces T1 es
Cuando lo que tenemos es una estimación de θ1 entonces
Esta relación la vemos empíricamente en las figuras 1• y 2. En ellas tenemos el diagrama
de dispersión de la relación entre las puntuaciones en las respectivas habilidades latentes y
el número de respuestas correctas en cada una de las pruebas. En el eje de ordenadas tenemos el número de respuestas correctas observadas. Para cada valor de la habilidad latente
117
los valores observados se distribuyen por encima y por debajo del valor esperado, que es la
puntuación verdadera.
En las dos nubes de puntos de estas figuras puede apreciarse que la dispersión es mayor
en la parte izquierda, lo que evidencia que en esa zona, especialmente en la prueba de Matemáticas, la cantidad de información es menor, por lo que se obtienen estimaciones con mayor
incertidumbre.
La incertidumbre con la que se produce la estimación de un parámetro determinado
está en relación inversa con la cantidad de información de que se dispone. Cada reactivo en
cada una de las pruebas proporciona una cantidad de información que es función de θ. De
este modo la función de información del reactivo i viene dada por:
La información que proporcionan todos los ítems del test es la suma de la de cada uno
de ellos.
En la ilustración 3 y 4 podemos ver las funciones de información de los reactivos de
Comprensión Lectora y de la prueba completa, respectivamente. Del mismo modo en las
ilustraciones 5 y 6 tenemos lo mismo respecto de las Matemáticas.
118
Ilustración 1. Relación entre la Habilidad Matemática y el número de respuestas
correctas en Matemáticas
80,00
Num_respuestas
60,00
40,00
20,00
,00
-2,000000
,000000
2,000000
4,000000
Habilidad
Ilustración 2. Relación entre la Habilidad Lectora y el número de respuestas
correctas en Lectura
50,00
119
30,00
20,00
10,00
,00
-2,000000
,000000
Habilidad
2,000000
4,000000
Num_respuestas
40,00
-3.200
-3.079
-2.958
-2.836
-2.715
-2.594
-2.473
-2.362
-2.230
-2.109
-1.988
-1.867
-1.746
-1.624
-1.503
-1.382
-1.261
-1.140
-1.018
-0.897
-0.776
-0.655
-0.534
-0.412
-0.291
-0.170
-0.049
0.072
0.194
0.315
0.436
0.557
0.678
0.800
0.921
1.042
1.163
1.284
1.406
1.527
1.648
1.769
1.890
2.012
2.133
2.254
2.375
2.496
2.618
2.739
2.860
2.981
3.103
3.224
3.345
120
Función de Información
-3.200
-3.079
-2.958
-2.836
-2.715
-2.594
-2.473
-2.362
-2.230
-2.109
-1.988
-1.867
-1.745
-1.624
-1.503
-1.382
-1.261
-1.140
-1.018
-0.897
-0.776
-0.655
-0.534
-0.412
-0.291
-0.170
-0.049
0.072
0.194
0.315
0.436
0.557
0.678
0.800
0.921
1.042
1.163
1.284
1.406
1.527
1.648
1.769
1.890
2.012
2.133
2.254
2.375
2.496
2.618
2.739
2.860
2.981
3.103
3.224
3.345
Ilustración 3. Función de información de los reactivos de Comprensión Lectora
1.2
1
0.8
0.6
0.4
0.2
0
Habilidad
Ilustración 4. Función de información de la prueba de Comprensión Lectora
Función de Información de la Prueba. Habilidad lectora 2008
8
7
6
5
4
3
2
1
0
Habilidad
15
10
5
0
Habilidad
-3.200
-3.079
-2.958
-2.836
-2.715
-2.594
-2.473
-2.362
-2.230
-2.109
-1.988
-1.867
-1.746
-1.624
-1.503
-1.382
-1.261
-1.140
-1.018
-0.897
-0.776
-0.655
-0.534
-0.412
-0.291
-0.170
-0.049
0.072
0.194
0.315
0.436
0.557
0.678
0.800
0.921
1.042
1.163
1.284
1.406
1.527
1.648
1.769
1.890
2.012
2.133
2.254
2.375
2.496
2.618
2.739
2.860
2.981
3.103
3.224
3.345
-3.200
-3.079
-2.958
-2.836
-2.715
-2.594
-2.473
-2.362
-2.230
-2.109
-1.988
-1.867
-1.746
-1.624
-1.503
-1.382
-1.261
-1.140
-1.018
-0.897
-0.776
-0.655
-0.534
-0.412
-0.291
-0.170
-0.049
0.072
0.194
0.315
0.436
0.557
0.678
0.800
0.921
1.042
1.163
1.284
1.406
1.527
1.648
1.769
1.890
2.012
2.133
2.254
2.375
2.496
2.618
2.789
2.860
2.981
3.103
3.224
3.345
Ilustración 5. Función de información de los reactivos de Matemáticas
1.4
1.2
1
0.8
0.6
0.4
0.2
0
Habilidad
Ilustración 6. Función de información de la prueba de Matemáticas
25
20
121
Una primera cosa que hay que destacar es que en la prueba de Matemáticas la mayor
cantidad de información está en la parte derecha de la escala. Esto quiere decir que la distinción entre los alumnos de los niveles de logro ‘Bueno’ y ‘Excelente’ se hace con mayor precisión
que entre los alumnos de los niveles ‘Insuficiente’ y ‘Elemental’ y ‘Elemental’ y ‘Bueno’.
En Comprensión Lectora la cantidad de información está más distribuida, aunque
alcanza valores más bajos, entre otras cosas porque esta prueba tiene un número mucho
menor de reactivos. Por eso la distinción entre los cuatro niveles tiene una precisión similar.
Estudio de los puntos de corte
122
Dado el porcentaje tan elevado de alumnos situados en el nivel ‘Insuficiente’, el punto de
corte más crítico es precisamente el que separa los niveles de ‘Insuficiente’ y ‘Elemental’.
Si este punto está demasiado a la derecha, un gran número de alumnos serán indebidamente asignados al nivel ‘Insuficiente’.
Si este punto está demasiado a la izquierda un gran número de alumnos con un nivel
de desempeño muy bajo será clasificados como de nivel ‘Elemental’.
Para valorar lo adecuado del primer punto de corte comenzamos por definir un punto al
que denominamos ‘Punto de Partida’.
La prueba constaba de reactivos de cuatro alternativas de respuesta y una sola correcta.
Como consecuencia, un alumno que hubiese contestado completamente al azar toda la prueba
tendría una esperanza de respuestas correctas igual a un cuarto del número de ítems. En el
caso de la prueba de Matemáticas ese valor es 20,25, ya que la prueba consta de 81 reactivos.
En el caso de Español es de 12,25, ya que la prueba consta de 49 reactivos.
Es evidente por tanto que un alumno que obtuviese sólo 20,25 respuestas correctas en
Matemáticas o 12,25 en Español tiene un nivel de conocimientos o de habilidades equivalente
a los de un alumno que sin saber nada hubiese contestado al azar.
Es posible saber cuál es la puntuación en la escala de habilidad que corresponde a ese
número de respuestas correctas ya que como hemos visto en el punto anterior hay una
correspondencia entre la puntuación del rasgo latente y la puntuación verdadera.
Para cada reactivo tenemos los valores estimados de sus parámetros por lo que es
posible calcular cuál es la puntuación verdadera que corresponde a en estos dos tests a cada
valor la escala de habilidad. Con esos valores es posible obtener una estimación de la puntuación verdadera. De este modo sabemos que en Matemáticas a la puntuación verdadera de
20,25 corresponde una puntuación de habilidad de -1,966, mientras que en Español a 12,25
corresponde una habilidad de -2,67. Estos dos son los que denominamos punto de partida.
Estos puntos nos sirven para valorar la posición del primer punto de corte. En una
primera aproximación, no tendría ningún sentido que el primer punto de corte estuviese a
la izquierda o muy cerca del punto de partida. Es evidente que un alumno con número de
respuestas correctas equivalentes a responder al azar está en un nivel de logro insuficiente.
Pero por otra parte si el primer punto de corte se aleja en exceso del punto de partida
entonces tal vez estemos exigiendo demasiados conocimientos o habilidades para acceder al
nivel elemental.
En las tablas 1 y 2 podemos ver la correspondencia entre los puntos de corte y las puntuaciones verdaderas respectivas. También podemos ver el porcentaje de respuestas correctas
que les corresponde y el incremento en respuestas correctas que supone el pasar de un punto
de corte al siguiente.
Por definición el punto de partida se toma como la puntuación de habilidad y puntuación verdadera que corresponde a un porcentaje de respuestas correctas igual a 1/n°
alternativas.
En el caso de Matemáticas el punto de partida es -1,966. El primer punto de corte está
en -0,053, y le corresponde una puntuación verdadera de 28,71, es decir, 8,46 respuestas correctas por encima del punto de partida. Podemos decir que no parece una exigencia excesiva
el tener aproximadamente 9 respuestas correctas por encima de las que cabría esperar al responder por azar para ingresar en el nivel de logro ‘Elemental’. El incremento en respuestas
correctas entre los otros dos puntos de corte está entre 12 y 13.
Tabla 1. Puntos de corte de Matemáticas 30 de Bachillerato
Punto
de partida
Primer punto
de corte
Segundo punto
de corte
Tercer punto
de corte
Puntuación
de habilidad
-1,966
-0,053
1,176
2,018
Puntuación
Verdadera
20,25
28,71
41,54
54,07
Porcentaje
Incremento
sobre punto
anterior
0,25
0,3544
0,51284
0,6675
8,46
12,83
12,53
Matemáticas
123
Tabla 2. Puntos de corte de Lectura 30 de Bachillerato
Español
124
Punto
de partida
Primer punto
de corte
Segundo punto
de corte
Tercer punto
de corte
Puntuación
de habilidad
-2,67
.-0,916
0,096
1,455
Puntuación
Verdadera
12,25
19,16
26,29
36,76
Porcentaje
Incremento
sobre punto
anterior
0,25
0,391
0,53653
0,7502
6,91
7,13
10,47
En Lectura el número de reactivos es de 49, por lo que el 25% es 12,25. Otra vez, un
alumno que respondiese correctamente 12 reactivos está produciendo un resultado equivalente al que se obtendría si hubiese contestado todo el test al azar. El incremento en
respuestas correctas desde el punto de partida hasta el primer punto de corte es de 7, aproximadamente. La diferencia entre el primer punto de corte y el segundo es también de 7, y del
segundo al tercero de 10,47.
Por lo anterior podemos decir que basándonos en la relación entre el rasgo latente y
la puntuación verdadera la distribución de los puntos de corte en las dos escalas parece muy
razonable.
La distancia de los puntos de corte entre sí, y del primer punto de corte con el punto
de partida puede juzgarse también basándonos en la función de información. En efecto, en
cada punto de la escala hay una relación entre la cantidad de información del test y el error
típico de estimación del parámetro en ese punto.
En las figuras 7 y 8 tenemos representada la distribución en la estimación de los puntos
de corte. En la distribución correspondiente al punto de partida hemos sombreado la zona de
las puntuaciones que quedan a la derecha del punto de corte más dos errores típicos. Como
vemos el primer punto de corte queda muy cerca de ese límite. De hecho la probabilidad de
que al estimar una puntuación en la escala de habilidad igual al punto de partida, la estimación
obtenida sea mayor o igual al primer punto de corte es 0,055 para Matemáticas. Por otra parte
la probabilidad de que un sujeto con una puntuación de habilidad igual al primer punto de
corte se le estimase una puntuación menor o igual al punto de partida es de 9,68475E-06.
Para Español esas cifras son 0,03884637 y 0,00013097 respectivamente.
Podemos interpretar estas cifras del siguiente modo: un alumno que tenga una habilidad
como máximo igual al punto de partida, tiene una probabilidad de ser asignado al nivel de
logro ‘Elemental’ de 0,055 en Matemáticas y de 0,038 en Español; la probabilidad de que un
sujeto que tenga como mínimo una habilidad igual a la del primer punto de corte tiene una
probabilidad de estar realmente por debajo del punto de partida de 9,68x10-6 en Matemáticas y
de 0,00013 en Español.
Ilustración 7. Densidad de probabilidad de la estimación alrededor de los puntos
de corte en Matemáticas
1,8
1,6
1,4
1,2
1
0,8
0,6
1,2
-3
-2.9
-2,7
-2,6
-2,4
-2,3
-2,1
,2
-1,6
-1,7
-1,5
-1,4
-1,2
-1,1
-0,9
-0,8
-0,6
-0,5
-0,3
-0,2
0
0,15
0,3
0,45
0,6
0,75
0,9
1,05
1,2
1,35
1,5
1,65
1,8
1,95
2,1
2,25
2,4
2,55
2,7
2,85
3
0
125
0,4
Ilustración 8. Densidad de probabilidad de la estimación alrededor de los puntos
de corte en Comprensión Lectora
1.2
1
0.8
0.6
0.4
0.2
-3
-2.9
-2,7
-2,6
-2,4
-2,3
-2,1
,2
-1,6
-1,7
-1,5
-1,4
-1,2
-1,1
-0,9
-0,8
-0,6
-0,5
-0,3
-0,2
0
0,15
0,3
0,45
0,6
0,75
0,9
1,05
1,2
1,35
1,5
1,65
1,8
1,95
2,1
2,25
2,4
2,55
2,7
2,85
3
0
126
Del mismo modo podemos juzgar la separación de los puntos de corte entre sí. Entre
dos niveles consecutivos hay siempre una gran superposición de áreas. Por ejemplo, dado el
primer punto de corte, en el caso extremadamente favorable de que el error de estimación
sea muy pequeño, la mitad del área de la distribución se encontrará sobre el nivel de logro
‘Elemental’. Y así con cada punto de corte. Por ello para juzgar lo separado de los puntos de
corte es más adecuado observar cuál es área de la distribución que está más allá del siguiente
punto, es decir, dos niveles de logro más allá.
En las tablas 3 a 5 tenemos las áreas mencionadas. En la 3 y la 5 vemos el área de
cada distribución que recae en dos niveles de logro más allá En la 4 y la 6 vemos el área que
recae dos niveles por debajo. Es muy interesante comprobar que ésta es siempre mucho
más pequeña. Esto se debe a que tanto en la prueba de Comprensión Lectora como en la de
Matemáticas la mayor cantidad de información se encuentra a la derecha de la escala. Por eso
es siempre más probable que sea mejor clasificado un sujeto con puntuación de habilidad
alta que otro de habilidad más baja. Podemos comprobar que en todos los casos, excepto en
uno, el valor de probabilidad es menor que 0,05. En el caso restante el valor es muy próximo
al 5 por ciento.
Tabla 3. Probabilidades de ser clasificado dos niveles por encima en Comprensión Lectora
Comprensión Lectora
Probabilidad de que estando por debajo de Punto de partida sea Clasificado
como ‘Elemental’
0,0
3884637
Probabilidad de que estando por debajo de primer Punto de Corte sea
clasificado como ‘Bueno’
0,0
1759606
Probabilidad de que estando por debajo de segundo Punto de Corte sea
clasificado como ‘Bueno’
0,0
0018519
Tabla 4. Probabilidades de ser clasificado dos niveles por debajo en Comprensión Lectora
Comprensión Lectora
Probabilidad de que estando en el primer Punto de Corte obtenga
una estimación inferior al Punto de Partida
0,0
0013097
Probabilidad de que estando en el segundo Punto de Corte obtenga
una estimación inferior al Primer Punto de Corte
0,0
0400921
Probabilidad de que estando en el tercer Punto de Corte obtenga una
estimación inferior al segundo Punto de Corte
0,0
001053
Tabla 5. Probabilidades de ser clasificado dos niveles por encima en Matemáticas
Probabilidad de que estando por debajo de Punto de partida sea Clasificado
como ‘Elemental’
0,0
5517635
Probabilidad de que estando por debajo de primer Punto de Corte sea
Clasificado como ‘Bueno’
0,0
0313079
Probabilidad de que estando por debajo de segundo Punto de Corte sea
Clasificado como ‘Bueno’
0,0
0090651
127
Matemáticas
Tabla 6. Probabilidades de ser clasificado dos niveles por debajo en Matemáticas
Matemáticas
Probabilidad de que estando en el primer Punto de Corte obtenga
una estimación inferior al Punto de Partida
Probabilidad de que estando en el segundo Punto de Corte obtenga
una estimación inferior al Primer Punto de Corte
Probabilidad de que estando tercer Punto de Corte obtenga una estimación
inferior al segundo Punto de Corte
9,68 1
475E-06
2,79
07E-06
0,0
0100023
Conclusiones y recomendaciones
128
Analizados los puntos de corte determinados para las pruebas de Comprensión Lectora y
Matemáticas y sus respectivas distancias en términos de la puntuación verdadera correspondiente y en términos de unidades de error típico de estimación, la separación entre ellos
parece adecuada según los criterios que se han manejado.
Si damos por supuesto que la prueba refleja adecuadamente el dominio de evaluación,
entonces podemos concluir que la posición de los puntos de corte es adecuada en las dos
pruebas analizadas.
Probablemente es la posición del primer punto de corte la que más puede preocupar,
ya que estamos indicando que los alumnos por debajo de ese punto tienen un nivel insuficiente de conocimientos. Pues bien, los análisis que hemos realizado nos permiten afirmar
que si se mantiene el supuesto de que el contenido de las pruebas refleja adecuadamente el
dominio que evaluamos, el primer punto de corte no es en absoluto excesivamente alto.
Las recomendaciones que haremos tienen que ver con la función de información.
En efecto, esta primera versión de las pruebas ha servido para determinar la escala y
los puntos de corte. Pero hemos podido observar que la mayor cantidad de información se
encuentra en la parte derecha de la distribución. Esto quiere decir que nuestras estimaciones
tienen mayor precisión para los sujetos de capacidad relativamente alta, es decir, los que se
encuentran en los niveles ‘Bueno’ y ‘Excelente’, pero menor en los otros dos. Sin embargo
en la población evaluada la mayor parte de los individuos se encuentra en los niveles ‘Insuficiente’ y ‘Elemental’. Por eso en las evaluaciones subsiguientes, si se mantiene la distribución de los reactivos como en la actual, será difícil captar adecuadamente los incrementos
que pudiesen producirse en los individuos de esos niveles. Por ese motivo se recomienda que,
manteniéndose los mismos niveles de corte para el futuro, se redistribuyan sin embargo las
dificultades de los reactivos, de modo que se incluyan más reactivos que midan adecuadamente en la parte inferior de la distribución para poder captar adecuadamente los cambios
que puedan darse.
129
Anexo VII
Equiparación
131
La
equiparación por población que se realiza para la prueba enlace Media Superior
tiene como objetivo igualar la escala de calificación de los sustentantes año con año
de modo que los resultados en cada aplicación sean comparables.
Para la realización de este proceso se seleccionó el método de equiparación por transformación lineal a partir del modelo logístico de tres parámetros de tri. La importancia de
elegir este modelo logístico reside en el tipo de reactivos que utiliza la prueba (opción múltiple, con una sólo respuesta correcta) y la intención de generar un dictamen de la habilidad
de los sustentantes. Esto último se relaciona con que, al ser un modelo de variables latentes,
se asume que la respuesta de un sustentante a un reactivo depende únicamente del grado en
que posee el atributo que se quiere medir (timss, 2003), en este caso su habilidad lectora o
matemática. A través del cálculo de la dificultad, la discriminación y la pseudo-adivinación
asociada a los ítems se puede describir la probabilidad de respuesta de los estudiantes y, por
tanto, estimar su habilidad.
Otra de las ventajas de realizar la equiparación partiendo de tri reside en el principio
de invarianza, el cual reitera que la habilidad de los sustentantes no depende de la muestra de
reactivos que les fueron presentados y, por su parte, los parámetros obtenidos de los reactivos son independientes a la distribución de habilidad de los sustentantes. Como resultado,
la dificultad de las distintas versiones de la prueba puede variar moderadamente una de la
otra siempre y cuando se cumplan los siguientes requerimientos: a) todas las versiones deben
medir el mismo constructo y la confiabilidad de ambas debe ser similar; b) las puntuaciones
escala obtenidas deben ser independientes de la prueba de referencia; c) las puntuaciones de
ambos instrumentos pueden intercambiarse y d) la ecuación o tabla de equivalencia obtenida
debe ser independiente del grupo de sujetos utilizados para derivarla (Angoff, 1984).
En el caso de enlace Media Superior, todas las pruebas Operativas y el Pretest se conforman con reactivos que miden las mismas habilidades, cada uno de ellos tiene características
específicas que no dependen del grupo de reactivos con los que es aplicado, y siempre se mantiene el orden de presentación de los mismos para este factor no afecte el patrón de respuesta.
El Pretest se caracteriza por:
•• 1. conformarse por una serie de cuadernillos, que en su conjunto constituye la prueba
operativa del año siguiente,
•• 2. administrarse de manera matricial a una muestra controlada seleccionada bajo el método
de muestreo aleatorio estratificado unietápico (v. anexo V), y
•• 3. ser útil para equiparar las pruebas año con año, pues a través de la aplicación de este
instrumento se obtienen los datos psicométricos de los reactivos que se anclan.
En el siguiente esquema se presenta de manera gráfica el proceso de equiparación.
132
Toda la población
Se calibra fijando los
parámetros a, b y c
del Petest 2009 y se
obtienen los parámetros
a, b y c que se fijan para
calibrar el Pretest 2010
Forma 1 Muestra
Forma 2 Muestra
Forma 3 Muestra
Forma n Muestra
parámetros a, b y c de
la prueba enlace Media
Superior 2008 y se
a, b y c fijan para
calibrar la prueba enlace
Media Superior 2009
Toda la población
Se obtienen los
parámetros estadísticos
a, b y c de los reactivos
y se fijan para calibrar el
Pretest 2009
Prueba enlace Media
Superior 2009
(Aplicación Censal)
Pretest 2009
Pretest 2010
parámetros a, b y c de
la prueba enlace Media
Superior 2009 y se
calibrar la prueba enlace
Media Superior 2010
Forma 1 Muestra
Forma 2 Muestra
Forma 3 Muestra
Forma n Muestra
2009
Prueba enlace Media
Superior 2008
2008
133
parámetros a, b y c del
Petest 2010 y se
calibrar el Pretest 2011
Toda la población
Prueba enlace Media
Superior 2010
2010
Escalamiento
Para poder equiparar las puntuaciones entre las distintas versiones de la prueba, es necesario
ubicar los parámetros estimados en una escala común, a este procedimiento se le conoce
como escalamiento. El método de escalamiento utilizado en este caso es una transformación
lineal de los parámetros, es decir, teniendo como base los parámetros obtenidos de la primera
versión de la prueba, se ajustan las puntuaciones de las siguientes pruebas a la escala común
por medio de modelos lineales de aplicación sencilla y que no requieren transformaciones
complicadas.
Para lograr la transformación lineal, hay que transformar cada uno de los tres parámetros en una escala común (Cook y Eignor, 1992):
Tomando como base el modelo de tres parámetros de la tri:
Dónde:
Pi (θ) = Probabilidad de un examinado con una habilidad (θ) en contestar correctamente el
reactivo i
bi = Dificultad del reactivo i
ai = Discriminación del reactivo i
ci = Pseudo-adivinación del reactivo i
e = Base de los logaritmos naturales (2,7183).
134
Transformamos los parámetros de habilidad de forma lineal a través del siguiente modelo lineal simple:
Dónde:
θ a = a la habilidad del sustentante en escala
A = la pendiente de la transformación lineal
θa = a la habilidad del sustentante estimada en el modelo tri
B = es la raíz de la transformación lineal
*
Para el parámetro a (discriminación)
Dónde:
a i = a la discriminación en escala
ai = a la discriminación estimada en el modelo tri
*
Para el parámetro b (dificultad)
Dónde:
b i = a la discriminación en escala
bi = a la discriminación estimada en el modelo tri
*
Puesto que el parámetro c (pseudo- adivinación) se toma de la probabilidad de acertar
el reactivo correctamente por el simple hecho de dar una respuesta, es localizado en el eje Y
del modelo y no necesita ser transformado a la escala. Sin embargo, éste se fija para la calibración ya que es parte de los parámetros con los que se obtienen las P(θ) de cada sustentante.
Una vez que los parámetros son puestos en una escala común, las habilidades calculadas de
los alumnos evaluados con ambas pruebas serán equivalentes, es decir si dos sustentantes
en distintas aplicaciones, mostraran habilidades que los ubicaran dentro del mismo nivel de
dominio (ver anexo VI), ambos poseen las habilidades equivalentes descritas en ese nivel.
Revisión de resultados
En primer lugar se realiza un análisis libre (sin estadísticos previos) de la prueba para obtener
los parámetros estadísticos de los reactivos. Con este análisis se calcula correlación bivariada
135
Igualación de calificaciones entre pruebas
y se realizan gráficas de dispersión para los parámetros a, b y c. Asimismo se obtiene la habilidad de los sustentantes y se grafican en un histograma.
En segundo lugar se hace un análisis fijando los parámetros y se calcula nuevamente
la correlación bivariada y se realizan gráficas de dispersión para los parámetros a, b y c y se
obtiene la habilidad de los sustentantes y se corrobora la distribución de las habilidades a
partir del ajuste de los parámetros equiparados.
Una vez que se ha equiparado la prueba de enlace Media Superior y se obtiene la
habilidad de los sujetos, se asigna el nivel de dominio de acuerdo con los Puntos de Corte
establecidos.
Referencias
• • • Brennan, R.J. (2006). Chained Linear Equating. casma Technical Note. Center for
••
••
••
136
••
Advanced Studies in Measurement and Assessment. Universidad de Iowa: IA. Disponible en http://www.education.uiowa.edu/casma/documents/clinearreport3.pdf
• Cook, L., & Eignor (1992). irt Equating Methods. items: The Instructional Topics
in Educational Measurement Series, module 10 (fall 1991). Disponible en http://www.
ncme.org/pubs/items/17.pdf
• Livingston, S. (2004). Equating Test Scores (Without irt). Educational Testing Service:
Princeton, NJ.
• Moulton, N. (2007) One Ruler, Many Tests: A Primer on Test Equating. eds Publications, disponible en http://www.eddata.com/resources/publications/
• timss (2003). Technical Manual. timms & pirls International Study Center, Lynch
School of Education: Boston, MA.
www.ceneval.edu.mx

Nivel 1 - Enlace - Secretaría de Educación Pública

Transcripción

Documentos relacionados

Diapositiva 1 - Programa de Educación y Cultura Digital TELMEX

dislexia superficial. intervención. aula de apoyo.

EVALUACIÓN DEL INGRESO A LA EDUCACIÓN SUPERIOR

Sistemas Hemostat