Metodología y procedimientos en la evaluación de la

Metodología y procedimientos en la evaluación de la

Metodología y procedimientos en
la evaluación de la instrumentación
de la RIEMS
13 de marzo de 2015
Metodología y procedimientos en
la evaluación de la instrumentación
de la RIEMS
Dra. Evangelina López Ramírez*
Universidad Autónoma de Baja California, México.
[email protected]
Dra. Ysabel Camacho Norzagaray
SEBS-BC, México
[email protected]
M.C. Susana Espinosa Velázquez
UABC, México
[email protected]
PALABRAS CLAVE: Metodología, instrumentación, procesos.
EJE TEMÁTICO: Modelos y políticas de evaluación de docentes y de directivos escolares.
Resumen
Este documento refiere los fundamentos metodológicos y procedimentales que se siguieron para posibilitar la
realización del proyecto denominado "Evaluación de la instrumentación de la Reforma de la Educación Media
Superior en Baja California".
En el ámbito de la evaluación educativa y más particularmente la evaluación de los procesos educativos, se
observa una dificultad importante para abordar este tipo de objetos investigativos. De ahí que este documento
pretenda mostrar con cierto detalle los fundamentos metodológicos así como los procedimientos específicos que
se utilizaron durante el desarrollo del citado proyecto que ha sido financiado por el Fondo INEE SEP Conacyt.
El propósito es entonces facilitar a quienes lo consulten, el desarrollo de actividades evaluativas en sus centros educativos.
2
*Autor principal
INTRODUCCIÓN
El proyecto “Evaluación de la instrumentación de la RIEMS en Baja California” se enmarca en los esfuerzos que se realizan
en México y Latinoamérica concentrados en generar informes con resultados de evaluación que posibiliten la definición
de estadios de avance en los compromisos establecidos por los gobiernos en materia de educación. Específicamente es el
caso del Estado de Baja California y al establecimiento del Sistema Nacional de Bachillerato (SNB), expuesto en el Acuerdo
442 publicado el 26 de septiembre 2008 (Diario Oficial de la Federación) mismo que como medida estratégica promovió
un proceso de Reforma Integral de la Educación Media Superior (RIEMS) implementado en cuatro ejes:
»» Marco Curricular Común
»» Definición y regulación de las modalidades de la oferta
»» Mecanismos de gestión
»» Certificación complementaria del sistema nacional de bachillerato.
Para el desarrollo de este proyecto se tomó como referente al Dr. De la Orden (1989) quien explica que la evaluación, a
diferencia de la investigación, es un proceso que busca información para la valoración y la toma de decisiones inmediata;
se centra en un fenómeno particular y no pretende generalizar a otras situaciones, objetos o circunstancias.
DESARROLLO
La finalidad que orientó la investigación, “Evaluación de la instrumentación de la Reforma de la Educación Media Superior en Baja California”, fue valorar los procesos de gestión directiva, curriculares, instructivos y de evaluación de los
aprendizajes asociados a la instrumentación de los ejes principales de la RIEMS para emitir juicios sobre el avance en la
implementación que se han ido concretizando en las instituciones de educación media superior en la entidad.
Como toda evaluación, obedeció a un propósito fundamental; construir información relevante que permitiese plantear sugerencias relativas a las medidas de que se requiere realizar para consolidar la congruencia entre los planteamientos de la política educativa y su aplicabilidad en las instancias correspondientes, una adaptación o acomodación de
una cosa/objeto (RIEMS) respecto de otra (niveles de concreción implementados) que está estrechamente vinculada a la
primera (Ackoff, 1997).
1. Justificación del tipo de investigación y el enfoque metodológico utilizado
El tipo de evaluación desarrollado fue el de investigación evaluativa con enfoque en política educativa pública. Mc Millan
y Schumacher explican que “la investigación evaluativa se ocupa de una práctica concreta en una situación o situaciones
determinadas. La práctica puede ser un programa, un producto o un proceso, pero la situación es crucial… juzga el mérito
y el coste de una práctica concreta en función de los valores que priman en la situación” (2005, p. 25).
Ciertamente (Escudero,1997) se ha tratado con ligereza el asunto de la definición de Modelo dentro de las investigación evaluativa, ya que se ha hecho referencia a enfoques, metodologías etc., que no son modelos en el sentido riguroso.
En ese gran marco referencial se reconoce la existencia de cinco grandes bloques de agrupamiento de los modelos de
evaluación de centros. Estos cinco bloques son los siguientes (Escudero, 1997).
3
a)
b)
c)
d)
e)
Los que enfatizan los resultados (outputs).
Los que enfatizan los procesos internos a la propia organización.
Los que postulan criterios mixtos o integradores.
Los que se centran sobre los aspectos culturales de la organización.
Los que intentan evaluar la capacidad de la propia organización para auto transformarse (evaluación para cambiar).
Ante estas referencias, se consideró que el modelo de De la Orden corresponde al segundo bloque ya que enfatiza los
procesos internos de las organizaciones o instituciones educativas, para adherirse al enfoque formativo de la evaluación.
Para este estudio fue de vital importancia referenciar el modelo de evaluación propuesto por el Dr. De la Orden, para
orientar metodológicamente el proyecto; El reconoce que la evaluación a centros educativos no puede realizarse atendiendo a modelos generales sino que cada investigación requiere adecuarse a las condiciones particulares para adaptarse
al caso específico. La categoría central de este modelo es la conceptualización de calidad educativa como relación de
coherencia de cada uno de los componentes del sistema, estableciendo la proximidad estructural o funcional entre los
componentes relacionados. El modelo se conforma con factores o procesos identificados con criterios y predictores de
funcionalidad, eficacia y eficiencia.
2. Diseño metodológico del estudio
En materia de investigación evaluativa convergen diversidad de perspectivas y enfoques de la investigación, debido a
que su principal propósito no es evaluar estrictamente hablando, sino obtener información sobre el objeto definido con
antelación para apoyar en la constitución de propuestas de mejora, apoyar la toma de decisiones o conocer de forma más
precisa las problemáticas en las que el objeto se desenvuelve. Actualmente, aclarando que el debate no ha sido resuelto,
se considera a investigación evaluativa como una transdisciplina; esto se expuso en el III Congreso Internacional de Ciencia, Tecnología y Cultura (2013). La base de esa aseveración fue que la investigación evaluativa se alimenta no solo de la
transferencia de metodologías de una disciplina a otras, sino que tanto la investigación como la evaluación al formar parte
de diversas disciplinas les aporta y enriquece con el conocimiento que genera. Otro argumento es que al utilizar la investigación evaluativa en el contexto educativo, su carácter transdisciplinario permite fundamentar una praxis diagnóstica,
orientadora y evaluativa (Sabiron, 2006).
3. Estrategia investigativa
Este tipo de estudio se inserta dentro de las ciencias sociales pero al ser un estudio apoyado de un proceso investigativo de
evaluación el marco de acción de los evaluadores-investigadores es complejo. Como lo menciona Suchman (1967, p. 119),
"la investigación evaluativa es un tipo especial de investigación aplicada, en la que el principal énfasis esta puesto en la
utilidad de la información que genera". En consecuencia se tuvieron en cuenta las siguientes directrices:
a) Acceso al campo
Se entiende como el levantamiento de información o datos de un espacio físico o social en el que tiene lugar el objeto
investigado, que este caso fue de 60 Instituciones de Educación Media Superior de todo el Estado de Baja California. Para
el ingreso a ellas se concertó el paso con los directivos mediante oficios emitidos por las Subsecretaria de Educación Superior, Media Superior e Investigación.
Población
La constituyeron 60 Directivos, 2 769 Profesores y 60 grupos de estudiantes del último semestre vigente en cada
bachillerato que integran las Instituciones de educación media Superior en la entidad.
La muestra se calculó con un 95% de confianza.
El procedimiento para obtención de la muestra
La fórmula para calcular la muestra de profesores fue la siguiente:
n=
4
Z 2 pq N
N E 2 + Z 2 pq
n
Es el tamaño de la muestra
No se conoce el valor
z
Es el nivel de confianza
1.96 con 5% de margen de error
p
Es la variabilidad positiva
0.5
q
Es la variabilidad negativa
0.5
n
Es el tamaño de la población
3 480
Cantidad de profesores que laboran en las instituciones de nivel
medio superior en B.C.
Es la precisión o el error
0.05
Aunque se tuvo como referencia este dato muestral se tomó en cuenta que las escuelas invitaron a todos sus profesores a participar en las encuestas, se consideró que siendo una evaluación, la mayor participación enriquecería los
resultados, por lo que la población encuestada de profesores fue de 2 769.
b) Aplicación de los instrumentos de recogida de datos e información
Los cuestionarios, encuestas y entrevistas se aplicaron por diferentes equipos de trabajo acompañados por el coordinador del proyecto. La dinámica de aplicación para los profesores consistió en la preparación de un espacio físico; posteriormente se les dio una breve explicación a los participantes sobre las finalidades de cada instrumento, formas de
contestación y el uso que se le daría a la información recabada. En el caso de los estudiantes, se solicitó a cada Director la
asignación de un grupo de estudiantes que estuvieran cursando el semestre más avanzado vigente en el ciclo lectivo. La
forma de recabar la información fue a través de entrevista grupal. En el caso del instrumento para Directores, se emitió
un oficio por el Subsecretario de Educación Media Superior, Superior, Evaluación y Formación Docente de la SEBS BC,
invitándolos a contestar cuestionario por vía electrónica.
4. Diseño de instrumentos para la recogida de datos e información
Para diseñar los instrumentos fue necesario analizar que las investigaciones evaluativas con enfoque en políticas públicas
utilizan la evaluación de proceso ya que son las que ofrecen información para mejorar procesos de gestión o autogestivos.
El estudio se realizó durante el periodo 2012/2014, de tal forma que en ese espacio de tiempo ya se podía contar con una
visión de cómo se está asumiendo la RIEMS por los diferentes actores y cuál es la opinión sobre los procesos desarrollados hasta entonces.
Para explorar en el campo de estudio se formularon 4 instrumentos que abordaron los 4 procesos de interés:
a) Cuestionarios
Se adaptó un primer cuestionario asociado a la evaluación de la Gestión Directiva, diseñado originalmente por Sevilla,
Medrano y Gaete , que forma parte del Modelo de Aseguramiento de la Calidad de la Gestión Escolar (SACGE) del Ministerio de Educación de Chile (2005). Se plantea en escalas de Likert con un total de 121 ítems. A este cuestionario se aplicó
el Alfa de Cronbach obteniéndose un coeficiente alto de fiabilidad (0.959).
Un segundo cuestionario diseñado para valorar los procesos instructivos, curriculares y de evaluación del aprendizaje
contiene 52 ítems (4 de respuesta abierta y el resto de respuesta cerrada) y fue revisado por dos expertos y piloteado
con un grupo de profesores del plantel Cobach Las principales observaciones que se realizaron estuvieron asociadas a
la extensión del cuestionario atendiendo el hecho que originalmente había 10 cuestionamientos de respuesta abierta. Se
atendió la recomendación y se redujo el número de preguntas abiertas y se retiraron las preguntas que a los profesores
les parecieron poco claras.
El tercer cuestionario es una variante del anterior adaptado para los directores, tocando básicamente los mismos
rubros que el de profesores.
Por último, se diseñó una cédula de entrevista para los grupos de estudiantes y se piloteó antes de su aplicación en un
grupo de jóvenes de quinto semestre de un plantel del Subsistema Cobach.
5
5. Modelo de evaluación
El modelo que se tuvo como referencia para sustentar esta evaluación ha sido el propuesto por De la Orden (1997). Este
modelo propone identificar las relaciones entre los componentes de contexto, input, proceso, producto y propósitos del
sistema y valorarlos en función de un conjunto de reglas bien establecido que para nuestro caso aparecerían en los programas sectoriales de educación tanto nacional como estatal.
Para los fines de este trabajo, el modelo se adaptó en lo relativo al objeto de estudio, ya que la propuesta está elaborada originalmente para la educación universitaria. Los procesos se mantuvieron ya que se consideró que estos son
perfectamente ubicables en la educación media superior (Figura 1).
Figura 1 Nota: Esta figura contiene las adaptaciones realizadas para la realización de este estudio. El modelo original está disponible
en la dirección http://www.uv.es/RELIEVE/v3n1/RELIEVEv3n1_2.htm
6
De acuerdo con la propuesta de De la Orden, la calidad de la educación supone una relación de coherencia de cada
uno de los componentes del sistema representado en un modelo, con todos los demás. Explica que en unos casos, esta
relación de coherencia o incoherencia será patente, dada la proximidad estructural y/o funcional entre los componentes
relacionados.
Especificación de procesos
a) Contexto
Siguiendo a De la Orden (1997) el contexto es determinante de las demandas sociales que debe satisfacer la educación
media superior que a su vez, son determinantes de las funciones asignadas a la misma.
b) Procesos e indicadores
Con base en la descripción que De la Orden (1997) realiza se exploraron los procesos que se citan a continuación y sus
correspondientes indicadores:
Gestión directiva
Para la evaluación de la Gestión directiva, se consideraron las siguientes dimensiones propuestas por Sevilla, Medrano y Gaete (2005)
»» Liderazgo : capacidad del docente directivo para orientar a los actores del proceso educativo al logro de los objetivos y metas de la institución
»» Gestión Curricular: cómo asegurar el aprendizaje efectivo en las aulas, considerando la propia cultura institucional
y el Proyecto Educativo.
»» Gestión de Recursos: generación de mecanismos de obtención de recursos para la adecuada administración, con
el fin de potenciar las actividades de enseñanza, los resultados institucionales y los aprendizajes de calidad para
todos los estudiantes.
»» Gestión de Clima Organizacional y Convivencia: generación de climas institucionales y una convivencia escolar adecuada para potenciar el PEI y desarrollar los aprendizajes.
Procesos curriculares
De la Orden (1997) los define como la interacción de los elementos -personales y materiales- que constituyen el centro, encaminada a la toma de decisiones y a la planificación de las actividades docentes.
Procesos instructivos
Refieren, según De la Orden (1997), la interacción entre los elementos -personales y materiales- dirigida a la toma
de decisiones sobre estrategias y procedimientos instructivos y a la puesta en marcha de actividades tutoriales y
docentes.
Procesos para la evaluación de los aprendizajes
Estos se asocian a la interacción entre los elementos -personales y materiales- que conlleva la determinación de consecución y logro de objetivos educativos.
6. Representación e interpretación de la información
a) Representación de la información
Una condición que se debe reconocer para la representación de los datos es que estos no hablan “por si mismos”, de ahí
que se consideraron las características de los datos y lo que se deseó destacar de cada uno de ellos, editándolos de forma
visual por medio de tablas de contenido, gráficas de ejes de coordenadas y de área. También se atendió a los requisitos de
sencillez y claridad sobre los datos para facilitar la lectura a los usuarios de la información (INEGI, 2011).
b) Interpretación de la información
7
Desde la perspectiva de la evaluación externa la interpretación de la información se concentró en identificar la relación
entre los indicadores de los procesos estudiados conforme al modelo y las respuestas arrojadas en los distintos instrumentos aplicados. Miles y Huberman (1994) recomiendan sobre el empleo de matrices y realizar con ellas un procedi-
miento de inspección sistemático que permita sintetizar la variedad de resultados en principales hallazgos y emitir las
recomendaciones pertinentes. Asimismo se conceptualizó "hallazgo" como la información emergente derivada de los
análisis sobre los procesos y de los cuales hay evidencia empírica que lo sostiene; y se entiende por "recomendación" a la
formulación de propuestas de acción o líneas de acción sujetas a ser consideradas por los responsables para orientar el
proceso de aseguramiento de la calidad.
CONCLUSIONES
La instrumentación metodológica en todo proyecto de investigación implica un reto importante para los equipos de trabajo, de ahí el interés nuestro por aportar una experiencia en un campo en el cual aún hay mucho que sistematizar. Asimismo compartimos algunos hallazgos derivados de la aplicación de estos procedimientos.
Gestión del clima organizacional y convivencia
Los resultados obtenidos respecto a la gestión del clima organizacional y convivencia, muestran que los docentes perciben que el trabajo de gestión de la dirección es apropiado para incentivar el trabajo, incluso existen sistemas y procedimientos de seguimiento al personal docente, en función de las metas planteadas y los resultados de desempeño en el aula,
aunque esta práctica también genera competencia, desconfianza y limita el trabajo en equipo.
Liderazgo
En relación al liderazgo del director, los resultados en promedio muestran que los directores si hacen su trabajo pero los
profesores perciben no saber los planteamientos del proyecto educativo institucional (PEI) lo que representa un liderazgo vertical, que incide sobre la productividad de los planteles, además de mostrar una pobre visión proactiva. Se muestra
también que aunque los directores soliciten a los docentes y estudiantes poner en práctica las propuestas de la reforma
educativa, expresan los docentes no conocer en qué consiste la propuesta, por tanto, trabajan con una visión anterior
a esta normativa.
Sobre organización institucional de la enseñanza
El reconocimiento al rezago académico con el que se recibe a los estudiantes del nivel previo, genera la necesidad consiente y apremiante de un gran porcentaje de docentes de apoyar la formación de los estudiantes con acciones específicas. La propuesta de los docentes es atender esta condición de los alumnos y sobre todo de los que cursan los primeros
semestres para así, mejorar los índices de permanencia y el desempeño académico de los jóvenes en la EMS. Esto muestra
la falta de vinculación entre los distintos niveles de educación y obstaculiza la eliminación de secuencias didácticas rígidas y su tránsito a espacios transdisciplinarios integradores tal como se plantea en la RIEMS para atender el principio de
flexibilidad curricular.
8
BIBLIOGRAFÍA
Ackoff, R. (1984) "Rediseñando el futuro" Limusa, México
Ackoff, R. (1997) "Un concepto de planeación de empresa". Limusa. México.
Actas de las III Jornadas Nacionales de Didáctica Universitaria "Evaluación y Desarrollo Profesional", Servicio de Publicaciones de la Universidad de Las Palmas de Gran Canaria.
Cook, T.D. y Reichardt, C.S. (1986) "Métodos cualitativos y cuantitativos en investigación evaluativa". Madrid. Morata.
De la Orden, A., Asensio, I., Carballo, R., Fernández Díaz, J., Fuentes, A., García Ramos, J.M. y Guardia, S. (1997). Desarrollo
y validación de un modelo de calidad universitaria como base para su evaluación. RELIEVE, vol. 3, n. 1. Consultado en
http://www.uv.es/RELIEVE/v3n1/RELIEVEv3n1_2.htm en 3-2-2012
Escudero, T. (1997). "Enfoques modélicos y estrategias en la evaluación de centros educativos". RELIEVE, vol. 3, n. 1. Consultado en http://www.uv.es/RELIEVE/v3n1/RELIEVEv3n1_1.htm en 11-11-2012
Huberman, M. y Miles, M.B. (1994) “Métodos para el manejo y análisis de datos” en Norman Denzin & Yvonnas Lincoln
Eds., Handbook of Qualitative Research, Sage publications.
McMillan, J.H. y Schumacher, S. (2005) "Investigación educativa" Madrid: Pearson.
Navarro, L. (2007) "Aseguramiento de la calidad de la gestión escolar: ¿De qué estamos hablando?" en Revista Reflexión
pedagógica No. 31 Consultado en http://www.revistadocencia.cl/pdf/20100731211150.pdf en 5-5-2012
Sabirón, F. (2006). "Métodos de investigación etnográfica en ciencias sociales", Zaragoza: Mira editores.
Sevilla, M.A., Medrano,P. y Gaete, M. (2005) "Evaluación de directivos: marcha blanca" Educarchile, Mineduc
Suchman, E. A. (1967). Evaluative Research: Principles and Practice in Public Service and Social Action Programs. New York:
Russell Sage Foundation.
Tiana, A. (1996) “La evaluación de los sistemas educativos”, Revista Iberoamericana de Educación, nº 10, pp. 37-61
Unidad de Gestión y Mejoramiento Educativo División Educación General Mineduc (2005) "Sentidos y componentes
del sistema de aseguramiento de la calidad de la gestión escolar" Litografía Valente, Chile consultado en http://ww2.
educarchile.cl/UserFiles/P0001%5CFile%5CSentidos%20y%20componentes%20SACGE.pdf en 12/11/2013
9