Incidencia de la gestión sobre el rendimiento escolar en la escuela
Transcripción
Incidencia de la gestión sobre el rendimiento escolar en la escuela
Incidencia de la gestión sobre el rendimiento escolar en la escuela argentina. El mensaje de las pruebas internacionales y nacionales. Diego Fresoli, Verónica Herrero, Roberto Giuliodori, Héctor Gertel* Universidad Nacional de Córdoba Facultad de Ciencias Económicas Instituto de Economía y Finanzas [email protected] 1. Introducción La investigación, de carácter experimental, compara resultados sobre los factores que inciden en el puntaje de pruebas estandardizadas a escolares del nivel elemental de enseñanza en la Argentina. Se trabajan dos conjuntos independientes de información sobre resultados escolares, aplicando en cada caso similares técnicas de análisis jerárquico de datos con el propósito de obtener una doble descomposición de efectos: la primera, entre aquéllos asociados con características del hogar y el estudiante y los vinculados con características de la escuela; y en un segundo término, dentro de la escuela, separando los factores asociados con el aprendizaje en el aula de las características de la gestión del establecimiento. Un conjunto de datos captura información de alumnos que cursan 3er/4to grado en 1997 y se obtuvo a partir del operativo internacional de OREALC-UNESCO “Laboratorio Latinoamericano de Evaluación de Calidad de la Educación” (LLECE) que incluyó Argentina, mientras que el segundo, contiene alumnos de 6to grado participantes del Operativo Nacional de Evaluación (ONE) año 2000. El estudio de los factores que promueven mejoras en la eficiencia de las escuelas constituye un objetivo central dentro de la acción pública desarrollada en muchos países, hoy preocupados por estudiar la contribución de la calidad en la inversión educativa al crecimiento económico (Boissiere, 2004, Hanushek and Woessmann, 2007). Para Argentina, Cervini (2002), por ejemplo, aplicando un modelo de descomposición de efectos, realiza un estudio sobre la contribución de la educación al desarrollo social, en el cual destaca que las desigualdades en el logro académico de alumnos de primaria aparecen fuertemente asociadas con desigualdades socioculturales entre sus familias1, las que a su vez deciden sobre el establecimiento escolar al que asisten sus hijos. El estudio, sin embargo, no detalla las características de otra índole que contribuyen a diferenciar a las escuelas entre sí, dando a entender que acepta la hipótesis generalizada de que el mayor factor de impacto sobre la calidad de la educación, dentro de la escuela, descontada la familia, es el propio docente de cada alumno. El presente trabajo intenta contrastar ese pensamiento generalizado y se concentra en la búsqueda de respuestas a dos interrogantes que ahora aparecen como centrales en esta cuestión: ¿Puede la escuela, mediante la intervención pública, disminuir la dispersión en los resultados de dichas pruebas, y de ese modo hacer un aporte al desarrollo social?. Y, si esta intervención pública se orienta a mejorar la eficiencia en las inversiones del Estado en los recursos del sector: ¿debería estar orientada más hacia el aula o hacia la gestión de la escuela? La aplicación de un modelo lineal jerárquico en tres niveles es propuesto para organizar la búsqueda de respuestas a los interrogantes planteados en relación a los factores que contribuyen a mejorar la calidad de la educación. En este modelo, de la manera * Los autores agradecen los comentarios recibidos en una presentación de un trabajo preliminar en las XVI Jornadas de la Asociación de Economía de la Educación (Universidad de Mas Palomas, Canarias, España, 1213 de Julio de 2007). El financiamiento fue provisto por el proyecto PICT2003-14534. 1 Otras evidencias internacionales en la misma línea se discuten en Goldhaber D. D. and Brewer D.J. (1997). usual, el puntaje obtenido en la pruebas estandarizada se considera como proxy de una medida de calidad educativa. El trabajo está organizado de la siguiente manera: en la sección que sigue se describen los datos utilizados y el modelo lineal jerárquico aplicado; en la sección tres se comentan los principales resultados obtenidos a partir de la utilización de las muestras empleadas, en tanto en la sección final se efectúa un resumen de las principales conclusiones del estudio. 2. Los datos y el modelo de análisis En relación a los datos, primeramente se introducen en términos generales las características de las muestras analizadas para cada operativo considerado, indicándose en primer lugar las correspondientes al ONE 2000, y luego las del operativo internacional LLECE 1997. 2.1. Los datos proporcionados por el ONE 2000 Para la aplicación del modelo propuesto se cuenta con la información recogida dentro del ONE 2000 que comprende, por un lado, un reporte de resultados de las pruebas de matemática y de lengua de alumnos de 6to grado, correspondientes a la culminación del segundo ciclo de la educación general básica (k-6), y por el otro, un conjunto de información que se le asocia, indicando características del hogar del alumno, de sus docentes y del establecimiento2. Son excluidos de la muestra de trabajo, los alumnos de establecimientos rurales con secciones de menos de 5 alumnos, los alumnos de la provincia de Neuquen, porque no participaron, y los alumnos que no presentaban información válida en todos los campos relevantes al estudio. Con relación a estos últimos estudiantes, hay que señalar que, aparentemente, se trata del grupo de alumnos de más bajo rendimiento relativo porque, con su exclusión, el rendimiento promedio general en ambas asignaturas aumentó entre 6% y 15%. Esto hace suponer que los estudiantes de menores calificaciones son los que tienen, a su vez, mayor aversión a completar los cuestionarios de datos del Operativo. Al mismo tiempo constituye una señal en el sentido que los resultados del presente trabajo contienen una sobrestimación de las calificaciones en cada materia. 2.2. Los datos proporcionados por LLECE 1997 Los datos de LLECE desarrollado por OREALC-UNESCO (1998, 2001), corresponden a una primera revisión de los operativos internacionales de evaluación de la calidad educativa en los que participó Argentina3. El Operativo LLECE, se realizó en once países de América Latina (Argentina, Bolivia, Brasil, Chile, Colombia, Cuba, Honduras, México, Paraguay, República Dominicana y Venezuela) y corresponde al primero de su tipo en la región, destinado a obtener resultados de test comparables para alumnos primarios de tercer y cuarto grado. La elección de este estudio como referencia se debe a las 2 Los datos utilizados están referidos a la totalidad de los alumnos de sexto grado que participaron a finales de ese año de las pruebas estandarizadas de Matemática y de Lengua que administra el Ministerio de Educación de la Nación. Conjuntamente con las pruebas, se suministra un formulario de auto-respuesta que recaba datos personales de los alumnos y su familia. Un segundo formulario es completado por el docente al frente del grado, quien debe informar sobre una serie de aspectos que hacen a la calidad del aula, la disciplina, algunos rasgos personales sobre su condición laboral, y otras características. Un tercer formulario es suministrado al director del establecimiento y contiene preguntas de orden general sobre su rol. Para más detalles acerca de estas pruebas, las críticas que recibieron y el alcance de las mismas, véase Tenti Fanfani (2001). 3 La base del estudio PIRLS, también enfocado en el nivel educativo inicial, servirá para posteriores comparaciones, si bien debido a que las pruebas estandarizadas que involucra corresponden a habilidades de lectura, no se priorizaron en este estudio. En el caso de la muestra del Segundo estudio comparativo desarrollado por OREALC – UNESCO en el año 2005, la información no se encuentra procesada todavía. 2 particularidades de su diseño, que se ajustan a las requeridas para estimar el modelo propuesto en este trabajo. Al respecto, la UNESCO señala: “diseñado no sólo para entregar información de variables de producto (y) además respecto de variables de insumo y de proceso ... relacionados con: gestión y política con el currículo planificado y realizado; con los directivos y su gestión; con el profesor y su desempeño; con la familia y su compromiso educacional y; con los alumnos y sus características.” (Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación. UNESCO, 1998, pp. 7). La información proveniente del LLECE se trabajó de manera de construir indicadores comparables con los desarrollados por los autores en un trabajo anterior (Gertel y otros, 2006) donde se utilizaron datos del ONE 2000. En el Anexo de este trabajo se detalla la construcción de las mismas. El tamaño original de la muestra de LLECE (4771 alumnos) resultó restringida a 1172 observaciones agrupadas en 163 escuelas y 73 aulas, en razón de la existencia de casos con información incompleta en algunas de las variables consideradas4. Cabe destacar que si bien se pierde aproximadamente tres cuartas partes de la muestra inicial de LLECE, la distribución y características de la submuestra surgida por la falta de datos permiten considerarla una muestra al azar de los datos originales. 2.3. El modelo de análisis jerárquico estimado La técnica de análisis que se aplicó es la de tratamiento jerárquico de los datos (Rowe, Hill y Holmes-Smith, 1995, Wenglinsky, 1998, Brik y Raudenbush, 1992, Monette et al, 2001), desarrollando en esta ocasión una descomposición de efectos en tres niveles5. En general, se recomienda la aplicación de esta técnica si las observaciones forman clusters, como es el caso de la función de producción de educación. En ese caso, el uso de la técnica de Mínimos Cuadrados Ordinarios (MCO) debería evitarse, puesto que las observaciones individuales en la muestra no pueden ser tratadas como observaciones aleatorias independientes, por lo que las estimaciones serían sesgadas e inconsistentes (Brik, y Raudenbush, 1992). Este problema de estimadores sesgados e inconsistentes desaparece cuando se utilizan modelos multinivel que, al mismo tiempo, proporcionan información acerca de la descomposición de la variabilidad total de la variable explicada. Para el presente estudio, la variable dependiente es la puntuación obtenida por cada alumno en las pruebas estandarizadas como medida que aproxima el concepto de calidad en la enseñanza. En el caso del ONE 2000 se trata de pruebas de Lengua y Matemática para alumnos de sexto grado, mientras la prueba LLECE incluye resultados en Lengua para alumnos de 3ro-4to grado. El conjunto de variables explicativas ha sido agrupado en tres niveles: el primero que está constituido por atributos del alumno y su familia, el segundo refleja la influencia de los factores asociados con el proceso de enseñanza-aprendizaje en el curso (o aula), mientras que el tercer nivel captura la influencia de factores ligados con la gestión del establecimiento escolar. El detalle de las variables, con su descripción se encuentra presentado en los cuadros 1, 2 y 3 del Anexo. La ecuación de estimación a tres niveles surge de extender el procedimiento descripto en Raudenbush y Brik (1986) y en Goldstein (1986) para dos niveles. Estos autores indican la conveniencia de plantear las ecuaciones lineales de cada nivel con sus respectivas variables, diferenciando los efectos fijos de los aleatorios. Las ecuaciones de cada nivel de análisis contienen los términos de error atribuibles a cada uno de los efectos 4 La consideración de la información disponible (variables presentes en los diferentes cuestionarios) resultó en un modelo con algunas variables no incluidas. En cuadro 2 del Anexo se comparan las variables utilizadas en el estudio con datos del ONE y la información disponible en LLECE (parte esta información no ha sido empleada en la estimación privilegiando los aspectos comparables). El cuadro 3 del Anexo indica de manera detalla la operacionalización de las variables consideradas como explicativas en el modelo estimado con datos de LLECE. 5 Un Trabajo anterior de los autores aplicó la técnica de análisis jerárquico en dos niveles sólo a datos del ONE 2000. 3 aleatorios considerados, y el residuo de la regresión estimada responde a los supuestos usuales de normalidad. El término de error global aparece descompuesto en εijk (error del nivel alumno, con distribución N(0,σε2), y u0jk (error atribuido a las variables de nivel curso, con distribución N(0,σjj2)), y u00k (error del nivel de la escuela, también normalmente distribuido N(0,σκκ2)). Estos errores guardan independencia entre sí. En el análisis educacional, el supuesto corriente es que a la matriz Σ no se le impone una estructura predefinida (Singer, 1998). Las ecuaciones de un modelo simplificado de tres niveles con ordenada aleatoria son las siguientes: Nivel 1- Propias del alumno y hogar yijk = β 0 jk + β p X ijk + eijk Nivel 2- Propias del aula y docente β 0 jk = β 00 k + γ q Z jk + µ0 jk Nivel 3- Propias de la escuela β 00 k = β 000 + ωhWk + µ00 k Donde: yijk es el rendimiento del alumno i en el aula j de la escuela k; β0jk es el rendimiento promedio de la escuela j en la escuela k; β00k es el rendimiento promedio de la escuela k; β000 es el rendimiento promedio (la gran media); eijk es el error aleatorio al nivel del alumno; µ0jk es el efecto aleatorio del curso; µ00k es el efecto aleatorio de la escuela; Xijk son variables del nivel del alumno; Zjk son variables del nivel del curso; Wk son variables del nivel de la escuela; La ecuación lineal fue estimada por Máxima Verosimilitud, utilizando el módulo XtMixed de Stata 9.0. Se realizaron ensayos que incluyeron efectos aleatorios en los coeficientes de diversas variables, pero los mismos no arrojaron resultados satisfactorios. En cambio, la incorporación de efecto aleatorio en el intercepto de la función produjo resultados de interés que se reportan más adelante. 3. Resultados La presentación de los resultados se divide en dos secciones, la primera correspondiente a los resultados obtenidos al utilizar los datos provenientes del ONE 2000, y la segunda que indica los resultados alcanzados a partir de la utilización de los datos del LLECE 1997. 3.1. Resultados correspondientes al ONE 2000 3.1.1. Descomposición de Varianza La tabla 1 presenta la estimación de las varianzas asociadas a los diferentes niveles, sus errores estándar y los valores Rho correspondientes. Los resultados de la descomposición en términos relativos (Rho), tanto para Lengua como para Matemática indican que está justificada la utilización del enfoque multinivel. Como se desprende las 4 columnas 2 y 3 de la tabla 1, los valores de las varianzas estimadas de cada nivel resultan estadísticamente significativos al nivel del 5%. Tabla 1. Modelo vacío (ANOVA). Lengua y Matemática con base datos ONE Lengua Estimación Error Varianza Estándar Escuela (gestión) 63.6 3.6 Aula 23.3 1.9 Alumno 215.7 2.2 Total 302.5 Nivel Matemática Estimación Error Rho Varianza Estándar 21.0% 73.1 3.8 7.7% 33.7 2.1 71.3% 234.1 2.1 340.9 Rho 21.4% 9.9% 68.7% Nota: En el análisis de tres niveles la cantidad de casos considerados fue de 22839 y 28462 alumnos, en 2907 y 3614 cursos, y 1287 y 1577 establecimientos, respectivamente. Fuente: elaboración propia a partir de datos del ONE 2000. Los varianzas obtenidas indican que las características del alumno y su hogar explican el 71.3%, de la variabilidad total del rendimiento en Lengua, siendo algo inferior en Matemática (68.7%). Esto confirma resultados anteriores encontrados por los autores (2006), en línea con la evidencia internacional existente6. El aporte del modelo de tres niveles se observa al descomponer en una parte atribuible a la gestión de la escuela y otra atribuible al aula, donde se destaca que la gestión tiene una fuerte presencia en la explicación de la variabilidad del puntaje de las pruebas. En efecto, este último aporte representa el 21.0% y 21.4% de la dispersión en las notas de Lengua y Matemática respectivamente, mientras que la variabilidad asociada con las características del docente y el aula aportan menos del 10% de la variabilidad total (7.7% en Lengua y 9.9% en Matemática). Finalmente, la magnitud comentada de los valores de Rho justifica la conveniencia de aplicar análisis multinivel, por la importancia de aislar la variabilidad de cada cluster, a los efectos de mejorar la calidad de las estimaciones. 3.1.2. El impacto de las variables de cada nivel sobre el rendimiento escolar medido en el ONE 2000 Todas las variables incluidas en el modelo fueron tratadas como efectos fijos, en tanto que los efectos aleatorios fueron aplicados sobre los interceptos de las rectas a nivel de curso y escuela. El modelo incluye variables dummy para controlar el efecto de las diferencias entre regiones del país. La tabla 2 presenta los resultados obtenidos de las estimaciones realizadas con el modelo multinivel para Lengua y Matemática. (i) Variables explicativas a nivel del alumno A este nivel se consideraron las variables que se relacionan con los atributos del estudiante a saber: sexo, condición de repitente, actitud hacia la materia, nota promedio en la materia en el año anterior e índice de notas en otras materias. Además se incluyeron variables relacionadas con las características propias del hogar del que proviene el alumno, como son: INSE, deserción entre hermanos, libros de la materia que hay en el hogar y educación de la madre. Todas estas variables explican, en conjunto, aproximadamente el 18% de la variabilidad atribuible al primer nivel (Rho = 71.3% y 68.7% en Lengua y Matemática, respectivamente). Una primera característica a señalar es la estabilidad observada en las estimaciones de los coeficientes de las variables propias del alumno y del hogar, a través de los diferentes ensayos de modelizaciones realizados. 6 Por ejemplo, Rowe K.J, Hill, P. W., Holmes-Smith, P. (1995). 5 El coeficiente estimado para la variable sexo es –4.3 en Lengua, lo que indica que, suponiendo los demás factores constantes, los varones logran menores puntajes respecto a las mujeres. En Matemática se obtuvo el resultado inverso, los varones obtienen en promedio casi 2 puntos más que las mujeres. Estos resultados están en línea con lo hallado 7 por otros trabajos referidos a América Latina . La condición de repitente tiene un fuerte efecto negativo sobre los resultados de la pruebas, del orden de 4.6 en Lengua y 4.9 puntos en Matemática. La actitud positiva del estudiante hacia la materia favorece mejores logros en los resultados de las pruebas de ambas asignaturas, aunque existen diferencias importantes en la magnitud de los efectos: en Lengua el coeficiente es de 0.0157 y en Matemática de 0.0526. A manera de ejemplo, suponiendo los demás factores constantes, un estudiante que tenga una actitud situada en el promedio del grupo investigado, obtiene en Matemática 1.4 puntos más que otro que esté ubicado una desviación estándar por debajo de esa media. En Lengua, el mismo razonamiento conduce a una diferencia de 0.4 en el puntaje. Las variables nota promedio en el año anterior e índice de notas en otras materias, tienen un efecto positivo sobre el rendimiento tanto en Matemática como en Lengua. Por cada 10 puntos que se agregan a la nota promedio en el año anterior, el rendimiento aumenta, aproximadamente, 1 punto en Lengua y 1.6 en Matemática. A manera de conclusión, las variables del alumno utilizadas en el modelo, que constituyen un proxy de su capital humano, predicen correctamente el efecto de las capacidades y aptitudes previamente acumuladas. En este sentido, los estudiantes que no han repetido, que tienen una actitud positiva hacia la materia y buenos antecedentes escolares, presentan un mejor desenvolvimiento en las pruebas de evaluación estandarizadas. De algún modo, este razonamiento pretende sustituir un control de pre-test sobre las condiciones iniciales de los estudiantes que, de hecho, no existió ni fue posible introducir en la presente investigación, por su naturaleza cuasi experimental. Con relación al hogar del estudiante, se observa que el nivel socioeconómico (medido a través del INSE) afecta positivamente los logros en las pruebas. Los alumnos con INSE igual al promedio más una desviación estándar, obtienen un puntaje superior en 2.18 y 1.47 en Matemática y Lengua respectivamente, con relación a aquellos estudiantes con INSE una desviación estándar por debajo de la media. Esto confirma los resultados de estudios previos, e indica la presencia de desigualdades socio-económicas en educación, en 8 las cuales las políticas educativas no pueden incidir directamente . La presencia en el seno familiar de hermanos desertores o que nunca acudieron a la escuela perjudica el logro en las pruebas, tanto en lengua como en matemática. Así, en la primera, los alumnos con hermanos desertores obtienen 9.1 puntos menos que aquellos que no los tienen. Esto estaría indicando dificultades en el acompañamiento, por parte de la familia, a los miembros en edad escolar. Según el modelo, hay más riesgo de fracasos escolares en aquellos grupos familiares donde hubo desertores. Tener en el hogar libros de la materia afecta de manera positiva el rendimiento en el caso de Lengua (lo aumenta en 0.61), mientras que en Matemática no puede concluirse al respecto ya que la variable no es significativa estadísticamente. Trabajando con las pruebas ONE 2000, la educación de la madre no resultó significativa en ninguna de las dos materias consideradas. Posiblemente la explicación radique en la alta correlación que esta variable mantiene con el INSE. 7 8 Cervini R (1999), para Argentina, o Mizala y Romaguera (2000), para Chile Para Argentina, véase Cervini R. (1999). 6 Tabla 2. Modelos Estimados. Resumen de los coeficientes y sus estadísticos Rendimiento LENGUA Ordenada Aleatoria Nivel del Alumno Coeficiente MATEMÁTICA z Coeficiente z Propias del alumno Sexo ¿Repitió? Actitud hacia la materia Nota promedio en la materia año ant. Índice de notas en otras materias -4,3191 -4,9393 0,0157 0,1118 0,1973 -22,3 -11,6 4,4 17,0 24,7 1,8948 -4,5791 0,0526 0,1599 0,1846 10,5 -11,6 15,0 28,9 25,9 0,0413 -9,1060 0,6098 0,0046 4,3 -12,1 2,2 1,2 0,0613 -6,9811 -0,2460 0,0020 6,7 -9,7 -1,0 0,6 0,0277 0,0069 0,0115 -0,1884 0,0046 3,5 1,3 1,8 -0,8 1,1 0,0460 0,0143 0,0045 0,3331 -0,0048 5,9 2,5 0,6 1,4 -1,1 0,0973 0,1464 -0,0023 -0,3971 0,0020 0,4 1,9 -1,1 -0,9 0,0 0,5970 0,1581 -0,0007 0,4062 0,5662 2,3 2,1 -0,3 0,8 1,6 0,0807 -0,0201 5,3305 5,6 -1,4 11,6 0,0581 -0,0191 4,2077 4,0 -1,2 8,7 -3,7859 -3,4158 -6,9233 -3,1820 -3,8706 -3,7510 -4,1 -5,0 -6,0 -3,2 -3,4 -5,2 -0,4555 -0,7822 -7,0456 -1,1872 -0,3809 -3,0921 -0,5 -1,1 -6,2 -1,2 -0,3 -3,9 INSE por sector Sector por repitencia Deserción por repitencia -0,0030 -0,4786 4,8721 -0,2 -0,4 3,5 0,0017 1,1127 3,4061 0,1 1,1 2,6 Constante 74,1770 14,8 51,7201 10,0 Varón = 1 Si=1 Propias del hogar INSE ¿Deserción entre los hermanos? ¿Hay libros de la materia en su hogar? Educación de la madre Nivel del curso Propias del aula Estado del aula Disciplina del curso Disponibilidad y estado de materiales Número de alumnos por curso Número de alumnos por curso al cuad. Propias del docente Educación del docente Experiencia del docente Experiencia del docente al cuadrado ¿El docente es titular? ¿El docente tomó cursos de la asignatura? Nivel de la escuela Propias de la escuela Aprovechamiento y clima escolar Autonomía y participación docente Sector Privado = 1 Propias de la region Ciudad de Buenos Aires = región base Cuyo Pampeana Nea Noa Patagonia Partidos de GBA Interacciones Fuente: elaboración propia a partir de los datos del ONE 2000. (ii) Variables explicativas a nivel del curso Para este nivel se computaron dos grupos de variables que reflejan factores asociados tanto con las condiciones del aula, como con el docente de la asignatura. Entre las primeras se analizó el estado del aula, la disciplina del curso, la disponibilidad y estado de los materiales y el número de alumnos que rindieron la prueba por curso. En cuanto al 7 docente, se contó con información referida a su educación, su experiencia, condición de titular e indicación de haber tomado o no cursos de la asignatura que enseña. Ambos grupos de variables explican, en conjunto, aproximadamente el 17% de la variabilidad atribuible al segundo nivel (Rho = 7.7% y 9.9% en Lengua y Matemática, respectivamente). El estado del aula afecta positivamente al rendimiento tanto en Lengua (coeficiente 0.028) como en Matemática (0.046). Los alumnos que concurren a aulas con mejor ventilación, iluminación, etc., obtienen mejores resultados que aquellos que lo hacen a aulas en peores condiciones. Por ejemplo, los estudiantes en aulas cuyo estado se ubica en el promedio más una desviación estándar obtienen, en Matemática, 2.18 puntos más que los que pertenecen a aulas con condiciones una desviación estándar por debajo de la media. En Lengua, esta diferencia se reduce a 1.44 puntos. La cantidad de alumnos por curso es una variable que presenta dificultades para su interpretación dentro del modelo utilizado, ya que la misma se refiere al número de alumnos que rindió la prueba ONE, el cual es menor que el tamaño real del curso, en una cantidad desconocida. Ello explicaría la no significación estadística de los coeficientes obtenidos en las regresiones de ambas materias. En el caso de Matemática, se halló que los alumnos que pertenecen a cursos con mejor disciplina logran resultados más elevados en las pruebas estandarizadas; en Lengua este indicador no resultó útil para predecir el rendimiento. La disponibilidad, adecuación, estado y utilización de materiales didácticos afectan positivamente el resultado de la prueba en Lengua, no así en Matemática. Dentro del grupo de variables propias del docente, sobresale su experiencia, medida en años de trabajo en educación. El efecto de un año adicional de experiencia es similar en Lengua y Matemática, incrementando el rendimiento, aproximadamente, en 0.15 puntos. Los docentes con 13 años de experiencia (media del indicador) generan alrededor de 2 puntos más en relación a un docente principiante (comenzando la carrera docente). Hay que tener presente que en la Argentina el salario docente se forma de un básico, más un adicional variable por antigüedad. En este sentido, el indicador podría tomarse como un proxy de la influencia salario, en cuyo caso estaría sugiriendo la presencia de una correlación positiva entre remuneración y rendimiento escolar. Los años de educación del docente tienen un efecto importante en Matemática: cada año agrega 0.6 puntos en el rendimiento de los alumnos en esa materia. En Lengua esta variable no resultó significativa estadísticamente. (iii) Variables explicativas a nivel de la escuela. Para este nivel se consideraron el aprovechamiento y clima escolar, autonomía y participación docente y sector (gestión estatal o privada). Estas variables explican, en conjunto, aproximadamente el 50% de la variabilidad atribuible al tercer nivel (Rho = 21.0% y 21.4% en Lengua y Matemática, respectivamente). Las escuelas con mejor clima escolar generan un ambiente propicio que favorece el aprendizaje de los alumnos. Esto se observa en el signo positivo de los coeficientes estimados en Lengua (0.08) y Matemática (0.06). A este respecto, un establecimiento ubicado en el centro de la escala de esta variable (50), agrega al rendimiento de sus alumnos alrededor de 4 puntos en Lengua y 3 puntos en Matemática, en comparación con otra escuela situada en el rango más bajo de dicha escala. Este hallazgo constituye una confirmación de la importancia que asume el liderazgo de la dirección del establecimiento en la gestión escolar, para mejorar el rendimiento de sus alumnos, en la medida que pueda generar un clima escolar propicio. En el caso del ONE, la variable autonomía y participación docente no resultó estadísticamente significativa, aunque debe señalarse que la información disponible en la ONE plantea algunas dudas sobre la forma en que fue capturada la misma, dificultando la 8 construcción de un indicador apropiado. Por consiguiente, este trabajo no puede aportar elementos concluyentes en torno al debate sobre las ventajas y desventajas de la descentralización, en términos de su impacto sobre los logros escolares. Finalmente, los estudiantes de escuelas de gestión privada logran 5.33 puntos más que los de gestión pública en Lengua, y 4.20 en Matemática. A su vez, la existencia de importantes diferencias sistemáticas entre las escuelas, atribuibles a la localización geográfica (regiones), está reflejada en las correspondientes variables dummy con efectos fijos, que se pueden observar en la tabla 2. 3.2. Resultados correspondientes al LLECE 1997 3.2.1. Descomposición de Varianza La tabla 3 presenta la estimación de las varianzas asociadas a los diferentes niveles, sus errores estándar y los valores Rho correspondientes, para Lengua. Los resultados de la descomposición en términos relativos (Rho) indican que está justificada la utilización del enfoque multinivel. Como se desprende las columnas 2 y 3 de la tabla 3, los valores de las varianzas estimadas de cada nivel resultan estadísticamente significativos al nivel del 5%. Cabe observa, sin embargo, que por tratarse de una muestra más reducida las estimaciones resultan menos precisas que las correspondientes al ONE 2000. Tabla 3. Modelo vacío (ANOVA). Lengua con base de datos de LLECE Nivel Escuela (gestión) Aula Alumno Total Estimación Varianza 89.95 46.91 204.88 341.75 Error estándar 16.86 8.22 5.55 Rho 26.3% 13.7% 60.0% Nota: La cantidad de casos considerados fue de 1172 alumnos, en 163 aulas, y 73 escuela. Fuente: elaboración propia a partir de los datos de LLECE (1997). Las varianzas obtenidas indican que las características del alumno y su hogar explican el 60%. EL 40% restante se divide entre un 13.7% correspondiente al aula, y un 26.6% atribuible a la gestión de los establecimientos. Finalmente, la magnitud comentada de los valores de Rho justifica la conveniencia de aplicar análisis multinivel, por la importancia de aislar la variabilidad de cada cluster, a los efectos de mejorar la calidad de las estimaciones. Se destaca que los resultados que arroja el mencionado estudio internacional confirma la importancia relativa de las variables asociadas con el alumno y su hogar, pero sin embargo el efecto atribuible es, en este caso, algo menor al verificado en el análisis de los datos provenientes del ONE. Por otra parte, de la descomposición del efecto correspondiente a la escuela, se observa que 2/3 del mismo, tanto en el ONE como en el LLECE, son atribuibles a la gestión de las escuelas, y sólo el 1/3 restante al proceso enseñanza-aprendizaje que se desarrolla en el aula. 3.2.2. El impacto de las variables de cada nivel sobre el rendimiento escolar La Tabla 4 presenta los resultados de la estimación del modelo. 9 (i) Variables explicativas a nivel del alumno Con relación a las variables del nivel de alumno y su hogar, los resultados del modelo aplicado a los datos LLECE, que se reportan en la tabla 4, indican que ser varón afecta negativamente los resultados en Lengua, la condición de repitente tiene un fuerte efecto negativo sobre el puntaje obtenido en la prueba, y que el INSE de nivel socioeconómico del hogar afecta positivamente el rendimiento escolar. Las tres variables indicadas resultaron estadísticamente significativas al 5%. Estos resultados están en línea con los reportados en la sección 3.1.2 para el ONE. (ii) Variables explicativas a nivel del curso En el caso de las variables del nivel del curso, sólo resultó estadísticamente significativa la que indica los años de educación alcanzados por el docente, mientras que otras variables tales como los años de experiencia laboral, capacitación en servicio (cursos), o variables propias del aula indicativas de su calidad (estado, materiales, tamaño del curso, etc.) del aula no arrojaron resultados significativos. (iii) Variables explicativas a nivel de la escuela. Cuando se intentó explicar el efecto gestión de los establecimientos, no resultaron significativas las variables incorporadas. Los principales indicadores cuyo efecto fue explorado en ese sentido, fueron: el grado de autonomía y el sector de gestión de la escuela. Tabla 4. Estimación del modelo Multinivel con base de datos LLECE Rendimiento en lengua Coeficiente z Nivel de alumno Propias del alumno Sexo varón=1 -2.7231 -2.95 Repitencia sí=1 -4.4986 -2.95 0.0799 3.21 1.3283 1.33 Propias del hogar INSE Libros posee=1 Nivel del curso Propias del curso Estado del aula -0.0001 0 Disponibilidad de materiales 0.0216 0.61 Número de alumnos -0.9721 -1.23 Número de alumnos al cuadrado 0.0163 1.29 Educación del docente 2.3264 2.46 Experiencia 0.1050 0.54 Esxperiencia al cuadrado -0.0022 -0.61 Cursos -0.1461 -0.83 -0.0016 -0.03 6.7871 1.43 Inse por sector -0.0030 -0.05 Sector por repitencia 10.1819 1.16 Propias del docente Nivel de la escuela Autonomía Sector Privado=1 Interacciones Constante 47.7611 Fuente: elaboración propia a partir de los datos de LLECE (1997). 2.49 Cabe destacar que la variable que intenta medir autonomía tampoco resultó significativa cuando se analizaron los resultados de las pruebas ONE, sugiriendo que los 10 modelos de descentralización educativa ameritan un análisis más profundo acerca de su probable efecto sobre la calidad educativa. Por otra parte, al analizar la muestra del operativo nacional, el sector de gestión (estatal / privado) sí arrojó diferencias significativas. Por el contrario, en las pruebas LLECE el valor del coeficiente respectivo no resultó significativo aunque su magnitud alcanzó un valor similar al obtenido en el análisis del ONE. 4. Conclusiones El trabajo determinó la importancia relativa de los factores propios del alumno y de su hogar y los correspondientes a la escuela, examinando dentro de estos últimos, como dos niveles separados, el proceso de enseñanza aprendizaje a nivel de curso y la gestión del establecimiento escolar. Estos resultados se sintetizan en la tabla 5. Tabla 5: Comparación de la proporción de la variabilidad total en los resultados explicados por cada nivel en ONE 2000 y LLECE 1997 Nivel % de la variabilidad adjudicada al nivel ONE 2000 Gestión de la escuela Aula Alumno Fuente: elaboración propia. LLECE 1997 21.0% 26,3% 7.7% 13,7% 71.3% 60,0% En la explicación del nivel del puntaje obtenido en la prueba individual, este estudio analizó las pruebas ONE 2000 para alumnos de 6º grado y LLECE 1997 para alumnos de 3º/4º grado. Cada uno de estos operativos, independientes entre sí, arrojan resultados similares al momento de desagregar la variabilidad del puntaje obtenido por los alumnos en las pruebas estandarizadas en los niveles alumno-hogar, aula-docente y gestión-escuela. En ambos casos, y contrariamente a los resultados generalizados en la literatura (énfasis en la capacitación docente) al descomponer el efecto escuela, en una parte atribuible al aula y otra a la gestión surgen resultados nuevos, en los cuales se asocian rendimiento escolar con gestión eficiente, ya que esta última representa aproximadamente 2/3 del efecto atribuible a la escuela en la explicación de la variabilidad del puntaje obtenido por los alumnos en las pruebas estandarizadas, mientras el tercio restante se atribuye en los dos operativos analizados al proceso de enseñanza. Resalta entre los hallazgos del trabajo la particularidad anteriormente descripta que diferenciaría los resultados nacionales con los conocidos para otros contextos, básicamente de países desarrollados, donde la gestión escolar pasa a tener un rol relativo muy poco relevante frente a las características del docente, en el debate sobre la calidad. Estos resultados sugieren que en los países en desarrollo, como es el caso de Argentina, la aplicación de políticas especialmente enfocadas en mejorar la gestión, afectarían positivamente la calidad de la enseñanza, mejorando las condiciones en las que trabajan los docentes. Finalmente, el trabajo sugiere que un docente con las características deseadas, puede ver limitada su contribución a la calidad en presencia de una gestión escolar ineficiente. Sin embargo, el trabajo no permitió identificar de manera clara cuáles son los factores que inciden en una gestión escolar eficiente. 11 5. Anexo Cuadro 1: Definiciones de variables a partir del ONE VARIABLES SIGNO TIPO ESPERADO CONSTRUCCIÓN (a partir del cuestionario del alumno y el docente de las bases ONE 2000) REGRESIÓN Nivel del alumno Propias del alumno (+) en Se asignó el valor 0 para las mujeres y 1 para los matemática y Dummy varones. (-) en lengua Se asignó el valor 0 a los alumnos que nunca repitieron Repitencia (-) Dummy grado y 1 a los que alguna vez lo hicieron. Se calculó un índice a partir de qué piensa el alumno 0-100 Actitud hacia la acerca de matemática y lengua, asignando un 1 si estaba Variable centrada (+) (5 materia de acuerdo con afirmaciones positivas hacia la materia y respecto a su media niveles) 0 si estaba en desacuerdo. Nota promedio en la 0-100 Consiste en la nota en el período t-1 del área particular Variable centrada materia en el año (+) (4 que se está analizando. respecto a su media anterior niveles) Se creó el índice a partir de las notas de tres materias, 0-100 Índice de notas en Lengua, Matemática, Ciencias Sociales y Naturales, Variable centrada (10 (+) otras materias respecto a su media exceptuando la correspondiente a la regresión que se niveles) desea realizar. Propias del hogar Se tuvieron en cuenta tres variables "Nivel de instrucción 0-100 Variable centrada Inse (+) del padre", "Posesión de 18 bienes en el hogar", (continua) respecto a su media "Condición de hacinamiento". (*) Se asignó el valor 1 si el alumno tiene hermanos entre 7 Deserción hermanos (-) Dummy y 17 años que nunca fue o que abandonó la escuela, y 0 si no los tiene. Se asignó el valor 1 si el alumno posee algún libro de Libros en el Hogar (+) Dummy matemática o lengua, según el caso, en el hogar y 0 en el caso que no posea libro alguno. 0-100 A partir de la preg. 9 se recodificó con 0 (primario Educación de la (+) (6 incompleto), 1 (primario completo), 2 (secundario madre niveles) incompleto), ..... , 5 (terciario o universitario completo). Nivel del curso Propias del aula 0-100 Se realizó un índice a partir de la opinión del docente en Variable centrada Estado del aula (+) (10 relación a la "iluminación", "calefacción" y respecto a su media niveles) "ventilación" del aula. 0-100 Se creó a través de la pregunta “¿Cuántos de sus alumnos Variable centrada Disciplina del curso (+) (6 son muy disciplinados?” del cuestionario del docente. respecto a su media niveles) Se creó el índice partir de la respuesta del docente acerca Disponibilidad y 0-100 de la disponibilidad de materiales en la escuela, el estado Variable centrada (+) estado de materiales (continua) de los mismos y con qué frecuencia son utilizados por el respecto a su media docente. Indica la cantidad de alumnos que rindieron las pruebas Cursos con 10 Número de alumnos (+) (1-60) del ONE de una misma sección de un determinado alumnos o más y 45 por curso establecimiento. alumnos o menos. Número de alumnos Se elevó la variable anterior al cuadrado con el fin de ver por curso al (-) (1-3600) si había una cantidad óptima de alumnos por curso. cuadrado Propias del docente Educación del Número de años de estudio con un mínimo de 12 (si no (+) (12-17) docente tiene título) hasta un máximo de 17 (título de Profesional Sexo 12 VARIABLES SIGNO TIPO ESPERADO Experiencia del docente (+) Experiencia del docente al cuadrado (-) Titularidad (+) Cursos de la asignatura Propias de la escuela (+) Sector (+) Clima escolar (+) Autonomía y participación docente (+) Propias de la región Interacciones Inse por sector Sector por repitencia Deserción por repitencia (-) ? ? El efecto se potencia CONSTRUCCIÓN (a partir del cuestionario del alumno y el docente de las bases ONE 2000) Universitario). REGRESIÓN 0.5-35 (8 Se refiere a la antigüedad en la profesión de docente niveles) 0.25-1225 Se elevó la variable anterior al cuadrado con el fin de ver (8 si con una cierta cantidad de años de experiencia la niveles) enseñanza comenzaba a empeorar. Se asignó el valor 1 si el docente era titular y 0 si no lo Dummy era. Se asignó el valor 1 si el docente realizó cursos Dummy específicos de la materia que dicta y 0 en caso contrario. Se asignó el valor 1 si el establecimiento al que concurre Dummy el alumno era de gestión privada y 0 si era de gestión pública. Índice creado a partir de la respuesta del director acerca 0-100 de atrasos de los alumnos, ausentismo, vandalismo, (continua) robos, agresiones entre alumnos y de alumnos a profesores, etc. Índice creado a partir de la respuesta del director acerca 0-100 de la participación de los docentes en la toma de (continua) decisiones (aspectos organizativos, aspectos relacionados con la tarea docente, etc.). Regiones Cuyo, NEA, NOA, Pampeana, Patagonia y Dummies Partidos del GBA. Se construyeron con referencia a Capital Federal. Producto de las variables indicadas. Producto de las variables indicadas Variable centrada respecto a su media Variable centrada respecto a su media Producto de las variables indicadas Producto de las variables indicadas Nota: (*) La metodología para la construcción del Inse se encuentra en el trabajo “Un índice de nivel socio-económico de los hogares para aplicar a un modelo explicativo del rendimiento escolar”. Fuente: Elaboración propia 13 Cuadro 2: Variables captadas en el ONE 2000 y en LLECE 1997 Variables explicativas del rendimiento escolar Nivel del alumno Propias del alumno Sexo Repitencia Actitud hacia la materia Nota promedio en la materia en el año anterior Índice de notas en otras materias Asistió a jardín de infantes? Integración social en el grado Comprensión de las explicaciones del docente Comprensión comparado con el resto del grado Lecturas la semana previa al test Creencias sobre la realización de estudios superiores al nivel primario Expectativas de resultado en el test Propias del hogar Índice de Nivel socioeconómico (INSE)** Frecuencia de revisión de tareas / ayuda en las tareas escolares Actividades de lectura al niño desde pequeño Educación hermanos Libros en el Hogar Conformidad de la madre Expectativas acerca del máximo nivel educativo que alcanzará el niño Conformidad de la familia con la escuela Nivel del curso Propias del aula Estado del aula Disciplina del curso Disponibilidad y estado de materiales Número de alumnos por curso* Número de alumnos por curso al cuadrado Propias del docente Educación del docente (años de escolaridad) Experiencia del docente (años de experiencia como docente)*** Experiencia del docente al cuadrado Titularidad Expectativas del docente acerca del máximo nivel educativo que alcanzarán la mayoría de los alumnos de ese curso Agrado por enseñar la asignatura evaluada Cursos de la asignatura Sexo Edad Propias de la escuela Sector Indicadores de violencia en la escuela Autonomía de la escuela para tomar decisiones Nivel socioeconómico promedio de los niños que asisten Comodidades de la escuela Propias de la región Cuyo Pampeana NEA NOA Patagonia Partidos del GBA Tamaño de la localidad donde está la escuela Interacciones Inse por sector Sector por repitencia Deserción por repitencia Fuente: Elaboración propia en base a cuestionario ONE y LLECE 14 Medibles en: ONE LLECE X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X Cuadro 3: Definiciones de variables a partir del Estudio LLECE Variable CONSTRUCCIÓN a partir de los cuestionarios de LLECE –alumnos, tutores, maestros, directores y establecimientos- Propias del alumno Sexo Variable dicotómica, con valor 1 si el alumno es varón y 0 si es mujer Repitencia Variable dicotómica, con valor 1 si el alumno repitió algún grado antes y 0 si nunca repitió Propia del hogar INSE Índice de nivel socioeconómico. Variable cuantitativa con valores entre 0 y 100, construida como promedio del nivel de educación del respondente de la encuesta de tutores (97% son madres o padres / padrastros de los alumnos) y sus respectivos cónyuges. Libros en el hogar Variable dicotómica, con valor 1 si posee libro de texto de español para usar el sólo, 0 en caso contrario Propias del aula Estado aula Variable cuantitativa con valores de 0 a 100, donde 0 indica que el estado de todas las dimensiones indagadas (Iluminación del aula, temperatura, higiene, seguridad y aislamiento acústico) fueron evaluadas como inadecuadas por el maestro. El puntaje registra valores intermedios para casos en que un número menor de las dimensiones fueron evaluadas como Adecuadas. El puntaje 100 corresponde a los casos en que las 5 dimensiones fueron consideradas Adecuadas. Disponibilidad de materiales Variable cuantitativa con valores de 0 a 100, donde se consideran los materiales didácticos disponibles (biblioteca de aula, calculadoras, juegos didácticos, libros de textos, computadora, televisión) Cantidad de alumnos total Total de alumnos inscriptos en el curso. del curso Cantidad de alumnos total Total de alumnos inscriptos en el curso al cuadrado. del curso al cuadrado Años de escolaridad del maestro Cantidad de años, calculado a partir de lo declarado en título alcanzado y tipo de Años de experiencia del maestro Años de experiencia del maestro al cuadrado Cursos realizados Años de experiencia como maestro. Propias de la escuela Sector de gestión Grado de autonomía de la escuela Interacciones Interacción entre INSE y sector Interacción entre Repitencia y sector establecimiento donde estudió. Años de experiencia como maestro al cuadrado. número de cursos destinados a mejorar su práctica docente que realizó en los últimos 3 años. Variable dicotómica, con valor 1 si la escuela es de gestión privada, 0 si es pública. Variable cuantitativa entre 0 y 100 que indica el grado de autonomía en la escuela (0 ninguna; 100 “en la escuela se decide la mayor parte de las cosas”). Producto de las variables INSE y sector Producto de las variables Repitencia y sector Fuente: Elaboración propia 15 Referencias bibliográficas Boissiere, M. (2004) “Rationale for Public Investment in Primary Education in Developing Countries,” World Bank Independent Evaluation Group (IEG). Brik A, Raudenbush, S. W. (1992). Hierarchical Linear Models: Applications and Data Analysis Methods. Sage Publications, California. Brik A, Raudenbush, Stephen W.; Seltzer, M.; Congdon, Richard T. (1986). An Introductionto HLM: Computer Program and User´s Guide. University of Chicago, Chicago. Cervini R (2002). "Desigualdades en el logro académico y reproducción cultural en Argentina. Un modelo de tres niveles". Revista Mexicana de Investigación Educativa V. 7, Pp. 445-500. Cervini R (1999). "Calidad y equidad en la educación básica en Argentina". Documento de trabajo. Ministerio de Cultura y Educación de la Nación, Argentina. Gertel, H.; Giuliodori, R.; Herrero, V. ; Fresoli, D; Vera, M. L. y Morra, G. (2006). "Análisis multinivel del rendimiento escolar al término de la educación básica en Argentina". Anales de la XLI Reunión de la AAEP. www.aaep.org.ar Goldhaber D.D: and Brewer D.J. (1997) “Why Don´t Schools and Teachers Seems to Matter? The Journal of Human Resources XXXII (3) Summer: 505-523. Goldstein H (1986). Multilevel Mixed Linear Model Analysis using Iterative Generalized Least Squares. Biometrika V. 73, Pp. 43-76. Hanushek, E. A. & Woessmann, L., (2007). "The role of education quality for economic growth," Policy Research Working Paper Series 4122, The World Bank. Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación UNESCOOREALC (1998). Primer Estudio Internacional Comparativo sobre Lenguaje, Matemática y Factores Asociados en Tercero y Cuarto Grado. Ed. Andros Ltda.. Santiago de Chile. Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación UNESCOOREALC (2001). Primer Estudio Internacional Comparativo sobre Lenguaje, Matemática y Factores Asociados en Tercero y Cuarto Grado. Informe Técnico. Ed. Andros Ltda. Santiago de Chile. Mizala, A., Romaguera, P.(2000), "Determinación de Factores Explicativos de los resultados escolares en Educación Media en Chile", Serie Economía N° 85, Centro de Economía Aplicada, Dpto. de Ingeniería Industrial, Universidad de Chile. Monette G, Shao, Qing and Kwan, E. (2001). "A First Look at Multilevel Models". P 96. Institute for Social Research. Rowe K.J, Hill, P. W., Holmes-Smith, P. (1995). "Methodological Issues in educational Performance and School Effectiveness Research: A Discussion with Worked Examples". Australian Journal of Education V. 39 Nº 3, pp. 217-248. Singer JD (1998). Using SAS PROC MIXED to Fit Multilevel Models, Hierarchical Models, and Individual Growth Models. Journal of Educational and Behavioral Statistics V. 24, Pp. 323-355. Tenti Fanfani (2001) El rendimiento escolar en la Argentina. Buenos Aires Editorial Losada. Wenglinsky H. (1998). "School District Expenditures, School Resources and Student Achievement: Modeling the Production Function". Education Testing Service, Washington. Disponible en web. 16