¿Cómo mejorar la calidad de la educación inicial de

¿Cómo mejorar la calidad de la educación inicial de

¿Cómo mejorar la calidad de la educación
inicial de los niños vulnerables de Chile?
Evidencia del programa Un Buen Comienzo
13 de marzo de 2015
¿Cómo mejorar la calidad de la educación
inicial de los niños vulnerables de Chile?
Evidencia del programa Un Buen Comienzo
Marcela Marzolo
Perla Paola Chávez Spuler
Fundación Educacional Oportunidad, Chile
Felipe Godoy
María Francisca Romo
Ernesto Reviño
CPCEU, Universidad Diego Portales, Chile
EJE TEMÁTICO: Uso e impacto de los resultados de las evaluaciones de docentes y directivos.
INTRODUCCIÓN
Un Buen Comienzo (UBC) es un programa de desarrollo profesional docente para educadores y técnicos en párvulo que
busca contribuir a disminuir el impacto de las diferencias socioculturales en la educación inicial de niños y niñas que
viven en situación de vulnerabilidad social en Chile, a través de un trabajo integrado en cuatro ámbitos: desarrollo del
lenguaje y socioemocional, salud y trabajo con familia.
UBC comenzó a implementarse en 2008 como un programa de intervención cuyo impacto fue evaluado a partir de un
diseño experimental, aleatorizado y controlado. En este sentido, la recomendación siempre fue evitar salirse del esquema
diseñado inicialmente para no sesgar las estimaciones de resultados. La implementación fue realizada durante dos años
en seis comunas de la Región Metropolitana, y alcanzó a alrededor de 2000 niños de prekinder y kínder. Dicha experiencia finalizó en 2011, encontrándose un impacto moderado y decreciente con el tiempo en la calidad de las interacciones
pedagógicas, y ausencia de impacto significativo en los aprendizajes de los niños. A continuación, en los siguientes gráficos, se muestran el impacto en interacciones pedagógicas (Gráfico 1), el impacto en el desarrollo del lenguaje (Gráfico 2)
y en desarrollo socioemocional (Gráfico 3), luego de dos años de intervención.
Gráfico 1 Impacto en Interacciones, luego de 2 años de intervención.
2
Gráfico 2 Impacto en desarrollo del lenguaje, luego de 2 años
Gráfico 3 Impacto en desarrollo socioemocional, luego de 2 años de intervención
Con el tiempo y lo aprendido de la primera versión, el modelo se ha ido ajustando, principalmente con la intención de dar sustentabilidad y escalabilidad a la intervención. Con este propósito, se diseñó e implementó una segunda
versión del programa, adoptando la metodología de mejoramiento continuo y potenciando el trabajo con los equipos
directivos. El modelo de mejoramiento continuo se implementó por primera vez el año 2011 en la Sexta Región de Chile,
en las comunas de Rancagua, Codegua y Chimbarongo. El siguiente trabajo describe el diseño y los resultados de esta
versión del programa.
EL MODELO DE MEJORA CONTINUA
3
La Mejora Continua en UBC tiene dos pilares principales: la colaboración entre distintos actores, y el proceso de mejoramiento cíclico en base a la recolección y trabajo con evidencia empírica. El primer pilar se basa en la propuesta del Insti-
tute for Healthcare Improvement (IHI), y el segundo, en el modelo Datawise, desarrollado por la Facultad de Posgrado de
Educación de la Universidad de Harvard. A continuación se describe con algo de profundidad cada pilar.
El modelo de IHI
El modelo colaborativo de IHI contiene dos componentes clave. En primer lugar, se definen instancias colaborativas,
entendidas como una estructura de aprendizaje en la que participan diversas entidades que comparten sus experiencias
y aprendizajes para lograr objetivos comunes. En el caso de Un Buen Comienzo, se convocó al trabajo colaborativo a las
escuelas participantes del proyecto, autoridades del nivel local y central, y expertos en las temáticas.
Esta instancia contempla un primer momento, en donde los expertos definen los temas centrales de trabajo (en este
caso, los cuatro ejes centrales del programa), luego se define la carta de navegación o “Charter”, en la que se define los
objetivos del programa, y los conductores tanto primarios como secundarios que orientan las acciones del proyecto que
permitirán alcanzar esos objetivos. Esta declaración guía resume lo que se espera realizar con la iniciativa de mejoramiento, y responde a las tres preguntas básicas del modelo: ¿Qué intentamos realizar?; ¿Cómo sabremos que un cambio
es una mejora? , ¿Qué cambios nos llevarán hacia el mejoramiento?
El tercer momento del modelo de colaboración está compuesto por una serie de sesiones de aprendizaje con períodos de acción entre cada una. En ellas, participan los equipos que lideran el proceso de mejora en cada escuela quienes,
a través de presentaciones plenarias, pequeñas discusiones de grupo y reuniones de equipo, tienen la oportunidad de:
dar a conocer la carta de navegación (primera sesión); conocer los resultados de las pruebas en terreno; recopilar nueva
información sobre el tema y la mejora de procesos de los colegas y expertos; compartir información con otras escuelas;
desarrollar planes de mejora detallados para su organización.
Los períodos de acción entre sesiones de aprendizaje son parte fundamental del programa. Durante éstos, los equipos
trabajan en sus respectivas salas de clase, realizando pruebas de cambio y recogiendo datos para evaluar si ha habido
mejora. De acá se desprende el segundo componente clave del modelo IHI: las pruebas de cambio y el ciclo de mejora
PHEA (Planificar-Hacer-Estudiar- Actuar).
Para desarrollar su trabajo, los equipos utilizan el ciclo de mejora PHEA (Planificar-Hacer-Estudiar- Actuar) desarrollado por Associates in Process Improvement (Langley et al. 2009). Este ciclo se caracteriza por trabajar con objetivos
específicos, medibles a través del tiempo y por definir cambios claros que resultarán en la mejora esperada. Por último,
estos deben ser evaluados a través de una serie de pruebas de cambio, que permiten a los equipos aprender a aplicar una
idea de cambio en sus propias salas (IHI 2003, Langley et al. 2009).
Estas pruebas de cambio se llevan a cabo de manera cíclica: en primer lugar, los equipos planifican la prueba de
cambio. Luego, al probarla, toman en cuenta las características culturales y organizacionales propias. En un segundo
momento, deben monitorear su proceso mediante mediciones a través del tiempo y estudiar los resultados para determinar cómo es posible mejorar. Así, en base a lo aprendido, actúan para implementar los cambios de manera permanente
o para mejorar los cambios que necesitan un mayor trabajo. Este proceso continúa de manera serial a través del tiempo,
refinando los cambios en cada nuevo ciclo.
El Modelo Datawise
4
Datawise es un modelo que permite organizar el trabajo de mejora educativa, donde la base es la toma de decisiones en
base a evidencia empírica. Consta de tres grandes fases, cada una con sus pasos más específicos y abordables.
En la primera fase, de “preparación”, la comunidad debe prepararse para el trabajo con datos. En la segunda fase, de
“indagación”, comienza el trabajo con la gran variedad de datos con la que cuentan los establecimientos educacionales. Se
destaca la necesidad de utilizar estos datos y analizarlos de manera profunda para detectar y poder enfrentar los posibles
problemas, sin quedarse en el estancamiento de una primera revisión que indica resultados negativos o resultados relativamente buenos. Una vez que se tienen estos datos, es necesario que los equipos trabajen en entender los mecanismos
subyacentes a éstos, es decir, entender por qué se obtienen estos resultados. Para esto, es necesario el involucramiento
activo de los docentes y equipos directivos, la utilización constante de observaciones de aula, y el análisis de los trabajos
y tareas de los niños. En otras palabras, se trata del análisis conjunto de la comunidad de todos los datos que entreguen
pistas para entender los resultados obtenidos.
La última fase, es la de “Actuar”, en la que se desarrolla un plan de mejora, se planifica cómo se evaluará ese plan,
para luego actuar y volver a evaluar.
METODOLOGÍA
Método
Dada la naturaleza del tipo de intervención de la mejora continua (un formato más adaptable a los contextos, con dosis
menos prescritas y estandarizadas) y la forma de selección de las escuelas (ausencia de aleatorización), es que no fue
posible evaluar el impacto utilizando un diseño experimental, aleatorizado y controlado, como en la primera versión
del programa.
El grupo de comparación se construyó a partir de las salas del grupo de control de la primera versión, todas ubicadas
en la Región Metropolitana, por lo que fue necesario hacer ajustes para que los grupos fueran estadísticamente comparables. Para esto, se utilizó la estimación de ponderadores por probabilidad inversa (inverse probability weighted estimators) (Imbens & Wooldridge, 2008), técnica que pondera cada caso por su probabilidad de participación en el programa1.
Los resultados se calculan utilizando un modelo de regresión por mínimos cuadrados ordinarios, con errores estándares robustos (Khandker, Koolwal & Samad, 2010). Esto fue necesario dado que se asume que los resultados de los niños
de una misma sala no son independientes entre sí. Es necesario, por tanto, introducir correcciones en el cálculo de los
errores agrupando los casos por sala.
Muestra y unidad de análisis
En el siguiente cuadro se resume la información de la muestra utilizada para el estudio.
Tabla 1 Resumen de la muestra del estudio
Grupo de intervención
Grupo de control
N muestral
361 niños, 27 salas, 26 escuelas
843 niños, 38 salas, 27 escuelas
Comunas
Rancagua, Chimbarongo, Codegua
(VI REGIÓN)
Cohorte 1: Peñalolén
Cohorte 2: Maipú y Lo Prado
Cohorte 3: Estación Central, Pudahuel y San Ramón.
(REGIÓN METROPOLITANA)
Variables de interés e instrumentos
Para medir los resultados en desarrollo del lenguaje, se utilizó la batería Woodcock- Muñoz (Woodcock, Muñoz, Ruef &
Alvarado, 2005). A su vez, para medir desarrollo socioemocional, se diseñó un cuestionario socioemocional para ser contestado por la educadora de cada niño (Yoshikawa et al, 2012).
Los datos de interacciones de aula fueron recogidos a partir del instrumento Class (Pre-K), The Classroom Assessment Scoring System (Pianta, La Paro & Hamre, 2008). Este instrumento consiste en una rúbrica que califica con puntajes
Por razones de espacio, se omitirán de esta propuesta todas las fórmulas, tanto de los ponderadores como del modelo de regresión utilizado,
pero serán expuestos el día de la presentación en caso de ser necesario.
1
5
de 1 a 7, interacciones pedagógicas entre el educador y los estudiantes a partir de tres grandes dominios: Apoyo Emocional, Organización de la Sala y Apoyo Pedagógico.
Los datos de variables de contexto fueron recogidos a través de un Cuestionario para padres y apoderados, diseñado
específicamente para la evaluación de impacto de la primera versión de Un Buen Comienzo (Yoshikawa et al., 2012),
y luego adaptado para la versión de Mejora Continua.
Todas las variables se detallan en la Tabla2:
Tabla 2 Variables del modelo final de regresión. Elaboración propia.
Variables de Contexto
Variables resultado nivel niño
Variables de sala
Previsión de Salud (Dummy set)
Vocabulario sobre dibujos (WM)
Apoyo emocional CLASS
Situación laboral de la madre
Id. letras y palabras (WM)
Organización de la sala CLASS
Madre ha estado en la sala o no
Dictado (WM)
Apoyo Pedagógico CLASS
Educ. de la madre (Dummy set)
Comprensión de textos (WM)
Comportamiento externalizante
Comportamiento pro-social
Atención
RESULTADOS
A continuación se presentan los tres tipos de resultados obtenidos: calidad de interacciones pedagógicas, desarrollo
del lenguaje y desarrollo socioemocional.
Resultados en la calidad de las interacciones de aula.
Luego de dos años de intervención, el programa logra impactos de gran tamaño en los tres dominios de Class, alcanzando
impactos promedio de una desviación estándar. Vale la pena remarcar los importantes avances logrados por el modelo de
mejora continua en términos de interacciones pedagógicas, ya que esto da cuenta de que un modelo menos prescriptivo
y más co-responsable es más efectivo en mejorar las prácticas.
Gráfico 4 Calidad de las interacciones de aula después de dos años de intervención. Elaboración propia.
Significancia estadística: ~ = .10, * = 0.05, ** = 0.01, *** = 0.001
6
Resultados en el desarrollo de los niños: Lenguaje y Socioemocional
Los resultados expuestos controlan por la línea de base y los puntajes de base de Class de los tres dominios de interés
(Apoyo emocional, Organización del aula y Apoyo Pedagógico). Se observa que el programa tuvo impacto positivo en la
dimensión de Identificación de Letras y Palabras, no así en las otras tres dimensiones evaluadas. Incluso, en Escritura
emergente y Comprensión se encuentra un efecto contrario al esperado, aunque no es estadísticamente significativo.
Los resultados estandarizados muestran que el avance en la dimensión mencionada es de 0,38 desviaciones estándar,
mientras que los otros efectos, no significativos, no alcanzan a superar el 18% de una desviación estándar.
Los resultados muestran que en general el programa fue más efectivo en el desarrollo socioemocional de los niños,
particularmente en las dimensiones de “Comportamiento pro-social” (0,43 desviaciones estándar) y “Atención” (0,28
desviaciones estándar).En el caso de “Atención”, los resultados deben verse con más mesura, ya que al controlar por las
variables de interacciones de aula, el efecto sólo es significativo al 10%.
Gráficos 5 y 6 Resultados en Desarrollo del Lenguaje y desarrollo socioemocional
después de dos años de intervención. Elaboración propia.
Significancia estadística: ~ = .10, * = 0.05, ** = 0.01, *** = 0.001
CONCLUSIONES Y DISCUSIÓN
7
Los resultados muestran que la versión de Mejora Continua de UBC tuvo grandes impactos en la calidad de la enseñanza
de las educadoras en todos los dominios: emocional, organizacional y pedagógico. Pero esto no necesariamente se traspasó de igual manera a los resultados de aprendizajes de los niños/as.
En el caso del desarrollo socioemocional, se encuentra impacto positivo y significativo en comportamiento prosocial y
atención. Esto quiere decir que al finalizar kinder, los niños participantes del programa tienden a interactuar más de manera positiva con otros niños/as, cooperar en las actividades y juegos y ayudar al resto de sus compañeros. Así también,
son más capaces de seguir atentamente indicaciones y concentrarse en las actividades de la escuela.
En el caso del desarrollo del lenguaje, los resultados se encuentran en la dirección correcta, pero no son tan buenos
como se esperaba. Solo en identificación de letras y palabras se encuentra un efecto significativo y robusto atribuible al
programa, no así en vocabulario, comprensión de textos y escritura emergente.
Algunas posibles explicaciones para estos resultados son, en primer lugar, metodológicas. En el caso de comprensión
de textos, la prueba utilizada mide comprensión de textos y no comprensión oral, que es en lo que se centra fundamentalmente el programa, de acuerdo a la edad de los niños/as. También existen explicaciones y sugerencias respecto de la propia
intervención. Por un lado, es necesario aumentar la dosis de la enseñanza de vocabulario, la cual debe ser constante
y en diversos contextos, no solo en la actividad específica de vocabulario. Por otro, es necesario fijar la atención en la relación entre desarrollo del lenguaje y desarrollo socioemocional y cognitivo. Los resultados mostraron avances en el comportamiento prosocial y atención, pero no necesariamente en las funciones cognitivas y ejecutivas de base del lenguaje,
como la memoria trabajo, flexibilidad cognitiva, etc. Es posible que este sea el primer paso por donde se deba partir, para
tener efectos en las habilidades de lenguaje más complejas, como la comprensión.
Ahora bien, ¿Qué aprendemos sobre los modelos de desarrollo profesional docente a partir de estos resultados?
En primer lugar, es necesario considerar los bajos niveles de apoyo pedagógico con que parten las educadoras de párvulo. Si bien los resultados mostraron un avance significativo del grupo UBC en comparación al grupo de control, ambos se
encuentran en niveles bajos de calidad, lo que puede explicar que los resultados de los niños/as no sean los esperados.
Este es uno de los desafíos más importantes para los programas de desarrollo profesional docente y que deben ser considerados a la hora del diseño e implementación de políticas en este ámbito.
En segundo lugar, si bien ambos modelos mostraron algún resultado positivo, el modelo de Mejora Continua fue
considerablemente más efectivo que la primera versión. Una propuesta como esta, donde las educadoras se responsabilizan de elegir estrategias y probar cambios dentro de un marco estructurado como lo es la toma de decisiones basada en
evidencia, es mucho más atractiva y motivante para el cuerpo docente. En otras palabras, la apuesta por un programa que
genera capacidades en sus docentes, más que instaurar propuestas “a prueba” de ellos, puede llevar a mejores resultados.
Por todo esto, al momento de elegir modelos de mejoramiento profesional docente, es necesario preguntarse qué tipo
de sistema escolar queremos como sociedad, uno que dé resultados en el corto plazo, pero con la constante amenaza de
su poca sustentabilidad en el tiempo; o uno con resultados sustentables, que requiere más trabajo para su instauración,
pero que permite formar profesionales que son capaces de tomar sus propias decisiones pedagógicas, a los cuales la
sociedad puede confiar a sus estudiantes.
REFERENCIAS
Imbens, G. M., & Wooldridge, J. M. (2008). Recent developments in the econometrics of program evaluation (No. w14251).
National Bureau of Economic Research.
Khandker, S. R., Koolwal, G. B., & Samad, H. A. (2010). Handbook on impact evaluation: quantitative methods and practices.
World Bank Publications.
Pianta, R. C., La Paro, K. M., & Hamre, B. K. (2008). The Classroom Assessment Manual, pre-K. Baltimore, MD: Brookes
Woodcock, R. W., Muñoz-Sandoval, A. F., Ruef, M., & Alvarado, C. G. (2005). Woodcock Muñoz Language Survey-Revised.
Itasca, IL: Riverside Publishing.
Yoshikawa et al. (2012). Un Buen Comienzo: Post-test Impact report of an Iniciative to Improve the Quality of Preschool
Education in Chile. Harvard Graduate School Of Education and Centro de Políticas Comparadas de Educación,
Internal Draft.
8