Presentación de PowerPoint

PISA a examen: ¿Evento
mediático, nueva forma de
gobernanza, o propuesta
de cambio escolar?
Miguel A. Pereyra
[email protected]
Universidad de Granada
“Congreso Internacional de Educación. Evaluación”,
Universidad Autónoma de Tlaxcala, 25 de septiembre, 2014
Profesorado. Revista de Currículum y Formación de Profesorado
http://www.ugr.es/~recfpro/
Profesorado. Revista de Currículum y Formación de Profesorado
http://www.ugr.es/~recfpro/
PISA, el Programme for International Student Assessment (Programa internacional para la evaluación de los
estudiantes) de la OCDE se ha convertido en algo más de
una década en el más avanzado y complejo sistema de
evaluación internacional, cuyo impacto mediático es
apabullante. Cuando se publican sus resultados, un año
después de haber pasado las pruebas a escolares de 15
años, edad próxima a su terminación de la escolaridad
obligatoria y en su transición al mundo laboral, se produce un “terremoto mediático” (generado por una estrategia de diseminación de resultados extremadamente
proactiva por parte de la OCDE), que básicamente consiste
en divulgar en los media los aspectos más generales de las
pruebas pasadas y la competitividad por resultados entre
los países intervinientes. Un fenómeno que en realidad
debería evitarse porque el instrumento es elaborado o
producido con minuciosidad y base científica importante
como para enfocar sus resultados más elaboradamente.
Contenido
1. Cambios en la formación y la escolarización y
la gobernación de los sistemas educativos
2. Contexto de las Evaluaciones Internacionales
3. Los antecedentes del PISA: la IEA
4. La OCDE y el programa PISA
• Qué innovaciones aporta PISA
• Objetivos y características
• Resultados
5. Críticas al programa PISA
, que
son una creación del siglo XIX ligada a la idea del Estadonación surgida con la Revolución Francesa y cuyos antecedentes se encuentran en la Paz de Westfalia de 1648 que dio
paso a un nuevo orden en Europa basado en el concepto de
soberanía nacional. Con la configuración de los Estadosnación, las políticas que comenzaron a desarrollarse se plantearon transformar a los habitantes de las nuevas soberanías
en sujetos legales con lenguajes e historias similares. Entonces la idea de la nación no era un proyecto racionalista, como
lo fue más adelante, sino uno IDEALISTA Y EMOCIONAL, que
inspiraba una identificación casi religiosa con la nación (la “comunidad imaginada”, como conceptualizó Bendic Anderson).
► La escuela y el magisterio fueron concebidos como
una “misión” en la que primaban la moralización y la
formación cultural y del carácter de los futuros ciudadanos y ciudadanas.
A partir de la Primera Guerra Mundial − y sobre todo
de la Segunda− se va a consolidar un programa transnacional
de ingeniería social, que desplazó las visiones ideaistas y
emocionales de la educación nacionalista por una visión
esencialmente ajena a la tradición, la moraleja y la historia. Se
puso el énfasis en la indiferencia cultural de las poblaciones y
en los principios racionales y lógicos, haciendo uso asimismo
de las técnicas de planificación social, la psicología cognitiva
y la comprensión social de la ciencia. El objetivo final era
lograr de un mundo armónico internacionalmente vinculado
(global) que compitiera con el “bloque soviético”) ► se generó
una especie de creencia mundial en la salvación a través de
la tecnocracia y la educación científica (con sus disciplinas
escolares básicas como las matemáticas y las ciencias); una
educación científica orientada al futuro, que se puede aplicar
de manera universal al mismo tiempo que posibilita un sistema de control que funciona de manera intrínsecamente
porque es interno y no impuesto desde el exterior (Daniel
Tröhler, 2012 y 2013).
► Cambio en la tradicional dicotomía sobre
el concepto de Educación
Educación como formación y desarrollo del individuo
versus
Educación como medio de socialización de
las nuevas generaciones en las demandas del capitalismo
________________________________________________________________
En la actualidad,
dentro del capitalismo cognitivo globalizado
► EDUCACIÓN PARA LAS COMPETENCIAS
Y
► EDUCACIÓN PARA EL DESARROLLO INDIVIDUAL EN
CONTEXTOS LOCALES CON UNA DIMENSIÓN GLOBAL
12
“Armonizar el globo educativo. Política
mundial, rasgos culturales y los desafíos
de la investigación educativa”
Daniel Tröhler
(Profesorado. Revista de Currículum y Formación de
Profesorado, 2009)
http://www.ugr.es/~recfpro/rev132FIRINV1.pdf
Estamos inmersos en un proceso de armonización del globo educativo, en
una política educativa mundial. PISA representa su más distinguido
instrumento. Esta nueva gobernación mundial tiene sus raíces en el medio
cultural del contexto de la Guerra Fría. El fracaso de las iniciativas
educativas condujo a un nuevo modelo de gobernación en el cual se estandarizaron los exámenes a gran escala surgidos como el instrumento
principal en la gobernación educativa, como PISA. Mi tesis es que la idea
de gobernación global está arraigada en una cultura específica, en la que
los instrumentos desarrollados corren el riesgo de afectar sólo a estructuras
formales. Así, PISA presenta señales prominentes en la armonización del
globo educativo; ofrece un nuevo acercamiento para considerar los
resultados de la escuela, utiliza cómo sus evidencias base las experiencias
de los estudiantes a través del mundo más que las del contexto cultural
específico de un solo país.
Contexto de las Evaluaciones Internacionales






Una historia de más de 50 años
Escenario Guerra fría de fondo.
Preocupación por conocer y analizar los SE otros
países.
Gran preocupación en EEUU, por el adelanto de la
URSS en la carrera espacial.
 Viabilidad de los currícula de Matemáticas y
Ciencias
Necesidad de medición del rendimiento educativo a
escala internacional y eficacia de las escuelas.
A mediados de los años cincuenta reunión de un grupo
de expertos en medición escolar (e.g. Bloom, Thorndike,
Husén, Mialaret, etc.).
Contexto de las Evaluaciones Internacionales

Preocupación por la viabilidad de éxito de las comparaciones
internacionales del rendimiento educativo.

Creación de la IEA (International Association for the Evaluation
of Educational Achievement), en 1960, por parte de académicos
del mundo de la psicología y la educación.
 La IEA es una institución no gubernamental de carácter transnacional integrada por:
• Asociaciones de investigación internacionales.
• La cooperación de agencias de evaluación nacionales (como el
Ministerio de Educación en España), de más de 50 países.
• Sede actual en Amsterdan (Holanda), el Centro de Datos
(Hamburgo) y el Centro de Estudios Internacionales, en el
Boston College (que se encarga de los proyectos TIMSS y PIRLS
a los que luego nos referiremos)
Contexto de las Evaluaciones Internacionales
Objetivos de la IEA:
• Investigación comparada sobre la dimensión
internacional del rendimiento educativo.
• Laboratorio mundial de recogida de datos,
introducción de indicadores y variables, de los
diferentes sistemas educativos.
• Obtención de datos comparables para mejorar los
sistemas educativos.
• Aportar datos sobre tendencias del rendimiento del
alumnado en Comprensión Lectora, Matemáticas y
Ciencias.
IEA
(International Association for the Evaluation of Educational Achievement)
PIRLS
(Estudio Internacional de Progreso en Comprensión Lectora / Progress
in International Reading Literacy Study)
TIMSS
(Estudio International de Matemáticas y Ciencias / Trends in
International Mathematics and Science Study)
ICILS
(Estudio Internacional sobre Competencia Digital / International
Computer and Information Literacy Study)
ICCS
(Estudio Internacional sobre Educación Cívica y Ciudadana /
International Civic and Citizenship Education Study)
TEDS-M
(Estudio Internacional sobre la Formación Inicial del Profesorado de
Matemáticas / Teacher Education and Development Study in
Mathematics)
Destinatarios
Periodicidad
Última
realizada
4º ens.
primaria
5 años
2011
4º ens.
primaria
4 años
2011
2º ens.
secundaria
Primera
vez en
2013
2º ens.
secundaria
2009
Futuros
profesores de
Primaria y
Secundaria
Primera
vez en
2008
Contexto de las Evaluaciones Internacionales
Las evaluaciones a gran escala y a nivel internacional se han
convertido en:

una especialización en sí misma;

un campo científico enteramente estructurado, con sus reglas
de funcionamiento, de legitimación, de control y de reconocimiento.
 Motivo de su aparición fue la preocupación política inicial por
la insuficiencia de los datos estadísticos de la UNESCO y la
consolidación del proyecto de la OCDE Education at a glance
(Panorama de la educación), inicia-do en los años 80 del pasado siglo, y cuyo primer volumen aparece en 1992.
 Los estudios de la IEA desde 1962 han constituido un campo
de pruebas.
.
Recordemos que la OCDE es:
 Una organización de cooperación internacional con el
objetivo de coordinar políticas económicas y sociales
creado en París en 1960.
 En origen un think tank (fábrica de ideas) que poseen los
países que la forman como una fuente de información
comparativa, de análisis y de previsiones con vistas al
fortalecimiento de la cooperación multilateral.
 Formada por 34 países miembros, que representan el
80% del PIB mundial.

Uno de los foros mundiales más influyente sobre temas
de relevancia internacional como economía, educación y
medio ambiente.
Recordemos que la OCDE



A partir de los años 80 del pasado siglo ha ido conciliando un
papel casi hegemónico en la política educativa mundial.
Se ha convertido en un emprendedor político de primera
naturaleza ► “Define problemas (económicos, sociales y educativos) y aporta soluciones” (Anna Jakobi & Kerstin Martens,
2008), en el contexto de un cierto “liberalismo inclusivo” (Doug
Porter y David Craig, 2005) y de una “competitividad solidaria”.
Su enfoque es la “gobernanza por comparación” (Nóvoa & YarivMashal, 2003) y “por los números” (Grek, 2009) (una suerte de
nueva forma de redención y salvación por el ‘gobierno de los números’) ► Sin capacidad de legislar, su influencia se expresa a
través de sofisticados informes, evaluaciones y publicaciones, así como por la organización de eventos varios, con
vistas a ofrecer “historias causales” a los dirigentes políticos
de sus países miembros sobre visiones del futuro y modelos
del desarrollo de las “mejores prácticas” (best practices).
La OCDE y PISA
o
Hacia 1988, finaliza el monopolio de la IEA de las evaluaciones
internacionales, criticada por gestionar numerosos proyectos
cuyos resultados tardaban en publicarse y tenían una pobre esrategia de comunicación, como también por su falta de interés
por las cuestiones de política educativa.
o
La Administración federal norteamericana de Ronald Regan se
interesó por un sistema de encuestas más ágil y funcional que
los de la IEA y obligó a la OCDE a diseñar, primeramente, en
1986, un proyecto innovador de indicadores estadísticos sobre
los sistemas educativos, el INIES (International Indicators of
Educational Systems), para medir la eficacia de las escuelas
ante la problemática de la competitividad nacional propia (A
Nation at Risk, 1983).
o
A mediados de los años 90, el proyecto INIES se concluye con
el comienzo del diseño de un programa de evaluación del conocimiento que posee el alumnado a nivel internacional.
La OCDE y PISA
 En 1997, los ministerios de Educación de los países de
la OCDE deciden aplicar un ciclo de encuestas
autónomo, de un nuevo tipo, sobre los conocimientos
del alumnado.
 En el año 2000, los entonces 30 países miembros de la
OCDE participaron en el primer estudio del Programme for International Student Assessment o Programa Internacional sobre las Evaluación de los Alumnos,
conocido por sus iniciales como PISA.
 La OCDE obtuvo así lo que nunca había conseguido
realizar en cuarenta años, reorientar las políticas educativas en muchos países. PISA se había convertido
en un referente para justificar decisiones o reformas en
los sistemas educativos.
26
OCDE (Organización para la Cooperación y Desarrollo Económico)
Destinatarios
PISA
(Programa para la Evaluación Internacional de Estudiantes / Programme
for International Student Assessment)
TALIS
(Estudio Internacional de Enseñanza y Aprendizaje /Teaching and
Learning International Survey)
Alumnos que
cumplen 16 años
en el año de
realización
Profesores y
directores de
Educación
Secundaria
Periodicidad
Última
realizada
3 años
2012
2008
Siguiente
2013
PIAAC
(Programa para la Evaluación Internacional de las competencias de
Adultos / Programme for International Assessment of Adult
Competences)
Población adulta
(16 a 65 años)
10 años
2012
UNIÓN EUROPEA
EECL o ESLC (Estudio Europeo de Competencia
Lingüística / European Survey Language Competence)
Destinatarios
Periodicidad
Última realizada
4º ESO
5 años
(próxima 2016)
2011
Interpretando PISA…
 El
Proyecto PISA, que se comenzó a gestar desde 1994, tuvo el
primer informe en 2000, con la intervención de 265.000 escolares
de 32 países (los miembros de la OCDE y otros 11 países que
firmaron participar con la OCDE; en 2003 fueron 41 país, en 2006,
57 países y en 2009, 62 países).
 PISA no solo supone una prueba de rendimiento −PISA no es un
test de escolarización; no es una evaluación del sistema educativo−, sino el exponente del neoliberalismo en educación de orientación economicista, que se está convirtiendo en una estrategia de
uso con vistas a la reconfiguración de la gobernanza de los sistemas educativos y, por ende, al logro de una “gobernación mundial
de la educación” a través de los “filtros nacionales”. PISA, concebida como una verdadera “gobernanza postburocrática” “blanda”,
28
aporta una base de orientación para la racionalización transnacional de la acción pública en educación.
Elementos innovadores de PISA
 Orientación hacia la “preparación para
la vida” ► adopta un enfoque competencial.
 Eficiencia y relevancia de los resultados
para los poderes públicos.
 Elevados estándares de calidad.
 Circulación de datos, transferencia de
resultados.
Objetivos del Programa





Permitir a los responsables políticos detectar qué factores están asociados al éxito educativo.
Evaluar el rendimiento escolar y establecer relaciones
estadísticas con determinadas variables del contexto
escolar y familiar, actitudes de los maestros y características personales del alumnado.
Interés por la calidad del aprendizaje, la igualdad de
resultados y la equidad de oportunidades.
Mejorar la eficacia y eficiencia de los procesos educativos.
Evaluar los conocimientos, habilidades, actitudes y comportamientos en los ámbitos de la lectura, matemáticas y ciencias.
¿Qué mide PISA?

Habilidad lectora
• Usar e interpretar material escrito y
reflexionar sobre él.

Habilidad matemática
•

Aplicación práctica de los
conocimientos matemáticos en
diferentes situaciones, de forma variada
y reflexiva.
Habilidad científica
•
Utilización de los conocimientos
científicos, para comprender el mundo
natural y tomar decisiones sobre él.
¿Cómo mide PISA?
•
•
•
El promedio de las puntuaciones de la OCDE se
establece en 500. Es un número índice que
facilita la comparación entre países, desde las
más elementales en el nivel 1 hasta las más
complejas en el nivel 6.
La puntuación promedio del país que mejores
resultados obtiene es de 563 puntos y la de los
peores resultados es 322.
Los estudiantes que participan se selección por
muestreo bi-etápico: primero se elige un determinado número de centros educativos (mínimo de
150 por país) y luego se eligen unos 35 alumnos
de 15 años en cada centro. El número de estudiantes evaluados por país debe ser superior a
4.500.
33
Los PISA(s)
Áreas de evaluación y periodicidad

A partir de 2009, aplicación ERA (Electronic Reading
Assesment) prueba que mide la competencia lectora en
formato electrónico.

Aplicación de la prueba de competencia financiera a partir
de 2009 y a partir de 2012 una prueba digital de resolución
de problemas de la vida práctica.
Los resultados y los contextos sociales
económicos y culturales
 En PISA se considera que los factores socioeconómicos y culturales presentes en el entorno del alumnado pueden explicar en buena
medida el rendimiento obtenido.
 Calcula un índice de estatus socioeconómico
y cultural (ESCS) que tiene en cuenta tres
componentes: el nivel más alto de educación
alcanzado por los padres, el grado de la profesión más alta de los padres y el nivel de recursos domésticos.
 Y otras variables…
Variables asociadas al rendimiento según PISA
37
38
39
40
Interpretando PISA…
 PISA no pretende ser un programa que trate de abarcar la
formación escolar de forma comprensiva.
 PISA trata de medir la habilidad de los muchachos y mucha-
chas que se encuentran en transición al mundo del trabajo con
vistas a usar conocimiento “extrapolable” y las habilidades que
van a necesitar en “situaciones vitales reales”. Por ello, la OCDE
afirma que no le interesa medir “la eficiencia interna de la
escuela”.
 PISA no propone revisiones del currículum; no toma interés
por las problemáticas teóricas y de enseñanza de la educación y
la escolarización.
41
Interpretando PISA…
 PISA ha reactivado la dimensión pragmático-funcional de la
formación: adquisición de saberes prácticos y capacidades básicas operativamente aplicables.
 La OCDE considera relevante, además de aplicar los tests de
rendimiento del conocimiento extrapolable de las enseñanzas
recibidas por el estudiantado, los datos que se recaban de forma
paralela; datos de los estudiantes y sus familias, de las clases y
las escuelas (obteniendo informes de los directores a través de
cuestionarios amplios en los que también participan docentes y
padres).
 PISA se elabora con elevados estándares de calidad (en cada
edición intervienen más de 300 personas y expertos en su
diseño y elaboración), y en cada uno de sus informes se produce
una muy importante circulación de datos y transferencia de42
resultados.
Las limitaciones de PISA para la escuela (I)
El modelo PISA supone una reinterpretación reduccionista del
concepto de educación o formación general ► sólo se evalúan algunas enseñanzas en relación con el currículum escolar y, lo que
es más importante, trata las materias o asignaturas escolares de
la enseñanza obligatoria como unidades aisladas, dando de este
modo un renovado impulso a perpetuar las formas individualistas
del trabajo del profesorado cuando en nuestra época son muy necesarios los métodos de proyectos, la integración de contenidos
en proyectos curriculares específicos como también el trabajo en
equipo.
• PISA no especifica las razones de las debilidades de nuestros
sistemas educativos sino más bien aporta información para desarrollar formas de interpretación o explicación que deberían ser
objeto de observaciones e investigaciones más específicas, nece43
sitadas de contextualizarse social, cultural y pedagógicamente.
•
Las limitaciones de PISA para la escuela (II)
• PISA no especifica qué es lo que hay que hacer para mejorar la calidad
de la enseñanza y la educación en sistemas escolares individuales, por
útiles y elaboradas que puedan ser sus recomendación.
• PISA tampoco especifica realmente cómo son nuestras escuelas ►
proyecta de ella una imagen de aspectos limitados, por medio de
instrumentos selectivos (como los “tests de lápiz y papel”, con la
introducción últimamente de las nuevas tecnologías, como la “lectura en
pantalla” en pruebas complementarias). Estas pruebas, con su rigor,
pretenden ofrecer un stock de condiciones específicas de las escuelas en
un tiempo preciso, útiles sin duda para el pilotaje de los sistemas educativos, a modo de señales de alerta o aviso, aunque realmente lo que es
necesario es diseñar pruebas con formas más elaboradas de diagnóstico.
• En PISA, el «entorno social y educativo» que debe fomentar la institución escolar se limita fundamentalmente a primar el papel de la escuela
como productora de lo que, como revulsivo a las enseñanzas tradi44
cionales de nuestras escuelas, se concibe como “conocimientos prácticos” útiles, objetivo estimable pero limitado y a veces confuso.
Las limitaciones de PISA para la escuela (y III)
•
Para la OCDE, el primar la evaluación del “conocimiento útil”, extrapolable de las enseñanzas que posee el estudiantado, se basa en la
creencia de que esto es lo más adecuado, porque vivimos una época
de transición de unas sociedades industriales a otras globalizadas
basadas en el conocimiento, con el riesgo evidente de que continúe
sin producirse realmente la proyección del conocimiento en nuestras
escuelas de forma más provechosa. Los constructores de PISA, dentro de la OCDE, están más interesados en producir un cierto cambio
educativo que pueda conducir a cada nación a un mundo nuevo
global, a una sociedad y economía basadas en el conocimiento.
↔
En este orden de cosas y más en concreto, el modelo lógicotécnico-objetivo propuesto por PISA está acentuando desde la
pasada década, de forma muy efectiva, «la universalidad revolucionaria de las competencias/habilidades evaluadas» en el ámbito inter45
nacional, lo que está conduciendo a replanteamientos cada vez más
evidentes en el mundo de la enseñanza.
Más allá de la ‘objetividad’ de
los números de PISA
(“PISA: números, estandarización de la conducta y la alquimia de la
materias escolares”. Profesorado. Revista de Currículum y Formación
de Profesorado, 2013)
http://www.ugr.es/local/recfpro/rev172ART3.pdf
Tom Popkewitz
Los números de PISA no son meramente números. Pero PISA
hace que el aparente rigor y uniformidad de los números parezca
que se transportan en el tiempo y en el espacio de manera tal que
no se requiera una confianza personal ni un conocimiento íntimo.
La comparación confiere una aparente naturalidad a las
respuestas en los diferentes contextos nacionales. Como las
luchas perennes de las ciencias y las políticas contra la
subjetividad, los números parecen excluir juicio alguno. La
objetividad mecánica de los números parece seguir, a priori, unas
reglas que proyectan equidad e imparcialidad, excluyendo el juicio
y atenuando la subjetividad