Las evaluaciones de la IEA

La International Association for Evaluation of Educational Achievement, más conocida como la IEA,  es responsable de dos de las evaluaciones más conocidas en el ámbito educativo: TIMSS (Trends in International Mathematics and Science Study), estudio centrado en el conocimiento que tiene el alumnado en ciencias y matemáticas, y PIRLS (Progress in International Reading Literacy Study), estudio sobre competencia lectora.

En los proyectos de la IEA siempre ha estado presente la evaluación del rendimiento académico basado en los currículos de los diferentes sistemas. Así, de entre sus proyectos se han desarrollado estudios de evaluación de competencias curriculares en diferentes áreas académicas, las más relevantes matemáticas, ciencias y competencia lectora (reading literacy), como los más importantes, siendo también objeto de su estudio la Educación Cívica, las TIC (proyectos SITES-M1, SITES-M2, SITES-2006 e ICILS) y la educación infantil (PPP 1986-2003 y el próximo estudio a realizar, Early Childhood Education Study - ECES). Actualmente resultan de gran relevancia los estudios de TIMSS y PIRLS que evalúan el rendimiento académico de materias como las matemáticas y las ciencias, y las competencias lectoras respectivamente, en períodos cíclicos.

En la siguiente infografía se aprecia los diferentes estudios, su evolución en el tiempo y el número de países participantes, entre ellos España:

El enfoque de las evaluaciones de la IEA, en lo referido a las competencias matemática, científica y lectora, difiere fundamentalmente en dos aspectos respecto a las de las realizadas por la OCDE en el marco del proyecto PISA:

a. es un modelo de evaluación curricular, que permite además establecer los factores que influyen en la mejora de los resultados respecto a ese currículo.

b. Al dirigirse a una población de 9 y 13 años permite establecer mecanismos de mejora directamente sobre poblaciones que están en edad de escolarización y lo van a estar por algún tiempo más.

Tanto TIMSS como PIRLS quedan perfectamente descritos como estudios en sus marcos de evaluación (assessment frameworks), donde se especifican los marcos teóricos de las áreas a evaluar (ciencias y matemáticas para el caso de TIMSS y competencia lectora para el de PIRLS), así como los marcos del cuestionario de contexto, el diseño de la evaluación y ejemplos de ítems (ítems liberados) utilizados en anteriores ediciones.

De igual modo en ambos casos se elaboran las enciclopedias, que consisten en un compendio sobre cómo se enseñan las áreas estudiadas en todo el mundo (al menos en los países participantes) y permiten complementar con información cualitativa los estudios cuantitativos de rendimiento, información que se obtiene a través de unos cuestionarios sobre el currículo de cada país. Además, en las enciclopedias de ambos estudios se incluyen descripciones de los sistemas educativos de cada país: cómo se estructura el currículo, la formación del profesorado al respecto, los materiales utilizados y la evaluación. En definitiva, una herramienta valiosa desde el punto de vista de la Educación Comparada.

Para saber más

Página de estudios internacionales del Instituto Nacional de Evaluación Educativa: http://www.mecd.gob.es/inee/publicaciones/estudios-internacionales.html

Mullis, I.V.S. & Martin, M.O. (Eds.). (2013). TIMSS 2015 Assessment frameworks. Chestnut Hill, MA: TIMSS & PIRLS International Study Center, Boston College. (url: http://timssandpirls.bc.edu/timss2015/frameworks.html).

Mullis, I.V.S. & Martin, M.O. (Eds.). (2015). PIRLS 2016 Assessment framework, 2nd edition. Chestnut Hill, MA: TIMSS & PIRLS International Study Center, Boston College (url: http:// http://timssandpirls.bc.edu/pirls2016/framework.html).

Mullis, I.V.S., Martin, M.O., Minnich, C.A., Stanco, G.M., Arora, A., Centurino, V.A.S., & Castle, C.E. (Eds.) (2012). TIMSS 2011 Encyclopedia: Education Policy and Curriculum in Mathematics and Science, Volumes 1 and 2. Chestnut Hill, MA: TIMSS & PIRLS International Study Center, Boston College. (url: http://timssandpirls.bc.edu/timss2011/encyclopedia-timss.html).

Mullis, I.V.S., Martin, M.O., Minnich, C.A., Drucker, K.T., & Ragan, M.A. (2012). PIRLS 2011 Encyclopedia: Education Policy and Curriculum in Reading, Volumes 1 and 2. Chestnut Hill, MA: TIMSS & PIRLS International Study Center, Boston College. (url: http://timssandpirls.bc.edu/pirls2011/encyclopedia-pirls.html).

Evaluación para la justicia social

Con la llegada de las evaluaciones de final de etapa de la LOMCE, las denominadas "reválidas", aunque no todas ellas sean una reválida (como la de 3º y 6º de Ed. Primaria), se ha revitalizado la cuestión de las evaluaciones externas, y no para bien. En el ejemplo con el que abro, a final de la ESO (4º ESO) y final de Bachillerato (2º Bach.) tienen claras consecuencias para los estudiantes (high-stakes assessment). En otros modelos, como el de evaluaciones de diagnóstico, o la Evaluación General de Diagnóstico (EGD), planteadas por la LOE o el que plantean las evaluaciones internacionales (PISA, TIMSS, PIRLS...), sin consecuencias para el alumnado. Son las llamadas evaluaciones (externas) a gran escala (large-scale assessment).
El caso es que, de lo que mi memoria recuerda y la hemeroteca también, se ha criticado y denostado con prácticamente los mismos argumentos un modelo y otro. Se ha negado la mayor, y se ha asimilado a la evaluación externa con un monstruo que viene a comernos por los pies. Se han retorcido los argumentos y falseado las definiciones. Repito, sea el modelo que sea. Y en muchos casos, como viene ocurriendo en este país, por intereses políticos ajenos a cualquier argumento pedagógico o aprovechando sesgadamente a éstos. Si la EGD fue un invento de la LOE, se criticó por los que no apoyaron la LOE...Y luego los que no apoyaban la LOE siguieron con ella y, consecuentemente, la EGD o cualquier evaluación de diagnóstico se criticó por los mismos que la dieron a nacer...(un lío, ¿no?). Claro, esto demuestra que da lo mismo la obra (da igual que sea buena o mala), se va a por los actores (da igual que sean buenos o malos también). Sí, es cierto, cada uno aplicó la LOE al respecto de las evaluaciones de diagnóstico según quiso, y hubo diferencias en intención y aplicación de la norma. Pero la idea que ha quedado, en general, es que determinados sectores vinculados más a la izquierda política, por qué no decirlo, han sepultado la evaluación externa. Y si ahora quieren usarla, no saben cómo.
Con todo esto no estoy defendiendo las evaluaciones individualizadas externas, y menos aún las que tienen el objetivo de revalidar un título que determina la LOMCE. Para esto tengo reservada otra munición que no cabe aquí. Aunque me temo que me he metido en un jardín donde cualquiera se puede sentir ofendido y arremeter contra el argumento principal, que es educativo y social eminentemente. Ojalá lo educativo y social ocupara un serio y gran espacio en la agenda política. No sólo papel mojado.
Lo que sí me gustaría resaltar aquí es que, gracias al (mal)uso que se ha realizado de la evaluación externa desde el enfoque neoliberal, puede perderse la potencia que puede tener para el fortalecimiento de la justicia social.
Son conocidas las políticas neoliberales de Bush Jr., por poner uno de estos ejemplos, con el No Child Left Behind de 2001. El responsable último de que un niño quedara atrás era el docente o la escuela. ¿Y cómo se sabía esto? Midiendo un resultado con unas pruebas. Y este "modelito" se ha intentado trasladar en repetidas ocasiones, desde la evaluación o desde otras esferas de la educación, a nuestro país. El de que las escuelas han de competir entre ellas para ofrecer la mayor calidad a sus clientes y cubrir sus expectativas.
Salirnos de este enfoque neoliberal presupone entender que las escuelas han de garantizar los derechos educativos a todas las personas, no competir entre ellas, ofreciendo un servicio público de calidad y satisfaciendo sus necesidades, no sus demandas. Y la evaluación es una herramienta más, que en este caso se pone al servicio de la justificación de una mayor equidad y calidad del sistema educativo. Por ejemplo, sabemos que los resultados están altamente determinados socialmente. Todo estudio internacional que se precie lo muestra. ¿Qué se hace con una escuela que precisamente demuestra la relación malos resultados-extracción económica y socio cultural baja?¿Se le mide y ya está? Algo más se podrá hacer, ¿no?

Fuente: MECD (2013). PIRLS - TIMSS 2011. Estudio Internacional de progreso en comprensión lectora, matemáticas y ciencias. IEA Volumen I: Informe español. Secretaría General Técnica: Madrid, p. 71. Disponible online: http://www.mecd.gob.es/dctm/inee/internacional/pirlstimss2011vol1-1.pdf?documentId=0901e72b81710232

Desde luego la política administrativa no ha sido, durante años, la de favorecer escuelas heterogéneas. La propia administración ha creado bolsas de pobreza, y gracias a los resultados que nos ofrece la evaluación externa se puede llegar a esta conclusión. ¿Cómo se puede responsabilizar únicamente a la escuela por sus resultados?¿No tendría la administración que asegurarse que dentro del sistema público (el doble sistema que tenemos) los centros debieran ser lo más heterogéneos posible? Hay datos que demuestran la grave segmentación del sistema público, pero generalmente no se publican.
Tedesco (2016) señala algunas cuestiones que se deberían promover desde la evaluación, quizá ésta debería ampliar el objeto de medición, no sólo resultados sobre aprendizaje de áreas o competencias. Medir las políticas de subjetividad debería implicar resultados en ciertos indicadores:
- los lugares donde se rompe el determinismo social,
- la confianza que tienen los docentes en la capacidad de aprendizaje de los estudiantes,
- la responsabilidad que asumen de los resultados de su alumnado,
- la autoestima, tanto de docentes como del alumnado,
- la adhesión a la justicia social como rasgo de la cultura del desempeño docente.

La evaluación aquí cambia de rol. No se trata de si evaluación sí o evaluación no, sino del cómo:
- Está al servicio de una responsabilidad colectiva por los resultados, asumiendo la importancia del trabajo en equipo, de las instituciones y la auto-evaluación.
- Se apuesta por el mantenimiento de la calidad técnica de las pruebas de esta evaluación, pero también de una mayor participación del profesorado en su diseño. Acercando así el currículo efectivo del aula al contenido de estas pruebas.
- Los resultados, las pruebas, etc., en definitiva el proceso de evaluación externa, no es un fin en sí mismo. Tiene sentido en el seno de la evaluación interna, en la formación de los docentes y en los procesos de mejora de calidad educativa.

¿Quién se encargará de hacer efectivo todo esto?¿Estamos dispuestos y dispuestas a responder positivamente?

Para saber más

Tedesco, J.C. (2016). Diez notas sobre los sistemas de evaluación de los aprendizajes. En Reflexiones en curso Nº 5 sobre Cuestiones fundamentales y actuales del currículo, el aprendizaje y la evaluación. Oficina Internacional de Educación de la UNESCO. Disponible online: http://unesdoc.unesco.org/images/0024/002457/245774s.pdf