Las evaluaciones de la IEA

La International Association for Evaluation of Educational Achievement, más conocida como la IEA,  es responsable de dos de las evaluaciones más conocidas en el ámbito educativo: TIMSS (Trends in International Mathematics and Science Study), estudio centrado en el conocimiento que tiene el alumnado en ciencias y matemáticas, y PIRLS (Progress in International Reading Literacy Study), estudio sobre competencia lectora.

En los proyectos de la IEA siempre ha estado presente la evaluación del rendimiento académico basado en los currículos de los diferentes sistemas. Así, de entre sus proyectos se han desarrollado estudios de evaluación de competencias curriculares en diferentes áreas académicas, las más relevantes matemáticas, ciencias y competencia lectora (reading literacy), como los más importantes, siendo también objeto de su estudio la Educación Cívica, las TIC (proyectos SITES-M1, SITES-M2, SITES-2006 e ICILS) y la educación infantil (PPP 1986-2003 y el próximo estudio a realizar, Early Childhood Education Study - ECES). Actualmente resultan de gran relevancia los estudios de TIMSS y PIRLS que evalúan el rendimiento académico de materias como las matemáticas y las ciencias, y las competencias lectoras respectivamente, en períodos cíclicos.

En la siguiente infografía se aprecia los diferentes estudios, su evolución en el tiempo y el número de países participantes, entre ellos España:

El enfoque de las evaluaciones de la IEA, en lo referido a las competencias matemática, científica y lectora, difiere fundamentalmente en dos aspectos respecto a las de las realizadas por la OCDE en el marco del proyecto PISA:

a. es un modelo de evaluación curricular, que permite además establecer los factores que influyen en la mejora de los resultados respecto a ese currículo.

b. Al dirigirse a una población de 9 y 13 años permite establecer mecanismos de mejora directamente sobre poblaciones que están en edad de escolarización y lo van a estar por algún tiempo más.

Tanto TIMSS como PIRLS quedan perfectamente descritos como estudios en sus marcos de evaluación (assessment frameworks), donde se especifican los marcos teóricos de las áreas a evaluar (ciencias y matemáticas para el caso de TIMSS y competencia lectora para el de PIRLS), así como los marcos del cuestionario de contexto, el diseño de la evaluación y ejemplos de ítems (ítems liberados) utilizados en anteriores ediciones.

De igual modo en ambos casos se elaboran las enciclopedias, que consisten en un compendio sobre cómo se enseñan las áreas estudiadas en todo el mundo (al menos en los países participantes) y permiten complementar con información cualitativa los estudios cuantitativos de rendimiento, información que se obtiene a través de unos cuestionarios sobre el currículo de cada país. Además, en las enciclopedias de ambos estudios se incluyen descripciones de los sistemas educativos de cada país: cómo se estructura el currículo, la formación del profesorado al respecto, los materiales utilizados y la evaluación. En definitiva, una herramienta valiosa desde el punto de vista de la Educación Comparada.

Para saber más

Página de estudios internacionales del Instituto Nacional de Evaluación Educativa: http://www.mecd.gob.es/inee/publicaciones/estudios-internacionales.html

Mullis, I.V.S. & Martin, M.O. (Eds.). (2013). TIMSS 2015 Assessment frameworks. Chestnut Hill, MA: TIMSS & PIRLS International Study Center, Boston College. (url: http://timssandpirls.bc.edu/timss2015/frameworks.html).

Mullis, I.V.S. & Martin, M.O. (Eds.). (2015). PIRLS 2016 Assessment framework, 2nd edition. Chestnut Hill, MA: TIMSS & PIRLS International Study Center, Boston College (url: http:// http://timssandpirls.bc.edu/pirls2016/framework.html).

Mullis, I.V.S., Martin, M.O., Minnich, C.A., Stanco, G.M., Arora, A., Centurino, V.A.S., & Castle, C.E. (Eds.) (2012). TIMSS 2011 Encyclopedia: Education Policy and Curriculum in Mathematics and Science, Volumes 1 and 2. Chestnut Hill, MA: TIMSS & PIRLS International Study Center, Boston College. (url: http://timssandpirls.bc.edu/timss2011/encyclopedia-timss.html).

Mullis, I.V.S., Martin, M.O., Minnich, C.A., Drucker, K.T., & Ragan, M.A. (2012). PIRLS 2011 Encyclopedia: Education Policy and Curriculum in Reading, Volumes 1 and 2. Chestnut Hill, MA: TIMSS & PIRLS International Study Center, Boston College. (url: http://timssandpirls.bc.edu/pirls2011/encyclopedia-pirls.html).

Evaluación para la justicia social

Con la llegada de las evaluaciones de final de etapa de la LOMCE, las denominadas "reválidas", aunque no todas ellas sean una reválida (como la de 3º y 6º de Ed. Primaria), se ha revitalizado la cuestión de las evaluaciones externas, y no para bien. En el ejemplo con el que abro, a final de la ESO (4º ESO) y final de Bachillerato (2º Bach.) tienen claras consecuencias para los estudiantes (high-stakes assessment). En otros modelos, como el de evaluaciones de diagnóstico, o la Evaluación General de Diagnóstico (EGD), planteadas por la LOE o el que plantean las evaluaciones internacionales (PISA, TIMSS, PIRLS...), sin consecuencias para el alumnado. Son las llamadas evaluaciones (externas) a gran escala (large-scale assessment).
El caso es que, de lo que mi memoria recuerda y la hemeroteca también, se ha criticado y denostado con prácticamente los mismos argumentos un modelo y otro. Se ha negado la mayor, y se ha asimilado a la evaluación externa con un monstruo que viene a comernos por los pies. Se han retorcido los argumentos y falseado las definiciones. Repito, sea el modelo que sea. Y en muchos casos, como viene ocurriendo en este país, por intereses políticos ajenos a cualquier argumento pedagógico o aprovechando sesgadamente a éstos. Si la EGD fue un invento de la LOE, se criticó por los que no apoyaron la LOE...Y luego los que no apoyaban la LOE siguieron con ella y, consecuentemente, la EGD o cualquier evaluación de diagnóstico se criticó por los mismos que la dieron a nacer...(un lío, ¿no?). Claro, esto demuestra que da lo mismo la obra (da igual que sea buena o mala), se va a por los actores (da igual que sean buenos o malos también). Sí, es cierto, cada uno aplicó la LOE al respecto de las evaluaciones de diagnóstico según quiso, y hubo diferencias en intención y aplicación de la norma. Pero la idea que ha quedado, en general, es que determinados sectores vinculados más a la izquierda política, por qué no decirlo, han sepultado la evaluación externa. Y si ahora quieren usarla, no saben cómo.
Con todo esto no estoy defendiendo las evaluaciones individualizadas externas, y menos aún las que tienen el objetivo de revalidar un título que determina la LOMCE. Para esto tengo reservada otra munición que no cabe aquí. Aunque me temo que me he metido en un jardín donde cualquiera se puede sentir ofendido y arremeter contra el argumento principal, que es educativo y social eminentemente. Ojalá lo educativo y social ocupara un serio y gran espacio en la agenda política. No sólo papel mojado.
Lo que sí me gustaría resaltar aquí es que, gracias al (mal)uso que se ha realizado de la evaluación externa desde el enfoque neoliberal, puede perderse la potencia que puede tener para el fortalecimiento de la justicia social.
Son conocidas las políticas neoliberales de Bush Jr., por poner uno de estos ejemplos, con el No Child Left Behind de 2001. El responsable último de que un niño quedara atrás era el docente o la escuela. ¿Y cómo se sabía esto? Midiendo un resultado con unas pruebas. Y este "modelito" se ha intentado trasladar en repetidas ocasiones, desde la evaluación o desde otras esferas de la educación, a nuestro país. El de que las escuelas han de competir entre ellas para ofrecer la mayor calidad a sus clientes y cubrir sus expectativas.
Salirnos de este enfoque neoliberal presupone entender que las escuelas han de garantizar los derechos educativos a todas las personas, no competir entre ellas, ofreciendo un servicio público de calidad y satisfaciendo sus necesidades, no sus demandas. Y la evaluación es una herramienta más, que en este caso se pone al servicio de la justificación de una mayor equidad y calidad del sistema educativo. Por ejemplo, sabemos que los resultados están altamente determinados socialmente. Todo estudio internacional que se precie lo muestra. ¿Qué se hace con una escuela que precisamente demuestra la relación malos resultados-extracción económica y socio cultural baja?¿Se le mide y ya está? Algo más se podrá hacer, ¿no?

Fuente: MECD (2013). PIRLS - TIMSS 2011. Estudio Internacional de progreso en comprensión lectora, matemáticas y ciencias. IEA Volumen I: Informe español. Secretaría General Técnica: Madrid, p. 71. Disponible online: http://www.mecd.gob.es/dctm/inee/internacional/pirlstimss2011vol1-1.pdf?documentId=0901e72b81710232

Desde luego la política administrativa no ha sido, durante años, la de favorecer escuelas heterogéneas. La propia administración ha creado bolsas de pobreza, y gracias a los resultados que nos ofrece la evaluación externa se puede llegar a esta conclusión. ¿Cómo se puede responsabilizar únicamente a la escuela por sus resultados?¿No tendría la administración que asegurarse que dentro del sistema público (el doble sistema que tenemos) los centros debieran ser lo más heterogéneos posible? Hay datos que demuestran la grave segmentación del sistema público, pero generalmente no se publican.
Tedesco (2016) señala algunas cuestiones que se deberían promover desde la evaluación, quizá ésta debería ampliar el objeto de medición, no sólo resultados sobre aprendizaje de áreas o competencias. Medir las políticas de subjetividad debería implicar resultados en ciertos indicadores:
- los lugares donde se rompe el determinismo social,
- la confianza que tienen los docentes en la capacidad de aprendizaje de los estudiantes,
- la responsabilidad que asumen de los resultados de su alumnado,
- la autoestima, tanto de docentes como del alumnado,
- la adhesión a la justicia social como rasgo de la cultura del desempeño docente.

La evaluación aquí cambia de rol. No se trata de si evaluación sí o evaluación no, sino del cómo:
- Está al servicio de una responsabilidad colectiva por los resultados, asumiendo la importancia del trabajo en equipo, de las instituciones y la auto-evaluación.
- Se apuesta por el mantenimiento de la calidad técnica de las pruebas de esta evaluación, pero también de una mayor participación del profesorado en su diseño. Acercando así el currículo efectivo del aula al contenido de estas pruebas.
- Los resultados, las pruebas, etc., en definitiva el proceso de evaluación externa, no es un fin en sí mismo. Tiene sentido en el seno de la evaluación interna, en la formación de los docentes y en los procesos de mejora de calidad educativa.

¿Quién se encargará de hacer efectivo todo esto?¿Estamos dispuestos y dispuestas a responder positivamente?

Para saber más

Tedesco, J.C. (2016). Diez notas sobre los sistemas de evaluación de los aprendizajes. En Reflexiones en curso Nº 5 sobre Cuestiones fundamentales y actuales del currículo, el aprendizaje y la evaluación. Oficina Internacional de Educación de la UNESCO. Disponible online: http://unesdoc.unesco.org/images/0024/002457/245774s.pdf

5 características de una evaluación auténtica

Sí, se está moviendo este concepto de evaluación auténtica. Pero ¿qué queremos decir cuando nos referimos a evaluación auténtica?¿existe una evaluación que no sea auténtica?¿es lo mismo que evaluación alternativa, o que la evaluación de desempeño? Pasemos a descubrirlo con sólo cinco claves...

Frey, Schmitt y Allen (2012) realizaron un meta-análisis sobre las definiciones de evaluación auténtica realizadas por cuarenta y siete autores. Así, a partir de este estudio la evaluación auténtica se puede definir por cinco características esenciales:

La importancia del contexto

La evaluación auténtica no puede darse si no se enfocan las actividades que se evalúan desde el punto de vista del contexto. Así, estas actividades han de plantearse en contextos realistas y cercanos al alumnado. Este realismo, acerca los conocimientos, las destrezas y las actitudes implícitas en los objetos de aprendizaje a aplicaciones de la vida diaria, en contextos personales, académicos, familiares o sociales. Y a su vez, enfocar las actividades con este planteamiento, provoca que estas actividades o tareas sean complejas desde el punto de vista cognitivo. Implican en muchas ocasiones tipos de pensamiento analítico, crítico y creativo para la solución de problemas o la toma de decisiones en colaboración con otros.

Es lo que Wiggins (1998) denomina tareas auténticas. Para no enrollarme mucho con las características de una tarea auténtica, pongo a continuación un ejemplo de actividad de evaluación que va desde un planteamiento no auténtico a un planteamiento auténtico.

El papel del estudiante: evaluación formativa

Obviamente, desaprovechar una tarea de estas características para mejorar el aprendizaje que demuestra el alumnado (y también mejorar la enseñanza), es una lástima. Así que, otra de las características es que el cómo aprende un estudiante está en el foco de la mejora: ha de poder aprender en el propio proceso de la tarea y con la evaluación que se haga de los aprendizajes que demuestra. El docente centra su labor en proporcionar la retroalimentación necesaria, se introducen mejoras en el propio proceso o incluso en el producto elaborado por el alumnado. No se acaba la tarea tal como esté,  y a partir de aquí se premia o sanciona el aprendizaje demostrado. No interesa evaluar para dar una calificación, sino porque el proceso de evaluación mismo se convierte también en un catalizador de nuevos aprendizajes o de refuerzo de aquellos todavía no consolidados.

Las bases para la calificación de los aprendizajes

Por último, las bases para establecer una calificación de los aprendizajes se centran en dos aspectos, fundamentales desde mi punto de vista:
1) Los estudiantes conocen de antemano los criterios de desempeño por los cuales van a ser evaluados, e incluso son partícipes de su desarrollo. La evaluación se convierte en un proceso público, participativo y transparente.
2) Se utilizan varios criterios de evaluación (o metas o indicadores de logro) que por otra parte han de corresponderse o han de estar presentes en la tarea o actividad (compleja).

Estos dos últimos puntos llevan casi siempre a asociar la evaluación auténtica al uso de rúbricas. Aunque bien se podrían utilizar también instrumentos de recogida de evidencias del aprendizaje, como un portafolio, y emplear diversos tipos de instrumentos de evaluación que permitan la valoración de los aprendizajes de estas evidencias, de la mejor forma posible. Tanto es así, que el enfoque ideal es utilizar diversidad de instrumentos en contextos o actividades realistas (o auténticas).

Para saber más

Frey, B.B., Schmitt, V.L. and Justin, P.A. (2012). Defining Authentic Classroom Assessment. Practical Assessment, Research and Evaluation, 17(2). Disponible online: http://pareonline.net/getvn.asp?v=17&n=2

El papel de la evaluación en la taxonomía de Bloom (II)

Existen claras implicaciones del uso de la taxonomía que se pueden resumir en seis puntos. Así la taxonomía revisada, planteada en sus dos dimensiones...

1. Permite una conexión más fuerte entre la metodología (instrucción) y el currículo.

2. Resalta la necesidad de utilizar prácticas de evaluación que van más allá de pequeñas porciones de conocimiento y procesos cognitivos individuales para centrarse en aspectos más complejos de aprendizaje y pensamiento.

3. Proporciona un modo de comprender mejor el amplio abanico de modelos y aplicaciones de la evaluación.

4. Refuerza la idea de que diferentes resultados de aprendizaje (se llamen criterios de evaluación, estándares u objetivos) requieren de diferentes procedimientos de evaluación, y que similares resultados de aprendizaje (independientemente de la materia) requieren similares enfoques de evaluación.

5. Los 19 procesos cognitivos (a las seis categorías de procesos) se pueden usar como verbos cuando se formulan resultados de aprendizaje.

Verbos ambiguos como "expresa", "lista", "demuestra"...deben usarse con cuidado. Por ejemplo, los alumnos pueden demostrar lo que han recordado, que está a un nivel taxonómico, o bien pueden demostrar los resultados de un proceso extremadamente creativo, que está justo en el extremo opuesto de la taxonomía.

6. Los métodos de evaluación se asocian a determinados tipos de resultados de aprendizaje.

Resultados de aprendizaje del tipo de recordar conocimiento factual:

• Recordar las definiciones de términos en los estudios sociales.
• Recordar fechas importantes en la Guerra Civil.
• ...

Pueden evaluarse con preguntas en cuestionarios cognitivos de manera muy sencilla: Escribe al lado de cada definición el término al que hace referencia; Escribe las fechas en las que los siguientes eventos tuvieron lugar...

Resultados de aprendizaje del tipo comprender conceptos o aplicar conocimientos procedimentales, donde se incluyen categorías, principios y modelos, se pueden evaluar también con pruebas orales o escritas fácilmente: Aquí tienes un ejemplo de un poema. ¿Es un ejemplo de soneto?¿Por qué?

Sin duda alguna, cuando tengamos que evaluar varios resultados de aprendizaje, asociados además a procesos de alto nivel en la jerarquía y a conocimientos metacognitivos o procedimentales, tendremos que plantear pruebas complejas, contextualizadas e instrumentos que puedan usarse para evaluar esta situación.

Usando la matriz proceso-conocimiento

Una de las grandes utilidades de la taxonomía presentada en dos dimensiones es utilizarla como tabla para hacer patente cómo en nuestra unidad didáctica se alinean perfectamente (o no) el currículo, la metodología y la evaluación. Vamos a verlo con un ejemplo de Airasian y Miranda (2002) de una unidad didáctica de ciencias sociales sobre la época colonial, algo modificado...El contexto es muy anglosajón...

Objetivos (léase resultados de aprendizaje, indicadores de logro, criterios de evaluación o estándares de aprendizaje de nuestro sistema)

O1: Recuerda las partes específicas de los Actos del Parlamento.

O2: Explica las consecuencias de los Actos del Parlamento para los diferentes grupos de las colonias.

O3: Se posiciona sobre los Actos del Parlamento desde distintos puntos de vista.

O4: Crea textos críticos propios sobre hechos históricos.

Procedimientos, prueba e instrumento de evaluación

Evaluación A: Observación. Preguntas orales (en clase). Lista de comprobación.

Evaluación B: Administración prueba. Preguntas escritas. Cuestionario cognitivo.

Evaluación C: Observación. Producto:editorial de un periódico. Rúbrica

En la tabla en negro, están los elementos de la unidad didáctica alineados. En rojo, elementos que no están alineados con uno o dos de los otros (currículo, metodología o evaluación). Tal es el caso de las Actividades 4-evaluación C, Objetivo 4-Actividades 8-10 o el caso de Actividades 6-7.

El hecho no es tanto que no queden cubiertos todos los niveles taxonómicos tanto de conocimiento como de proceso, quizá lo hagan en alguna otra unidad didáctica. Más bien que aparezcan elementos sin estar alineados; por ejemplo, que la instrucción (metodología) no esté alineada con la evaluación, incluso aunque sea de la más alta calidad, hará que el desempeño del alumnado en las evaluaciones no sea el mejor. Objetivos que no son evaluados, o simplemente actividades que no responden a ningún objetivo ni se evalúan, son situaciones que por razones lógicas cabría evitar. En un caso porque no facilitarían información al docente sobre el grado de consecución del currículo y en el otro porque son activismo puro y duro, sin ningún fin concreto ni evaluación que sirva para mejorar el aprendizaje.

También la tabla, proporciona de un vistazo qué tipo de resultados de aprendizaje conforman nuestro currículo de referencia (si se hiciese para toda una área o asignatura se tiene un mapa completo) y en consecuencia con que tipo de metodologías y procedimientos de evaluación debemos responder de mejor forma.

¿Os atrevéis a hacerlo con vuestra unidad didáctica?

Para saber más

Airasian, P.W. y Miranda, H. (2002). The Role of Assessment in the Revised Taxonomy. Theory into Practice, 41 (4), 249-254.
Fives, H. y DiDonato-Barnes, N. (2013). Classroom Test Construction: The Power of a Table of Specifications . Practical Assessment, Research and Evaluation, 18 (3), Recuperado de: http://pareonline.net/pdf/v18n3.pdf

El papel de la evaluación en la taxonomía de Bloom (I)

Se hace necesario exponer la taxonomía de Bloom revisada. ¿Por qué? Porque existen multitud de entradas en blogs, pines, infografías, etc., que todavía plantean la taxonomía de Bloom original, la que publicaron en 1956 (Taxonomy qf Educational Objectives: The Classification of Educational Goals. Handbook I: Cognitive Domain). Esto no es necesariamente negativo, la taxonomía original es de gran ayuda, pero lo es más la revisión que realizaron Anderson, Krathwohl, Airasian, Cruikshank, Mayer, Pintrich, Raths y Wittrock en 2001 (A taxonomy for learning, teaching, and assessing: A revision of Bloom's Taxonomy of Educational Objectives).

No se va a entrar en las razones de por qué presenta un mejor y mayor desarrollo de la taxonomía original, ni en sus diferencias. Tampoco en los límites que pueda tener una taxonomía en sí misma. Además, existen otras taxonomías muy interesantes como la de Marzano y Kendall de 2007 que revisan a Bloom de igual forma. O taxonomías de otros dominios que no se llegaron a desarrollar completamente desde el propio grupo de investigadores que trabajaron con Bloom: del dominio psicomotor y del afectivo.
Simplemente, se presentan las dos dimensiones de la taxonomía válida para el dominio cognitivo, para entender cómo podemos utilizarlas para la evaluación.

 La dimensión de los procesos cognitivos y subprocesos

La dimensión del conocimiento

Y ahora todo junto, con ejemplos...

Así que, cualquier resultado de aprendizaje, sea declarado en nuestro currículo como criterio de evaluación, estándar de aprendizaje evaluable o indicador de logro...puede clasificarse según estas dos dimensiones. Veamos un ejemplo sencillo tomado del Center for Excellence in Learning and Teaching

No es difícil imaginar qué papel puede jugar la evaluación a partir de aquí, aunque se entrará en la segunda parte de este post a fondo.

Antes de cerrar esta primera parte...Si el proceso de evaluación de los aprendizajes no se hace en coherencia con los resultados de aprendizaje (de una determinada unidad didáctica, por ejemplo) y respondiendo a una determinada metodología, concretada en ejercicios, actividades o tareas..., difícilmente será una evaluación válida. Estos tres elementos curriculares han de ser inseparables.

Muchos de los problemas que tiene evaluación del aprendizaje, la que hacemos en las aulas, es precisamente que no sirve para los propósitos del proceso de enseñanza y aprendizaje, es ajena a cualquier metodología y actividades de clase, y mucho más a los resultados de aprendizaje que esperamos de los alumnos y alumnas (currículo). No es creíble. La evaluación ha de estar inserta en todo el proceso de enseñanza y aprendizaje, cierra un ciclo e inicia otro, considerando que sea evaluación formativa. Da pistas para la mejora del aprendizaje de ese alumno o alumna y nos da pistas a nosotros y nosotras como docentes sobre qué elementos de nuestra programación didáctica han de ser mejorados.

Para saber más

- Krathwohl, D.R. (2002). A Revision of Bloom's Taxonomy: An Overview. Theory into practice, 41 (4), 212-218.

- Marzano, R. J. y Kendall, J.S. (2007). The new taxonomy of educational objectives. California, USA: Corwnin Press.

- Wiggins, G. (1998). Educative Assessment: designing assessments to inform and improve student performance. San Francisco, USA: Jossey-Bass Publishers.

Guías de valoración: mejorando la calificación de las respuestas abiertas

Las guías de valoración son uno de los instrumentos que generalmente se utilizan en los cuestionarios cognitivos para valorar preguntas que requieren de la respuesta a una cuestión concreta pero lo suficientemente abierta como para generar incertidumbre a la hora de puntuarla.

Contexto

En los cuestionarios cognitivos, lo que en la escuela se conoce como prueba escrita, control o examen...se recogen evidencias del aprendizaje de nuestro alumnado con diferentes preguntas. Las más comunes, en los cuestionarios de pruebas a gran escala, son las de elección múltiple u otro tipo de preguntas o ítems de respuesta cerrada (verdadero-falso o alternativa simple, asociación, elección múltiple compleja u ordenación). Por el contrario, salvo alguna excepción, en las pruebas de clase o en las de acceso a la universidad (PAU) se suele utilizar respuestas de tipo abierto, bien sea de completar huecos con alguna respuesta muy concreta o de redactar algunas líneas o incluso textos más largos de cualquier género discursivo. Es especialmente en este tipo de respuestas concretas, pero complejas, donde vamos a necesitar las guías de valoración.

¿Qué es una guía de valoración?

Es una escala que describe cualitativamente los niveles de desempeño de una respuesta concreta pero compleja, asignando una puntuación a cada uno de ellos. 

En el contexto internacional también recibe el nombre de rúbrica. Desde luego, si es una rúbrica sería holística (a esto también dedicaremos una entrada, en partes). Aunque personalmente considero que estaría a caballo entre una escala de valoración y una rúbrica en toda regla.

Ejemplo

Estímulo de la Unidad de Evaluación: Plano de la biblioteca, PISA 2012. Fuente: Marcos y pruebas de evaluación de PISA 2012: Matemáticas, Lectura y Ciencias. 

Pregunta: Explica por qué puede haberse elegido ese lugar para las Novedades. (la pregunta anterior era de elección múltiple y sólo sirve para completar la respuesta a esta pregunta, por sí sola no da puntos. La pregunta y las opciones eran:Pregunta: ¿Dónde están situadas las novedades? a) En la sección de ficción, b) En la sección de no ficción, c) Cerca de la entrada, d) Cerca del mostrador de información.

Características del marco de evaluación:

• Situación: Pública
• Medio: Impreso
• Formato de texto: Discontinuo
• Tipo de texto: Descripción
• Aspecto: Reflexionar y valorar: Reflexionar sobre el contenido de un texto y valorarlo
• Finalidad de la pregunta: Formular hipótesis sobre la ubicación de un elemento de un plano recurriendo a los conocimientos y a las experiencias personales.
• Formato de pregunta: Respuesta construida abierta.

Guía de valoración

(adaptada de la original)

¿Dónde, cuándo y para qué se utiliza?

Se utiliza en cuestionarios cognitivos. Por lo tanto, no se trata de un instrumento en sí mismo la mayor parte de las ocasiones, sino que se pone al servicio de los cuestionarios cognitivos y contribuye al conjunto de la escala de ese cuestionario junto a la puntuación de otras preguntas.

Se utiliza para valorar respuestas abiertas y con cierto grado de complejidad que responden generalmente a un descriptor, indicador, criterio de evaluación o estándar muy específico y sólo a uno. En cualquier caso, suelen referirse la mayoría a niveles cognitivos de relativa complejidad y contenido concreto (explicar, demostrar, analizar, sintetizar, reflexionar, criticar...).

Para respuestas abiertas que están vinculadas a más de un criterio de evaluación, indicadores de logro o estándares de aprendizaje evaluables, y que además su el desarrollo del contenido es amplio, y obviamente complejo, se recomienda el uso de rúbricas (por ejemplo un ensayo).

Pasos para elaborar guías de valoración

Requisito inicial: La pregunta ha de estar relacionada (alineada) con un indicador, descriptor... del dominio a evaluar (conjunto de contenidos y procesos, y su concreción en indicadores de una asignatura o competencia, en su conjunto, o parcialmente (unidad o unidades en un trimestre).

1. Analizar el desempeño 

Se recogen ejemplos reales de respuestas de alumnos y alumnas. Se clasifican en dos o tres niveles de desempeño (la del ejemplo tiene tres niveles). Se decide aquí el número de niveles, aunque puede cambiar si su gradación es confusa, no ayuda a distinguir entre determinados niveles contiguos.

2. Describir y ejemplificar los niveles de desempeño

En función de lo que tengan en común las respuestas de los alumnos y alumnas clasificadas en cada nivel, se describe la respuesta tipo y dejamos los ejemplos que mejor representan la descripción.

3. Asignar puntuaciones

Se asignan puntuaciones a cada uno de los niveles. Generalmente son números enteros.

4. Mejorar la fiabilidad de la guía

Se prueba la guía con otros alumnos (de otras aulas, los del curso siguiente...). Se prueba con otros compañeros que pueden utilizarla con los mismos alumnos para comprobar si se llega a los mismos resultados.

Jornadas: Hacia una evaluación alternativa y auténtica

Los días 27, 28 y 29 de septiembre tendrá lugar en la Universidad Jaume I de Castelló de la Plana, una jornada interesantísima organizada por el CEFIRE de Castellón, para ponernos al día en  la "revoluación". Con ponencias de nivel (por sus ponentes), experiencias de centros educativos y talleres sobre rúbricas, listas de cotejo, portfolio y preguntas para pruebas de referencia criterial. Las inscripciones ya están cerradas. Así que si eres docente de la Comunitat Valenciana y no has podido inscribirte, o para aquellos de fuera, en breve os traeré un mini-informe de los acontecimientos.

Pinchando en este enlace CEFIRE de Castelló tenéis anunciada la jornada y el programa.

Ha nacido una nueva competencia...

Me estreno en este blog, con el que deseo y espero cumplir como se debe, con una entrada sobre una nueva competencia...¡Vaya! erámos pocos y ...¿otra más? No desesperemos...
Se trata de la competencia que nos prepara para un nuevo mundo, quizá más deseable e inclusivo: la competencia global, para la que la OCDE prepara el marco teórico para su evaluación. El marco representa un enfoque nuevo, ambicioso y todavía experimental para el estudio PISA 2018. Así que, creo que merece la pena conocer a grandes rasgos, cómo se define y conforma, y de paso, si algo útil puede ser trasladado a nuestras aulas.

¿Qué es la Competencia Global?

La competencia global se define como la capacidad para analizar críticamente y desde múltiples perspectivas aspectos globales e interculturales, para comprender cómo las diferencias afectan a las percepciones, juicios e ideas de sí mismo y de los otros, y para implicarse en interacciones abiertas, apropiadas y efectivas con personas de diferentes entornos, sobre la base de un respeto compartido por la dignidad humana.


Y como toda competencia, se conforma como una capacidad para movilizar conocimientos, destrezas, actitudes y valores, junto a un enfoque reflexivo sobre el proceso de aprendizaje, para implicarse y actuar en el mundo.

Dimensiones de la competencia

En la siguiente infografía, traducida del mismo documento referenciado al final del documento, se pueden apreciar las dimensiones de la competencia global que serán evaluadas:

Definición de la estrategia de evaluación

Aunque la competencia global tienen claramente muchos componentes, el primer foco de la evaluación en PISA va a estar centrado en los componentes cognitivos: a) conocimiento y comprensión de temas globales y b) conocimiento y comprensión de conocimiento intercultural, definidos en la publicación de referencia, así como en destrezas analíticas y críticas que pueden ser valoradas en las escalas cognitivas.
El formato que se prevé van a tomar los estímulos es el de una presentación de un caso con medios para ilustrar la historia (textos, tiras de cómic, fotografías...) evitando una excesiva carga lectora. Los ítems, además de los clásicos de elección múltiple en este tipo de pruebas, se aconseja que sean de respuesta abierta, puntuándose con guías de valoración. Por otra parte, los componentes actitudinales y alguna que otra destreza (skill) serán recogidos mediante cuestionarios con escalas tipo Likert.

Tanto las guías de valoración para ítems de respuesta construida (respuesta abierta), como una consideración sobre las escalas tipo-Likert, serán tópicos a tratar sin duda alguna en este blog.

El documento se centra también en la definición de cultura y competencia intercultural, como aspecto subsidiario de la competencia global. Un enfoque interesante sobre el que se construye la noción de pensamiento intercultural como el centro de la evaluación y la definición de sus niveles de desempeño, ya propuestos en su día por Hanvey (1975), como posibilidad para escalar el conjunto de destrezas y conocimientos anteriormente citados.

Desde luego, este enfoque de estudio de la OCDE no es del todo novedoso, se ponen ejemplos de otras evaluaciones internacionales sobre estos aspectos ya realizadas como CIVED (1999) o ICCS (2009, 2016) de la IEA o la Global Understanding Survey (1981).

¿Se puede enseñar la competencia global?

Por supuesto, ya se está haciendo, explícitamente a través de  asignaturas en Ed. Secundaria como Valores éticos, y en su día con Educación para la Ciudadanía, donde se incluyen algunos de los componentes de la competencia en sus bloques de contenido. E implícitamente con propuestas metodológicas activas desde otras áreas o materias en toda la enseñanza formal. Todo ello en aras a desarrollar la competencia clave: competencias sociales y cívicas. Ejemplos de ello son: el aprendizaje-servicio, estudio de casos, aprendizaje cooperativo con su abanico de técnicas o técnicas aisladas como los incidentes críticos... Es decir, adoptando un enfoque en el que los contenidos interculturales y globales impregnan el currículo de otras áreas, estrategia que recomienda la propia OCDE. Se trataría, por tanto, de integrar en el currículo la perspectiva global, internacional e intercultural, de aflorar las culturas no dominantes. Ejemplos citados son el currículo Australiano o el Coreano.

Todo lo aquí referenciado y más se puede ampliar en la publicación original Global Competency for an inclusive World.

Otras lecturas de interés

- UNESCO (2013). Intercultural competencies. Conceptual and Operational Framework. Autor.

- UNESCO (2014). Global Citizenship Education: Preparing learners for the challenges of the 21st Century. Autor.