Tres pasos para promover el aprendizaje desde su evaluación

Si piensas que la evaluación del aprendizaje es algo más que poner notas o plantear un intrincado compendio de actividades ponderadas o de construirse una flamante hoja de cálculo que es capaz de detectar hasta diezmilésimas de variación en el aprendizaje entre dos estudiantes...entonces...esta entrada es PARA TI.


La evaluación de los aprendizajes consiste básicamente en recopilar evidencias sobre lo que nuestros alumnos y alumnas saben y pueden hacer. Todo ello con el fin de:

• Identificar sus fortalezas y debilidades,
• hacer un seguimiento de su progreso en el aprendizaje y,
• planificar y dar las clases.

En definitiva, la evaluación de los aprendizajes debe ser una herramienta para promover un verdadero aprendizaje en el alumnado. Y a estas alturas, ya intuimos que es mucho más que medir o calificar el aprendizaje. De hecho, puede darse perfectamente una evaluación sin necesidad de medir o calificar. El siguiente post se dedicará a clarificar estos términos: evaluación, calificación y medición.

Por el momento:
¿cómo puedo promover el aprendizaje desde su evaluación? Con tres sencillos pasos: 1) Diseño y planificación de la evaluación, 2) Implementación de las pruebas, 3) Evaluar la evaluación
¿tengo que ser un experto/a en evaluación? No, ni mucho menos. Además, no existen los expertos en evaluación, es una leyenda urbana. Pero sí es cierto que, si quieres construir tus propios instrumentos, tendrás que leer algo más. O si quieres plantear tareas auténticas tendrás que abordar otras metodologías, actividades...introducir otras estrategias. En definitiva, salir de la zona de confort

Veamos los pasos de forma más detallada:

Paso 1: diseño-planificación de la evaluación

Para mí, es el paso más importante. Bien diseñada y planificada, la evaluación será más válida y fiable. Sin excepción. En alguna otra entrada se ha hablado del "backward design"de Wiggins o McTighe (Cuatro organizadores para hacer más válida nuestra evaluación ) y en general del tema de la validez. En definitiva se trata de pensar, antes de ponerse a hacer, en una serie de cuestiones:

Los tres aspectos han de mantener una coherencia interna.

Paso 2: realización de la prueba

La clave de todo es hacer de la evaluación un proceso al menos transparente, si además es participativo, mucho mejor. Los alumnos se van a beneficiar cuando:

a) Entiendan las metas de aprendizaje.

b) Sepan que clase de evaluación va a utilizarse para valorar el logro de esas metas.

c) Comprendan qué criterios se usarán para evaluar su trabajo y cómo debe ser una respuesta ideal.

Según el documento del Educational Testing Service, citado al final de la entrada:

Antes de la prueba

En una evaluación de desempeño (performance assessment)

• Desarrollar guías de valoración  que definan qué constituye una respuesta aceptable y sus niveles.
• Compartir las guías con los alumnos antes de realizar la evaluación.
• Discutir las guías con los alumnos para asegurarnos que comprenden la clase de tarea esperada y sus niveles de desempeño.
• Considerar cambios que puedan sugerir los estudiantes.

Después de la prueba

• Realizar una evaluación tras la prueba con los estudiantes para corregir errores, temas que han aparecido en la evaluación y ayudarlos a obtener una mayor comprensión de la materia.
• Discutir sobre diferentes formas de respuesta a la tarea y las fortalezas y debilidades derivadas de cada una de ellas.
• Proporcionar a los estudiantes la oportunidad de revisar sus respuestas.
• Dar mucho feedback, específico y a tiempo. El feedback es una estrategia que tiene un amplio impacto en la mejora del rendimiento (véase los estudios de Hattie, por ejemplo). Sobre:

1. Sus fortalezas y debilidades.
2. Qué han hecho correctamente y qué no.
3. Cómo pueden hacerlo de otra forma la siguiente vez para mejorar su desempeño.

Recuerda: Una puntuación aislada no proporciona a los estudiantes suficiente información sobre su desempeño, por muchos decimales que lleve.

Paso 3: evaluar la evaluación y los resultados

A la hora de mejorar una evaluación de clase es importante revisar una serie de cuestiones. Puedes revisarlas tú y pedirle a un colega que también lo haga. Puedes incluso pedir a alguien que conteste a las preguntas o que realice un determinado desempeño. En general:

1) Sé justo: una evaluación debería sólo medir el conocimiento y destrezas relacionadas con los resultados o metas de aprendizaje.
2) Permite que los alumnos brillen: da al alumnado la oportunidad de demostrar su mejor desempeño, se implicarán más si la prueba es accesible a todos/as y les permitirá demostrar qué saben o pueden hacer.
3) No asumas que los alumnos/as entienden las instrucciones: revisa las preguntas, instrucciones, demandas... También revisa cuestiones de redacción, sesgos de lenguaje o lenguaje potencialmente ofensivo.
4) Ten los límites de tiempo en mente: la cantidad de tiempo que se da para una evaluación es significativa y puede afectar a los resultados. Consecuentemente son difíciles de interpretar.

 Los resultados también  nos dicen cómo ha ido

Reconoce que las pruebas pueden tener defectos

• ¿Fallaron todos los alumnos en la misma pregunta o conjunto de ellas?
• ¿Los alumnos más competentes lo han hecho bien?
• ¿Sientes que lo han hecho bien pero han fallado a la hora de dar las respuestas que esperabas?
• ¿Estaba la tarea bien definida y claramente redactada?

Identifica las fortalezas y debilidades de cada alumno/a

Examina patrones de respuesta: dificultades generalizadas en un tema concreto, grupo de alumnos que fallan en preguntas de un determinado proceso (para esto tengo que tener bien definido el dominio:Paso 1) o contenido o destreza.

Para saber más

- Educational Testing Service (2003). Linking Classroom Assessment with Student Learning. Autor. URL: https://www.ets.org/Media/Tests/TOEFL_Institutional_Testing_Program/ELLM2002.pdf
- McMillan, James H. (2000). Fundamental assessment principles for teachers and school administrators. Practical Assessment, Research & Evaluation, 7(8). Available online: http://PAREonline.net/getvn.asp?v=7&n=8.

 

Cuatro organizadores para hacer más válida nuestra evaluación

No sé si lo he comentado en una entrada anterior, pero sugiere Wiggins que, en la evaluación, el componente humano tanto del alumnado como del profesorado hace de ésta una tarea sumamente subjetiva. Y que por tanto no está tanto en perseguir la "objetividad" como en perseguir su credibilidad. Ésta sería uno de los estándares de la evaluación, junto a otros.
Hablar de credibilidad supone también hablar de validez (antes que de fiabilidad). Entre otras cosas porque existe un tipo de validez de pruebas de evaluación, la de contenido, que se refiere a la pertinencia y suficiencia de las interpretaciones basadas en los resultados. En nuestro caso, la interpretación del aprendizaje que ha realizado el alumnado de una determinada asignatura. Para ello, la prueba tiene de recoger una muestra adecuada y representativa del contenido a evaluar.

¿Es el contenido de nuestras pruebas una muestra adecuada y representativa de los aprendizajes?, ¿las preguntas que realizo, las actividades de evaluación, se basan en los aprendizajes que pretendo evaluar?, ¿qué aprendizajes son éstos?

Hay otro tipo de validez muy interesante, un tipo de validez de contenido, la validez aparente: es la que produce a los estudiantes la impresión de que, efectivamente, es una prueba adecuada.
¿cuántas veces nuestros estudiantes han dicho -"es que esto no lo hemos dado"- o "esto no nos lo has explicado como lo preguntas"?

Un ejemplo de una escuela pública de Ed. Infantil

Estas cosas ocurren porque, en general, la evaluación va por un lado, las actividades de enseñanza/aprendizaje van por otro y el currículo (los resultados de aprendizaje, criterios de evaluación...) por otro, si van... La otra noche hablaba sobre una práctica de una escuela infantil de segundo ciclo, hacen cantidad de actividades interesantes: grupos interactivos, tertulias dialógicas, proyectos, rincones, usan la metodología ABN...Pero llega el final de trimestre...todo eso que se ha realizado no ha valido para evaluar el aprendizaje, de hecho no tienen instrumentos para valorarlo en el contexto de estas actividades...Por tanto, como han de rellenar un boletín cualitativo de información y marcar unos ítems de aprendizaje...se obligan a hacer una "pruebecita". Los niños y niñas de la escuela hacen una actividad "rara", incoherente con su aprendizaje diario tan interesante y se ven en estas.
Otra de las cosas que les ocurre es que no saben (pueden intuirlo) qué tipo de aprendizajes están en juego: en cuanto a procesos y destrezas, contenidos...y especialmente los relacionados con el currículo oficial...
Hacen las actividades pero no saben tienen relación con el currículo, ni son capaces de relacionarlas con la evaluación, y esta a su vez con el currículo.
Claro, que este es un ejemplo, y no me atrevo a generalizar.

Para ayudar a conseguir mayor validez, entre otras cosas, os presentaré una serie de organizadores. Lo que pretenden es alinear precisamente el currículo, la metodología de enseñanza y actividades de aprendizaje y la evaluación. Aquí vamos...

CUATRO ORGANIZADORES PARA HACER VÁLIDA LA EVALUACIÓN

1. Diseño de Unidades Didácticas Integradas - Inclusivas (UDI+i)

Pinchando aquí tenéis una entrada en el blog de Proyecto Atlántida con un enlace y múltiples ejemplos de UDI+i

2. El "canvas" para el diseño de proyectos de Conecta 13

3. Marco de la evaluación - Backwards Design de Wiggins y McTighe

4. La matriz de especificaciones como excusa de programación de aula - Fives, H. y DiDonato-Barnes, N. (2013)

No especifica exactamente actividades de aula, aunque sí el tiempo dedicado. El organizador está muy centrado en la construcción de una prueba equilibrada en función de objetivos y tiempo dedicado en clase, además de uso de una taxonomía que clasifica a los objetivos en bajo y alto nivel cognitivo. Podéis ver también el ejemplo de la entrada en este blog: El papel de la evaluación en la taxonomía de Bloom (II) 

El papel de la evaluación en la taxonomía de Bloom (II)

Existen claras implicaciones del uso de la taxonomía que se pueden resumir en seis puntos. Así la taxonomía revisada, planteada en sus dos dimensiones...

1. Permite una conexión más fuerte entre la metodología (instrucción) y el currículo.

2. Resalta la necesidad de utilizar prácticas de evaluación que van más allá de pequeñas porciones de conocimiento y procesos cognitivos individuales para centrarse en aspectos más complejos de aprendizaje y pensamiento.

3. Proporciona un modo de comprender mejor el amplio abanico de modelos y aplicaciones de la evaluación.

4. Refuerza la idea de que diferentes resultados de aprendizaje (se llamen criterios de evaluación, estándares u objetivos) requieren de diferentes procedimientos de evaluación, y que similares resultados de aprendizaje (independientemente de la materia) requieren similares enfoques de evaluación.

5. Los 19 procesos cognitivos (a las seis categorías de procesos) se pueden usar como verbos cuando se formulan resultados de aprendizaje.

Verbos ambiguos como "expresa", "lista", "demuestra"...deben usarse con cuidado. Por ejemplo, los alumnos pueden demostrar lo que han recordado, que está a un nivel taxonómico, o bien pueden demostrar los resultados de un proceso extremadamente creativo, que está justo en el extremo opuesto de la taxonomía.

6. Los métodos de evaluación se asocian a determinados tipos de resultados de aprendizaje.

Resultados de aprendizaje del tipo de recordar conocimiento factual:

• Recordar las definiciones de términos en los estudios sociales.
• Recordar fechas importantes en la Guerra Civil.
• ...

Pueden evaluarse con preguntas en cuestionarios cognitivos de manera muy sencilla: Escribe al lado de cada definición el término al que hace referencia; Escribe las fechas en las que los siguientes eventos tuvieron lugar...

Resultados de aprendizaje del tipo comprender conceptos o aplicar conocimientos procedimentales, donde se incluyen categorías, principios y modelos, se pueden evaluar también con pruebas orales o escritas fácilmente: Aquí tienes un ejemplo de un poema. ¿Es un ejemplo de soneto?¿Por qué?

Sin duda alguna, cuando tengamos que evaluar varios resultados de aprendizaje, asociados además a procesos de alto nivel en la jerarquía y a conocimientos metacognitivos o procedimentales, tendremos que plantear pruebas complejas, contextualizadas e instrumentos que puedan usarse para evaluar esta situación.

Usando la matriz proceso-conocimiento

Una de las grandes utilidades de la taxonomía presentada en dos dimensiones es utilizarla como tabla para hacer patente cómo en nuestra unidad didáctica se alinean perfectamente (o no) el currículo, la metodología y la evaluación. Vamos a verlo con un ejemplo de Airasian y Miranda (2002) de una unidad didáctica de ciencias sociales sobre la época colonial, algo modificado...El contexto es muy anglosajón...

Objetivos (léase resultados de aprendizaje, indicadores de logro, criterios de evaluación o estándares de aprendizaje de nuestro sistema)

O1: Recuerda las partes específicas de los Actos del Parlamento.

O2: Explica las consecuencias de los Actos del Parlamento para los diferentes grupos de las colonias.

O3: Se posiciona sobre los Actos del Parlamento desde distintos puntos de vista.

O4: Crea textos críticos propios sobre hechos históricos.

Procedimientos, prueba e instrumento de evaluación

Evaluación A: Observación. Preguntas orales (en clase). Lista de comprobación.

Evaluación B: Administración prueba. Preguntas escritas. Cuestionario cognitivo.

Evaluación C: Observación. Producto:editorial de un periódico. Rúbrica

En la tabla en negro, están los elementos de la unidad didáctica alineados. En rojo, elementos que no están alineados con uno o dos de los otros (currículo, metodología o evaluación). Tal es el caso de las Actividades 4-evaluación C, Objetivo 4-Actividades 8-10 o el caso de Actividades 6-7.

El hecho no es tanto que no queden cubiertos todos los niveles taxonómicos tanto de conocimiento como de proceso, quizá lo hagan en alguna otra unidad didáctica. Más bien que aparezcan elementos sin estar alineados; por ejemplo, que la instrucción (metodología) no esté alineada con la evaluación, incluso aunque sea de la más alta calidad, hará que el desempeño del alumnado en las evaluaciones no sea el mejor. Objetivos que no son evaluados, o simplemente actividades que no responden a ningún objetivo ni se evalúan, son situaciones que por razones lógicas cabría evitar. En un caso porque no facilitarían información al docente sobre el grado de consecución del currículo y en el otro porque son activismo puro y duro, sin ningún fin concreto ni evaluación que sirva para mejorar el aprendizaje.

También la tabla, proporciona de un vistazo qué tipo de resultados de aprendizaje conforman nuestro currículo de referencia (si se hiciese para toda una área o asignatura se tiene un mapa completo) y en consecuencia con que tipo de metodologías y procedimientos de evaluación debemos responder de mejor forma.

¿Os atrevéis a hacerlo con vuestra unidad didáctica?

Para saber más

Airasian, P.W. y Miranda, H. (2002). The Role of Assessment in the Revised Taxonomy. Theory into Practice, 41 (4), 249-254.
Fives, H. y DiDonato-Barnes, N. (2013). Classroom Test Construction: The Power of a Table of Specifications . Practical Assessment, Research and Evaluation, 18 (3), Recuperado de: http://pareonline.net/pdf/v18n3.pdf

El papel de la evaluación en la taxonomía de Bloom (I)

Se hace necesario exponer la taxonomía de Bloom revisada. ¿Por qué? Porque existen multitud de entradas en blogs, pines, infografías, etc., que todavía plantean la taxonomía de Bloom original, la que publicaron en 1956 (Taxonomy qf Educational Objectives: The Classification of Educational Goals. Handbook I: Cognitive Domain). Esto no es necesariamente negativo, la taxonomía original es de gran ayuda, pero lo es más la revisión que realizaron Anderson, Krathwohl, Airasian, Cruikshank, Mayer, Pintrich, Raths y Wittrock en 2001 (A taxonomy for learning, teaching, and assessing: A revision of Bloom's Taxonomy of Educational Objectives).

No se va a entrar en las razones de por qué presenta un mejor y mayor desarrollo de la taxonomía original, ni en sus diferencias. Tampoco en los límites que pueda tener una taxonomía en sí misma. Además, existen otras taxonomías muy interesantes como la de Marzano y Kendall de 2007 que revisan a Bloom de igual forma. O taxonomías de otros dominios que no se llegaron a desarrollar completamente desde el propio grupo de investigadores que trabajaron con Bloom: del dominio psicomotor y del afectivo.
Simplemente, se presentan las dos dimensiones de la taxonomía válida para el dominio cognitivo, para entender cómo podemos utilizarlas para la evaluación.

 La dimensión de los procesos cognitivos y subprocesos

La dimensión del conocimiento

Y ahora todo junto, con ejemplos...

Así que, cualquier resultado de aprendizaje, sea declarado en nuestro currículo como criterio de evaluación, estándar de aprendizaje evaluable o indicador de logro...puede clasificarse según estas dos dimensiones. Veamos un ejemplo sencillo tomado del Center for Excellence in Learning and Teaching

No es difícil imaginar qué papel puede jugar la evaluación a partir de aquí, aunque se entrará en la segunda parte de este post a fondo.

Antes de cerrar esta primera parte...Si el proceso de evaluación de los aprendizajes no se hace en coherencia con los resultados de aprendizaje (de una determinada unidad didáctica, por ejemplo) y respondiendo a una determinada metodología, concretada en ejercicios, actividades o tareas..., difícilmente será una evaluación válida. Estos tres elementos curriculares han de ser inseparables.

Muchos de los problemas que tiene evaluación del aprendizaje, la que hacemos en las aulas, es precisamente que no sirve para los propósitos del proceso de enseñanza y aprendizaje, es ajena a cualquier metodología y actividades de clase, y mucho más a los resultados de aprendizaje que esperamos de los alumnos y alumnas (currículo). No es creíble. La evaluación ha de estar inserta en todo el proceso de enseñanza y aprendizaje, cierra un ciclo e inicia otro, considerando que sea evaluación formativa. Da pistas para la mejora del aprendizaje de ese alumno o alumna y nos da pistas a nosotros y nosotras como docentes sobre qué elementos de nuestra programación didáctica han de ser mejorados.

Para saber más

- Krathwohl, D.R. (2002). A Revision of Bloom's Taxonomy: An Overview. Theory into practice, 41 (4), 212-218.

- Marzano, R. J. y Kendall, J.S. (2007). The new taxonomy of educational objectives. California, USA: Corwnin Press.

- Wiggins, G. (1998). Educative Assessment: designing assessments to inform and improve student performance. San Francisco, USA: Jossey-Bass Publishers.