5 características de una evaluación auténtica

Sí, se está moviendo este concepto de evaluación auténtica. Pero ¿qué queremos decir cuando nos referimos a evaluación auténtica?¿existe una evaluación que no sea auténtica?¿es lo mismo que evaluación alternativa, o que la evaluación de desempeño? Pasemos a descubrirlo con sólo cinco claves...

Frey, Schmitt y Allen (2012) realizaron un meta-análisis sobre las definiciones de evaluación auténtica realizadas por cuarenta y siete autores. Así, a partir de este estudio la evaluación auténtica se puede definir por cinco características esenciales:

La importancia del contexto

La evaluación auténtica no puede darse si no se enfocan las actividades que se evalúan desde el punto de vista del contexto. Así, estas actividades han de plantearse en contextos realistas y cercanos al alumnado. Este realismo, acerca los conocimientos, las destrezas y las actitudes implícitas en los objetos de aprendizaje a aplicaciones de la vida diaria, en contextos personales, académicos, familiares o sociales. Y a su vez, enfocar las actividades con este planteamiento, provoca que estas actividades o tareas sean complejas desde el punto de vista cognitivo. Implican en muchas ocasiones tipos de pensamiento analítico, crítico y creativo para la solución de problemas o la toma de decisiones en colaboración con otros.

Es lo que Wiggins (1998) denomina tareas auténticas. Para no enrollarme mucho con las características de una tarea auténtica, pongo a continuación un ejemplo de actividad de evaluación que va desde un planteamiento no auténtico a un planteamiento auténtico.

El papel del estudiante: evaluación formativa

Obviamente, desaprovechar una tarea de estas características para mejorar el aprendizaje que demuestra el alumnado (y también mejorar la enseñanza), es una lástima. Así que, otra de las características es que el cómo aprende un estudiante está en el foco de la mejora: ha de poder aprender en el propio proceso de la tarea y con la evaluación que se haga de los aprendizajes que demuestra. El docente centra su labor en proporcionar la retroalimentación necesaria, se introducen mejoras en el propio proceso o incluso en el producto elaborado por el alumnado. No se acaba la tarea tal como esté,  y a partir de aquí se premia o sanciona el aprendizaje demostrado. No interesa evaluar para dar una calificación, sino porque el proceso de evaluación mismo se convierte también en un catalizador de nuevos aprendizajes o de refuerzo de aquellos todavía no consolidados.

Las bases para la calificación de los aprendizajes

Por último, las bases para establecer una calificación de los aprendizajes se centran en dos aspectos, fundamentales desde mi punto de vista:
1) Los estudiantes conocen de antemano los criterios de desempeño por los cuales van a ser evaluados, e incluso son partícipes de su desarrollo. La evaluación se convierte en un proceso público, participativo y transparente.
2) Se utilizan varios criterios de evaluación (o metas o indicadores de logro) que por otra parte han de corresponderse o han de estar presentes en la tarea o actividad (compleja).

Estos dos últimos puntos llevan casi siempre a asociar la evaluación auténtica al uso de rúbricas. Aunque bien se podrían utilizar también instrumentos de recogida de evidencias del aprendizaje, como un portafolio, y emplear diversos tipos de instrumentos de evaluación que permitan la valoración de los aprendizajes de estas evidencias, de la mejor forma posible. Tanto es así, que el enfoque ideal es utilizar diversidad de instrumentos en contextos o actividades realistas (o auténticas).

Para saber más

Frey, B.B., Schmitt, V.L. and Justin, P.A. (2012). Defining Authentic Classroom Assessment. Practical Assessment, Research and Evaluation, 17(2). Disponible online: http://pareonline.net/getvn.asp?v=17&n=2

El papel de la evaluación en la taxonomía de Bloom (II)

Existen claras implicaciones del uso de la taxonomía que se pueden resumir en seis puntos. Así la taxonomía revisada, planteada en sus dos dimensiones...

1. Permite una conexión más fuerte entre la metodología (instrucción) y el currículo.

2. Resalta la necesidad de utilizar prácticas de evaluación que van más allá de pequeñas porciones de conocimiento y procesos cognitivos individuales para centrarse en aspectos más complejos de aprendizaje y pensamiento.

3. Proporciona un modo de comprender mejor el amplio abanico de modelos y aplicaciones de la evaluación.

4. Refuerza la idea de que diferentes resultados de aprendizaje (se llamen criterios de evaluación, estándares u objetivos) requieren de diferentes procedimientos de evaluación, y que similares resultados de aprendizaje (independientemente de la materia) requieren similares enfoques de evaluación.

5. Los 19 procesos cognitivos (a las seis categorías de procesos) se pueden usar como verbos cuando se formulan resultados de aprendizaje.

Verbos ambiguos como "expresa", "lista", "demuestra"...deben usarse con cuidado. Por ejemplo, los alumnos pueden demostrar lo que han recordado, que está a un nivel taxonómico, o bien pueden demostrar los resultados de un proceso extremadamente creativo, que está justo en el extremo opuesto de la taxonomía.

6. Los métodos de evaluación se asocian a determinados tipos de resultados de aprendizaje.

Resultados de aprendizaje del tipo de recordar conocimiento factual:

• Recordar las definiciones de términos en los estudios sociales.
• Recordar fechas importantes en la Guerra Civil.
• ...

Pueden evaluarse con preguntas en cuestionarios cognitivos de manera muy sencilla: Escribe al lado de cada definición el término al que hace referencia; Escribe las fechas en las que los siguientes eventos tuvieron lugar...

Resultados de aprendizaje del tipo comprender conceptos o aplicar conocimientos procedimentales, donde se incluyen categorías, principios y modelos, se pueden evaluar también con pruebas orales o escritas fácilmente: Aquí tienes un ejemplo de un poema. ¿Es un ejemplo de soneto?¿Por qué?

Sin duda alguna, cuando tengamos que evaluar varios resultados de aprendizaje, asociados además a procesos de alto nivel en la jerarquía y a conocimientos metacognitivos o procedimentales, tendremos que plantear pruebas complejas, contextualizadas e instrumentos que puedan usarse para evaluar esta situación.

Usando la matriz proceso-conocimiento

Una de las grandes utilidades de la taxonomía presentada en dos dimensiones es utilizarla como tabla para hacer patente cómo en nuestra unidad didáctica se alinean perfectamente (o no) el currículo, la metodología y la evaluación. Vamos a verlo con un ejemplo de Airasian y Miranda (2002) de una unidad didáctica de ciencias sociales sobre la época colonial, algo modificado...El contexto es muy anglosajón...

Objetivos (léase resultados de aprendizaje, indicadores de logro, criterios de evaluación o estándares de aprendizaje de nuestro sistema)

O1: Recuerda las partes específicas de los Actos del Parlamento.

O2: Explica las consecuencias de los Actos del Parlamento para los diferentes grupos de las colonias.

O3: Se posiciona sobre los Actos del Parlamento desde distintos puntos de vista.

O4: Crea textos críticos propios sobre hechos históricos.

Procedimientos, prueba e instrumento de evaluación

Evaluación A: Observación. Preguntas orales (en clase). Lista de comprobación.

Evaluación B: Administración prueba. Preguntas escritas. Cuestionario cognitivo.

Evaluación C: Observación. Producto:editorial de un periódico. Rúbrica

En la tabla en negro, están los elementos de la unidad didáctica alineados. En rojo, elementos que no están alineados con uno o dos de los otros (currículo, metodología o evaluación). Tal es el caso de las Actividades 4-evaluación C, Objetivo 4-Actividades 8-10 o el caso de Actividades 6-7.

El hecho no es tanto que no queden cubiertos todos los niveles taxonómicos tanto de conocimiento como de proceso, quizá lo hagan en alguna otra unidad didáctica. Más bien que aparezcan elementos sin estar alineados; por ejemplo, que la instrucción (metodología) no esté alineada con la evaluación, incluso aunque sea de la más alta calidad, hará que el desempeño del alumnado en las evaluaciones no sea el mejor. Objetivos que no son evaluados, o simplemente actividades que no responden a ningún objetivo ni se evalúan, son situaciones que por razones lógicas cabría evitar. En un caso porque no facilitarían información al docente sobre el grado de consecución del currículo y en el otro porque son activismo puro y duro, sin ningún fin concreto ni evaluación que sirva para mejorar el aprendizaje.

También la tabla, proporciona de un vistazo qué tipo de resultados de aprendizaje conforman nuestro currículo de referencia (si se hiciese para toda una área o asignatura se tiene un mapa completo) y en consecuencia con que tipo de metodologías y procedimientos de evaluación debemos responder de mejor forma.

¿Os atrevéis a hacerlo con vuestra unidad didáctica?

Para saber más

Airasian, P.W. y Miranda, H. (2002). The Role of Assessment in the Revised Taxonomy. Theory into Practice, 41 (4), 249-254.
Fives, H. y DiDonato-Barnes, N. (2013). Classroom Test Construction: The Power of a Table of Specifications . Practical Assessment, Research and Evaluation, 18 (3), Recuperado de: http://pareonline.net/pdf/v18n3.pdf

El papel de la evaluación en la taxonomía de Bloom (I)

Se hace necesario exponer la taxonomía de Bloom revisada. ¿Por qué? Porque existen multitud de entradas en blogs, pines, infografías, etc., que todavía plantean la taxonomía de Bloom original, la que publicaron en 1956 (Taxonomy qf Educational Objectives: The Classification of Educational Goals. Handbook I: Cognitive Domain). Esto no es necesariamente negativo, la taxonomía original es de gran ayuda, pero lo es más la revisión que realizaron Anderson, Krathwohl, Airasian, Cruikshank, Mayer, Pintrich, Raths y Wittrock en 2001 (A taxonomy for learning, teaching, and assessing: A revision of Bloom's Taxonomy of Educational Objectives).

No se va a entrar en las razones de por qué presenta un mejor y mayor desarrollo de la taxonomía original, ni en sus diferencias. Tampoco en los límites que pueda tener una taxonomía en sí misma. Además, existen otras taxonomías muy interesantes como la de Marzano y Kendall de 2007 que revisan a Bloom de igual forma. O taxonomías de otros dominios que no se llegaron a desarrollar completamente desde el propio grupo de investigadores que trabajaron con Bloom: del dominio psicomotor y del afectivo.
Simplemente, se presentan las dos dimensiones de la taxonomía válida para el dominio cognitivo, para entender cómo podemos utilizarlas para la evaluación.

 La dimensión de los procesos cognitivos y subprocesos

La dimensión del conocimiento

Y ahora todo junto, con ejemplos...

Así que, cualquier resultado de aprendizaje, sea declarado en nuestro currículo como criterio de evaluación, estándar de aprendizaje evaluable o indicador de logro...puede clasificarse según estas dos dimensiones. Veamos un ejemplo sencillo tomado del Center for Excellence in Learning and Teaching

No es difícil imaginar qué papel puede jugar la evaluación a partir de aquí, aunque se entrará en la segunda parte de este post a fondo.

Antes de cerrar esta primera parte...Si el proceso de evaluación de los aprendizajes no se hace en coherencia con los resultados de aprendizaje (de una determinada unidad didáctica, por ejemplo) y respondiendo a una determinada metodología, concretada en ejercicios, actividades o tareas..., difícilmente será una evaluación válida. Estos tres elementos curriculares han de ser inseparables.

Muchos de los problemas que tiene evaluación del aprendizaje, la que hacemos en las aulas, es precisamente que no sirve para los propósitos del proceso de enseñanza y aprendizaje, es ajena a cualquier metodología y actividades de clase, y mucho más a los resultados de aprendizaje que esperamos de los alumnos y alumnas (currículo). No es creíble. La evaluación ha de estar inserta en todo el proceso de enseñanza y aprendizaje, cierra un ciclo e inicia otro, considerando que sea evaluación formativa. Da pistas para la mejora del aprendizaje de ese alumno o alumna y nos da pistas a nosotros y nosotras como docentes sobre qué elementos de nuestra programación didáctica han de ser mejorados.

Para saber más

- Krathwohl, D.R. (2002). A Revision of Bloom's Taxonomy: An Overview. Theory into practice, 41 (4), 212-218.

- Marzano, R. J. y Kendall, J.S. (2007). The new taxonomy of educational objectives. California, USA: Corwnin Press.

- Wiggins, G. (1998). Educative Assessment: designing assessments to inform and improve student performance. San Francisco, USA: Jossey-Bass Publishers.

Guías de valoración: mejorando la calificación de las respuestas abiertas

Las guías de valoración son uno de los instrumentos que generalmente se utilizan en los cuestionarios cognitivos para valorar preguntas que requieren de la respuesta a una cuestión concreta pero lo suficientemente abierta como para generar incertidumbre a la hora de puntuarla.

Contexto

En los cuestionarios cognitivos, lo que en la escuela se conoce como prueba escrita, control o examen...se recogen evidencias del aprendizaje de nuestro alumnado con diferentes preguntas. Las más comunes, en los cuestionarios de pruebas a gran escala, son las de elección múltiple u otro tipo de preguntas o ítems de respuesta cerrada (verdadero-falso o alternativa simple, asociación, elección múltiple compleja u ordenación). Por el contrario, salvo alguna excepción, en las pruebas de clase o en las de acceso a la universidad (PAU) se suele utilizar respuestas de tipo abierto, bien sea de completar huecos con alguna respuesta muy concreta o de redactar algunas líneas o incluso textos más largos de cualquier género discursivo. Es especialmente en este tipo de respuestas concretas, pero complejas, donde vamos a necesitar las guías de valoración.

¿Qué es una guía de valoración?

Es una escala que describe cualitativamente los niveles de desempeño de una respuesta concreta pero compleja, asignando una puntuación a cada uno de ellos. 

En el contexto internacional también recibe el nombre de rúbrica. Desde luego, si es una rúbrica sería holística (a esto también dedicaremos una entrada, en partes). Aunque personalmente considero que estaría a caballo entre una escala de valoración y una rúbrica en toda regla.

Ejemplo

Estímulo de la Unidad de Evaluación: Plano de la biblioteca, PISA 2012. Fuente: Marcos y pruebas de evaluación de PISA 2012: Matemáticas, Lectura y Ciencias. 

Pregunta: Explica por qué puede haberse elegido ese lugar para las Novedades. (la pregunta anterior era de elección múltiple y sólo sirve para completar la respuesta a esta pregunta, por sí sola no da puntos. La pregunta y las opciones eran:Pregunta: ¿Dónde están situadas las novedades? a) En la sección de ficción, b) En la sección de no ficción, c) Cerca de la entrada, d) Cerca del mostrador de información.

Características del marco de evaluación:

• Situación: Pública
• Medio: Impreso
• Formato de texto: Discontinuo
• Tipo de texto: Descripción
• Aspecto: Reflexionar y valorar: Reflexionar sobre el contenido de un texto y valorarlo
• Finalidad de la pregunta: Formular hipótesis sobre la ubicación de un elemento de un plano recurriendo a los conocimientos y a las experiencias personales.
• Formato de pregunta: Respuesta construida abierta.

Guía de valoración

(adaptada de la original)

¿Dónde, cuándo y para qué se utiliza?

Se utiliza en cuestionarios cognitivos. Por lo tanto, no se trata de un instrumento en sí mismo la mayor parte de las ocasiones, sino que se pone al servicio de los cuestionarios cognitivos y contribuye al conjunto de la escala de ese cuestionario junto a la puntuación de otras preguntas.

Se utiliza para valorar respuestas abiertas y con cierto grado de complejidad que responden generalmente a un descriptor, indicador, criterio de evaluación o estándar muy específico y sólo a uno. En cualquier caso, suelen referirse la mayoría a niveles cognitivos de relativa complejidad y contenido concreto (explicar, demostrar, analizar, sintetizar, reflexionar, criticar...).

Para respuestas abiertas que están vinculadas a más de un criterio de evaluación, indicadores de logro o estándares de aprendizaje evaluables, y que además su el desarrollo del contenido es amplio, y obviamente complejo, se recomienda el uso de rúbricas (por ejemplo un ensayo).

Pasos para elaborar guías de valoración

Requisito inicial: La pregunta ha de estar relacionada (alineada) con un indicador, descriptor... del dominio a evaluar (conjunto de contenidos y procesos, y su concreción en indicadores de una asignatura o competencia, en su conjunto, o parcialmente (unidad o unidades en un trimestre).

1. Analizar el desempeño 

Se recogen ejemplos reales de respuestas de alumnos y alumnas. Se clasifican en dos o tres niveles de desempeño (la del ejemplo tiene tres niveles). Se decide aquí el número de niveles, aunque puede cambiar si su gradación es confusa, no ayuda a distinguir entre determinados niveles contiguos.

2. Describir y ejemplificar los niveles de desempeño

En función de lo que tengan en común las respuestas de los alumnos y alumnas clasificadas en cada nivel, se describe la respuesta tipo y dejamos los ejemplos que mejor representan la descripción.

3. Asignar puntuaciones

Se asignan puntuaciones a cada uno de los niveles. Generalmente son números enteros.

4. Mejorar la fiabilidad de la guía

Se prueba la guía con otros alumnos (de otras aulas, los del curso siguiente...). Se prueba con otros compañeros que pueden utilizarla con los mismos alumnos para comprobar si se llega a los mismos resultados.