De(con)struyendo un mito (III): jugando con los números

Hace más de un siglo, una parejita ni de lejos conocida, Daniel Starch y Edward Elliot, como si de Sherlock y Watson se tratasen, se propusieron hacer un experimento con las calificaciones que los profesores ponían en inglés. Al final a ese experimento se le sumó otro similar, pero con las calificaciones en matemáticas.
Ambos fueron publicados en The School Review, uno en 1912, The reliability of the grading of high-school work in English, y otro en 1913, Reliability of grading work in Mathematics. Traducido, la fiabilidad de las calificaciones en los trabajos de inglés (y matemáticas) en el "insti".

Starch y Elliot partían de la base de que:

• La fiabilidad en la estimación del cumplimiento y progreso del alumnado en sus estudios es de suma importancia.
• Las calificaciones otorgadas a los trabajos de éstos son una medida tangible de sus logros.
• Las calificaciones tienen consecuencias administrativas para los estudiantes (promoción, repetición, admisiones, becas, premios...).
• Las calificaciones tienen consecuencias en la actitud que van conformando los estudiantes ante la escuela, la educación y la vida.

Pero veían "cositas raritas", como que un profesor se "cargaba" al 14% de la clase y otro a un 5%, por ejemplo. Así que su objetivo fue determinar el rango de variación y fiabilidad de las puntuaciones asignadas por los profesores a la respuesta en un examen.

De forma que escogieron dos exámenes en inglés de dos alumnos diferentes (A y B) y los dieron a valorar a, los por aquel entonces ¿Catedráticos? de Inglés (principal teachers of English) de 142 institutos. En 51 de estos institutos se aprobaba con un 70 (escala de 100 puntos) y en los otros 91 institutos con un 75. También hicieron la prueba con estudiantes que se formaban para ser profesores de inglés y con otro grupo de inspectores, directores y profesores que seguían un curso de medición educativa, con los mismos resultados que en el estudio principal, que aquí no se detallan.

Los primeros resultados mostraban que, en general, los profesores de inglés valoraron más el examen del alumno A (mediana 88.2 puntos) que el examen del alumno B (mediana de 80.2 puntos). Y ciertamente así los había valorado su profesor, en un caso el A obtuvo 80 puntos, y el B 75 puntos. Pero lo más inquietante es que en un instituto como el de este profesor, donde se aprobaba con 70 puntos, 22 de los 142 profesores hubiesen suspendido al alumno B. Y además, el profesor de los alumnos se demostraba que era más "duro" que al menos el 50% de los profesores participantes en el estudio.

También encontraron que el punto de corte donde se situaba el aprobado apenas influía, los dos tipos de institutos para el examen A sólo diferían en 1.1 puntos (sus medianas) y para el examen B 1.6 puntos.

Y como resultado principal, ¡el rango de variación en las puntuaciones tanto en un examen como en otro era de 35 a 40 puntos!

¿Qué pasó con el experimento de matemáticas?

Starch y Elliot replicaron el estudio con matemáticas (geometría en concreto), porque supuestamente era una ciencia más "exacta", donde había menos factores subjetivos y personales implicados. Supusieron que la calificación otorgada por los distintos profesores de la materia diferiría menos que en inglés. Pero para su sorpresa la variabilidad en las puntuaciones obtenidas aún fue mayor que en inglés.

El estudio de la Universidad de Lieja

Este estudio de Grisay, en el capítulo del libro referenciado al final de la entrada, se centra en demostrar la hipótesis de un par de inspectores de la zona francófona de Bélgica a raíz de los resultados de repetición que ofrecían diversas escuelas de su circunscripción. 

Los inspectores, a la vista de sus visitas, se preguntaron si los exámenes realizados en diversas escuelas no eran de desigual dificultad. Se elaboró una prueba externa en lengua materna que se administró a todos los alumnos del último curso de Primaria y se compararon con las notas que estos alumnos obtuvieron en su examen final de lengua.

- Las correlaciones de cada una de las clases entre una prueba y otra eran altas, indicando que la clasificación que hacen los profesores es muy comparable a la que hace una prueba externa estandarizada.

- Sin embargo, la correlación bajaba a 0,52 cuando se calcula en el conjunto de la población, lo que significa que las notas de una clase a otra las notas no tenían el mismo valor referencial respecto a lo que mide la prueba externa.

Se comprueba entonces que, los profesores adaptan, legítimamente, sus exámenes al nivel de su clase. Como consecuencia, a un nivel de competencia igual, los alumnos que tiene alguna dificultad tienen más posibilidades de repetir curso si están en una clase más bien buena que en el caso contrario. Y por otra parte, debido a esa desigual dificultad, los profesores tienden a sobrevalorar la heterogeneidad de las clases, digamos que tienden a dispersar más las puntuaciones, a diferenciar más a su alumnado entre sí, que lo que realmente hace una prueba externa.

En el gráfico se aprecia que, por ejemplo, una clase homogénea puede parecer heterogénea al docente, incluso si es una homogeneidad de rendimiento bajo (prueba externa) como en la Clase I. esto, además de consecuencias individuales, que ya se han apuntado, tiene consecuencias de intervención efectiva sobre grupos que realmente lo necesitan, ya que enmascara su competencia real. Enmascara la desigualdad. Y nuevamente, saliéndonos del tema y volviendo al argumento de esta entrada, hace dudar mucho de que con las calificaciones se esté valorando realmente la competencia del alumnado. No es para nada consistente con la descripción del nivel de logro que realmente tienen estos alumnos y que, una prueba externa desde un enfoque de TRI, por ejemplo, sí proporciona. Con esto no quiero decir que lo único válido es una prueba externa, sino que deberíamos adoptar, si usamos puntuaciones para valorar el aprendizaje, incluso si no las usamos, alguno de estos enfoques de descripción de niveles de logro.

Conclusiones

Sin duda alguna, estos estudios nos hacen cuestionar la fiabilidad de las calificaciones, su supuesta objetividad, y el uso tan pretendidamente científico que hacemos de ellas para tomar decisiones "administrativas" o "punitivas". Parece más bien que esto es un juego de números, incluso ayudado por tecnologías tan punteras como una hoja de cálculo.

Pero bien, independientemente de que esto de calificar lo tengamos que hacer por puro requerimiento administrativo o por tradición, también es cierto que hay profesores que aprovechan la evaluación para que sus alumnos y alumnas aprendan. El juego de la calificación no es ni de lejos educativo y mucho menos científico, además de incluir severas aberraciones estadísticas, como calcular una media aritmética con tres valores como valor que representa la tendencia central de éstos.

Alguien podrá contra-argumentar que esto es lo que motiva realmente a los estudiantes, que es en lo que confían las familias y que además es lo que demanda la administración. Pero si se trata de motivación quizá podamos probar con una motivación positiva y otros medios, técnicas y métodos; si se trata de las familias quizá podamos convencerles de que el aprendizaje y no un número es lo que está en juego y que dar información de cómo aprenden y cómo pueden mejorar en este proceso sea lo importante...y mientras tanto nos inventamos formas, o las demandamos, de alinear las escalas de puntuación con descripciones de logro en las distintas materias para cumplir con la administración.

Otros simplemente, en la línea de un movimiento también muy de moda, dirán que esto lo ha escrito un iluminado de éstos, ¿cómo se llaman? ¡Ah, sí! Un pedagogo, seguro que lo ha escrito un pedagogo.

Para saber más

- Starch, D. & Elliot, E. (1912). Reliability of the grading of high-school work in English. The School Review,  20 (7), 442-457. URL: https://www.jstor.org/stable/1076706?seq=1#page_scan_tab_contents

- Starch, D. & Elliot, E. (1913). Reliability of Grading Work in Mathematics. The School Review, 21 (4), 254-259. URL:https://www.jstor.org/stable/1076246?seq=1#page_scan_tab_contents

- Brimi, H. M. (2011). Reliability of Grading High School Work in English. Practical Assessment, Research & Evaluation, 16(17). URL: http://pareonline.net/getvn.asp?v=16&n=17 (réplica del estudio de Starch y Elliot).

- Grisay, A. (2003). Repetir curso o adecuar el currículo. En A. Marchesi y C. Hernández Gil (Coords.). El fracaso escolar. Una perspectiva internacional,  (pp. 101-128). Madrid: Alianza Ensayo.

De(con)struyendo un mito (II): un viaje por el tiempo

Como dirían en "Muchachada Nui": - Hooooooy en Mundo Viejuno...¡LAS CALIFICACIONES!
Pues sí, es más viejo que la tosferina esto. Pero no es malo por ser antiguo. El recorrido documental por la historia de los boletines de calificaciones parte de 1954, algo más de sesenta años es nada. Desde luego si Finlandia presume de un sistema educativo con 60 años de consenso básico, nosotros podemos también hacerlo al respecto de las calificaciones.
Al final de la entrada plantearé algunas preguntas para la reflexión. Entramos en el campo de la medición, en este caso del aprendizaje, y la cosa "debería" ponerse algo más técnica. ¿Es así? Comencemos.

Curso 1954-55 y 58-59

Un sistema de calificaciones que nos sonará, el famoso sistema de 0 a 10. Algunos de nuestros padres/madres o abuelos/abuelas ya tenían el honor de ser objetivamente calificados. La única diferencia es que con un 2 se aprobaba. Aún no creían en eso de que un aprobado necesariamente tiene que estar a mitad de la escala. Esa regla matemática (científica) se descubrió más tarde. Aún siendo una generación que aprobaba con doses, tampoco nos han dejado una herencia tan nefasta, ¿no?

En la página derecha, además de la curiosidad que puede despertar ver las materias: su división en instrumentales, formativas y complementarias, o las famosas Formación del espíritu nacional o Formación para el hogar (sólo para chicas), aparece el uso de la media aritmética para obtener la calificación final de curso en cualquier asignatura. Obviamente con decimales, uno en este caso, con lo que la escala al final podía distinguir diferencias de 0,1 en la escala sobre la característica medida.


Incluso, diariamente se podía hacer esto de calcular la media del día. Esta práctica se ha abandonado hoy en día por las ratios. Este documento ya es de 1958.

Curso 1979-80: la movida madrileña

Ya estamos aquí, una segunda generación, la mía. Las cosas empezaban a ponerse más técnicas...¿o no? Cómo dolían esos *. Edito (dedicado a mi amiga Pili), también estaban los lacerantes MD (Muy Deficiente) y creo recordar que llevaban **.

Dos datos interesantes añadidos a la ciencia de la medición: 1) La comparación de la media del individuo en cuestión (en este caso yo) con la media de su grupo-clase. Algo así como una especie de uso de los Tests Referidos a la Norma; también por asignaturas. 2) La introducción de conceptos más "cool" y "progres" (movida madrileña) como la valoración de las ACTITUDES. Aunque generalmente si tenías un *  en una asignatura era porque tu actitud era PASIVA. Jamás conocí a nadie con una actitud buena en una asignatura con su correspondiente *... Sobre la columna de "Apreciación global" sólo cabe comentar que era un gasto inútil de tinta.

Curso 1982-83: la explosión de Naranjito

Sí, ya éramos una nación pujante, progresista, con un mundial celebrado a nuestras espaldas protagonizado por nuestro querido Naranjito...Un partido de izquierdas, por aquel entonces, había ganado las elecciones después de años de dictadura y una transición democrática aún con los amiguetes del antiguo régimen por ahí pululando. Y... ¡Pues se acabó eso de las calificaciones! Era la hora de dar un giro a nuestra historia. Aquellos que habíamos comenzado nuestra escolarización con ese sistema decimonónico, seríamos más felices con los PAs (Progresa Adecuadamente) y NMs (Necesita Mejorar).

El sistema tenía algunas peculiaridades interesantes: por ejemplo especificar en destrezas las asignaturas instrumentales o la ed. física y la ed. plástica, a las que se podían poner etiquetas como "Destaca". La otra peculiaridad fue la de poner + o -, haciendo que la escala de calificaciones (cualitativa en este caso) diera algo más de sí. El resultado fue nefasto...No me acuerdo cuánto duró esto, pero nadie...ni profes, ni familias, ni alumnado, jamás nos aclaramos. Además eso de democratizar del 5 para arriba con un PA, no gustaba mucho. Por cierto, los controles y exámenes seguían como antes, valorados generalmente de 0 a 10.

Actualidad

Casi que no hace falta poner imágenes, todos y todas conocemos lo que hay hoy. A estas alturas ya os habréis dado cuenta que nuestro sistema es más duro que Chuck Norris, no lo mueve nadie...Y mira que han pasado leyes orgánicas. Hoy en día, con la publicación de la LOMCE, ya hasta en primaria se pone la calificación numérica (sin decimales). En la ESO son más precisas las escalas, llevan decimales.

Incluso esta moda está llegando a Ed. Infantil. Área de Conocimiento de sí mismo y autonomía: Muy Adecuado, un 8. Los dos puntos que le faltan para el 10, ¿qué diantres será?, ¿conocer su mano derecha, sonarse los mocos, ir solo al baño...?

Para la reflexión

Acabo con algunas preguntas para la reflexión que tienen que ver todas con el concepto de medida, de manera implícita. Ya se vio en la anterior entrada que evaluar no es calificar, ni en sentido más amplio, medir. No cabe aclararlo más. Pero dentro de la medición, ya que tratamos esto de la evaluación como una medida del aprendizaje, en resumidas cuentas, y sin ponernos técnicos, podemos pensar en varias cuestiones sencillas:

- ¿La mitad de la escala siempre representa haber alcanzado la mitad de las competencias que componen una determinada asignatura?

- ¿Es siempre este el umbral (el 5) en el que se puede considerar que un alumno alcanza o no alcanza unas determinadas competencias?

- ¿Como medida del aprendizaje que es, y siguiendo la definición de medida, que nivel de característica (aprendizaje) significa un 5, un 6, un 7?

- ¿Ese número, el 6, el 7, el 8, que ha obtenido un alumno/a, describe la misma cantidad de característica que el de otro alumno/a que ha obtenido lo mismo?

- Esta es más técnica: ¿es una buena medida la media aritmética con la forma de la distribución de calificaciones que tiene un alumno y sobre todo con el número de medidas que obtenemos de ese alumno/a?

- Respecto a su precisión, ¿realmente podemos describir la diferencia de aprendizaje de un alumno/a que ha obtenido un 7 de otro que ha obtenido un 6? Si entramos en los decimales, ¿una escala de medida es capaz de apreciar y por tanto de describir 100 niveles de aprendizaje?

Ya no os "torro" más...Ahí lo dejo...En la siguiente parte sobre las calificaciones (la tercera) describiré algunas investigaciones de principios de Siglo XX (Starch y Elliot) y alguna otra de la Universidad de Lieja, por citar algunas.

De(con)struyendo un mito (I): calificar no es evaluar

Numerosos artículos de opinión se han centrado últimamente en la cuestión de las calificaciones, casi siempre para denostarlas, para proponer que evaluar es algo más que calificar, incluso cambiando una norma como en Cataluña, que permite utilizar otras escalas no numéricas.
En este blog no vamos a ser menos...Ya tocaba tratar uno de los temas más polémicos, porque en definitiva acaberemos poniendo una calificación y a utilizar números para evaluar el aprendizaje de nuestro alumnado.

Definiciones

Casi siempre que manejo definiciones lo hago en referencia a la producción científica. En concreto, buscando en tesauros las palabras clave (keywords) que se manejan en los artículos de investigación, y que suelen estar descritas con una definición y unas relaciones jerárquicas con otras palabras clave. Tal es el caso, en educación, del tesauro de ERIC.

Así, quisiera distinguir primero, conceptualmente, los términos: evaluación (del estudiante), medida, valoración del logro, puntuación y calificación. Todos están relacionados pero tienen sus matices.

La evaluación es el establecimiento de un juicio sobre personas, organizaciones o cosas en relación con unos objetivos, criterios o estándares. Y a esto se le añade que se constituye como un proceso que tiene como fin la toma de decisiones. Cuando se habla de evaluación del alumnado se trata de establecer esos juicios sobre su desempeño o conducta en relación con criterios establecidos.
Dicho de otro modo es un proceso que sirve para, dados unos criterios prescriptivos, o no, del currículo (resultados de aprendizaje, criterios de evaluación, objetivos, estándares de aprendizaje evaluables, metas de logro...) establecer un juicio del desempeño del estudiante en relación con éstos, y actuar en consecuencia (tomar decisiones al respecto).

Como herramienta para guiar este juicio habitualmente se entra en el campo de la medición o más bien, y voy adelantando, en una pseudo-medición. La medición es un proceso de obtención de descripciones numéricas de la medida en la que personas, organizaciones o cosas poseen unas características específicas. Si la medición es del logro, de un alumno/a o grupo de alumnos, se trata entonces de asignar valores (cuantitativos o cualitativos) de acuerdo a estándares o procedimientos especificados, describiendo con esa asignación la cantidad de característica (logro) que posee ese/a alumno/a o grupo de alumnos. Al proceso de asignación sistemática de valores a los resultados (usualmente numéricos) como evidencia del logro, generalmente en cuestionarios, se le llama puntuar (Am. Lat.: puntaje).
Finalmente nos queda calificar el desempeño, logro o conducta de ese individuo o grupo usando unas escalas y valores específicamente establecidos.

Red conceptual de la evaluación de los aprendizajes: elementos constitutivos

En el gráfico se representan dos subredes relacionadas: 1) La red de evaluación, propiamente dicha, y 2) la red de la medición. En cualquier caso, una es subsidiaria de la otra, se necesita valorar el logro, pero no es necesario para establecer ese juicio en relación con unos estándares o criterios llegar a puntuar, y mucho menos calificar.

a) Para juzgar el nivel de consecución de unos aprendizajes (logro) se necesita que haya una excelente alineación entre los criterios establecidos (donde se marcan esos aprendizajes), la prueba que pido al alumno (evidencia) y el instrumento que me lo facilita. Es lo que me permite volver a los criterios, para en relación con ellos, establecer el juicio sobre el nivel de consecución de los aprendizajes y consecuentemente tomar decisiones sobre el proceso de enseñanza/aprendizaje (de ambas partes, sí).
b) Si además, a ese logro se lo sitúa en unas escalas de medida cualitativas o cuantitativas, se entra de lleno en el campo de la medición. No exento de errores, como toda medición y no exento de fuentes que amenazan la validez de los resultados (y consecuentemente la fiabilidad). Si para algo es útil la medición en este contexto escolar, además de para cumplir con imperativos legales, es para establecer una alineación (casi)perfecta de la escala numérica con la característica que se está describiendo (el logro de unos aprendizajes). Al menos debería ser así.

Conclusión

Por tanto, el proceso iría de lo más concreto, superficial y no necesario, calificar, a lo más amplio, profundo y necesario, evaluar. Lo lamentable es que los sistemas educativos han dado la vuelta al sentido lógico y paradójicamente educativo, de evaluar; imponiendo desde hace ya muchos años unas prácticas que están insertas en nuestro ADN, no sólo profesional, sino también personal. Se trata de un "meme" que se hereda generación tras generación. Cualquier cambio va a suponer una confrontación con nosotros mismos, con nuestro colegas de profesión, con el alumnado y con sus familias. Pero no escribo esto para dar una opinión solamente, sino también para aportar al discurso razones suficientes y necesarias que superen los argumentos inmovilistas, más allá de la manía personal de cada uno. Después la acción educativa podrá ser la que sea (impuesta o voluntariamente aceptada).

En la segunda parte de esta entrada, sólo demostraré documentalmente que esta práctica obsesiva de calificar y puntuar ha sufrido muy pocas variaciones desde hace por lo menos 60 años, y sospecho que más. Supongo que desde que se adoptaron los principios de la psicometría incipiente en aquellos primeros años del Siglo XX. Como podemos intuir, el aprendizaje es un constructo latente, algo que no se puede observar directamente (como la altura o el peso) y el nivel de inferencia es alto. Es en este campo de medición del rasgo latente, el que proviene de la psicometría, donde se han hecho avances extraordinarios, pero que distan mucho de lo que realmente se practica en el aula. También sobre las consecuencias que tienen las "mediciones de aula" se dedicará un espacio...(To Be Continued).

Tres pasos para promover el aprendizaje desde su evaluación

Si piensas que la evaluación del aprendizaje es algo más que poner notas o plantear un intrincado compendio de actividades ponderadas o de construirse una flamante hoja de cálculo que es capaz de detectar hasta diezmilésimas de variación en el aprendizaje entre dos estudiantes...entonces...esta entrada es PARA TI.


La evaluación de los aprendizajes consiste básicamente en recopilar evidencias sobre lo que nuestros alumnos y alumnas saben y pueden hacer. Todo ello con el fin de:

• Identificar sus fortalezas y debilidades,
• hacer un seguimiento de su progreso en el aprendizaje y,
• planificar y dar las clases.

En definitiva, la evaluación de los aprendizajes debe ser una herramienta para promover un verdadero aprendizaje en el alumnado. Y a estas alturas, ya intuimos que es mucho más que medir o calificar el aprendizaje. De hecho, puede darse perfectamente una evaluación sin necesidad de medir o calificar. El siguiente post se dedicará a clarificar estos términos: evaluación, calificación y medición.

Por el momento:
¿cómo puedo promover el aprendizaje desde su evaluación? Con tres sencillos pasos: 1) Diseño y planificación de la evaluación, 2) Implementación de las pruebas, 3) Evaluar la evaluación
¿tengo que ser un experto/a en evaluación? No, ni mucho menos. Además, no existen los expertos en evaluación, es una leyenda urbana. Pero sí es cierto que, si quieres construir tus propios instrumentos, tendrás que leer algo más. O si quieres plantear tareas auténticas tendrás que abordar otras metodologías, actividades...introducir otras estrategias. En definitiva, salir de la zona de confort

Veamos los pasos de forma más detallada:

Paso 1: diseño-planificación de la evaluación

Para mí, es el paso más importante. Bien diseñada y planificada, la evaluación será más válida y fiable. Sin excepción. En alguna otra entrada se ha hablado del "backward design"de Wiggins o McTighe (Cuatro organizadores para hacer más válida nuestra evaluación ) y en general del tema de la validez. En definitiva se trata de pensar, antes de ponerse a hacer, en una serie de cuestiones:

Los tres aspectos han de mantener una coherencia interna.

Paso 2: realización de la prueba

La clave de todo es hacer de la evaluación un proceso al menos transparente, si además es participativo, mucho mejor. Los alumnos se van a beneficiar cuando:

a) Entiendan las metas de aprendizaje.

b) Sepan que clase de evaluación va a utilizarse para valorar el logro de esas metas.

c) Comprendan qué criterios se usarán para evaluar su trabajo y cómo debe ser una respuesta ideal.

Según el documento del Educational Testing Service, citado al final de la entrada:

Antes de la prueba

En una evaluación de desempeño (performance assessment)

• Desarrollar guías de valoración  que definan qué constituye una respuesta aceptable y sus niveles.
• Compartir las guías con los alumnos antes de realizar la evaluación.
• Discutir las guías con los alumnos para asegurarnos que comprenden la clase de tarea esperada y sus niveles de desempeño.
• Considerar cambios que puedan sugerir los estudiantes.

Después de la prueba

• Realizar una evaluación tras la prueba con los estudiantes para corregir errores, temas que han aparecido en la evaluación y ayudarlos a obtener una mayor comprensión de la materia.
• Discutir sobre diferentes formas de respuesta a la tarea y las fortalezas y debilidades derivadas de cada una de ellas.
• Proporcionar a los estudiantes la oportunidad de revisar sus respuestas.
• Dar mucho feedback, específico y a tiempo. El feedback es una estrategia que tiene un amplio impacto en la mejora del rendimiento (véase los estudios de Hattie, por ejemplo). Sobre:

1. Sus fortalezas y debilidades.
2. Qué han hecho correctamente y qué no.
3. Cómo pueden hacerlo de otra forma la siguiente vez para mejorar su desempeño.

Recuerda: Una puntuación aislada no proporciona a los estudiantes suficiente información sobre su desempeño, por muchos decimales que lleve.

Paso 3: evaluar la evaluación y los resultados

A la hora de mejorar una evaluación de clase es importante revisar una serie de cuestiones. Puedes revisarlas tú y pedirle a un colega que también lo haga. Puedes incluso pedir a alguien que conteste a las preguntas o que realice un determinado desempeño. En general:

1) Sé justo: una evaluación debería sólo medir el conocimiento y destrezas relacionadas con los resultados o metas de aprendizaje.
2) Permite que los alumnos brillen: da al alumnado la oportunidad de demostrar su mejor desempeño, se implicarán más si la prueba es accesible a todos/as y les permitirá demostrar qué saben o pueden hacer.
3) No asumas que los alumnos/as entienden las instrucciones: revisa las preguntas, instrucciones, demandas... También revisa cuestiones de redacción, sesgos de lenguaje o lenguaje potencialmente ofensivo.
4) Ten los límites de tiempo en mente: la cantidad de tiempo que se da para una evaluación es significativa y puede afectar a los resultados. Consecuentemente son difíciles de interpretar.

 Los resultados también  nos dicen cómo ha ido

Reconoce que las pruebas pueden tener defectos

• ¿Fallaron todos los alumnos en la misma pregunta o conjunto de ellas?
• ¿Los alumnos más competentes lo han hecho bien?
• ¿Sientes que lo han hecho bien pero han fallado a la hora de dar las respuestas que esperabas?
• ¿Estaba la tarea bien definida y claramente redactada?

Identifica las fortalezas y debilidades de cada alumno/a

Examina patrones de respuesta: dificultades generalizadas en un tema concreto, grupo de alumnos que fallan en preguntas de un determinado proceso (para esto tengo que tener bien definido el dominio:Paso 1) o contenido o destreza.

Para saber más

- Educational Testing Service (2003). Linking Classroom Assessment with Student Learning. Autor. URL: https://www.ets.org/Media/Tests/TOEFL_Institutional_Testing_Program/ELLM2002.pdf
- McMillan, James H. (2000). Fundamental assessment principles for teachers and school administrators. Practical Assessment, Research & Evaluation, 7(8). Available online: http://PAREonline.net/getvn.asp?v=7&n=8.

 

Recursos de evaluación para el inicio de curso

Después de las merecidas vacaciones, retomamos el blog. Esta vez, para hacerlo un poco más fresquito, como toca aún en esta época, os propongo una serie de recursos que he ido recopilando a lo largo de este curso pasado. Espero que lo aprovechéis, si es vuestra intención seguir profundizando en esta temática tan apasionante. También deseo que continuéis siguiendo el blog que vendrá cargado de nuevas entradas a lo largo del curso sobre cuestiones prácticas y de reflexión en torno al tema de la evaluación educativa. Un fuerte abrazo y feliz inicio de curso.

PARA LA REFLEXIÓN

¿Por qué se critica una cultura de la evaluación? - INED21

Adiós a las notas: estas son las nuevas maneras de evaluar a los alumnos - H.G. Barnés (El Confidencial)

Cuando la evaluación abre las puertas al éxito escolar - La evaluación en la educación actual

Las pruebas de la educación: mis apuntes - P. Etxebarria (Zientziaberri)

Vídeos

No soy un 7 (Sofia Camus) - TED

Farsa de la evaluación - Berenguer Artístic

FUNDAMENTOS

Evaluación Auténtica (Instituto Tecnológico de Sto. Domingo) - Blog de Gesvin
Fundamentos neuroeducativos para un proceso de evaluación - EvaluAcción
Evaluación como parte del aprendizaje - J. Blas García (EvaluAcción)
Metodología y evaluación de lenguas - Pitxu García Sánchez (Valle de Elda)

TÉCNICAS E INSTRUMENTOS DE EVALUACIÓN

General

10 formas diferentes de evaluar a tus alumnos - Web del maestro CMF
Las 16 mejores aplicaciones para la evaluación formativa - Actualidad Pedagógica

Instrumento: Rúbricas

10 herramientas TIC para crear rúbricas - Ayuda para maestros
Evaluación con rúbricas para la mejora del aprendizaje (guía gratuita) - Ayuda para maestros
Rúbricas: ventajas y desventajas de este método de evaluación - Realinfluencers
11 Herramientas Gratuitas para Diseñar Rúbricas de Evaluación | Artículo - Blog de Gesvin
Rúbricas de evaluación de competencias. Parte IV: Diseño y validación de una rúbrica - INED21
Coevaluación con rúbricas y CoRubrics - J. Feliu Agullo (EvaluAcción)

Instrumento: Cuestionarios cognitivos (pruebas objetivas, tests, quizzes...)

13 herramientas para evaluar a tus alumnos en clase (APP's) - Educación 3.0
Cómo adaptar un examen para alumno con NEE (póster) - Orientación Andújar

Técnica: Preguntas esenciales, interrogación elaborativa, autoexplicación

Preguntas que encienden la chispa del aprendizaje: desde Sócrates hasta hoy - J. Guillén (Escuela con cerebro)

EVALUACIONES EXTERNAS

PISA

Lo que oculta el informe PISA - C. M. Sánchez (XL Semanal)

9 apunts a partir de PISA que no se solen mencionar (postre) - J. Badia (Diari de l'Educació)

Carta a un docente sobre PISA: notas para la reflexión - Fernando Trujillo

Relativizando la importancia e impacto de las evaluaciones externas internacionales y las políticas de rendición de cuentas - G. Álvarez (Politikon)

EVALUACIÓN DEL PROFESORADO

Y abrimos el melón...

Diez principios para la evaluación del profesorado - M.A. Santos Guerra (El diario de la Educación)

Cuatro organizadores para hacer más válida nuestra evaluación

No sé si lo he comentado en una entrada anterior, pero sugiere Wiggins que, en la evaluación, el componente humano tanto del alumnado como del profesorado hace de ésta una tarea sumamente subjetiva. Y que por tanto no está tanto en perseguir la "objetividad" como en perseguir su credibilidad. Ésta sería uno de los estándares de la evaluación, junto a otros.
Hablar de credibilidad supone también hablar de validez (antes que de fiabilidad). Entre otras cosas porque existe un tipo de validez de pruebas de evaluación, la de contenido, que se refiere a la pertinencia y suficiencia de las interpretaciones basadas en los resultados. En nuestro caso, la interpretación del aprendizaje que ha realizado el alumnado de una determinada asignatura. Para ello, la prueba tiene de recoger una muestra adecuada y representativa del contenido a evaluar.

¿Es el contenido de nuestras pruebas una muestra adecuada y representativa de los aprendizajes?, ¿las preguntas que realizo, las actividades de evaluación, se basan en los aprendizajes que pretendo evaluar?, ¿qué aprendizajes son éstos?

Hay otro tipo de validez muy interesante, un tipo de validez de contenido, la validez aparente: es la que produce a los estudiantes la impresión de que, efectivamente, es una prueba adecuada.
¿cuántas veces nuestros estudiantes han dicho -"es que esto no lo hemos dado"- o "esto no nos lo has explicado como lo preguntas"?

Un ejemplo de una escuela pública de Ed. Infantil

Estas cosas ocurren porque, en general, la evaluación va por un lado, las actividades de enseñanza/aprendizaje van por otro y el currículo (los resultados de aprendizaje, criterios de evaluación...) por otro, si van... La otra noche hablaba sobre una práctica de una escuela infantil de segundo ciclo, hacen cantidad de actividades interesantes: grupos interactivos, tertulias dialógicas, proyectos, rincones, usan la metodología ABN...Pero llega el final de trimestre...todo eso que se ha realizado no ha valido para evaluar el aprendizaje, de hecho no tienen instrumentos para valorarlo en el contexto de estas actividades...Por tanto, como han de rellenar un boletín cualitativo de información y marcar unos ítems de aprendizaje...se obligan a hacer una "pruebecita". Los niños y niñas de la escuela hacen una actividad "rara", incoherente con su aprendizaje diario tan interesante y se ven en estas.
Otra de las cosas que les ocurre es que no saben (pueden intuirlo) qué tipo de aprendizajes están en juego: en cuanto a procesos y destrezas, contenidos...y especialmente los relacionados con el currículo oficial...
Hacen las actividades pero no saben tienen relación con el currículo, ni son capaces de relacionarlas con la evaluación, y esta a su vez con el currículo.
Claro, que este es un ejemplo, y no me atrevo a generalizar.

Para ayudar a conseguir mayor validez, entre otras cosas, os presentaré una serie de organizadores. Lo que pretenden es alinear precisamente el currículo, la metodología de enseñanza y actividades de aprendizaje y la evaluación. Aquí vamos...

CUATRO ORGANIZADORES PARA HACER VÁLIDA LA EVALUACIÓN

1. Diseño de Unidades Didácticas Integradas - Inclusivas (UDI+i)

Pinchando aquí tenéis una entrada en el blog de Proyecto Atlántida con un enlace y múltiples ejemplos de UDI+i

2. El "canvas" para el diseño de proyectos de Conecta 13

3. Marco de la evaluación - Backwards Design de Wiggins y McTighe

4. La matriz de especificaciones como excusa de programación de aula - Fives, H. y DiDonato-Barnes, N. (2013)

No especifica exactamente actividades de aula, aunque sí el tiempo dedicado. El organizador está muy centrado en la construcción de una prueba equilibrada en función de objetivos y tiempo dedicado en clase, además de uso de una taxonomía que clasifica a los objetivos en bajo y alto nivel cognitivo. Podéis ver también el ejemplo de la entrada en este blog: El papel de la evaluación en la taxonomía de Bloom (II) 

Rúbricas (II): Tipos de rúbricas, ventajas e inconvenientes

No todas las rúbricas son iguales, e incluso algunas de las que van circulando por ahí con el nombre de rúbricas ni siquiera lo son. Quizá esta entrada te clarifique algo más que la anterior qué es un rúbrica, qué pinta tiene, cuáles son las ventajas de unas frente a otras.

Tipos de rúbricas

Habitualmente se suele hacer una clasificación de las rúbricas en: a) holísticas o b) analíticas, atendiendo a cómo consideran la evaluación del desempeño, si como un todo o atendiendo a sus características definitorias una a una.

También existe otra clasificación atendiendo al tipo de desempeño que se evalúa, si es específico o es general, quedando así rúbricas que son específicas o rúbricas que son genéricas, y esto dependerá del tipo de criterios por los que se evaluará ese desempeño. En esta clasificación no se profundizará demasiado, simplemente sirva decir que las rúbricas genéricas se dan cuando existen desempeños que reúnen características similares independientemente del contenido, que son interdisciplinares, por ejemplo, la presentación oral de una información (siempre y cuando el contenido de esa presentación no sea objeto de evaluación). Por el contrario, las rúbricas específicas de la tarea, enfatizan las características peculiares de una tarea concreta que no volverá a repetirse y están centradas en conceptos, hechos o destrezas y habilidades muy específicas.

Obviamente tanto con un tipo de clasificación como con otra, aunque más con la última desarrollada, puede haber enfoques mixtos donde se combinan aspectos genéricos y específicos o dos rúbricas que se combinen para formar una sola, con una evaluación holística y otra analítica de diferentes partes del desempeño. En definitiva, se puede hacer este tipo de combinaciones obteniendo cuatro tipos de rúbricas: holística específica o genérica y analítica específica o genérica, con sus variantes mixtas.

Rúbrica analítica

En las rúbricas analíticas los criterios de realización, con sus atributos, se evalúan en los distintos niveles proporcionando una descripción para cada uno de ellos. Cada atributo recibirá una puntuación por separado, aunque también puede obtenerse con propósitos sumativos una puntuación global del desempeño. Ocasionalmente se asignan pesos a la evaluación de cada atributo.

La principal ventaja en el uso de este tipo de rúbricas es que proporciona tanto a los estudiantes como al docente una imagen muy clara de por qué se obtiene una determinada puntuación y se detecta mejor qué partes del desempeño requieren de una revisión por parte de ambos. Su función es diagnóstica y con propósitos claramente formativos, aunque ya se ha dicho que puede utilizarse una puntuación global del desempeño con propósitos sumativos. Sin embargo, para crearlas se necesita mucho tiempo y su uso en la práctica de la evaluación requiere de mucha destreza, especialmente en desempeños que se evalúan en el mismo momento de su realización.

Esquema

Ejemplo

Rúbrica elaborada para la Unidad Didáctica Integrada: "Conocemos nuestro barrio" (6º Ed. Primaria). Publicada en: AA.VV. (2016). Unidades Didácticas Integradas para la Inclusión: Valencia: Generalitat Valenciana. (enlace)

Rúbrica holística

Cuando se da la superposición de criterios o son criterios muy asociados, es mejor utilizar este tipo de rúbrica. Los criterios se consideran en combinación en una sola escala descriptiva. Apoyan valoraciones más amplias sobre la calidad del proceso o del producto. Una valoración holística puede también formar parte de una analítica como un factor más, aunque este tipo de métodos tiene la dificultad de sobreponer los criterios de la rúbrica holística con los otros.

Su uso resulta más práctico, más rápido que las rúbricas analíticas. Sin embargo, al proporcionar una valoración global del desempeño se pierden detalles específicos y su uso formativo está limitado, al contrario que las analíticas, usándose preferiblemente en evaluaciones con propósito sumativo. También dada su limitada escala de puntuación este uso sumativo se circunscribe casi al hecho de proporcionar una calificación (excelente, notable, bien…), más que una puntuación.

En la rúbrica holística los niveles suelen aparecer delimitando las filas y los criterios de realización y sus atributos se combinan para proporcionar una descripción para cada uno de estos niveles.

Esquema

Ejemplo

Rúbrica elaborada para la Unidad Didáctica Integrada: "Conocemos nuestro barrio" (6º Ed. Primaria). Publicada en: AA.VV. (2016). Unidades Didácticas Integradas para la Inclusión: Valencia: Generalitat Valenciana. (enlace)

Muestras de desempeño, anclajes o testigos en las rúbricas holísticas

Un aspecto importante y deseable en el uso de rúbricas holísticas es el empleo de testigos o muestras ejemplares de desempeño, anclajes, cuando esto sea posible (por ejemplo, en la valoración de redacciones, dibujos e incluso productos (se pueden usar fotografías). Esto significa ni más ni me- nos que escoger entre las realizaciones de los estudiantes aquellas que estén en el límite superior de cada nivel, de manera que nos sirvan como elemento global de comparación.

Obviamente, la recogida de muestras no tiene por qué ser cada curso, una vez escojamos las primeras muestras, de nuestro primer grupo de estudiantes, las podemos mantener para otros cursos, a no ser que tengamos muestras mucho mejores en todos o cualquiera de los niveles de las rúbrica.
Así en las siguientes evaluaciones, si se han establecido bien las rúbricas y los testigos, al evaluar un desempeño de forma global tendremos tanto elementos verbales (descripciones) como elementos visuales (testigos) para situar la ejecución de un estudiante determinado en un nivel.

El procedimiento es como sigue (ej. redacciones): «¿esta redacción está mejor o peor que este modelo de nivel 1?». Si está mejor, pasaría a formar parte del siguiente nivel, el 2, y la compararíamos de nuevo con el modelo límite del nivel 2 para hacer la misma pregunta.

Si estuviese peor que el modelo del nivel 1, la dejaríamos en el nivel 1 (el mínimo).

Disponer de buenos modelos o testigos es una cuestión que depende del tiempo: requiere que hayamos trabajado considerablemente con la rúbrica y que dispongamos de un número suficiente de producciones de los alumnos y de las alumnas que sean significativamente clarificadoras y útiles para valorar globalmente un desempeño determinado.

 

Para saber más

En este enlace tienes una publicación donde explico todo el proceso de diseño de rúbricas, así como las claves principales para aumentar la fiabilidad y validez de este instrumento tan útil en la evaluación de desempeños:

- Cortés De las Heras, J. (2016). Diseño de rúbricas. En Monografías didácticas. Madrid. ANAYA.

Si quieres conocer aún más aquí tienes referencias mayoritariamente consultadas en la revista electrónica: Practical Assessment, Research and Evaluation.

- Brualdi Timmins, A.C. (1998). Implementing performance assessment in the classroom. Practical Assessment, Research & Evaluation, 6(2). Recuperado 13 junio 2014 de http://PAREonline.net/getvn.asp?v=6&n=2.

- ERIC/AE (2014). Scoring Rubrics – Definitions and Construction. Disponible on-line en: http://ericae.net/faqs/rubrics/scoring_rubrics.htm].

- Gonzalez, J. (2014). Know your terms: holistic, analytic and single-point rubrics. Recuperado 1 junio 2014 de http://www.cultofpedagogy.com/holistic-analytic-single-point-rubrics/.

- Mertler, C.A. (2001). Designing scoring rubrics for your classroom. Practical Assessment, Research & Evaluation, 7(25). Recuperado 13 junio 2014 de http://PAREonline.net/getvn.asp?v=7&n=25.

- Moskal, B. (2000). Scoring rubrics: what, when and how?. Practical Assessment, Research & Evaluation, 7(3). Recuperado 13 junio 2014 de http://PAREonline.net/getvn.asp?v=7&n=3.

- Moskal, B. (2003). Recommendations for developing classroom performance assessments and scoring rubrics. Practical Assessment, Research & Evaluation, 8(14). Recuperado 13 junio 2014 de http://PAREonline.net/getvn.asp?v=8&n=14.

- Moskal, B. M. y Leydens, J.A. (2000). Scoring rubric development: validity and reliability. Practical Assessment, Research & Evaluation, 7(10). Recuperado 13 junio 2014 de http://PAREonline.net/getvn.asp?v=7&n=10.

- Popham, W. J. (1997). What's wrong - and what's right -with rubrics. Educational Lidership, October 1997, 72-75.

- Simon, M. y Forgette R. (2001). A rubric for scoring postsecondary academic skills. Practical Assessment, Research & Evaluation, 7(18). Recuperado 13 junio 2014 de http://PAREonline.net/getvn.asp?v=7&n=18.

- Tiemey, R. y Simon, M. (2004). What's still wrong with rubrics: focusing on the consistency of performance criteria across scale levels. Practical Assessment, Research & Evaluation, 9(2). Recuperado 13 junio 2014 de http://PAREonline.net/getvn.asp?v=9&n=2.

- Wiggins, G. (1998). Educative Assessment. Designing Assessments To Inform and Improve Student Performance. Jossey-Bass Publishers, San Francisco, CA.