martes, 29 de junio de 2021

Criterios de desempeño e indicadores para el diseño de evaluaciones

 Wiggins (1998), en la ya por mí difundida obra de referencia Educative Assessment (pp. 128- 131) dedica una sección a los diferentes tipos de criterios que pueden ser utilizados para la evaluación de una tarea.

Antes de esto aclara que los tres elementos del diseño de la evaluación: objetivos de logro, estándares de desempeño y los criterios e indicadores implicados, sugieren tres cosas: 

1. Una única tarea no puede servir  para valorar adecuadamente un objetivo complejo.

2. Un único contexto (situación , audiencia, propósito o conjunto de condiciones) no puede ser adecuado para juzgar el amplio conocimiento de un estudiante,

3. Una única clase o género de desempeño (oral, escrito o muestra) o producto, no implica una evidencia válida y fiable.

Se debe hacer previamente una traducción a nuestro contexto de referentes de evaluación. Cuando habla de objetivos de logro, se refiere a nuestros criterios de evaluación, que actúan de metas y referentes de evaluación específicos de cada área o materia. A estos se les asociarían los estándares de desempeño que en nuestro contexto no existen (¿cómo de bien lo deben de hacer los y las estudiantes?). Finalmente se refiere a criterios, que especifican el estándar de desempeño sin estar sujetos a una tarea concreta del conjunto de tareas que pueden referirse a una meta de logro (contexto español: criterios de evaluación). El criterio es una manera de definir el éxito para alcanzar una meta de logro o resultado de aprendizaje. Cuando se alcanzan esos criterios concluimos no sólo que el desempeño específico (por ejemplo, saberse una lección) ha sido exitoso, sino que una meta de aprendizaje ha sido alcanzada.

Los indicadores son conductas o rasgos que es típico o característico de un desempeño concreto que está siendo evaluado. Es un signo o síntoma concreto para que un criterio sea alcanzado. Por ejemplo, consideremos la evaluación de una buena exposición.

Criterio: el estudiante habla de una forma motivadora

Indicadores para el criterio: hace contacto visual, modula la voz de forma placentera, utiliza anécdotas y humos apropiado para la audiencia y el contexto, dirige las cuestiones de la audiencia de forma amable.

Tipos de criterios (Wiggins, 1998, pp. 130-131)

  • Impacto del desempeño: el éxito del desempeño, dado el propósito, las metas y los resultados deseados.
  • Trabajo de calidad: la pulcritud, organización y rigor del trabajo en su conjunto.
  • Adecuación de métodos y conductas: la calidad de los procedimientos y la forma de presentación, antes y durante el desempeño.
  • Validez de contenido: La corrección de las ideas, destrezas o materiales utilizados.
  • Grado de expertise: la sofisticación, complejidad o madurez del conocimiento empleado.
En la tabla siguiente se exponen ejemplos de criterios por tipo que pueden ser utilizados para una meta de logro y en el diseño de la evaluación.




Tanto criterios como indicadores pueden utilizarse en el diseño de rúbricas, escalas de valoración y listas de cotejo para determinar la descripción de niveles de logro o conductas o características a valorar o comprobar.


jueves, 18 de marzo de 2021

LOMLOE, estándares y currículo: ¿vamos a perder una nueva oportunidad?

Con la llegada de la LOMCE (2013, texto consolidado con LOE 2006) aparecieron por primera vez en el sistema educativo unos nuevos referentes para la evaluación de los aprendizajes: los estándares de aprendizaje evaluables. Fue una introducción desafortunada, no por el hecho de que se planteasen estándares, como ahora veremos, sino porque su introducción fue forzada y poco ajustada a los criterios que en otros países se usan para definirlos y ponerlos en juego con otros elementos del currículo. Tanto es así que han creado cierta desazón entre la comunidad profesional docente. Y claro, ha habido un aplauso generalizado con su eliminación en la LOMLOE (2020).

Los estándares entonces definidos jugaban un papel, aunque no se explicó convenientemente. Servir de base para el diseño de pruebas externas (las de las evaluaciones individualizadas) y se plantearon como concreciones (aunque a veces no lo eran) de los criterios de evaluación, los referentes de la evaluación.


Estándares de aprendizaje evaluables: especificaciones de los criterios de evaluación que permiten definir los resultados de aprendizaje, y que concretan lo que el estudiante debe saber, comprender y saber hacer en cada asignatura; deben ser observables, medibles y evaluables y permitir graduar el rendimiento o logro alcanzado. Su diseño debe contribuir y facilitar el diseño de pruebas estandarizadas y comparables.
(Art. 2.e, Real Decreto 126/2014 y Real Decreto 1105/2014)

Sin embargo, complicaron y burocratizaron la planificación de la actividad docente y la evaluación del aprendizaje, reduciéndola, si todavía quedaba algún resquicio de esperanza, a un mero trámite. Incluso agravado por la transmisión de la falsa idea de "calificarlos" uno a uno.

La LOMLOE plantea ahora los siguientes elementos prescriptivos (Art. 6.1):


A los efectos de lo dispuesto en esta Ley, se entiende por currículo el conjunto de objetivos, competencias, contenidos, métodos pedagógicos y criterios de evaluación de cada una de las enseñanzas reguladas en la presente Ley.

Nuevamente, seguimos anclados a un currículo planteado desde esquemas de hace 30 años, con una cantidad de elementos curriculares que muy bien se deben articular para que, coherentemente, guíen la práctica docente sobre los aprendizajes que deben promoverse en el aula y cómo estos pueden evaluarse. Además de servir como nexo entre estas prácticas de aula y las evaluaciones externas que anuncia la propia ley orgánica.

En un estudio comparado auspiciado por la OECD (CEPPE, 2013) con 11 países y algún estado en USA, Canadá y Australia, se plantean cuestiones interesantes en torno a la definición de estándares, ahora desaparecidos. Cuestiones que merecen ser tenidas en cuenta, y ojalá lo hubiesen sido antes de publicar la nueva ley orgánica para dar un salto cualitativo al currículo definido en nuestro sistema educativo. En esta entrada solo paso a comentar los estándares referidos al aprendizaje, dejando a un lado las consideraciones referidas a los estándares de los docentes y de los directores escolares, que también son tratados en esta publicación.

La naturaleza de los estándares

El término "estándar", en el contexto curricular, no está definido de forma unánime a lo largo y ancho de los sistemas educativos, y esto genera bastante confusión. Además, términos como: metas, competencias, objetivos o criterios juegan papeles similares en distintos países.

En el Thesaurus de ERIC se define estándar (standards) como las reglas, principios o criterios por los que los niveles o grados de adecuación, aceptabilidad, cantidad, cualidad o valor son medidos o juzgados. Y como término más concreto, los estándares académicos (academic standards) serían los criterios establecidos por una institución académica para determinar los niveles de logro de los estudiantes. Dicho de otra forma, el CEPPE (2013) señala que los estándares son las definiciones sobre lo que una persona debería conocer y ser capaz de hacer para ser considerado competente en un dominio particular. 

Más importante aún, para la definición de unos estándares de aprendizaje y del currículo, es la consideración que hacen Kleinhenz et al. (2007) sobre dos tipos de estándares y un tercer elemento a tener en cuenta, cuestión que coincide en parte con Wiggins (1998, p. 106). En el siguiente gráfico se resumen todas estas aportaciones:


Así, aplicado todo ello al aprendizaje que los estudiantes deben realizar, los estándares, señalan aquello que se debe conocer y ser capaz de hacer, que debe ser valorado y promovido (estándares de contenido), y se puede utilizar para evaluar si lo que se valora está logrado o no (estándares de desempeño).

Los estándares de contenido no sólo apuntan al conocimiento, a lo conceptual, sino que también se ocupan de hechos, principios, proposiciones, teorías, destrezas, habilidades, actitudes y valores...Son la parte que constituye el currículo de cualquier asignatura. Mientras que los estándares de desempeño concretarían, sobre cada estándar de contenido, a qué nivel se considera que un alumno o alumna ha alcanzado el nivel de competencia mínima.

Por otra parte cabe reseñar el CÓMO VALORAMOS, los criterios de evaluación propiamente dichos en la mayor parte de la literatura sobre evaluación, que no coinciden con el concepto de los que aparecen en nuestro sistema educativo.  Serían aquellas reglas que conoce el estudiante mediante las cuales se va a evaluar su aprendizaje con una evidencia o evidencias concretas.

El caso del currículo español

En nuestro caso, dado que desaparecen los estándares de aprendizaje evaluables, que ni siquiera hacían la función de auténticos estándares, como en otros países ocurría, ¿qué elementos son los referentes de la evaluación, lo que es valorado, esos estándares de contenido?

La respuesta a esta pregunta es: los criterios de evaluación. El problema está en el nombre, ya que criterio de evaluación en el resto de países y la literatura sobre evaluación, son otra cosa, como se ha ejemplificado anteriormente.

Y el resto de elementos, ¿son necesarios? La mayoría de currículos analizados en el estudio de CEPPE presentan un grado de sofisticación alto y una de sus principales características es que los elementos curriculares están muy bien alineados (objetivos, competencias, estándares, áreas de contenido...). Basta con pasarse por el currículo australiano (ver aquí). Aún así, raramente se cae en un lista inconmensurable de contenidos.

El problema del listado de contenidos del caso español, además de ser muchos, es que todavía hoy son lo que guía la práctica del aula: la estructura de las lecciones magistrales y unidades didácticas, los libros de texto, las actividades propuestas y las pruebas, generalmente las que se plantean mediante cuestionarios que sólo buscan la reproducción de estos contenidos (previa memorización mediante el estudio). La prueba es que el feedback por antonomasia para aquel alumnado que fracasa en estos cuestionarios es "estudia más". Y todo esto hace que nuestros criterios de evaluación queden prácticamente relegados al olvido o a fases de la programación didáctica donde lo que importa es cumplir con los requisitos que demanda la administración. Mi opinión es que los contenidos sean eliminados para siempre, dejando sólo una especie de bloques de contenido para cada asignatura, algo más desarrollados de los que hasta ahora tiene nuestro currículo.

Contenidos de Matemáticas (Infantil (K) a 4º ESO (Stage 10)). Currículo Australiano.



Otra de las características fundamentales en estos sistemas, de la que ha carecido históricamente el sistema educativo español, es que se tiene muy presente la cuestión de los estándares de desempeño (performance standards) y especialmente de las situaciones de evaluación o desempeño competente, que actúan como guías para el profesorado (cómo evaluar). Así, para cada estándar (de contenido) se presentaría una guía general de cómo desarrollar estándares de desempeño (a incluir por ejemplo en rúbricas o instrumentos similares en el contexto del aula) y diversas situaciones de desempeño (de evaluación) con material listo para usar por el profesorado. Esta es la verdadera revolución de un currículo, acercarlo al aula.

Otras consideraciones interesantes

El documento del CEPPE (2013) introduce cuestiones interesantes a tener en cuenta a la hora de adoptar este nuevo reto de desarrollar estándares de contenido, que en nuestro caso serían los criterios de evaluación. Entre ellas definir los propósitos para los que se definen, a saber (pp. 18-19):
  • Clarificar y hacer explícitas las expectativas de aprendizaje para el alumnado.
  • Alinear las expectativas con las demandas del mundo actual.
  • Guiar y centrar la enseñanza.
  • Promover el compromiso por la equidad.
  • Proporcionar criterios comunes sobre los que evaluar el progreso del alumnado.
  • Facilitar la comunicación entre diferentes grupos interesados en la educación y su calidad.
  • Enfatizar el objetivo final del sistema escolar y centrar las políticas.
  • Identificar al alumnado y escuelas que necesitan apoyo.
Más allá de estas consideraciones importantes que se deberían adoptar en nuestro diseño de currículo y en concreto de los criterios de evaluación me gustaría señalar dos más:

Formato de los estándares

Existen dos formas de plantear los estándares de contenido:
- Estándares centrados en el logro: lista de objetivos no necesariamente conectados; logros que no conllevan ningún tipo de relación con aquellos que se sitúan a niveles superiores o inferiores.
- Estándares de desarrollo (developmental standards): describen cómo la competencia en el dominio en cuestión se va desarrollando, desde los niveles inferiores hasta los niveles superiores o más complejos y que mantienen una coherencia clara con los inferiores.

Esta última es la solución que se adoptó en el currículum de la Comunitat Valenciana, y que queda claramente visualizada en los documentos puente (Ed. Primaria / Ed. Secundaria).


Ejemplo de criterio de evaluación (e indicadores de logro asociados) en progreso (Matemáticas 1º a 6º de Ed. Primaria)
Fuente: Conselleria d'Educació, Cultura i Esport. Generalitat Valenciana. 


Tabla de objetivos y resultados en Matemáticas 
Fuente: Education Standards Authority (Accedido en marzo de 2021).

Las ventajas que proporciona este formato al profesorado son, según Forster (2007):
  • Estimular a visualizar el aprendizaje de su alumnado como parte de un continuo.
  • Comprender la naturaleza del progreso del aprendizaje en su asignatura.
  • Ver la evaluación como la valoración del nivel que han alcanzado en ese continuo, en lugar de limitar la evaluación a una comprobación del logro de objetivos concretos y desconectados.
A esto se añade que constituyen una fuente valiosa para realizar auténticas adaptaciones curriculares (sean significativas o no) basadas no en contenidos desconectados, sino en función de la complejidad de este mismo contenido, los aprendizajes previos y la profundidad en habilidades de cognitivas, afectivas o motoras. En definitiva, preparan también para la introducción de enfoques, como el que proporciona la enseñanza multinivel.

Esto nos lleva a que es importante definir el progreso atendiendo a ciclos, y no dejando la definición de los estándares (en nuestro caso criterios de evaluación) sólo en el final de las etapas o en niveles donde se vaya a realizar una evaluación estandarizada externa, tal como hizo la LOMCE (2013). Y sin obviar a la Ed. Infantil de todo este mapa de progreso, que mucho me temo que así será de nuevo.
Ya sabemos a lo que dio lugar esta indefinición de niveles en el sistema educativo español,  seguramente por las prisas que cualquier gobierno se toma en dejar su efímera huella, antes de ser relegado a la oposición y al soterramiento de todo aquello que desarrolló, como viene siendo de costumbre.

Desarrollo de los estándares de aprendizaje

¿Quién debe desarrollar estos estándares? En general, en la mayor parte de países analizados en el estudio del CEPPE (2013) se diseñan por parte del gobierno central, que toma el papel de definirlos y de guiar su desarrollo. Pero en determinados países también forman parte asociaciones profesionales vinculadas a las asignaturas o áreas, aunque cada vez es menor esta tendencia.

Lo que sí existe, en este enfoque top-down, es un largo período de consulta (bottom-up) implicando a organizaciones de profesorado, grupos de profesores de cada área, familias, académicos de diferentes disciplinas, autoridades educativas...), cuyo feedback se considera para la realización de modificaciones de los borradores. Por ejemplo, se puede proporcionar un borrador a escuelas piloto para que en función de la práctica introduzcan modificaciones. ¿De cuánto tiempo estamos hablando? En algunos casos entre 5 y 8 años. Impensable aquí en España, ¡no vaya a ser que nos tiren! Y es que estamos hablando de algo importante, que debería constituir un consenso político de larga duración. No son buenas las prisas.


Evaluación de los estándares de aprendizaje

Para finalizar esta larga entrada, casi una revisión de aquella que publiqué hace algo más de tres años (ver aquí), me centraré brevemente en la importancia de evaluar los estándares de aprendizaje.

Se distinguen dos niveles de evaluación que, en cualquier caso, deben ser diseñados manteniendo una alineación y consistencia con los estándares de contenido, este es el hecho más relevante e importante:

- Evaluación estandarizada: mediante la identificación de los puntos de corte, como versión operativa de los estándares de desempeño. A este proceso, en la construcción de pruebas, se le llama standard-setting, y existen varios métodos que no vienen al caso ahora. Dependen de las instituciones del gobierno que se dediquen a diseñar estas pruebas. En nuestro caso vamos a necesitar los estándares de desempeño, asociados a los estándares de contenido, para realizar bien esta operación y en definitiva, el diseño de pruebas estandarizadas externas.

- Evaluación no estandarizada: la que depende del juicio del profesorado basada en el trabajo o evidencias de su alumnado. Aquí los estándares de desempeño, alineados con sus correspondientes estándares de contenido, juegan un importante papel a la hora de ayudar a definir los niveles de desempeño en una rúbrica o instrumento similar. Al menos a la hora de determinar cuál es el nivel mínimo para alcanzar una determinada competencia, en el contexto de una actividad de evaluación.

De aquí se desprende la importancia de al menos dar pautas para la definición de estos estándares de desempeño a las escuelas, todo ello a partir de los estándares de contenido; proporcionando también situaciones de desempeño y actividades de base e instrumentos de evaluación que sirvan para su evaluación. Otra forma es definirlos como indicadores de logro que, sin ser prescriptivos, además de orientar el trabajo en el aula, orienten también el diseño de pruebas de evaluación externas.


Esperemos que los tiempos acompañen a un futuro buen desarrollo curricular en nuestro país, y en concreto de unos buenos criterios de evaluación que guíen y clarifiquen la práctica en el aula y el seguimiento del aprendizaje de nuestro alumnado. No he profundizado demasiado en cómo estos países analizados en la publicación de la OCDE también dan pautas muy claras, ya de base, para la diversificación curricular y la inclusión educativa. Cuestión que no debe quedar relegada en el diseño curricular a un segundo plano y a la que dedicaré unas líneas próximamente.

Para saber más

Centre of Study for Policies and Practices in Education (CEPPE), Chile (2013), Learning Standards, Teaching Standards and Standards for School Principals: A Comparative Study, OECD Education Working Papers, No. 99, OECD Publishing. http://dx.doi.org/10.1787/5k3tsjqtp90v-en

Forster, M and Masters, G. (2010) Progression and assessment; Developmental
assessment International encyclopedia of education (3rd ed). Ed. Baker, E. , McGaw, B. Peterson, P. Elsevier, Amsterdam.

Kleinhenz, E., and Ingvarson, L. (2007), Standards for teaching: Theoretical underpinnings and applications, New Zealand Teachers Council.

Wiggins, G. (1998). Educative Assessment. Designing Assessments to inform and improve student performance. Jossey-Bass Publishers: San Francisco.

miércoles, 10 de febrero de 2021

La sesión de evaluación como motor de cambio

En la entrada anterior presenté los aspectos, digamos, más irrelevantes y llamativos de una sesión de evaluación. Una caricatura, sin duda, que sigue ocurriendo, pero que deja entrever concepciones más profundas de una tradición poco reflexionada y superada sobre qué significa evaluar. Más allá de esto, entonces,  ¿para qué puede servir una sesión de evaluación? Cuando ocurre, ya se ha evaluado y calificado al alumnado. Alea jacta est. Entonces, ¿qué sentido tiene?

En alguna entrada anterior: "Tres pasos para promover el aprendizaje desde su evaluación" ya se introdujo la importancia de evaluar la evaluación, como el tercer paso a dar en el ciclo de mejora, no sólo del propio proceso de evaluación, sino también del proceso de aprendizaje. Es la potencia de un buen feedback el motor del cambio y la mejora del aprendizaje, del cual también se escribía en otra de las entradas. Utilizar los datos, no solo a nivel de aula, también a nivel de centro, puede permitirnos tener un punto de partida objetivo donde se detecten patrones de rendimiento: intragrupo (comparando resultados por asignaturas) o intergrupo (comparando grupos en una misma asignatura). Desde luego, un simple análisis de datos no es en sí mismo garantía de nada. Pero sí debería ser el punto de partida que debe implicar otro tipo de acciones, todo con el objetivo de tomar decisiones respecto al impacto que tiene la enseñanza sobre el aprendizaje.

Planificando una sesión de evaluación

Obviamente, en las sesiones de evaluación también vamos a evaluar otros aspectos que inciden en el aprendizaje, además del rendimiento individual y grupal, es interesante analizar datos de absentismo, disciplina y convivencia. En este sentido, dejo a continuación un esquema que puede resultar útil para planificar una sesión de evaluación, uno posible que utilizamos en el instituto que supera, desde mi punto de vista y el de otros compañeros y compañeras, el tradicional "cante" de calificaciones y chismorreos varios sobre el alumnado. También tiene sus detractores, pero la opción era seguir con una práctica que resulta poco efectiva para la mejora del aprendizaje.

Se sigue aproximadamente el orden de presentación aquí mostrado, y para cada ítem se hace un análisis (al que luego entraré en el siguiente punto respecto al rendimiento) y se deja turno abierto para propuestas de mejora. Muchos de los datos se proporcionan desde la jefatura de estudios como paso previo a la sesión.

1. Informe del equipo docente para la asamblea de clase:

Información general que hace el equipo docente que se quiere transmitir al alumnado del grupo en sesión de tutoría (post-evaluación) al inicio del siguiente trimestre. Antes el tutor o la tutora (o el delegado o la delegada de clase) ha expuesto la valoración que hace el grupo en una sesión de tutoría previa a la sesión de evaluación (pre-evaluación).

2. Absentismo

2.1. Alumnado con más del 15% de faltas injustificadas de horas lectivas.

2.2. Absentismo selectivo: alumnado que sólo falta en determinadas asignaturas.

2.3. Retrasos

3. Disciplina y convivencia

Se cuenta con resultados de partes y expedientes, si los hubiere, o algún patrón generalizado de comportamiento tanto individual como grupal.

3.1. Individual

3.2. Grupal

4. Rendimiento

Análisis de datos grupal e individual, proyectado en la sesión y enviado por correo previamente. Para el caso individual se va de los casos más graves hasta los que menos necesidad presentan.

4.1. Grupal

4.2. Individual: en este caso el dep. Orientación también aporta datos de entrevistas, planes personalizados.

5. Otras medidas de inclusión: valoración de su funcionamiento de alumnado de Incorporación Tardía y programas aplicados, biblioteca tutorizada (acompañamiento escolar fuera del horario lectivo), Pigmalión (tutoría entre iguales)...

6. Observaciones: otras observaciones y especialmente felicitaciones a alumnado al que se desee hacer llegar. Aquí se valora especialmente el esfuerzo individual (no respecto a las calificaciones obtenidas), comportamiento...

Análisis de datos de rendimiento: patrones

Especialmente interesante es el análisis de datos sobre el rendimiento. Como he dicho, si no hay reflexión sobre ellos, y sobre todo no hay toma de decisiones, su utilidad es nula. Este análisis se puede hacer todo lo complejo que se quiera, aquí presentaré algunas soluciones gráficas y llamadas de atención sobre datos reales de un grupo y nivel, como ejemplo. Esta información debería plantear una serie de cuestiones para realizar propuestas de mejora del proceso de enseñanza y aprendizaje tras analizar las causas (epígrafe siguiente).

Análisis intragrupo: comparando asignaturas en un grupo

El objetivo de estos análisis es comparar el funcionamiento de un grupo de alumnos y alumnas en las distintas asignaturas que cursan y observar patrones de éxito/fracaso y uso de las calificaciones que se puedan explicar debido a su efecto.

Análisis centrado en los porcentajes de aprobados/suspensos

Aspectos para el análisis:
- Tendencia general en las diversas asignaturas de aprobados y suspensos
- Detección de asignaturas donde se concentra el mayor número de suspensos / aprobados
- Agrupamiento de asignaturas donde se ha producido mayor / menor rendimiento

Análisis centrado en la distribución de calificaciones
Un ejemplo con tres asignaturas y mismo alumnado con patrones diferenciados (curvas suavizadas). En el eje X las calificaciones de 1 a 10. En el eje Y el número de alumnos/as con esa calificación.
Aspectos para el análisis:
- Patrones en el uso de calificaciones: (distribución homogénea/heterogénea de puntuaciones, asimetrías)
- Alta/baja frecuencia en determinadas calificaciones

Análisis intergrupo: comparando grupos en cada asignatura

El objetivo de estos análisis es comparar las tendencias generales de un determinado nivel (con los grupos que lo conforman) y comparar si existen diferencias que se puedan explicar por efecto del grupo   y otras variables no controladas: tipo de alumnado, profesorado distinto para una misma asignatura...

Análisis centrado en los porcentajes de aprobados/suspensos: un ejemplo con tres asignaturas
Aspectos para el análisis (para una asignatura):
- Tendencia general en los diversos grupos de aprobados y suspensos
- Detección de grupos donde se concentra el mayor número de suspensos / aprobados
- Agrupamiento de grupos donde se ha producido mayor / menor rendimiento

Análisis centrado en la distribución de calificaciones: un ejemplo con una asignatura
En el eje X las calificaciones de 1 a 10. En el eje Y el número de alumnos/as con esa calificación. Cada línea (suavizada) representa la distribución de calificaciones de un grupo.

Aspectos para el análisis:
- Patrones en el uso de calificaciones: (distribución homogénea/heterogénea de puntuaciones, asimetrías)
- Alta/baja frecuencia en determinadas calificaciones
- Distancia de cada grupo con la distribución del conjunto de alumnado del nivel (línea negra punteada).


Análisis longitudinales

- Evolución de aprobados/suspensos de un curso a otro (para un nivel, globalmente o por asignaturas)
  • Distinta cohorte: estos resultados se suelen ofrecer en claustro, comisión de coordinación pedagógica y consejo escolar, y no tanto en una sesión de evaluación, aunque podría hacerse. Comparan qué resultados se obtuvieron en un nivel en el curso pasado respecto al actual. Generalmente se dan los porcentajes de promoción o de número de asignaturas no superadas, si se consideran datos globales (no diferenciados por asignaturas), caso del gráfico de ejemplo. O bien de aprobados/suspensos si se hace por asignaturas. El problema fundamental de este tipo de datos es que ni el alumnado es el mismo, ni probablemente el equipo docente.

  • Misma cohorte: este resultado es más útil, siempre y cuando el grupo de alumnos no cambie de un curso a otro. En este caso, en global, se pueden comparar los datos anteriormente comentados para ver tendencias. O por asignaturas, más interesante, por si está influyendo alguna variable que no es inherente a la evolución esperada que debería seguir el alumnado con respecto al curso anterior en esa asignatura concreta.


Análisis individual: estudio de casos

Este análisis puede realizarse sobre casos concretos:
  • Alumnado que mantiene calificaciones o materias superadas/no superadas en diversas asignaturas en un curso. Los más interesantes son alumnado que sigue un determinado patrón en la mayor parte de asignaturas y que no sigue en alguna asignatura (las menos).
  • Alumnado en riesgo en un curso: alumnado que no supera la mayor parte de las asignaturas.
Mapa de calor: alumnado por asignaturas (ejemplo en un grupo)

  • Evolución de calificaciones del alumnado (individualmente): esta cuestión debería ser obligatoriamente analizada por los equipos directivos y departamentos de orientación e informada a los equipos docentes. Incluso se pueden establecer modelos predictivos en base a datos anteriores y observar datos sobre alumnado que se aparta del modelo. Así, podrían establecerse medidas preventivas ante posibles fracasos escolares que ayuden a maximizar el impacto sobre el aprendizaje. O ayudar a explicar por qué en un determinado momento y una determinada asignatura un alumno o alumna está fracasando e implicar a las partes interesadas.

Explicación de los resultados

No se trata de buscar culpables, el objetivo es que nuestro alumnado aprenda y supere con éxito nuestra asignatura. De acuerdo con Hattie (2017, p. 207), se trata de desarrollar una cultura del esfuerzo más que de la culpa. El impacto que puede producir nuestra enseñanza en el aprendizaje debe guiar nuestra búsqueda y mejora como colectivo. Hasta que esto no se entienda no dejaremos de ver cualquier comentario o análisis de resultado como un ataque personal, y por tanto las posturas a la defensiva impedirán cualquier avance. Es decir, hasta que no adquiramos una cultura auténtica de evaluación, nada va a cambiar y se van a general conflictos innecesarios.

Asimismo, en el proceso de enseñanza aprendizaje interactúan dos realidades, con sus correspondientes ecosistemas: el profesorado y el alumnado. Hay que observar la realidad de esta interacción, sin obviar cada uno de los ecosistemas. En esta entrada de Elorientablog (2019) se hace un repaso a las distintas "posibles causas": a) relacionadas con el grupo de alumnos/as y b) relacionadas con la asignatura. Os invito a leerla, puntualizando que más que establecer un sistema causal, entendemos que debería ocurrir más como un sistema de explicación de hipótesis, dada la complejidad de la interacción y de las múltiples variables no controladas a las que nos enfrentamos.

Propuestas de mejora

Además de las que se proponen en la propia entrada anteriormente citada de Elorientablog, propongo las que se derivan de Sánchez Serrano (2016) con el enfoque de diseño universal para el aprendizaje en cuatro aspectos del currículo:

Criterios de evaluación: objetivos de aprendizaje

Se trata de ver las posibles modificaciones en el diseño de nuestra programación teniendo en cuenta las referencias curriculares, especialmente los criterios de evaluación o especificaciones que hemos adoptado u objetivos que hemos fijado en nuestra programación didáctica:
- Determinar la red de aprendizaje que participa principalmente del aprendizaje: afectiva, cognitiva, procedimental 
- Separar los objetivos de los medios para alcanzarlos: a menudo es necesario atender a que un contenido se plantea alcanzarlo desde un enfoque concreto: utilizando un instrumento, material, una agrupación, un propósito... Muchas veces, tomando como referencia el currículo prescriptivo, estos aspectos se sitúan como contextos o naturaleza de la ejecución en un criterio de evaluación. Y pueden ser modificados, se pueden adaptar a cada estudiante o pequeño grupo de estudiantes, sin alterar el contenido de aprendizaje ni el nivel cognitivo o de destreza.
- Presentar un reto o desafío para todos los estudiantes: variar los niveles de dificultad de la misma tarea asociada con una meta y permitirles elegir. Aquí entran los enfoques de enseñanza multinivel (veáse como ejemplo: Red de Currículo Multinivel).
- Involucrar activamente al alumnado en la realización de la tarea: es necesario comunicar que es lo que se espera de ellos, que los objetivos personales se fijen con la tarea... En este sentido es muy útil el uso de rúbricas o escalas de valoración, la clarificación de los criterios de calificación o de requisitos para lograr finalizar una tarea, además de otros aspectos motivacionales.

Evaluación

- Centrarla en el progreso del alumnado, que es continuo: 
  • Hablar con los estudiantes y observarlos mientras trabajan
  • Realizar mini pruebas de control, por ejemplo, pedirles que definan un concepto, jugar un cuestionario... 
  • Revisar su trabajo diario (libros de notas o trabajos)
  • Evaluar a los estudiantes con instrumentos que recojan el trabajo continuo y el aprendizaje desarrollado por el estudiante, por ejemplo, portafolio. 
- La medición tanto de resultados como de procesos, con el fin de rediseñar el proceso puede centrarse en si ciertos aspectos han funcionado: agrupaciones, apoyos o materiales para el aprendizaje de diferentes contenidos o habilidades, tipos de actividades... 
- Ser flexible: 
  • Ofrecer múltiples formas de evaluación: en la presentación de información, o en la posibilidad de que el estudiante se exprese de diferentes maneras, o en motivación.
  • Condiciones de aplicación de la prueba.
- Evaluar lo que realmente se pretende evaluar: ¿qué aspectos del aprendizaje quieren evaluar y cuáles son secundarios? Por ejemplo, si desea evaluar en geometría matemática se puede dejar una calculadora para los cálculos, o en inglés si se desea evaluar el conocimiento de la gramática se puede dejar un diccionario... Esto en definitiva implica también el contenido de los cuestionarios que se realizan, a los que pocas veces se presta atención. También a los aspectos a evaluar en un trabajo o incluso en un "examen" de un libro de lectura obligatoria...
- Involucrar activamente a los estudiantes en la evaluación e informarles de su aprendizaje: dar retroalimentación orientada, la que informa sobre las fortalezas y debilidades del aprendizaje realizado y que indica pautas para la mejora. El uso de instrumentos de evaluación como rúbrica puede ayudarnos en este sentido. También el uso de la coevaluación o autoevaluación basada en criterios establecidos por los estudiantes, autocorrección o corrección grupal de ejercicios o pruebas...

Metodología 

- Métodos que se ajustan para satisfacer las necesidades de los estudiantes: utilizar métodos o cambiar los que utilizamos por otros que se ajusten a las necesidades: cognitivas, afectivas o estratégicas.
- Métodos basados en entornos de colaboración inclusivos: tutoría entre pares, tutoría, agrupaciones flexibles, aprendizaje cooperativo, son algunos de los que podemos utilizar en el aula.

Materiales

  • Utilizar diferentes medios para presentar el contenido y los conceptos: texto, imágenes, gráficos, vídeos, multimedia... Cuando hay diferentes conocimientos de idioma o lenguaje: hipervínculos a glosarios multimedia, traducciones de idiomas, vocabularios...
  • Uso de organizadores visuales, rúbricas, listas de verificación, mapas conceptuales...
  • Software que facilite el aprendizaje previo y las adaptaciones.
Una revisión exhaustiva de cómo podemos modificar la enseñanza (el currículo), pasando por estos cuatro elementos, implica ya un paso hacia la mejora de los resultados. Su implementación sería un segundo paso, con el asesoramiento de compañeros y compañeras o el departamento de Orientación y con la puesta en marcha colectiva de las medidas más relevantes. Para algunos casos individuales tendremos además que estudiar sobre la aplicación de estrategias para alumnado con necesidades específicas, conocer didácticas específicas de nuestra disciplina...Evolucionar como profesionales de la enseñanza. Aún así y todo, habrá alumnado que no logre mejorar debido a diversas circunstancias, muchas de ellas no controlables por el centro educativo.

Como resumen, ciertamente no se han encontrado en algunos estudios efectos principales por efecto de la intervención sobre el profesorado basada en el DBDM (Toma de Decisiones Basada en Datos, por sus siglas en inglés), aunque sí se ha beneficiado alumnado con bajo rendimiento y de estatus socioeconómicos bajos (Staman; Timmermans y Visscher, 2017; Van der Sheer y Visscher, 2017). Pero quizá lo importante, como he señalado anteriormente, no es el análisis de datos y el entrenamiento en la su interpretación o la toma de decisiones lo que mejore el impacto en el aprendizaje. Quizá el quid de la cuestión esté en el tipo de decisiones de mejora que se adopten y cómo se adopten y, más allá de esto, por la asunción por parte de un colectivo profesional de lo que Hattie (2017) denomina marcos conceptuales, requisitos para que se maximice el impacto en el aprendizaje. En especial, en lo relativo a la evaluación:
- El profesorado cree que su tarea fundamental es evaluar el efecto de su enseñanza sobre el aprendizaje de los alumnos y el logro (Marco conceptual 1)
- El profesorado ve la evaluación como feedback sobre su impacto (Marco conceptual 4)

En definitiva, utilizar las mismas preguntas del feedback que utiliza su alumnado sobre el aprendizaje, pero en esta ocasión sobre la enseñanza, debatiendo y acordando como colectivo profesional: hacia dónde vamos, cómo lo estamos haciendo y cuál es el paso siguiente. 

Para saber más

- Elorientablog (18 de enero de 2019). Análisis de los resultados de la evaluación por los Departamentos [Mensaje en un blog]. Recuperado de http://elorientablog.blogspot.com/2019/01/analisis-de-los-resultados-de-la.html
- Hattie, J. (2017). Aprendizaje visible para profesores. Maximizando el impacto en el aprendizaje. Madrid: Paraninfo.
- Sánchez Serrano, J.M. (2016). Diseño del Currículum desde el enfoque del Diseño Universal para el Aprendizaje. En Carmen Alba Pastor (Coord.), Diseño Universal para el Aprendizaje: Educación para todos y prácticas de enseñanza inclusivas, pp. 59-88. Madrid: Ed. Morata.
- Staman, L., Timmermans, A.C., Visscher, A.J. (2017). Effects of a data-based decision making intervention on student achievement. Studies in Educational Evaluation, 55, pp. 58-67 https://doi.org/10.1016/j.stueduc.2017.07.002
-   Van der Scheer, E.A., Visscher A.J. (2018). Effects of a Data-Based Decision-Making Intervention for Teachers on Students’ Mathematical Achievement. Journal of Teacher Education, 69 (3), pp. 307-320. https://doi.org/10.1177/0022487117704170
  

jueves, 31 de diciembre de 2020

Perlas de una sesión de evaluación

Llevo dos meses en dique seco por algunos motivos: el inicio del trimestre ha sido especialmente complicado (es el primero de ellos) y, sumado a esto, me he visto envuelto en otros proyectos. Pero no quería finalizar el año, disculparme: de mierda, sin haber escrito alguna entrada más. Esta no es tan técnica, como pueden haber sido otras. Es más bien, diría yo, un desahogo tras las reciente sesiones de evaluación en las que estoy presente. Y me ayuda mi querida compañera y jefa de estudios, que también ha estado presente en muchas: Elena Baviera. Así que, allá vamos con las sesiones de evaluación.

Una sesión de evaluación es un acto administrativo donde se reúne un equipo docente presidido por el tutor o la tutora de un grupo de alumnos y alumnas. Se realizan al final de un trimestre con el fin de "validar", entre otras cosas, las calificaciones otorgadas en las distintas asignaturas. Suelen acompañar en estas sesiones un miembro del equipo directivo y se puede contar con el asesoramiento del departamento de Orientación.

En la normativa se especifican estas cuestiones, las más relevantes en la educación obligatoria:
  • Es el equipo docente el que celebra las sesiones (tanto para valorar los aprendizajes del alumnado, como los procesos de enseñanza y su propia práctica docente), coordinado por el tutor o la tutora.
  • Actúa de manera colegiada en el proceso y en la adopción de medidas de acuerdo a la Ley de Régimen Jurídico de las Administraciones Públicas y del Procedimiento Administrativo Común. Se ha de hacer constar las decisiones y acuerdos en un acta y se ha de informar al alumnado y sus representantes legales, si es menor, sobre el proceso educativo de éste, incuyendo las calificaciones en las materias.
  • Se realizan tres sesiones de evaluación durante el curso (una por trimestre), más una inicial durante el primer mes lectivo.
Y qué ocurre en ellas, ¿se parece esto en algo a una evaluación, atendiendo al sentido ortodoxo de lo que significa?

Miembros de la última sesión de evaluación
Fuente: La comunidad del anillo (Peter Jackson) - 2001

En nuestra modesta opinión, salvo raros esfuerzos, no. Es una suerte de repaso, alumno/a por alumno/a, de su transcurso académico: comportamiento, esfuerzo, rendimiento y temas personales. En este vídeo a modo de parodia “La Farsa de la Evaluación”, queda bastante bien descrita una sesión de evaluación. Todo hay que decirlo, la idea fue de Jose Luis Liarte (profesor de Música), el texto de Toni Solano (profesor de Lengua y Literatura, blog: Re(paso) de lengua) y el montaje, grabación y producción de Elena Baviera y Joan Collado, profesores de Música y Dibujo respectivamente.



Nos interesan particularmente aquellas expresiones, y no juzgamos a quien las emite, que esconden una concepción tal vez no demasiado acertada sobre qué significa evaluar. Son "perlas" (nótese la ironía) que en algún momento se escuchan, a veces frecuentemente, en estas sesiones, curso tras curso... Aquí va nuestro particular análisis para la reflexión.

Tiene un 4,6 pero le he puesto un 4

Aquí es cuando, o al profe de matemáticas le explota la cabeza, o se pasa por el forro (si está de acuerdo, le da igual o lo ha dicho él o ella) lo del redondeo al entero más próximo. Al resto, como no son de mates, se les puede perdonar, ¿no? Pues no,...Vamos a ver, aquí se dan otros fenómenos curiosos:

1. Invalida cualquier flamante hoja de cálculo con calificaciones parciales, medias aritméticas ponderadas, fórmulas condicionales y medición del rendimiento hasta la diezmilésima: 8,3467. ¿Para qué tanto?, es la pregunta. De esto se ha escrito otras veces en este blog, pero ¿de verdad la calificación del aprendizaje se asemeja tanto a medir características físicas como para hacer tanta media aritmética (ponderada o sin ponderar)? Además, con escasos valores como para que este estadístico de tendencia central sea el que mejor describa esa distribución de valores. Claro, luego un 4,6, y sin criterio de valoración del aprendizaje alguno, se convierte en un 4. Lo peor no es no tomarse en serio esto de los decimales, sino aplicar estas subidas y bajadas de calificación sin criterio pedagógico y a discreción, según me parezca y con los sesgos que tenga sobre ese alumno o alumna.

2. No hay atisbo, ni se le espera, de qué significa ese 4,6 en términos de aprendizaje y, por tanto, si realmente es que no ha llegado o se ha acercado más a un aprendizaje suficiente (se entiende que ese aprendizaje corresponde a una calificación de 5 en adelante). Esto implicaría alinear los aprendizajes evidenciados con unas descripciones del nivel de rendimiento, que cualquier docente podría hacerse adaptadas a su asignatura en función de las actividades de evaluación que ofrezca al alumnado y las propias características de éste.

3. Al menos denota un conocimiento notorio de los números borrosos, la Teoría de los Conjuntos Borrosos y la lógica borrosa, sin tener ni pajolera idea de qué es nada de esto. Vamos, que un 4, puede ser un 4 o un 3 o un 5. Sobre este tema, interesantísimo, hay artículos en el campo educativo como el de Xavier Gil i Joan Mateo: Modelos borrosos en la medición escolar (1993). Además, Xavier Gil tiene una tesis doctoral sobre este tema, y hay múltiples artículos con su aplicación a la economía y la toma de decisiones, entre otros campos.

4. Se parte de la falsa idea de que las calificaciones, de por sí, van a espolear el rendimiento. En la entrada sobre el feedback, ya se expuso que el efecto, por sí solo, que tienen las calificaciones en la mejora del rendimiento es ínfimo (desde luego no significativo). Y esto suponiendo que alguien que “saca” un 4, en lugar de frustrarse, va a luchar por mejorar.

Podríamos seguir con otras, pero van a ir apareciendo en frases que muestran una concepción de la evaluación similar a esta.

Es un 5, pero condicional, ¡ojo!

Claro: es que te lo regalo. Es más o menos como el caso anterior pero ahora, YO poseedor/a-de-las-calificaciones, juego a ser Dios, y decido quién está por encima del bien y del mal. Tal vez sea ese 4,6 que esta vez se ha convertido en un 5.

- Hoy te ha tocado a ti, guapa, ¡pero ojo! Si te portas mal arderás en el infierno de los suspensos el trimestre que viene.

¿Qué demonios es un aprendizaje suficiente condicional? ¿Alguien lo puede explicar? O es suficiente o no lo es, y esto no se explica con números, al menos sólo con ellos. El número es sólo la expresión simbólica de una medida, en este caso del aprendizaje, que ha de describir inequívocamente (salvo errores de medida) una característica.
Vaya, pero un teórico borroso no diría esto…¡Ufff, qué dilema! ¿Será que las calificaciones no son una medida? Entonces, ¿por qué hacemos medias? ¿O sí son una medida, pero igual no exactamente en una escala de intervalo o razón? 
¿QUÉ SON LAS CALIFICACIONES?, ¡¡¡ QUE ALGUIEN ME AYUDEEEEEE !!!



Nuevamente, esta práctica denota que no hay alineación entre qué significa el aprendizaje evidenciado por un alumno/a y la calificación que obtiene. Y que eso es lo de menos, porque las calificaciones son un arma de negociación y coerción.

Con las calificaciones se hacen más juegos parecidos a estos dos primeros. Quién no ha escuchado también:

Yo nunca pongo un 10

Nuevamente, ya que las calificaciones son un arma de negociación y propiedad del docente (de algunos/as). Incluso contraviniendo una norma, en la que se dice que las calificaciones van de 1 a 10. Se decide obviar el 10 de la escala, porque esto sólo está reservado para los héroes y semidioses que superen al menos 12 pruebas...Y ya veremos.

Como aplicadores de un programa educativo efectivo y de calidad, ¿nadie ha soñado con poner a todo el alumnado de la clase un 10? Sí, está claro, que al final no todo el mundo se esfuerza lo suficiente, no estudian e incluso algunos serán incapaces en su vida de hacer algo excelente, porque son “flojitos”, como el “hombre blandengue” del Fary, pero en versión estudiante.

Esta es otra muestra más, en la que no nos vamos a extender, otra perla de la evaluación, ligada a la calificación como las anteriores. Un 10 es algo a lo que todo alumno y alumna excelente tiene derecho y sobre todo, debe estar descrito en términos de aprendizaje.

Las faltas de ortografía son 2 puntos (menos)

Nos encantan estos bonus y “minus”, como el de la actitud (esa dimensión desconocida, en términos de aprendizaje). Una práctica nefasta que no tiene en cuenta el rendimiento demostrado y que lo socava con un criterio totalmente antipedagógico y arbitrario: de hecho hemos escuchado incluso que las falta de ortografía según el curso pesan menos: por ejemplo en 1º ESO: hasta 0,5 puntos, en 2º hasta 1,5 puntos y en 3º hasta 2 puntos...

Con esto no estoy diciendo que la ortografía no sea importante, incluso en Matemáticas. Pero se le puede dar la vuelta, especialmente si es un criterio de evaluación (prescriptivo) de nuestra área o asignatura (además de en la de Lengua), junto con otros aspectos que se han de tener en cuenta a la hora de presentar un trabajo o un escrito. Y el examen tradicional lo es. Por ejemplo, en lugar de restar a una competencia demostrada, se puede utilizar como criterio: Este examen vale hasta 8 puntos (conocimientos de Matemáticas en números enteros), y hasta 2 puntos (tiene que sumar 10, si no, no vale) en presentación de un escrito (ortografía, léxico específico, limpieza y organización…). De paso, ponemos en valor otros aspectos del aprendizaje, que realmente queremos tener en cuenta, sin sesgar la medida de unos conocimientos disciplinares.

Por supuesto, como debe ser una evaluación transparente, estos criterios deben estar explicitados desde el principio del curso, explicados y argumentados, asociados a un currículo prescriptivo y con sus instrumentos de evaluación asociados (en este caso para la cuestión de la ortografía valdría una escala de valoración). Y como no, dando la oportunidad de mejorar los aspectos deficientes con el oportuno feedback.

Ha aprobado, pero por la rúbrica

Esta quizá sea nuestra perla favorita...Es real, os lo prometemos que la hemos oído. Tampoco tiene mucho comentario, porque lo que denota principalmente son dos cosas:

  1. Un desconocimiento absoluto y profundo de que la rúbrica es un instrumento de evaluación tan válido y fiable como cualquier otro, y que sirve para evaluar determinados aspectos del aprendizaje.
  2. Que sólo los exámenes (en formato cuestionarios, claro) son la verdadera herramienta de valoración de los aprendizajes; y que otras no hacen sino distorsionar y favorecer los aprobados (inmerecidos en la mayor parte de los casos). La reproducción de conocimientos (mayormente medidos por estos cuestionarios) son el único aprendizaje válido, o al menos el más importante. A ver…Si tuvieran que pesar algo…¿adivináis el porcentaje de peso? ¿Era 70%?
  3. El instrumento, jamás es la prueba, la evidencia del aprendizaje. Permite valorar de forma válida (especialmente) y fiable, el aprendizaje. Es una confusión seria, sobre la que convendría reflexionar. Un alumno o alumna aprueba, se considera suficiente su aprendizaje, de acuerdo a unos criterios de evaluación, especificados en criterios de realización, que pueden (o no) cuantificarse.

¡Bravo por la rapidez de la tutora!

Se aplaude a aquel tutor o tutora que pone en marcha el turbo y acaba lo más rápido posible. Lo más importante en una sesión de evaluación es ser puntual y que el/la tutor/a acabe muy pronto. Prima el tiempo por encima de indicadores de logro tales como “coordinación eficaz del equipo docente, conocimiento exhaustivo de cada alumno/a, previo a la sesión de evaluación en cuanto a su rendimiento, situación socioeconómica, cultural, familiar, acceso tecnológico en casa (dispositivos digitales), posibles necesidades específicas…

La sesión de evaluación, en la mayoría de los casos, constituye el único momento de encuentro de todo el equipo educativo de un grupo de alumnos/as en el transcurso de 3 o 4 meses (una evaluación). En cambio, se puede convertir la sesión en una información exhaustiva del tutor/a sobre cada alumno/a (información, por otra parte, muy necesaria y valiosa para el equipo docente), sin haber tratado ningún acuerdo, decisión o propuesta de mejora consensuada por parte de todos; entre otras cosas porque, lo más importante es acabar pronto el día con tantas evaluaciones que se tienen.

La productividad de una sesión de evaluación, como en cualquier otro tipo de reunión, implica responsabilidad de cada componente del equipo (puntualidad, predisposición, actitud…). Gran parte de la improductividad de la reunión radica, justamente, en la actitud de algunos compañeros y compañeras que “aprovechan el tiempo” leyendo un libro, corrigiendo exámenes, preparando clases, respondiendo al móvil, hablando con el compañero de al lado… Mientras la tutora o tutor intenta llevar a cabo la sesión y que le escuchen y respondan a sus preguntas.

Es muy vago y le cuesta. Como es flojito, por eso suspende. No va a aprobar

Pueden ir las tres juntas o cualquier combinación de ellas. Esta no es nuestra favorita. Es quizá la que más nos duele.

De nuevo en la 1ª y la 2ª evaluación volvemos a escuchar a la compañera este juicio de valor sobre una alumna cuando el tutor le pregunta: ¿Qué propuestas le sugieres a la alumna para que mejore su calificación? Esta sentencia, cualquiera de ellas, esconde tras de sí la concepción de una evaluación diagnóstica, ya realizada en su momento al inicio del curso, que parece ser confirma las sospechas de la profesora, y que justifica y acredita el suspenso de la alumna. En una entrada de este blog se presenta un estudio precisamente del tema de las calificaciones en un 3er curso de ESO a lo largo de todo el curso. Y efectivamente, y tristemente, a los y las que se dice que no van aprobar, no lo hacen (¡incluso tras repetir curso!, esa medida tan efectiva).

La concepción de una evaluación formativa, en la que se plantean propuestas de mejora concretas es inexistente; como mucho, el tutor consigue sonsacar de la profesora la prevista frase: “a la próxima, que estudie más”. Por no hablar de que se desconoce que las expectativas (positivas) es un factor de alto impacto en la mejora del aprendizaje, y de cómo trabajarlo. Por tanto, si ya se conoce quién no va a aprobar en la 1ª evaluación o en la inicial: ¿qué papel tenemos los profesores y profesoras en esto del aprendizaje?, ¿qué relevancia tiene nuestro método pedagógico, nuestro programa educativo?, ¿qué tamaño del efecto, en términos estadísticos? ¿Cuál es el valor añadido de la escuela?


Sobre todo esto hay mucha literatura, pero esta entrada no acabará con un “Para saber más”. Esperamos que la entrada os haya entretenido, y os haya hecho pensar, e incluso cuestionar nuestras descripciones y argumentos. Todos y todas alguna vez regalamos perlas de este estilo. Están tan arraigadas las concepciones sobre la evaluación, que no podemos escapar de ellas, o igual no queremos.

¡Perlas! (aquí en Valencia se dice mucho, en este caso cariñosamente). Esperamos que el inicio de un nuevo año nos renueve a todos y todas. Nos haga crecer y ser mejores personas, ante todo, y también a ser mejores profesionales. Un abrazo. Javier y Elena.

martes, 15 de septiembre de 2020

Guía para la elaboración de pruebas de evaluación educativa

 Bienvenidos y bienvenidas a este nuevo curso atípico donde los haya. El comienzo está siendo realmente duro, pero juntos podremos con ello.

En esta entrada no me voy a extender mucho y además tampoco voy a exponer cuestiones de cosecha propia. En parte, porque las tareas en el centro son ingentes y hay que dedicar horas a que esto empiece a funcionar como debe.

Os dejo una guía interesante del Ministerio de Educación y Formación Profesional para la elaboración de pruebas de evaluación educativa, en concreto para la elaboración de cuestionarios cognitivos. El MEFP aprovecha su dilatada experiencia en el diseño de este tipo de instrumentos de evaluación para las evaluaciones generales de diagnóstico (LOE), ahora con LOMCE, evaluaciones individualizadas, de distintas competencias. Son interesantes las referencias que hacen también a los marcos de evaluación en la Ed. Primaria (3º Ed. Primaria y Final). Espero que os sea útil en la aplicación de muchas cuestiones en la elaboración de cuestionarios para clase.

(Pincha en la imagen para acceder al recurso)



jueves, 25 de junio de 2020

Evaluación de la competencia Conciencia y Expresiones Culturales en Educación Primaria

En esta última entrada del curso os dejo un documento que inicié en su día con un grupo de compañeros y compañeras, pero que finalmente por unas cosas y por otras dejamos de lado. Nuestra idea fue la de determinar, concretar, unas escalas de desempeño competente para cada una de las competencias clave para el final de la Educación Primaria. Todo ello basándonos en el currículo vigente de la Comunitat Valenciana, pero que bien puede valer para cualquier otro currículo de otras comunidades autónomas, y también en otras fuentes:

Que nadie espere encontrar fórmulas basadas en las calificaciones de los criterios o indicadores, o en medias ponderadas a partir de la calificación de las áreas. Cada vez estoy más alejado de esto, aunque entiendo que es el mal menor. En esencia, lo que vais a encontrar, en este caso para la competencia Conciencia y Expresiones Culturales, es una fundamentación de la competencia y cómo se concreta en unos descriptores en dos grandes dominios: conciencia (2 subdominios) y expresión (2 subdominios).

A partir de aquí se definen cuatro escalas de desempeño competente que permiten situar a un alumno/a que acaba la Ed. Primaria en cuanto a su competencia en conciencia y expresiones culturales.

Ejemplo de la escala de desempeño competente del subdominio 1a. Conocimiento de hechos y producciones culturales.

Acompañadas también, como una guía, de los contenidos (conocimientos, técnicas y recursos y procesos) extraídos de los criterios de evaluación que desde distintas áreas de la Ed. Primaria se relacionan con dicha competencia.



Por ejemplo, en este gráfico se representa, a partir de las relaciones que se establecen entre los criterios de evaluación con las competencias clave, el porcentaje de éstos relacionados con la competencia CEC respecto del total para cada área. Esto ya evidencia que a nivel oficial (currículo prescriptivo) hay alguna deficiencia, por ejemplo que esta competencia no está presente en todas las áreas (Ciencias Naturales y Ciencias Sociales o Valores Sociales y Cívicos). Y ciertamente, debería esto llevarnos a una rectificación del mismo...Además de otras que a nivel curricular se van demandando.

Finalmente, se acaban por dar ejemplos del tipo de evidencias que deberíamos recoger de nuestro alumnado para poder evaluar el desempeño competente para cada una de los dominios definidos.

jueves, 28 de mayo de 2020

Claves para una evaluación formativa

En esta situación, aún de confinamiento, han surgido webinars, presentaciones, infografías, posts, twits, etc. en torno a la evaluación formativa. ¿Por qué de repente esta fiebre por la evaluación formativa, tan necesaria antes igual que ahora? Quizá la "culpa" de que expertos y expertas en evaluación se hayan lanzado a esto de la evaluación formativa la tenga la Orden EFP/365/2020, de 22 de abril (la que establece las directrices de actuación para este tercer trimestre en el ámbito educativo). Y es que en el Anexo II de dicha normativa (Marco y directrices generales) en el punto 5. Adaptar la evaluación, promoción y titulación se lee:

"c) La evaluación de los aprendizajes desarrollados a partir de la suspensión de las actividades lectivas presenciales será continua y acentuará su carácter diagnóstico y formativo en todas las etapas, ciclos y enseñanzas, para valorar los avances realizados y los retrasos que hayan podido producirse, con objeto de planificar las medidas de recuperación que sean necesarias y programar el próximo curso."

Esta disposición pone el acento en esta finalidad de la evaluación, formativa, para el aprendizaje...Además de en el carácter diagnóstico que habría de tener para la planificación de acciones en el próximo curso. Pero, ¿es posible implementar en un trimestre aquello que se ha ignorado, o al menos no conocido con profundidad o confundido con otras cosas?¿qué nos dicen las evidencias en educación sobre la evaluación formativa?¿es posible implementarla en un entorno virtual? A estas preguntas se intentará responder con un esquema sencillo: 1) Qué es la evaluación formativa, 2) Cómo se puede diseñar el currículo para favorecer la evaluación formativa. El caso del entorno virtual, 3) Aclarar, compartir y comprender los criterios para el éxito, 4) El feedback.


Definición de evaluación formativa

Popham (2013, p. 14) define este tipo de evaluación como un "proceso planificado en el que la evidencia de la situación del alumno, obtenida a través de la evaluación, es utilizada bien por los profesores para ajustar sus procedimientos de enseñanza en curso, o bien por los alumnos para ajustar sus técnicas de aprendizaje habituales."

Por otra parte, Black y Wiliam (2009) señalan que en esta evaluación formativa la evidencia sobre el logro del estudiante ha de ser extraída, interpretada y utilizada por los docentes y el alumnado para tomar decisiones sobre los pasos siguientes de la instrucción que es probable que sean mejores o mejor fundamentados que las decisiones que se habrían tomado en ausencia de dicha evidencia.

Ambas definiciones señalan aspectos que toda evaluación (sea formativa o no) debe tener: que sea planificada y basada en evidencias que permiten  extraer e interpretar el logro para tomar decisiones, pero existen dos características en ambas definiciones que le imprimen carácter propio:
  1. Utilizarla para realizar ajustes en los procedimientos de enseñanza (profesorado) y de aprendizaje (alumnado) y,
  2. que estos procedimientos estén fundamentados para tomar decisiones mejores.

Un apunte, el uso de la evaluación formativa no implica dejar de utilizar la evaluación sumativa, simplemente tienen fines diferentes perfectamente compatibles. Lo que no es de recibo es que una institución como la escolar dedique mucha atención e interés a la evaluación sumativa (con propósitos de certificación de aprendizajes),  con mucho "aparataje" de por medio; y poco y mal sistematizado a la evaluación formativa.

Diseñar el currículo para una evaluación formativa

Implementar la evaluación formativa en el aula y en el centro, no es una cuestión de tres meses. O se ha hecho antes o ahora no se puede pretender que esto tire adelante en este tiempo, máxime cuando también ha cambiado sustancialmente el lugar de interacción del proceso enseñanza-aprendizaje.

Se pueden determinar algunas claves que pueden ayudar en este largo camino:
- Análisis de los aprendizajes y su secuenciación

Fuente: Popham, 2013, p. 31.


En esto también pueden ayudar los organizadores de la planificación didáctica: tipo Canva para ABP, modelo de UDI's...(véase esta entrada: Cuatro organizadores para hacer más válida nuestra evaluación)

- Presentación de actividades donde se proporcionen puntos de comprobación y permitan distintos tipos de feedback: desde cuestionarios sencillos de respuesta cerrada y corta o ejercicios (permiten un feedback rápido), hasta actividades, más complejas, apoyadas en los ejercicios anteriores, que permiten de manera secuencial alcanzar objetivos más amplios con relevancia social o cumplir con un producto o un servicio... Y, aunque parece obvio, que estos ejercicios, actividades o tareas puedan arrojar evidencias sobre el aprendizaje que pretendemos comprobar.

- Aclarar, compartir (y comprender) los intereses del aprendizaje y los criterios para el éxito mediante el uso de rúbricas, escalas de valoración o listas de comprobación; especialmente de los aprendizajes complejos. La cuestión no es quedarse sólo en el diseño del instrumento, sino compartirlo con nuestro alumnado previamente aclarando y comprobando que comprenden los criterios de realización y un desempeño de éxito.



Wiliam (2016) aclara cinco estrategias de clase que reparte según tenga que utilizar el docente, los compañeros (del alumno/a) o el propio alumno/a que pueden resultar útiles. (dejo la referencia al final del post).

I've got de power: el feedback

De la cantidad de factores que pueden incidir positivamente en el aprendizaje uno de los más poderosos es el "feedback" o retroalimentación, tanto que lo aumenta un 50%. Ahora, también es verdad que es el factor con más variabilidad y no depende tanto de la cantidad que se dé, sino de la calidad y cómo se utiliza.

Hattie (2017, p 153-180) dedica, además de una reciente publicación aún no traducida, un capítulo entero a la cuestión del feedback basado en su célebre meta-análisis, ahora ya con 250 factores analizados, repasando: la frecuencia con la que hay que proporcionar este feedback, los tipos o la interacción con distintos tipos de alumnado... Aquí algunas posibles claves, desde:

- Establecer preguntas según  niveles
 NivelesPrincipales preguntas Las tres preguntas del feedback
 1. Tarea ¿Se ha realizado la tarea correcta o incorrectamente?, ¿en qué grado de corrección?
¿A dónde voy?¿Cuáles son mis objetivos? 
 2. Proceso ¿Cuáles son las estrategias que se necesitan para llevar a cabo la tarea?, ¿se pueden llevar a cabo estrategias alternativas?¿Cómo voy a llegar allí?¿Qué progreso se ha realizado hacia los objetivos? 
 3. Autorregulación ¿Cuál es el conocimiento o la comprensión condicional para saber qué estás haciendo? Autosupervisión, dirigir el proceso y las tareas. ¿Cuál es el siguiente paso?¿Cuáles son las siguientes actividades que se necesitan emprender para progresar más?
 4. Uno mismo Evaluación personal y motivación por aprender 
Fuente: Hattie, 2017, p. 155

- O lo que funciona mejor del feedback (Shute, 2008):
  1. Centrar el feedback en la tarea, no en el alumno.
  2. Proporcionar un feedback elaborado (que describa el qué, el cómoy el porqué)
  3. Presentar el feedback elaborado en unidades manejables (por ejemplo, evitar la sobrecarga cognitiva)
  4. Ser específico y claro con los mensajes
  5. Proporcionar el feedback de la manera más simple posible
  6. Reducir la incerteza entre la puesta en práctica y los objetivos
  7. Ofrecer un feedback imparcial, objetivo, sea por escrito o a través del ordenador
  8. Promover una orientación del aprendizaje enfocado a objetivos (desplazar de la actuación al aprendizaje, dando la bienvenida a los errores).
  9. Proporcionar feedback después de que los alumnos hayan intentado plantear una solución.
Además se recomienda, según el tipo de aprendizaje, que:
- Debe ser inmediato si se trata de procedimientos.
- Al principio, si es para aprendizajes totalmente nuevos o que excedan la capacidad del estudiante.

Conclusiones

Para no hacerlo más largo de lo necesario, vamos a ir concluyendo con un resumen, también en formato de infografía de lo que funciona mejor y peor con esto del feedback y la evaluación formativa. A nivel muy concreto y práctico, para que os lo podáis llevar a clase (cuando regresemos).


Para este período virtual, también van surgiendo entradas interesantes que señalan aspectos de la evaluación formativa a considerar, aquí un par:

- Miller, A. (2020). Formative assessment in Distance Learning (Edutopía)

Y seguro que encontráis otras interesantísimas que también tocan el tema en cuestión, como por ejemplo  las aportaciones de Jaume Feliu (autor de Co-Rubrics): evaluación colaborativa o de Neus Sanmartí en vídeos o webinars recientes.

Todas estas fuentes van a enriquecer nuestra visión de la evaluación formativa, sabiendo que no hay recetas. Que sí, que hay que leer literatura científica y profesional y probarla en clase. ¿Todo? No, aquello que la evidencia demuestre que es más efectivo, en este mundo complejo de la escuela.

No parece que vaya a funcionar lo que se ve últimamente de enviar tropocientos ejercicios y después publicar al cabo de una semana el solucionario para que el alumnado se corrija: no parece ser muy inmediato, no es específico, no está adaptado a cada alumno y sus errores. Además el diseño de las "actividades" no parece tampoco seguir más que la secuencia que está en el libro, los ejercicios impresos en una sucesión de páginas. No ha sido la generalidad plantear actividades que lleven a un aprendizaje  profundo...Se ha apostado por la cantidad, más que por la calidad (quizá por un frenesí autojustificativo muy propio en el mundo académico español) como si el aprendizaje dependiese de hacer 300 fracciones repetidamente mal. Bueno sí, lo peor es que depende...De que se aprenda definitivamente mal a calcular con fracciones. Caballo grande, ande o no ande. Y de nuevo, cómo no, todo el debate centrado en la calificación...Lo siento, me aburro de tanto porcentaje, ponderación, puntos adicionales y puntos de sustracción, medias, medianas o medianeras...

Para saber más

  • Black, P. y Wiliam, D. (2009). Developing the Theory of Formative Assessment. Educational Assessment, Evaluation and Accountability, Vol. 21, No. 1, pp. 5-31.
  • Hattie, J. (2017). Aprendizaje visible para profesores. Maximizando el impacto en el aprendizaje. Madrid: Paraninfo.
  • Popham, W.J. (2013). Evaluación trans-formativa. El poder transformador de la evaluación formativa. Madrid: Narcea.
  • Shute, V.J. (2008). Focus on formative feedback. Review of Educational Research, 78(1), 153-189.
  • Wiliam, D. (2016). El rol de la evaluación formativa en los entornos de aprendizaje eficaz. En OCDE, OIE-UNESCO, UNICEF LACRO, La naturaleza del aprendizaje: usando la investigación para inspirar la práctica, Cap. 6. URL