En la entrada anterior presenté los aspectos, digamos, más irrelevantes y llamativos de una sesión de evaluación. Una caricatura, sin duda, que sigue ocurriendo, pero que deja entrever concepciones más profundas de una tradición poco reflexionada y superada sobre qué significa evaluar. Más allá de esto, entonces, ¿para qué puede servir una sesión de evaluación? Cuando ocurre, ya se ha evaluado y calificado al alumnado. Alea jacta est. Entonces, ¿qué sentido tiene?
En alguna entrada anterior: "Tres pasos para promover el aprendizaje desde su evaluación" ya se introdujo la importancia de evaluar la evaluación, como el tercer paso a dar en el ciclo de mejora, no sólo del propio proceso de evaluación, sino también del proceso de aprendizaje. Es la potencia de un buen feedback el motor del cambio y la mejora del aprendizaje, del cual también se escribía en otra de las entradas. Utilizar los datos, no solo a nivel de aula, también a nivel de centro, puede permitirnos tener un punto de partida objetivo donde se detecten patrones de rendimiento: intragrupo (comparando resultados por asignaturas) o intergrupo (comparando grupos en una misma asignatura). Desde luego, un simple análisis de datos no es en sí mismo garantía de nada. Pero sí debería ser el punto de partida que debe implicar otro tipo de acciones, todo con el objetivo de tomar decisiones respecto al impacto que tiene la enseñanza sobre el aprendizaje.
Planificando una sesión de evaluación
Obviamente, en las sesiones de evaluación también vamos a evaluar otros aspectos que inciden en el aprendizaje, además del rendimiento individual y grupal, es interesante analizar datos de absentismo, disciplina y convivencia. En este sentido, dejo a continuación un esquema que puede resultar útil para planificar una sesión de evaluación, uno posible que utilizamos en el instituto que supera, desde mi punto de vista y el de otros compañeros y compañeras, el tradicional "cante" de calificaciones y chismorreos varios sobre el alumnado. También tiene sus detractores, pero la opción era seguir con una práctica que resulta poco efectiva para la mejora del aprendizaje.
Se sigue aproximadamente el orden de presentación aquí mostrado, y para cada ítem se hace un análisis (al que luego entraré en el siguiente punto respecto al rendimiento) y se deja turno abierto para propuestas de mejora. Muchos de los datos se proporcionan desde la jefatura de estudios como paso previo a la sesión.
1. Informe del equipo docente para la asamblea de clase:
Información general que hace el equipo docente que se quiere transmitir al alumnado del grupo en sesión de tutoría (post-evaluación) al inicio del siguiente trimestre. Antes el tutor o la tutora (o el delegado o la delegada de clase) ha expuesto la valoración que hace el grupo en una sesión de tutoría previa a la sesión de evaluación (pre-evaluación).
2. Absentismo
2.1. Alumnado con más del 15% de faltas injustificadas de horas lectivas.
2.2. Absentismo selectivo: alumnado que sólo falta en determinadas asignaturas.
2.3. Retrasos
3. Disciplina y convivencia
Se cuenta con resultados de partes y expedientes, si los hubiere, o algún patrón generalizado de comportamiento tanto individual como grupal.
3.1. Individual
3.2. Grupal
4. Rendimiento
Análisis de datos grupal e individual, proyectado en la sesión y enviado por correo previamente. Para el caso individual se va de los casos más graves hasta los que menos necesidad presentan.
4.1. Grupal
4.2. Individual: en este caso el dep. Orientación también aporta datos de entrevistas, planes personalizados.
5. Otras medidas de inclusión: valoración de su funcionamiento de alumnado de Incorporación Tardía y programas aplicados, biblioteca tutorizada (acompañamiento escolar fuera del horario lectivo), Pigmalión (tutoría entre iguales)...
6. Observaciones: otras observaciones y especialmente felicitaciones a alumnado al que se desee hacer llegar. Aquí se valora especialmente el esfuerzo individual (no respecto a las calificaciones obtenidas), comportamiento...
Análisis de datos de rendimiento: patrones
Especialmente interesante es el análisis de datos sobre el rendimiento. Como he dicho, si no hay reflexión sobre ellos, y sobre todo no hay toma de decisiones, su utilidad es nula. Este análisis se puede hacer todo lo complejo que se quiera, aquí presentaré algunas soluciones gráficas y llamadas de atención sobre datos reales de un grupo y nivel, como ejemplo. Esta información debería plantear una serie de cuestiones para realizar propuestas de mejora del proceso de enseñanza y aprendizaje tras analizar las causas (epígrafe siguiente).
Análisis intragrupo: comparando asignaturas en un grupo
El objetivo de estos análisis es comparar el funcionamiento de un grupo de alumnos y alumnas en las distintas asignaturas que cursan y observar patrones de éxito/fracaso y uso de las calificaciones que se puedan explicar debido a su efecto.
Análisis centrado en los porcentajes de aprobados/suspensos
Aspectos para el análisis:
- Tendencia general en las diversas asignaturas de aprobados y suspensos
- Detección de asignaturas donde se concentra el mayor número de suspensos / aprobados
- Agrupamiento de asignaturas donde se ha producido mayor / menor rendimiento
Análisis centrado en la distribución de calificaciones
Un ejemplo con tres asignaturas y mismo alumnado con patrones diferenciados (curvas suavizadas). En el eje X las calificaciones de 1 a 10. En el eje Y el número de alumnos/as con esa calificación.
Aspectos para el análisis:
- Patrones en el uso de calificaciones: (distribución homogénea/heterogénea de puntuaciones, asimetrías)
- Alta/baja frecuencia en determinadas calificaciones
Análisis intergrupo: comparando grupos en cada asignatura
El objetivo de estos análisis es comparar las tendencias generales de un determinado nivel (con los grupos que lo conforman) y comparar si existen diferencias que se puedan explicar por efecto del grupo y otras variables no controladas: tipo de alumnado, profesorado distinto para una misma asignatura...
Análisis centrado en los porcentajes de aprobados/suspensos: un ejemplo con tres asignaturas
Aspectos para el análisis (para una asignatura):
- Tendencia general en los diversos grupos de aprobados y suspensos
- Detección de grupos donde se concentra el mayor número de suspensos / aprobados
- Agrupamiento de grupos donde se ha producido mayor / menor rendimiento
Análisis centrado en la distribución de calificaciones: un ejemplo con una asignatura
En el eje X las calificaciones de 1 a 10. En el eje Y el número de alumnos/as con esa calificación. Cada línea (suavizada) representa la distribución de calificaciones de un grupo.
Aspectos para el análisis:
- Patrones en el uso de calificaciones: (distribución homogénea/heterogénea de puntuaciones, asimetrías)
- Alta/baja frecuencia en determinadas calificaciones
- Distancia de cada grupo con la distribución del conjunto de alumnado del nivel (línea negra punteada).
Análisis longitudinales
- Evolución de aprobados/suspensos de un curso a otro (para un nivel, globalmente o por asignaturas)
- Distinta cohorte: estos resultados se suelen ofrecer en claustro, comisión de coordinación pedagógica y consejo escolar, y no tanto en una sesión de evaluación, aunque podría hacerse. Comparan qué resultados se obtuvieron en un nivel en el curso pasado respecto al actual. Generalmente se dan los porcentajes de promoción o de número de asignaturas no superadas, si se consideran datos globales (no diferenciados por asignaturas), caso del gráfico de ejemplo. O bien de aprobados/suspensos si se hace por asignaturas. El problema fundamental de este tipo de datos es que ni el alumnado es el mismo, ni probablemente el equipo docente.
- Misma cohorte: este resultado es más útil, siempre y cuando el grupo de alumnos no cambie de un curso a otro. En este caso, en global, se pueden comparar los datos anteriormente comentados para ver tendencias. O por asignaturas, más interesante, por si está influyendo alguna variable que no es inherente a la evolución esperada que debería seguir el alumnado con respecto al curso anterior en esa asignatura concreta.
Análisis individual: estudio de casos
Este análisis puede realizarse sobre casos concretos:
- Alumnado que mantiene calificaciones o materias superadas/no superadas en diversas asignaturas en un curso. Los más interesantes son alumnado que sigue un determinado patrón en la mayor parte de asignaturas y que no sigue en alguna asignatura (las menos).
- Alumnado en riesgo en un curso: alumnado que no supera la mayor parte de las asignaturas.
Mapa de calor: alumnado por asignaturas (ejemplo en un grupo)
- Evolución de calificaciones del alumnado (individualmente): esta cuestión debería ser obligatoriamente analizada por los equipos directivos y departamentos de orientación e informada a los equipos docentes. Incluso se pueden establecer modelos predictivos en base a datos anteriores y observar datos sobre alumnado que se aparta del modelo. Así, podrían establecerse medidas preventivas ante posibles fracasos escolares que ayuden a maximizar el impacto sobre el aprendizaje. O ayudar a explicar por qué en un determinado momento y una determinada asignatura un alumno o alumna está fracasando e implicar a las partes interesadas.
Explicación de los resultados
No se trata de buscar culpables, el objetivo es que nuestro alumnado aprenda y supere con éxito nuestra asignatura. De acuerdo con Hattie (2017, p. 207), se trata de desarrollar una cultura del esfuerzo más que de la culpa. El impacto que puede producir nuestra enseñanza en el aprendizaje debe guiar nuestra búsqueda y mejora como colectivo. Hasta que esto no se entienda no dejaremos de ver cualquier comentario o análisis de resultado como un ataque personal, y por tanto las posturas a la defensiva impedirán cualquier avance. Es decir, hasta que no adquiramos una cultura auténtica de evaluación, nada va a cambiar y se van a general conflictos innecesarios.
Asimismo, en el proceso de enseñanza aprendizaje interactúan dos realidades, con sus correspondientes ecosistemas: el profesorado y el alumnado. Hay que observar la realidad de esta interacción, sin obviar cada uno de los ecosistemas. En esta entrada de
Elorientablog (2019) se hace un repaso a las distintas "posibles causas": a) relacionadas con el grupo de alumnos/as y b) relacionadas con la asignatura. Os invito a leerla, puntualizando que más que establecer un sistema causal, entendemos que debería ocurrir más como un sistema de explicación de hipótesis, dada la complejidad de la interacción y de las múltiples variables no controladas a las que nos enfrentamos.
Propuestas de mejora
Además de las que se proponen en la propia entrada anteriormente citada de Elorientablog, propongo las que se derivan de Sánchez Serrano (2016) con el enfoque de diseño universal para el aprendizaje en cuatro aspectos del currículo:
Criterios de evaluación: objetivos de aprendizaje
Se trata de ver las posibles modificaciones en el diseño de nuestra programación teniendo en cuenta las referencias curriculares, especialmente los criterios de evaluación o especificaciones que hemos adoptado u objetivos que hemos fijado en nuestra programación didáctica:
- Determinar la red de aprendizaje que participa principalmente del aprendizaje: afectiva, cognitiva, procedimental
-
Separar los objetivos de los medios para alcanzarlos: a menudo es necesario atender a que un contenido se plantea alcanzarlo desde un enfoque concreto: utilizando un instrumento, material, una agrupación, un propósito... Muchas veces, tomando como referencia el currículo prescriptivo, estos aspectos se sitúan como contextos o naturaleza de la ejecución en un
criterio de evaluación. Y pueden ser modificados, se pueden adaptar a cada estudiante o pequeño grupo de estudiantes, sin alterar el contenido de aprendizaje ni el nivel cognitivo o de destreza.
- Presentar un reto o desafío para todos los estudiantes: variar los niveles de dificultad de la misma tarea asociada con una meta y permitirles elegir. Aquí entran los enfoques de enseñanza multinivel (veáse como ejemplo:
Red de Currículo Multinivel).
- Involucrar activamente al alumnado en la realización de la tarea: es necesario comunicar que es lo que se espera de ellos, que los objetivos personales se fijen con la tarea... En este sentido es muy útil el uso de rúbricas o escalas de valoración, la clarificación de los criterios de calificación o de requisitos para lograr finalizar una tarea, además de otros aspectos motivacionales.
Evaluación
- Centrarla en el progreso del alumnado, que es continuo:
- Hablar con los estudiantes y observarlos mientras trabajan
- Realizar mini pruebas de control, por ejemplo, pedirles que definan un concepto, jugar un cuestionario...
- Revisar su trabajo diario (libros de notas o trabajos)
- Evaluar a los estudiantes con instrumentos que recojan el trabajo continuo y el aprendizaje desarrollado por el estudiante, por ejemplo, portafolio.
- La medición tanto de resultados como de procesos, con el fin de rediseñar el proceso puede centrarse en si ciertos aspectos han funcionado: agrupaciones, apoyos o materiales para el aprendizaje de diferentes contenidos o habilidades, tipos de actividades...
- Ser flexible:
- Ofrecer múltiples formas de evaluación: en la presentación de información, o en la posibilidad de que el estudiante se exprese de diferentes maneras, o en motivación.
- Condiciones de aplicación de la prueba.
- Evaluar lo que realmente se pretende evaluar: ¿qué aspectos del aprendizaje quieren evaluar y cuáles son secundarios? Por ejemplo, si desea evaluar en geometría matemática se puede dejar una calculadora para los cálculos, o en inglés si se desea evaluar el conocimiento de la gramática se puede dejar un diccionario... Esto en definitiva implica también el contenido de los cuestionarios que se realizan, a los que pocas veces se presta atención. También a los aspectos a evaluar en un trabajo o incluso en un "examen" de un libro de lectura obligatoria...
- Involucrar activamente a los estudiantes en la evaluación e informarles de su aprendizaje: dar retroalimentación orientada, la que informa sobre las fortalezas y debilidades del aprendizaje realizado y que indica pautas para la mejora. El uso de instrumentos de evaluación como rúbrica puede ayudarnos en este sentido. También el uso de la coevaluación o autoevaluación basada en criterios establecidos por los estudiantes, autocorrección o corrección grupal de ejercicios o pruebas...
Metodología
- Métodos que se ajustan para satisfacer las necesidades de los estudiantes: utilizar métodos o cambiar los que utilizamos por otros que se ajusten a las necesidades: cognitivas, afectivas o estratégicas.
- Métodos basados en entornos de colaboración inclusivos: tutoría entre pares, tutoría, agrupaciones flexibles, aprendizaje cooperativo, son algunos de los que podemos utilizar en el aula.
Materiales
- Utilizar diferentes medios para presentar el contenido y los conceptos: texto, imágenes, gráficos, vídeos, multimedia... Cuando hay diferentes conocimientos de idioma o lenguaje: hipervínculos a glosarios multimedia, traducciones de idiomas, vocabularios...
- Uso de organizadores visuales, rúbricas, listas de verificación, mapas conceptuales...
- Software que facilite el aprendizaje previo y las adaptaciones.
Una revisión exhaustiva de cómo podemos modificar la enseñanza (el currículo), pasando por estos cuatro elementos, implica ya un paso hacia la mejora de los resultados. Su implementación sería un segundo paso, con el asesoramiento de compañeros y compañeras o el departamento de Orientación y con la puesta en marcha colectiva de las medidas más relevantes. Para algunos casos individuales tendremos además que estudiar sobre la aplicación de estrategias para alumnado con necesidades específicas, conocer didácticas específicas de nuestra disciplina...Evolucionar como profesionales de la enseñanza. Aún así y todo, habrá alumnado que no logre mejorar debido a diversas circunstancias, muchas de ellas no controlables por el centro educativo.
Como resumen, ciertamente no se han encontrado en algunos estudios efectos principales por efecto de la intervención sobre el profesorado basada en el DBDM (Toma de Decisiones Basada en Datos, por sus siglas en inglés), aunque sí se ha beneficiado alumnado con bajo rendimiento y de estatus socioeconómicos bajos (Staman; Timmermans y Visscher, 2017; Van der Sheer y Visscher, 2017). Pero quizá lo importante, como he señalado anteriormente, no es el análisis de datos y el entrenamiento en la su interpretación o la toma de decisiones lo que mejore el impacto en el aprendizaje. Quizá el quid de la cuestión esté en el tipo de decisiones de mejora que se adopten y cómo se adopten y, más allá de esto, por la asunción por parte de un colectivo profesional de lo que Hattie (2017) denomina marcos conceptuales, requisitos para que se maximice el impacto en el aprendizaje. En especial, en lo relativo a la evaluación:
- El profesorado cree que su tarea fundamental es evaluar el efecto de su enseñanza sobre el aprendizaje de los alumnos y el logro (Marco conceptual 1)
- El profesorado ve la evaluación como feedback sobre su impacto (Marco conceptual 4)
En definitiva, utilizar las mismas preguntas del feedback que utiliza su alumnado sobre el aprendizaje, pero en esta ocasión sobre la enseñanza, debatiendo y acordando como colectivo profesional: hacia dónde vamos, cómo lo estamos haciendo y cuál es el paso siguiente.
Para saber más
- Hattie, J. (2017). Aprendizaje visible para profesores. Maximizando el impacto en el aprendizaje. Madrid: Paraninfo.
- Sánchez Serrano, J.M. (2016). Diseño del Currículum desde el enfoque del Diseño Universal para el Aprendizaje. En Carmen Alba Pastor (Coord.), Diseño Universal para el Aprendizaje: Educación para todos y prácticas de enseñanza inclusivas, pp. 59-88. Madrid: Ed. Morata.
- Staman, L., Timmermans, A.C., Visscher, A.J. (2017). Effects of a data-based decision making intervention on student achievement.
Studies in Educational Evaluation, 55, pp. 58-67
https://doi.org/10.1016/j.stueduc.2017.07.002- Van der Scheer, E.A., Visscher A.J. (2018). Effects of a Data-Based Decision-Making Intervention for Teachers on Students’ Mathematical Achievement.
Journal of Teacher Education, 69 (3), pp. 307-320.
https://doi.org/10.1177/0022487117704170
No hay comentarios:
Publicar un comentario