Que parece que estoy de vuelta...

 Pues eso, aquí aparezco de nuevo tras dos años sin publicar absolutamente nada por aquí.

A los y las que os habéis mantenido a la espera, revisando y consultado de nuevo entradas publicadas, muchísimas gracias. A los y las nuevas, bienvenidos, y espero poder mantener el interés y crecer un poco más si se puede.

Cerraba la última entrada al blog diciendo que posiblemente publicara un libro ordenando todas las entradas, dando una estructura coherente a todo lo publicado hasta diciembre de 2021. Por supuesto, sin aspiraciones a que una editorial lo cogiera por banda. A mi estilo, freeculture, creativecommons-by.

Pero no...He estado a otras cosas fundamentales, vitales. Sin parar en mi tarea principal (la orientación educativa) y la enseñanza en la Universidad, en el Máster de Profesorado de Educación Secundaria (especialidad Orientación), pero abandonando muchas cosas y proyectos que dejaron de aportarme satisfacción e incluso me han decepcionado. Seré un tipo raro, pero prefiero trabajar solo o con personas que aporten al mismo nivel.

A cambio de no haber cumplido mi promesa:

a) He actualizado unos cuantos artículos y capítulos de libros que os podéis descargar, todos ellos sobre evaluación. Y voy a seguir publicando en un par de revistas más, si llego a tiempo y cumplo con los editores.

b) He puesto a disposición dos documentos inéditos sobre evaluación de competencias, donde ya aparece la idea de las escalas de dominio como herramienta de evaluación. Ideas que no calaron en su momento, porque quizá nadie las entendió, y creo que siguen sin entenderse. Los documentos son de 2015 y de 2019, y, obviamente, hay cosas que han evolucionado en mi discurso. Pero, en esencia, está mi idea inicial sobre este tema de las competencias y su evaluación: la apuesta decidida a evaluar de otra forma, sin apartarme del sentido de la evaluación basada en el currículo y la evaluación de referencia criterial. Nada que ver con propuestas kafkianas actuales (incluso "oficiales") donde se ha confundido la evaluación criterial con la calificación de cada criterio de evaluación.

Todas estas publicaciones las podéis encontrar en la pestaña de Publicaciones propias. 

Seguiré, eso espero, con otras entradas próximamente.

Cómo cambiará la evaluación del aprendizaje con la LOMLOE

No quería despedir el año sin una entrada. Hace tiempo que no escribo nada por aquí por diversas razones, y me temo que así seguiré durante unos meses. También he tenido la tentación de cerrar esta etapa y dedicarme a escribir todo en un libro que recopile de manera ordenado casi todo de lo expuesto hasta aquí y alguna cosa de índole más práctica... Todo se andará. De momento continuaré con una presencia algo menor de la acostumbrada. 

Como ya sabéis, con la publicación de la LOMLOE están previstos algunos cambios en la evaluación, que se concretan en el Real Decreto 984/2021, de 16 de noviembre, por el que se regulan  la evaluación y la promoción, y la titulación en su caso, en la Ed. Primaria, ESO, Bachillerato y Formación Profesional. Esta entrada intentará establecer cuáles serán los aspectos clave y planteará determinadas dudas al respecto.

Cambios en la LOMLOE

De todo el análisis realizado de la LOMLOE, considero el "cambio" en dos elementos para una reconsideración de la evaluación de los aprendizajes:

1. El énfasis que va poniendo en la evaluación de carácter informativo y orientador para el propio alumnado y sus familias, los centros, el profesorado, basada en los objetivos alcanzados y las competencias adquiridas por este alumnado en el transcurso de escolaridad. Así como su carácter esencial en la decisión de promoción que toman los equipos educativos.
2. Aunque sólo explícito en la Educación Secundaria Obligatoria, la atención a una evaluación formativa.

Además de la sonada eliminación de los estándares de aprendizaje evaluables, como elemento del currículo. 

En el primer caso se vuelve a la situación, más o menos, de la LOE de 2006, con la propuesta de las Evaluación General del Sistema Educativo (al final de Ed. Primaria y ESO), y la Evaluación de Diagnóstico (en los niveles de 4º Ed. Primaria y 2º ESO) que deben desarrollar cada una de las comunidades autónomas del Estado. En el segundo caso, se nombra la evaluación formativa, ya citada en anteriores legislaciones, aunque no se apostilla este calificativo a la evaluación en Ed. Primaria, ni al resto de las etapas salvo la ESO. Supongo que para poner mayor énfasis dónde mayoritariamente no ocurre. Aunque no habría estado de más también nombrarla en Ed. Primaria y el resto de etapas. A fin de cuentas, la evaluación siempre debería ser formativa.  Otra cosa será cómo se articula esta cuestión en la práctica y cómo se va a acotar esta cuestión en la legislación estatal y autonómica.

Acudiendo ya al Real Decreto, ¿cómo se ha concretado todo esto?, ¿se han introducido nuevos aspectos que la LOMLOE no había planteado? Todos estos cambios son de aplicación ya en este curso 2021-22, salvo los relativos a los documentos oficiales de evaluación. Así la primera gran declaración de intenciones es que;

todo gira en torno a los objetivos (de etapa) y la adquisición de competencias

Todo esto en la teoría, claro. Las únicas consecuencias, con limitaciones que ahora señalaremos, es que cobrarán especialmente relevancia las decisiones que tomen los equipos docentes sobre la promoción y titulación.

A nivel del preámbulo se introducen aspectos que no citaré más adelante:

• La permanencia un año más en un mismo curso en la educación básica es una medida de carácter excepcional (esto ya estaba por ahí, en otras normas, nada nuevo). Y además vendrá acompañada de un plan específico y personalizado de apoyo (también estaba por ahí, de verdad, buscadlo).
• La superación de todos los módulos de un Ciclo Formativo de Grado Básico (FPB) conlleva la titulación en ESO, es decir el título de Graduado en Educación Secundaria Obligatoria. Esto sí es nuevo.

Se desarrollan, esbozadas, cuestiones importantes sobre evaluación objetiva, los referentes de la evaluación...Y otros que se desarrollan posteriormente sobre promoción y titulación, etc.

La evaluación del alumnado con Necesidades Específicas de Apoyo Educativo (NEAE)

Entre los que se encuentra el alumnado con Necesidades Educativas Especiales (NEE), recuerdo. Pues bien, en los artículos 3.3 y 6 se señalan aspectos que son importantes, aunque no sé si del todo nuevos:

1. El alumnado con NEE tiene de referentes los que estén establecidos en sus adaptaciones y esto no les puede impedir por sí mismo, la promoción o la titulación en su caso.
2. Se recuerda que a todo el alumnado con NEAE se le debería adaptar las condiciones de realización de cualquier proceso de evaluación de acuerdo a estas necesidades (cada uno las suyas) y que estas adaptaciones en ningún caso se tendrán en cuenta para minorar las calificaciones obtenidas. Lo pongo en negrita porque se están cometiendo verdaderas aberraciones.
3. En la enseñanza y evaluación de la lengua extranjera, especialmente para el alumnado con NEAE con dificultades en éstas, se han de tomar medidas de flexibilización y alternativas.

Y con carácter general, aunque esté en el artículo 6, para todo el alumnado se deberían utilizar instrumentos de evaluación variados, diversos y adaptados a la situación de aprendizaje. 

Es decir, lo que he venido señalando en alguna de las entradas que seguro he realizado a lo largo de estos años. Estas medidas no hacen más que incidir en la fiabilidad y validez de los procesos de evaluación.

Cambios en la educación básica

Pocos cambios se han dado, pero relevantes:

1. Tanto en Ed. Primaria como en ESO, habrá una única sesión de evaluación (al finalizar el curso escolar), sin quitar importancia al seguimiento del alumnado que toda evaluación requiere.
2. La permanencia un año más en el mismo curso (repetición) se podrá adoptar una vez en Ed. Primaria (esto no cambia), o dos veces como mucho en toda la escolaridad obligatoria. Es decir, si no ha habido en Ed. Primaria, dos veces en la ESO o una vez (si se hubiese repetido anteriormente en Ed. Primaria). De forma excepcional, aunque se haya agotado el número de repeticiones máximo, se puede permanecer un año más en 4º de ESO.
3. Las decisiones de promoción en Ed. Primaria se adoptarán en 2º, 4º y 6º, como hasta ahora, a criterio de los equipos docentes.
4. Las decisiones de promoción en ESO, parten de la idea de que hay que superar todas las materias, o que queden sin superar como máximo una o dos materias (se elimina la condición de materias instrumentales). Pero, los equipos docentes podrán adoptar la decisión de promocionar, se entiende que con más de dos materias no superadas, atendiendo los siguientes criterios:
• los objetivos (de etapa) y grado de consecución de competencias, no se concreta si específicas o clave.
• valoración de las medidas que favorezcan el progreso del alumno o la alumna.
• que las materias no superadas le permitan seguir con éxito
• expectativas favorables de recuperación
• beneficio en su evolución académica
5. Se establecen informes sobre objetivos y grado de consecución de las competencias en 2º, 4º y 6º de Ed. Primaria y consejo orientador sólo en 2º de ESO y 4º ESO.
6. Se establece un certificado oficial para todos (los que titulan en ESO y los que no) donde figuren el número de años cursados y el nivel de adquisición de competencias de la etapa.
7. En ESO se elimina la evaluación extraordinaria.
8. Si un alumno o una alumna no obtiene el título de ESO podrá presentarse en los dos años siguientes a la finalización de los estudios a las materias que le quedaron pendientes con el fin de obtenerlo.

Otros cambios se proponen en Bachillerato: se puede titular con una materia suspendida, siempre que se cumplan una serie de condiciones (asistencia, presentarse a las pruebas ordinarias y extraordinarias, grado de consecución de competencias, que la media aritmética de las calificaciones de las materias supere o iguale el 5...).

Conclusión

En síntesis, y a mi modo de ver, se buscan varios objetivos:

• Disminuir la aplicación de la medida de la repetición, con la aplicación de otras medidas más efectivas. Y esto, además de los datos de los que se disponen a nivel europeo sobre la excesiva aplicación de la medida en nuestro país, también lo avalan resultados de estudios sobre la ineficacia de la medida por sí misma sobre la mejora del rendimiento del alumnado.
• Dar un mayor número de oportunidades para que el alumnado consiga la titulación básica.
• Basar la información y las decisiones académicas sobre la base de los objetivos y el grado de consecución de las competencias.

Es en este último punto donde tengo que hacer una advertencia y crítica. Si no se definen los procedimientos e instrumentos de evaluación para pasar de una evaluación de áreas/materias a una evaluación de competencias (sean específicas (de área/materia) o clave) vamos a quedarnos como estamos. Vamos a repetir lo que ocurre cuando los equipos docentes se enfrentan a los informes finales de Ed. Primaria y en especial, a los consejos orientadores en ESO. Incertidumbre, procesos aleatorios de valoración y no vinculados al currículo y al quehacer diario...Una pantomima. O en el mejor de los casos, unos procedimientos matemáticos de dudosa calidad, que dan apariencia de objetividad, por eso de usar números, pero que lo único que solucionan es la papeleta de "calificar" cualitativa o cuantitativamente el grado de consecución de las competencias por medio de la calificación de las áreas o de los criterios de evaluación de éstas (aún todavía peor)...En definitiva invalidez del proceso de evaluación. Ya lo he comentado en otras ocasiones, evaluar no es calificar, y además la extrapolación que se hace al medir un dominio de evaluación (área/materia) o varios, a otro u otros (competencia clave) por medio de una relación, a veces no bien definida, es cuanto menos dudosa desde el punto de vista de teoría de la medición.

Por último, está muy bien confiar en los equipos docentes y en su capacidad de colegiar decisiones. Pero estas decisiones han de estar guiadas por criterios mucho más concretos. Es tremendamente subjetivo, y casi adivinatorio, pensar que un alumno o alumna va a tener un mayor éxito si no repite, que va a recuperar las materias no superadas y que repetir o no repetir va a ser más o menos beneficioso para él o para ella (¿en qué aspecto?, ¿académico, personal, económico?). Por ejemplo, en mi caso, y en función de los datos que se aportan desde las evidencias científicas, práctica de otros países y experiencia propia de estos años en el instituto, siempre voy a considerar que es más probable que tenga éxito no repetir. Porque ya sé que repetir sólo funciona en un porcentaje ridículo de alumnos o alumnas. En el resto o empeoran los resultados académicos o como mucho se quedan igual, y al final acaban promocionando igualmente porque no se puede repetir dos veces un mismo curso. Pero esto no puede depender del criterio personal de cada uno, ni siquiera del conjunto de criterios personales, es demasiado arbitrario como para determinar la evolución académica del alumnado, un aspecto que marca sus vidas y su futuro. Ya sé que nadie muere por tomar estas decisiones, pero, ¿y si lo hicieran?, ¿no tendríamos procedimientos y criterios mucho más determinados? Es una cuestión de justicia social, de equidad y de calidad del sistema educativo.

Espero que paséis una feliz noche de fin de año, con las personas que podáis, con las que améis. Y que este nuevo año os traiga vuestros mejores deseos, esperanza y motivación para seguir caminando. Seguiré estando por aquí en algún rato más.

Criterios de desempeño e indicadores para el diseño de evaluaciones

 Wiggins (1998), en la ya por mí difundida obra de referencia Educative Assessment (pp. 128- 131) dedica una sección a los diferentes tipos de criterios que pueden ser utilizados para la evaluación de una tarea.

Antes de esto aclara que los tres elementos del diseño de la evaluación: objetivos de logro, estándares de desempeño y los criterios e indicadores implicados, sugieren tres cosas: 

1. Una única tarea no puede servir  para valorar adecuadamente un objetivo complejo.

2. Un único contexto (situación , audiencia, propósito o conjunto de condiciones) no puede ser adecuado para juzgar el amplio conocimiento de un estudiante,

3. Una única clase o género de desempeño (oral, escrito o muestra) o producto, no implica una evidencia válida y fiable.

Se debe hacer previamente una traducción a nuestro contexto de referentes de evaluación. Cuando habla de objetivos de logro, se refiere a nuestros criterios de evaluación, que actúan de metas y referentes de evaluación específicos de cada área o materia. A estos se les asociarían los estándares de desempeño que en nuestro contexto no existen (¿cómo de bien lo deben de hacer los y las estudiantes?). Finalmente se refiere a criterios, que especifican el estándar de desempeño sin estar sujetos a una tarea concreta del conjunto de tareas que pueden referirse a una meta de logro (contexto español: criterios de evaluación). El criterio es una manera de definir el éxito para alcanzar una meta de logro o resultado de aprendizaje. Cuando se alcanzan esos criterios concluimos no sólo que el desempeño específico (por ejemplo, saberse una lección) ha sido exitoso, sino que una meta de aprendizaje ha sido alcanzada.

Los indicadores son conductas o rasgos que es típico o característico de un desempeño concreto que está siendo evaluado. Es un signo o síntoma concreto para que un criterio sea alcanzado. Por ejemplo, consideremos la evaluación de una buena exposición.

Criterio: el estudiante habla de una forma motivadora

Indicadores para el criterio: hace contacto visual, modula la voz de forma placentera, utiliza anécdotas y humos apropiado para la audiencia y el contexto, dirige las cuestiones de la audiencia de forma amable.

Tipos de criterios (Wiggins, 1998, pp. 130-131)

• Impacto del desempeño: el éxito del desempeño, dado el propósito, las metas y los resultados deseados.
• Trabajo de calidad: la pulcritud, organización y rigor del trabajo en su conjunto.
• Adecuación de métodos y conductas: la calidad de los procedimientos y la forma de presentación, antes y durante el desempeño.
• Validez de contenido: La corrección de las ideas, destrezas o materiales utilizados.
• Grado de expertise: la sofisticación, complejidad o madurez del conocimiento empleado.

En la tabla siguiente se exponen ejemplos de criterios por tipo que pueden ser utilizados para una meta de logro y en el diseño de la evaluación.

Tanto criterios como indicadores pueden utilizarse en el diseño de rúbricas, escalas de valoración y listas de cotejo para determinar la descripción de niveles de logro o conductas o características a valorar o comprobar.

LOMLOE, estándares y currículo: ¿vamos a perder una nueva oportunidad?

Con la llegada de la LOMCE (2013, texto consolidado con LOE 2006) aparecieron por primera vez en el sistema educativo unos nuevos referentes para la evaluación de los aprendizajes: los estándares de aprendizaje evaluables. Fue una introducción desafortunada, no por el hecho de que se planteasen estándares, como ahora veremos, sino porque su introducción fue forzada y poco ajustada a los criterios que en otros países se usan para definirlos y ponerlos en juego con otros elementos del currículo. Tanto es así que han creado cierta desazón entre la comunidad profesional docente. Y claro, ha habido un aplauso generalizado con su eliminación en la LOMLOE (2020).

Los estándares entonces definidos jugaban un papel, aunque no se explicó convenientemente. Servir de base para el diseño de pruebas externas (las de las evaluaciones individualizadas) y se plantearon como concreciones (aunque a veces no lo eran) de los criterios de evaluación, los referentes de la evaluación.

---

Estándares de aprendizaje evaluables: especificaciones de los criterios de evaluación que permiten definir los resultados de aprendizaje, y que concretan lo que el estudiante debe saber, comprender y saber hacer en cada asignatura; deben ser observables, medibles y evaluables y permitir graduar el rendimiento o logro alcanzado. Su diseño debe contribuir y facilitar el diseño de pruebas estandarizadas y comparables.

---

(Art. 2.e, Real Decreto 126/2014 y Real Decreto 1105/2014)

Sin embargo, complicaron y burocratizaron la planificación de la actividad docente y la evaluación del aprendizaje, reduciéndola, si todavía quedaba algún resquicio de esperanza, a un mero trámite. Incluso agravado por la transmisión de la falsa idea de "calificarlos" uno a uno.

La LOMLOE plantea ahora los siguientes elementos prescriptivos (Art. 6.1):

---

A los efectos de lo dispuesto en esta Ley, se entiende por currículo el conjunto de objetivos, competencias, contenidos, métodos pedagógicos y criterios de evaluación de cada una de las enseñanzas reguladas en la presente Ley.

---

Nuevamente, seguimos anclados a un currículo planteado desde esquemas de hace 30 años, con una cantidad de elementos curriculares que muy bien se deben articular para que, coherentemente, guíen la práctica docente sobre los aprendizajes que deben promoverse en el aula y cómo estos pueden evaluarse. Además de servir como nexo entre estas prácticas de aula y las evaluaciones externas que anuncia la propia ley orgánica.

En un estudio comparado auspiciado por la OECD (CEPPE, 2013) con 11 países y algún estado en USA, Canadá y Australia, se plantean cuestiones interesantes en torno a la definición de estándares, ahora desaparecidos. Cuestiones que merecen ser tenidas en cuenta, y ojalá lo hubiesen sido antes de publicar la nueva ley orgánica para dar un salto cualitativo al currículo definido en nuestro sistema educativo. En esta entrada solo paso a comentar los estándares referidos al aprendizaje, dejando a un lado las consideraciones referidas a los estándares de los docentes y de los directores escolares, que también son tratados en esta publicación.

La naturaleza de los estándares

El término "estándar", en el contexto curricular, no está definido de forma unánime a lo largo y ancho de los sistemas educativos, y esto genera bastante confusión. Además, términos como: metas, competencias, objetivos o criterios juegan papeles similares en distintos países.

En el Thesaurus de ERIC se define estándar (standards) como las reglas, principios o criterios por los que los niveles o grados de adecuación, aceptabilidad, cantidad, cualidad o valor son medidos o juzgados. Y como término más concreto, los estándares académicos (academic standards) serían los criterios establecidos por una institución académica para determinar los niveles de logro de los estudiantes. Dicho de otra forma, el CEPPE (2013) señala que los estándares son las definiciones sobre lo que una persona debería conocer y ser capaz de hacer para ser considerado competente en un dominio particular. 

Más importante aún, para la definición de unos estándares de aprendizaje y del currículo, es la consideración que hacen Kleinhenz et al. (2007) sobre dos tipos de estándares y un tercer elemento a tener en cuenta, cuestión que coincide en parte con Wiggins (1998, p. 106). En el siguiente gráfico se resumen todas estas aportaciones:

Así, aplicado todo ello al aprendizaje que los estudiantes deben realizar, los estándares, señalan aquello que se debe conocer y ser capaz de hacer, que debe ser valorado y promovido (estándares de contenido), y se puede utilizar para evaluar si lo que se valora está logrado o no (estándares de desempeño).

Los estándares de contenido no sólo apuntan al conocimiento, a lo conceptual, sino que también se ocupan de hechos, principios, proposiciones, teorías, destrezas, habilidades, actitudes y valores...Son la parte que constituye el currículo de cualquier asignatura. Mientras que los estándares de desempeño concretarían, sobre cada estándar de contenido, a qué nivel se considera que un alumno o alumna ha alcanzado el nivel de competencia mínima.

Por otra parte cabe reseñar el CÓMO VALORAMOS, los criterios de evaluación propiamente dichos en la mayor parte de la literatura sobre evaluación, que no coinciden con el concepto de los que aparecen en nuestro sistema educativo.  Serían aquellas reglas que conoce el estudiante mediante las cuales se va a evaluar su aprendizaje con una evidencia o evidencias concretas.

El caso del currículo español

En nuestro caso, dado que desaparecen los estándares de aprendizaje evaluables, que ni siquiera hacían la función de auténticos estándares, como en otros países ocurría, ¿qué elementos son los referentes de la evaluación, lo que es valorado, esos estándares de contenido?

La respuesta a esta pregunta es: los criterios de evaluación. El problema está en el nombre, ya que criterio de evaluación en el resto de países y la literatura sobre evaluación, son otra cosa, como se ha ejemplificado anteriormente.

Y el resto de elementos, ¿son necesarios? La mayoría de currículos analizados en el estudio de CEPPE presentan un grado de sofisticación alto y una de sus principales características es que los elementos curriculares están muy bien alineados (objetivos, competencias, estándares, áreas de contenido...). Basta con pasarse por el currículo australiano (ver aquí). Aún así, raramente se cae en un lista inconmensurable de contenidos.

El problema del listado de contenidos del caso español, además de ser muchos, es que todavía hoy son lo que guía la práctica del aula: la estructura de las lecciones magistrales y unidades didácticas, los libros de texto, las actividades propuestas y las pruebas, generalmente las que se plantean mediante cuestionarios que sólo buscan la reproducción de estos contenidos (previa memorización mediante el estudio). La prueba es que el feedback por antonomasia para aquel alumnado que fracasa en estos cuestionarios es "estudia más". Y todo esto hace que nuestros criterios de evaluación queden prácticamente relegados al olvido o a fases de la programación didáctica donde lo que importa es cumplir con los requisitos que demanda la administración. Mi opinión es que los contenidos sean eliminados para siempre, dejando sólo una especie de bloques de contenido para cada asignatura, algo más desarrollados de los que hasta ahora tiene nuestro currículo.

Contenidos de Matemáticas (Infantil (K) a 4º ESO (Stage 10)). Currículo Australiano.

Fuente: Education Standards Authority (Accedido en marzo de 2021). URL: https://educationstandards.nsw.edu.au/wps/portal/nesa/k-10/learning-areas/mathematics/mathematics-k-10/organisation-of-content

Otra de las características fundamentales en estos sistemas, de la que ha carecido históricamente el sistema educativo español, es que se tiene muy presente la cuestión de los estándares de desempeño (performance standards) y especialmente de las situaciones de evaluación o desempeño competente, que actúan como guías para el profesorado (cómo evaluar). Así, para cada estándar (de contenido) se presentaría una guía general de cómo desarrollar estándares de desempeño (a incluir por ejemplo en rúbricas o instrumentos similares en el contexto del aula) y diversas situaciones de desempeño (de evaluación) con material listo para usar por el profesorado. Esta es la verdadera revolución de un currículo, acercarlo al aula.

Otras consideraciones interesantes

El documento del CEPPE (2013) introduce cuestiones interesantes a tener en cuenta a la hora de adoptar este nuevo reto de desarrollar estándares de contenido, que en nuestro caso serían los criterios de evaluación. Entre ellas definir los propósitos para los que se definen, a saber (pp. 18-19):

• Clarificar y hacer explícitas las expectativas de aprendizaje para el alumnado.
• Alinear las expectativas con las demandas del mundo actual.
• Guiar y centrar la enseñanza.
• Promover el compromiso por la equidad.
• Proporcionar criterios comunes sobre los que evaluar el progreso del alumnado.
• Facilitar la comunicación entre diferentes grupos interesados en la educación y su calidad.
• Enfatizar el objetivo final del sistema escolar y centrar las políticas.
• Identificar al alumnado y escuelas que necesitan apoyo.

Más allá de estas consideraciones importantes que se deberían adoptar en nuestro diseño de currículo y en concreto de los criterios de evaluación me gustaría señalar dos más:

Formato de los estándares

Existen dos formas de plantear los estándares de contenido:

- Estándares centrados en el logro: lista de objetivos no necesariamente conectados; logros que no conllevan ningún tipo de relación con aquellos que se sitúan a niveles superiores o inferiores.

- Estándares de desarrollo (developmental standards): describen cómo la competencia en el dominio en cuestión se va desarrollando, desde los niveles inferiores hasta los niveles superiores o más complejos y que mantienen una coherencia clara con los inferiores.

Esta última es la solución que se adoptó en el currículum de la Comunitat Valenciana, y que queda claramente visualizada en los documentos puente (Ed. Primaria / Ed. Secundaria).

Ejemplo de criterio de evaluación (e indicadores de logro asociados) en progreso (Matemáticas 1º a 6º de Ed. Primaria)

Fuente: Conselleria d'Educació, Cultura i Esport. Generalitat Valenciana. 

Tabla de objetivos y resultados en Matemáticas 

Fuente: Education Standards Authority (Accedido en marzo de 2021).

URL: https://educationstandards.nsw.edu.au/wps/portal/nesa/k-10/learning-areas/mathematics/mathematics-k-10/outcomes/table-of-objectives-and-outcomes

Las ventajas que proporciona este formato al profesorado son, según Forster (2007):

• Estimular a visualizar el aprendizaje de su alumnado como parte de un continuo.
• Comprender la naturaleza del progreso del aprendizaje en su asignatura.
• Ver la evaluación como la valoración del nivel que han alcanzado en ese continuo, en lugar de limitar la evaluación a una comprobación del logro de objetivos concretos y desconectados.

A esto se añade que constituyen una fuente valiosa para realizar auténticas adaptaciones curriculares (sean significativas o no) basadas no en contenidos desconectados, sino en función de la complejidad de este mismo contenido, los aprendizajes previos y la profundidad en habilidades de cognitivas, afectivas o motoras. En definitiva, preparan también para la introducción de enfoques, como el que proporciona la enseñanza multinivel.

Esto nos lleva a que es importante definir el progreso atendiendo a ciclos, y no dejando la definición de los estándares (en nuestro caso criterios de evaluación) sólo en el final de las etapas o en niveles donde se vaya a realizar una evaluación estandarizada externa, tal como hizo la LOMCE (2013). Y sin obviar a la Ed. Infantil de todo este mapa de progreso, que mucho me temo que así será de nuevo.

Ya sabemos a lo que dio lugar esta indefinición de niveles en el sistema educativo español,  seguramente por las prisas que cualquier gobierno se toma en dejar su efímera huella, antes de ser relegado a la oposición y al soterramiento de todo aquello que desarrolló, como viene siendo de costumbre.

Desarrollo de los estándares de aprendizaje

¿Quién debe desarrollar estos estándares? En general, en la mayor parte de países analizados en el estudio del CEPPE (2013) se diseñan por parte del gobierno central, que toma el papel de definirlos y de guiar su desarrollo. Pero en determinados países también forman parte asociaciones profesionales vinculadas a las asignaturas o áreas, aunque cada vez es menor esta tendencia.

Lo que sí existe, en este enfoque top-down, es un largo período de consulta (bottom-up) implicando a organizaciones de profesorado, grupos de profesores de cada área, familias, académicos de diferentes disciplinas, autoridades educativas...), cuyo feedback se considera para la realización de modificaciones de los borradores. Por ejemplo, se puede proporcionar un borrador a escuelas piloto para que en función de la práctica introduzcan modificaciones. ¿De cuánto tiempo estamos hablando? En algunos casos entre 5 y 8 años. Impensable aquí en España, ¡no vaya a ser que nos tiren! Y es que estamos hablando de algo importante, que debería constituir un consenso político de larga duración. No son buenas las prisas.

Evaluación de los estándares de aprendizaje

Para finalizar esta larga entrada, casi una revisión de aquella que publiqué hace algo más de tres años (ver aquí), me centraré brevemente en la importancia de evaluar los estándares de aprendizaje.

Se distinguen dos niveles de evaluación que, en cualquier caso, deben ser diseñados manteniendo una alineación y consistencia con los estándares de contenido, este es el hecho más relevante e importante:

- Evaluación estandarizada: mediante la identificación de los puntos de corte, como versión operativa de los estándares de desempeño. A este proceso, en la construcción de pruebas, se le llama standard-setting, y existen varios métodos que no vienen al caso ahora. Dependen de las instituciones del gobierno que se dediquen a diseñar estas pruebas. En nuestro caso vamos a necesitar los estándares de desempeño, asociados a los estándares de contenido, para realizar bien esta operación y en definitiva, el diseño de pruebas estandarizadas externas.

- Evaluación no estandarizada: la que depende del juicio del profesorado basada en el trabajo o evidencias de su alumnado. Aquí los estándares de desempeño, alineados con sus correspondientes estándares de contenido, juegan un importante papel a la hora de ayudar a definir los niveles de desempeño en una rúbrica o instrumento similar. Al menos a la hora de determinar cuál es el nivel mínimo para alcanzar una determinada competencia, en el contexto de una actividad de evaluación.

De aquí se desprende la importancia de al menos dar pautas para la definición de estos estándares de desempeño a las escuelas, todo ello a partir de los estándares de contenido; proporcionando también situaciones de desempeño y actividades de base e instrumentos de evaluación que sirvan para su evaluación. Otra forma es definirlos como indicadores de logro que, sin ser prescriptivos, además de orientar el trabajo en el aula, orienten también el diseño de pruebas de evaluación externas.

Esperemos que los tiempos acompañen a un futuro buen desarrollo curricular en nuestro país, y en concreto de unos buenos criterios de evaluación que guíen y clarifiquen la práctica en el aula y el seguimiento del aprendizaje de nuestro alumnado. No he profundizado demasiado en cómo estos países analizados en la publicación de la OCDE también dan pautas muy claras, ya de base, para la diversificación curricular y la inclusión educativa. Cuestión que no debe quedar relegada en el diseño curricular a un segundo plano y a la que dedicaré unas líneas próximamente.

Para saber más

Centre of Study for Policies and Practices in Education (CEPPE), Chile (2013), Learning Standards, Teaching Standards and Standards for School Principals: A Comparative Study, OECD Education Working Papers, No. 99, OECD Publishing. http://dx.doi.org/10.1787/5k3tsjqtp90v-en

Forster, M and Masters, G. (2010) Progression and assessment; Developmental
assessment International encyclopedia of education (3rd ed). Ed. Baker, E. , McGaw, B. Peterson, P. Elsevier, Amsterdam.

Kleinhenz, E., and Ingvarson, L. (2007), Standards for teaching: Theoretical underpinnings and applications, New Zealand Teachers Council.

Wiggins, G. (1998). Educative Assessment. Designing Assessments to inform and improve student performance. Jossey-Bass Publishers: San Francisco.

La sesión de evaluación como motor de cambio

En la entrada anterior presenté los aspectos, digamos, más irrelevantes y llamativos de una sesión de evaluación. Una caricatura, sin duda, que sigue ocurriendo, pero que deja entrever concepciones más profundas de una tradición poco reflexionada y superada sobre qué significa evaluar. Más allá de esto, entonces,  ¿para qué puede servir una sesión de evaluación? Cuando ocurre, ya se ha evaluado y calificado al alumnado. Alea jacta est. Entonces, ¿qué sentido tiene?

En alguna entrada anterior: "Tres pasos para promover el aprendizaje desde su evaluación" ya se introdujo la importancia de evaluar la evaluación, como el tercer paso a dar en el ciclo de mejora, no sólo del propio proceso de evaluación, sino también del proceso de aprendizaje. Es la potencia de un buen feedback el motor del cambio y la mejora del aprendizaje, del cual también se escribía en otra de las entradas. Utilizar los datos, no solo a nivel de aula, también a nivel de centro, puede permitirnos tener un punto de partida objetivo donde se detecten patrones de rendimiento: intragrupo (comparando resultados por asignaturas) o intergrupo (comparando grupos en una misma asignatura). Desde luego, un simple análisis de datos no es en sí mismo garantía de nada. Pero sí debería ser el punto de partida que debe implicar otro tipo de acciones, todo con el objetivo de tomar decisiones respecto al impacto que tiene la enseñanza sobre el aprendizaje.

Planificando una sesión de evaluación

Obviamente, en las sesiones de evaluación también vamos a evaluar otros aspectos que inciden en el aprendizaje, además del rendimiento individual y grupal, es interesante analizar datos de absentismo, disciplina y convivencia. En este sentido, dejo a continuación un esquema que puede resultar útil para planificar una sesión de evaluación, uno posible que utilizamos en el instituto que supera, desde mi punto de vista y el de otros compañeros y compañeras, el tradicional "cante" de calificaciones y chismorreos varios sobre el alumnado. También tiene sus detractores, pero la opción era seguir con una práctica que resulta poco efectiva para la mejora del aprendizaje.

Se sigue aproximadamente el orden de presentación aquí mostrado, y para cada ítem se hace un análisis (al que luego entraré en el siguiente punto respecto al rendimiento) y se deja turno abierto para propuestas de mejora. Muchos de los datos se proporcionan desde la jefatura de estudios como paso previo a la sesión.

1. Informe del equipo docente para la asamblea de clase:

Información general que hace el equipo docente que se quiere transmitir al alumnado del grupo en sesión de tutoría (post-evaluación) al inicio del siguiente trimestre. Antes el tutor o la tutora (o el delegado o la delegada de clase) ha expuesto la valoración que hace el grupo en una sesión de tutoría previa a la sesión de evaluación (pre-evaluación).

2. Absentismo

2.1. Alumnado con más del 15% de faltas injustificadas de horas lectivas.

2.2. Absentismo selectivo: alumnado que sólo falta en determinadas asignaturas.

2.3. Retrasos

3. Disciplina y convivencia

Se cuenta con resultados de partes y expedientes, si los hubiere, o algún patrón generalizado de comportamiento tanto individual como grupal.

3.1. Individual

3.2. Grupal

4. Rendimiento

Análisis de datos grupal e individual, proyectado en la sesión y enviado por correo previamente. Para el caso individual se va de los casos más graves hasta los que menos necesidad presentan.

4.1. Grupal

4.2. Individual: en este caso el dep. Orientación también aporta datos de entrevistas, planes personalizados.

5. Otras medidas de inclusión: valoración de su funcionamiento de alumnado de Incorporación Tardía y programas aplicados, biblioteca tutorizada (acompañamiento escolar fuera del horario lectivo), Pigmalión (tutoría entre iguales)...

6. Observaciones: otras observaciones y especialmente felicitaciones a alumnado al que se desee hacer llegar. Aquí se valora especialmente el esfuerzo individual (no respecto a las calificaciones obtenidas), comportamiento...

Análisis de datos de rendimiento: patrones

Especialmente interesante es el análisis de datos sobre el rendimiento. Como he dicho, si no hay reflexión sobre ellos, y sobre todo no hay toma de decisiones, su utilidad es nula. Este análisis se puede hacer todo lo complejo que se quiera, aquí presentaré algunas soluciones gráficas y llamadas de atención sobre datos reales de un grupo y nivel, como ejemplo. Esta información debería plantear una serie de cuestiones para realizar propuestas de mejora del proceso de enseñanza y aprendizaje tras analizar las causas (epígrafe siguiente).

Análisis intragrupo: comparando asignaturas en un grupo

El objetivo de estos análisis es comparar el funcionamiento de un grupo de alumnos y alumnas en las distintas asignaturas que cursan y observar patrones de éxito/fracaso y uso de las calificaciones que se puedan explicar debido a su efecto.

Análisis centrado en los porcentajes de aprobados/suspensos

Aspectos para el análisis:

- Tendencia general en las diversas asignaturas de aprobados y suspensos

- Detección de asignaturas donde se concentra el mayor número de suspensos / aprobados

- Agrupamiento de asignaturas donde se ha producido mayor / menor rendimiento

Análisis centrado en la distribución de calificaciones

Un ejemplo con tres asignaturas y mismo alumnado con patrones diferenciados (curvas suavizadas). En el eje X las calificaciones de 1 a 10. En el eje Y el número de alumnos/as con esa calificación.

Aspectos para el análisis:

- Patrones en el uso de calificaciones: (distribución homogénea/heterogénea de puntuaciones, asimetrías)

- Alta/baja frecuencia en determinadas calificaciones

Análisis intergrupo: comparando grupos en cada asignatura

El objetivo de estos análisis es comparar las tendencias generales de un determinado nivel (con los grupos que lo conforman) y comparar si existen diferencias que se puedan explicar por efecto del grupo   y otras variables no controladas: tipo de alumnado, profesorado distinto para una misma asignatura...

Análisis centrado en los porcentajes de aprobados/suspensos: un ejemplo con tres asignaturas

Aspectos para el análisis (para una asignatura):

- Tendencia general en los diversos grupos de aprobados y suspensos

- Detección de grupos donde se concentra el mayor número de suspensos / aprobados

- Agrupamiento de grupos donde se ha producido mayor / menor rendimiento

Análisis centrado en la distribución de calificaciones: un ejemplo con una asignatura

En el eje X las calificaciones de 1 a 10. En el eje Y el número de alumnos/as con esa calificación. Cada línea (suavizada) representa la distribución de calificaciones de un grupo.

Aspectos para el análisis:

- Patrones en el uso de calificaciones: (distribución homogénea/heterogénea de puntuaciones, asimetrías)

- Alta/baja frecuencia en determinadas calificaciones

- Distancia de cada grupo con la distribución del conjunto de alumnado del nivel (línea negra punteada).

Análisis longitudinales

- Evolución de aprobados/suspensos de un curso a otro (para un nivel, globalmente o por asignaturas)

• Distinta cohorte: estos resultados se suelen ofrecer en claustro, comisión de coordinación pedagógica y consejo escolar, y no tanto en una sesión de evaluación, aunque podría hacerse. Comparan qué resultados se obtuvieron en un nivel en el curso pasado respecto al actual. Generalmente se dan los porcentajes de promoción o de número de asignaturas no superadas, si se consideran datos globales (no diferenciados por asignaturas), caso del gráfico de ejemplo. O bien de aprobados/suspensos si se hace por asignaturas. El problema fundamental de este tipo de datos es que ni el alumnado es el mismo, ni probablemente el equipo docente.

• Misma cohorte: este resultado es más útil, siempre y cuando el grupo de alumnos no cambie de un curso a otro. En este caso, en global, se pueden comparar los datos anteriormente comentados para ver tendencias. O por asignaturas, más interesante, por si está influyendo alguna variable que no es inherente a la evolución esperada que debería seguir el alumnado con respecto al curso anterior en esa asignatura concreta.

Análisis individual: estudio de casos

Este análisis puede realizarse sobre casos concretos:

• Alumnado que mantiene calificaciones o materias superadas/no superadas en diversas asignaturas en un curso. Los más interesantes son alumnado que sigue un determinado patrón en la mayor parte de asignaturas y que no sigue en alguna asignatura (las menos).
• Alumnado en riesgo en un curso: alumnado que no supera la mayor parte de las asignaturas.

Mapa de calor: alumnado por asignaturas (ejemplo en un grupo)

• Evolución de calificaciones del alumnado (individualmente): esta cuestión debería ser obligatoriamente analizada por los equipos directivos y departamentos de orientación e informada a los equipos docentes. Incluso se pueden establecer modelos predictivos en base a datos anteriores y observar datos sobre alumnado que se aparta del modelo. Así, podrían establecerse medidas preventivas ante posibles fracasos escolares que ayuden a maximizar el impacto sobre el aprendizaje. O ayudar a explicar por qué en un determinado momento y una determinada asignatura un alumno o alumna está fracasando e implicar a las partes interesadas.

Explicación de los resultados

No se trata de buscar culpables, el objetivo es que nuestro alumnado aprenda y supere con éxito nuestra asignatura. De acuerdo con Hattie (2017, p. 207), se trata de desarrollar una cultura del esfuerzo más que de la culpa. El impacto que puede producir nuestra enseñanza en el aprendizaje debe guiar nuestra búsqueda y mejora como colectivo. Hasta que esto no se entienda no dejaremos de ver cualquier comentario o análisis de resultado como un ataque personal, y por tanto las posturas a la defensiva impedirán cualquier avance. Es decir, hasta que no adquiramos una cultura auténtica de evaluación, nada va a cambiar y se van a general conflictos innecesarios.

Asimismo, en el proceso de enseñanza aprendizaje interactúan dos realidades, con sus correspondientes ecosistemas: el profesorado y el alumnado. Hay que observar la realidad de esta interacción, sin obviar cada uno de los ecosistemas. En esta entrada de Elorientablog (2019) se hace un repaso a las distintas "posibles causas": a) relacionadas con el grupo de alumnos/as y b) relacionadas con la asignatura. Os invito a leerla, puntualizando que más que establecer un sistema causal, entendemos que debería ocurrir más como un sistema de explicación de hipótesis, dada la complejidad de la interacción y de las múltiples variables no controladas a las que nos enfrentamos.

Propuestas de mejora

Además de las que se proponen en la propia entrada anteriormente citada de Elorientablog, propongo las que se derivan de Sánchez Serrano (2016) con el enfoque de diseño universal para el aprendizaje en cuatro aspectos del currículo:

Criterios de evaluación: objetivos de aprendizaje

Se trata de ver las posibles modificaciones en el diseño de nuestra programación teniendo en cuenta las referencias curriculares, especialmente los criterios de evaluación o especificaciones que hemos adoptado u objetivos que hemos fijado en nuestra programación didáctica:

- Determinar la red de aprendizaje que participa principalmente del aprendizaje: afectiva, cognitiva, procedimental 

- Separar los objetivos de los medios para alcanzarlos: a menudo es necesario atender a que un contenido se plantea alcanzarlo desde un enfoque concreto: utilizando un instrumento, material, una agrupación, un propósito... Muchas veces, tomando como referencia el currículo prescriptivo, estos aspectos se sitúan como contextos o naturaleza de la ejecución en un criterio de evaluación. Y pueden ser modificados, se pueden adaptar a cada estudiante o pequeño grupo de estudiantes, sin alterar el contenido de aprendizaje ni el nivel cognitivo o de destreza.

- Presentar un reto o desafío para todos los estudiantes: variar los niveles de dificultad de la misma tarea asociada con una meta y permitirles elegir. Aquí entran los enfoques de enseñanza multinivel (veáse como ejemplo: Red de Currículo Multinivel).

- Involucrar activamente al alumnado en la realización de la tarea: es necesario comunicar que es lo que se espera de ellos, que los objetivos personales se fijen con la tarea... En este sentido es muy útil el uso de rúbricas o escalas de valoración, la clarificación de los criterios de calificación o de requisitos para lograr finalizar una tarea, además de otros aspectos motivacionales.

Evaluación

- Centrarla en el progreso del alumnado, que es continuo: 

• Hablar con los estudiantes y observarlos mientras trabajan
• Realizar mini pruebas de control, por ejemplo, pedirles que definan un concepto, jugar un cuestionario... 
• Revisar su trabajo diario (libros de notas o trabajos)
• Evaluar a los estudiantes con instrumentos que recojan el trabajo continuo y el aprendizaje desarrollado por el estudiante, por ejemplo, portafolio. 

- La medición tanto de resultados como de procesos, con el fin de rediseñar el proceso puede centrarse en si ciertos aspectos han funcionado: agrupaciones, apoyos o materiales para el aprendizaje de diferentes contenidos o habilidades, tipos de actividades... 

- Ser flexible: 

• Ofrecer múltiples formas de evaluación: en la presentación de información, o en la posibilidad de que el estudiante se exprese de diferentes maneras, o en motivación.
• Condiciones de aplicación de la prueba.

- Evaluar lo que realmente se pretende evaluar: ¿qué aspectos del aprendizaje quieren evaluar y cuáles son secundarios? Por ejemplo, si desea evaluar en geometría matemática se puede dejar una calculadora para los cálculos, o en inglés si se desea evaluar el conocimiento de la gramática se puede dejar un diccionario... Esto en definitiva implica también el contenido de los cuestionarios que se realizan, a los que pocas veces se presta atención. También a los aspectos a evaluar en un trabajo o incluso en un "examen" de un libro de lectura obligatoria...

- Involucrar activamente a los estudiantes en la evaluación e informarles de su aprendizaje: dar retroalimentación orientada, la que informa sobre las fortalezas y debilidades del aprendizaje realizado y que indica pautas para la mejora. El uso de instrumentos de evaluación como rúbrica puede ayudarnos en este sentido. También el uso de la coevaluación o autoevaluación basada en criterios establecidos por los estudiantes, autocorrección o corrección grupal de ejercicios o pruebas...

Metodología 

- Métodos que se ajustan para satisfacer las necesidades de los estudiantes: utilizar métodos o cambiar los que utilizamos por otros que se ajusten a las necesidades: cognitivas, afectivas o estratégicas.

- Métodos basados en entornos de colaboración inclusivos: tutoría entre pares, tutoría, agrupaciones flexibles, aprendizaje cooperativo, son algunos de los que podemos utilizar en el aula.

Materiales

• Utilizar diferentes medios para presentar el contenido y los conceptos: texto, imágenes, gráficos, vídeos, multimedia... Cuando hay diferentes conocimientos de idioma o lenguaje: hipervínculos a glosarios multimedia, traducciones de idiomas, vocabularios...
• Uso de organizadores visuales, rúbricas, listas de verificación, mapas conceptuales...
• Software que facilite el aprendizaje previo y las adaptaciones.

Una revisión exhaustiva de cómo podemos modificar la enseñanza (el currículo), pasando por estos cuatro elementos, implica ya un paso hacia la mejora de los resultados. Su implementación sería un segundo paso, con el asesoramiento de compañeros y compañeras o el departamento de Orientación y con la puesta en marcha colectiva de las medidas más relevantes. Para algunos casos individuales tendremos además que estudiar sobre la aplicación de estrategias para alumnado con necesidades específicas, conocer didácticas específicas de nuestra disciplina...Evolucionar como profesionales de la enseñanza. Aún así y todo, habrá alumnado que no logre mejorar debido a diversas circunstancias, muchas de ellas no controlables por el centro educativo.

Como resumen, ciertamente no se han encontrado en algunos estudios efectos principales por efecto de la intervención sobre el profesorado basada en el DBDM (Toma de Decisiones Basada en Datos, por sus siglas en inglés), aunque sí se ha beneficiado alumnado con bajo rendimiento y de estatus socioeconómicos bajos (Staman; Timmermans y Visscher, 2017; Van der Sheer y Visscher, 2017). Pero quizá lo importante, como he señalado anteriormente, no es el análisis de datos y el entrenamiento en la su interpretación o la toma de decisiones lo que mejore el impacto en el aprendizaje. Quizá el quid de la cuestión esté en el tipo de decisiones de mejora que se adopten y cómo se adopten y, más allá de esto, por la asunción por parte de un colectivo profesional de lo que Hattie (2017) denomina marcos conceptuales, requisitos para que se maximice el impacto en el aprendizaje. En especial, en lo relativo a la evaluación:

- El profesorado cree que su tarea fundamental es evaluar el efecto de su enseñanza sobre el aprendizaje de los alumnos y el logro (Marco conceptual 1)

- El profesorado ve la evaluación como feedback sobre su impacto (Marco conceptual 4)

En definitiva, utilizar las mismas preguntas del feedback que utiliza su alumnado sobre el aprendizaje, pero en esta ocasión sobre la enseñanza, debatiendo y acordando como colectivo profesional: hacia dónde vamos, cómo lo estamos haciendo y cuál es el paso siguiente. 

Para saber más

- Elorientablog (18 de enero de 2019). Análisis de los resultados de la evaluación por los Departamentos [Mensaje en un blog]. Recuperado de http://elorientablog.blogspot.com/2019/01/analisis-de-los-resultados-de-la.html

- Hattie, J. (2017). Aprendizaje visible para profesores. Maximizando el impacto en el aprendizaje. Madrid: Paraninfo.

- Sánchez Serrano, J.M. (2016). Diseño del Currículum desde el enfoque del Diseño Universal para el Aprendizaje. En Carmen Alba Pastor (Coord.), Diseño Universal para el Aprendizaje: Educación para todos y prácticas de enseñanza inclusivas, pp. 59-88. Madrid: Ed. Morata.

- Staman, L., Timmermans, A.C., Visscher, A.J. (2017). Effects of a data-based decision making intervention on student achievement. Studies in Educational Evaluation, 55, pp. 58-67 https://doi.org/10.1016/j.stueduc.2017.07.002

-   Van der Scheer, E.A., Visscher A.J. (2018). Effects of a Data-Based Decision-Making Intervention for Teachers on Students’ Mathematical Achievement. Journal of Teacher Education, 69 (3), pp. 307-320. https://doi.org/10.1177/0022487117704170

  

Perlas de una sesión de evaluación

Llevo dos meses en dique seco por algunos motivos: el inicio del trimestre ha sido especialmente complicado (es el primero de ellos) y, sumado a esto, me he visto envuelto en otros proyectos. Pero no quería finalizar el año, disculparme: de mierda, sin haber escrito alguna entrada más. Esta no es tan técnica, como pueden haber sido otras. Es más bien, diría yo, un desahogo tras las reciente sesiones de evaluación en las que estoy presente. Y me ayuda mi querida compañera y jefa de estudios, que también ha estado presente en muchas: Elena Baviera. Así que, allá vamos con las sesiones de evaluación.

Una sesión de evaluación es un acto administrativo donde se reúne un equipo docente presidido por el tutor o la tutora de un grupo de alumnos y alumnas. Se realizan al final de un trimestre con el fin de "validar", entre otras cosas, las calificaciones otorgadas en las distintas asignaturas. Suelen acompañar en estas sesiones un miembro del equipo directivo y se puede contar con el asesoramiento del departamento de Orientación.

En la normativa se especifican estas cuestiones, las más relevantes en la educación obligatoria:

• Es el equipo docente el que celebra las sesiones (tanto para valorar los aprendizajes del alumnado, como los procesos de enseñanza y su propia práctica docente), coordinado por el tutor o la tutora.
• Actúa de manera colegiada en el proceso y en la adopción de medidas de acuerdo a la Ley de Régimen Jurídico de las Administraciones Públicas y del Procedimiento Administrativo Común. Se ha de hacer constar las decisiones y acuerdos en un acta y se ha de informar al alumnado y sus representantes legales, si es menor, sobre el proceso educativo de éste, incuyendo las calificaciones en las materias.
• Se realizan tres sesiones de evaluación durante el curso (una por trimestre), más una inicial durante el primer mes lectivo.

Y qué ocurre en ellas, ¿se parece esto en algo a una evaluación, atendiendo al sentido ortodoxo de lo que significa?

Miembros de la última sesión de evaluación

Fuente: La comunidad del anillo (Peter Jackson) - 2001

En nuestra modesta opinión, salvo raros esfuerzos, no. Es una suerte de repaso, alumno/a por alumno/a, de su transcurso académico: comportamiento, esfuerzo, rendimiento y temas personales. En este vídeo a modo de parodia “La Farsa de la Evaluación”, queda bastante bien descrita una sesión de evaluación. Todo hay que decirlo, la idea fue de Jose Luis Liarte (profesor de Música), el texto de Toni Solano (profesor de Lengua y Literatura, blog: Re(paso) de lengua) y el montaje, grabación y producción de Elena Baviera y Joan Collado, profesores de Música y Dibujo respectivamente.

Nos interesan particularmente aquellas expresiones, y no juzgamos a quien las emite, que esconden una concepción tal vez no demasiado acertada sobre qué significa evaluar. Son "perlas" (nótese la ironía) que en algún momento se escuchan, a veces frecuentemente, en estas sesiones, curso tras curso... Aquí va nuestro particular análisis para la reflexión.

Tiene un 4,6 pero le he puesto un 4

Aquí es cuando, o al profe de matemáticas le explota la cabeza, o se pasa por el forro (si está de acuerdo, le da igual o lo ha dicho él o ella) lo del redondeo al entero más próximo. Al resto, como no son de mates, se les puede perdonar, ¿no? Pues no,...Vamos a ver, aquí se dan otros fenómenos curiosos:

1. Invalida cualquier flamante hoja de cálculo con calificaciones parciales, medias aritméticas ponderadas, fórmulas condicionales y medición del rendimiento hasta la diezmilésima: 8,3467. ¿Para qué tanto?, es la pregunta. De esto se ha escrito otras veces en este blog, pero ¿de verdad la calificación del aprendizaje se asemeja tanto a medir características físicas como para hacer tanta media aritmética (ponderada o sin ponderar)? Además, con escasos valores como para que este estadístico de tendencia central sea el que mejor describa esa distribución de valores. Claro, luego un 4,6, y sin criterio de valoración del aprendizaje alguno, se convierte en un 4. Lo peor no es no tomarse en serio esto de los decimales, sino aplicar estas subidas y bajadas de calificación sin criterio pedagógico y a discreción, según me parezca y con los sesgos que tenga sobre ese alumno o alumna.

2. No hay atisbo, ni se le espera, de qué significa ese 4,6 en términos de aprendizaje y, por tanto, si realmente es que no ha llegado o se ha acercado más a un aprendizaje suficiente (se entiende que ese aprendizaje corresponde a una calificación de 5 en adelante). Esto implicaría alinear los aprendizajes evidenciados con unas descripciones del nivel de rendimiento, que cualquier docente podría hacerse adaptadas a su asignatura en función de las actividades de evaluación que ofrezca al alumnado y las propias características de éste.

3. Al menos denota un conocimiento notorio de los números borrosos, la Teoría de los Conjuntos Borrosos y la lógica borrosa, sin tener ni pajolera idea de qué es nada de esto. Vamos, que un 4, puede ser un 4 o un 3 o un 5. Sobre este tema, interesantísimo, hay artículos en el campo educativo como el de Xavier Gil i Joan Mateo: Modelos borrosos en la medición escolar (1993). Además, Xavier Gil tiene una tesis doctoral sobre este tema, y hay múltiples artículos con su aplicación a la economía y la toma de decisiones, entre otros campos.

4. Se parte de la falsa idea de que las calificaciones, de por sí, van a espolear el rendimiento. En la entrada sobre el feedback, ya se expuso que el efecto, por sí solo, que tienen las calificaciones en la mejora del rendimiento es ínfimo (desde luego no significativo). Y esto suponiendo que alguien que “saca” un 4, en lugar de frustrarse, va a luchar por mejorar.

Podríamos seguir con otras, pero van a ir apareciendo en frases que muestran una concepción de la evaluación similar a esta.

Es un 5, pero condicional, ¡ojo!

Claro: es que te lo regalo. Es más o menos como el caso anterior pero ahora, YO poseedor/a-de-las-calificaciones, juego a ser Dios, y decido quién está por encima del bien y del mal. Tal vez sea ese 4,6 que esta vez se ha convertido en un 5.

- Hoy te ha tocado a ti, guapa, ¡pero ojo! Si te portas mal arderás en el infierno de los suspensos el trimestre que viene.

¿Qué demonios es un aprendizaje suficiente condicional? ¿Alguien lo puede explicar? O es suficiente o no lo es, y esto no se explica con números, al menos sólo con ellos. El número es sólo la expresión simbólica de una medida, en este caso del aprendizaje, que ha de describir inequívocamente (salvo errores de medida) una característica.
Vaya, pero un teórico borroso no diría esto…¡Ufff, qué dilema! ¿Será que las calificaciones no son una medida? Entonces, ¿por qué hacemos medias? ¿O sí son una medida, pero igual no exactamente en una escala de intervalo o razón? 

¿QUÉ SON LAS CALIFICACIONES?, ¡¡¡ QUE ALGUIEN ME AYUDEEEEEE !!!

Nuevamente, esta práctica denota que no hay alineación entre qué significa el aprendizaje evidenciado por un alumno/a y la calificación que obtiene. Y que eso es lo de menos, porque las calificaciones son un arma de negociación y coerción.

Con las calificaciones se hacen más juegos parecidos a estos dos primeros. Quién no ha escuchado también:

Yo nunca pongo un 10

Nuevamente, ya que las calificaciones son un arma de negociación y propiedad del docente (de algunos/as). Incluso contraviniendo una norma, en la que se dice que las calificaciones van de 1 a 10. Se decide obviar el 10 de la escala, porque esto sólo está reservado para los héroes y semidioses que superen al menos 12 pruebas...Y ya veremos.

Como aplicadores de un programa educativo efectivo y de calidad, ¿nadie ha soñado con poner a todo el alumnado de la clase un 10? Sí, está claro, que al final no todo el mundo se esfuerza lo suficiente, no estudian e incluso algunos serán incapaces en su vida de hacer algo excelente, porque son “flojitos”, como el “hombre blandengue” del Fary, pero en versión estudiante.

Esta es otra muestra más, en la que no nos vamos a extender, otra perla de la evaluación, ligada a la calificación como las anteriores. Un 10 es algo a lo que todo alumno y alumna excelente tiene derecho y sobre todo, debe estar descrito en términos de aprendizaje.

Las faltas de ortografía son 2 puntos (menos)

Nos encantan estos bonus y “minus”, como el de la actitud (esa dimensión desconocida, en términos de aprendizaje). Una práctica nefasta que no tiene en cuenta el rendimiento demostrado y que lo socava con un criterio totalmente antipedagógico y arbitrario: de hecho hemos escuchado incluso que las falta de ortografía según el curso pesan menos: por ejemplo en 1º ESO: hasta 0,5 puntos, en 2º hasta 1,5 puntos y en 3º hasta 2 puntos...

Con esto no estoy diciendo que la ortografía no sea importante, incluso en Matemáticas. Pero se le puede dar la vuelta, especialmente si es un criterio de evaluación (prescriptivo) de nuestra área o asignatura (además de en la de Lengua), junto con otros aspectos que se han de tener en cuenta a la hora de presentar un trabajo o un escrito. Y el examen tradicional lo es. Por ejemplo, en lugar de restar a una competencia demostrada, se puede utilizar como criterio: Este examen vale hasta 8 puntos (conocimientos de Matemáticas en números enteros), y hasta 2 puntos (tiene que sumar 10, si no, no vale) en presentación de un escrito (ortografía, léxico específico, limpieza y organización…). De paso, ponemos en valor otros aspectos del aprendizaje, que realmente queremos tener en cuenta, sin sesgar la medida de unos conocimientos disciplinares.

Por supuesto, como debe ser una evaluación transparente, estos criterios deben estar explicitados desde el principio del curso, explicados y argumentados, asociados a un currículo prescriptivo y con sus instrumentos de evaluación asociados (en este caso para la cuestión de la ortografía valdría una escala de valoración). Y como no, dando la oportunidad de mejorar los aspectos deficientes con el oportuno feedback.

Ha aprobado, pero por la rúbrica

Esta quizá sea nuestra perla favorita...Es real, os lo prometemos que la hemos oído. Tampoco tiene mucho comentario, porque lo que denota principalmente son dos cosas:

1. Un desconocimiento absoluto y profundo de que la rúbrica es un instrumento de evaluación tan válido y fiable como cualquier otro, y que sirve para evaluar determinados aspectos del aprendizaje.
2. Que sólo los exámenes (en formato cuestionarios, claro) son la verdadera herramienta de valoración de los aprendizajes; y que otras no hacen sino distorsionar y favorecer los aprobados (inmerecidos en la mayor parte de los casos). La reproducción de conocimientos (mayormente medidos por estos cuestionarios) son el único aprendizaje válido, o al menos el más importante. A ver…Si tuvieran que pesar algo…¿adivináis el porcentaje de peso? ¿Era 70%?
3. El instrumento, jamás es la prueba, la evidencia del aprendizaje. Permite valorar de forma válida (especialmente) y fiable, el aprendizaje. Es una confusión seria, sobre la que convendría reflexionar. Un alumno o alumna aprueba, se considera suficiente su aprendizaje, de acuerdo a unos criterios de evaluación, especificados en criterios de realización, que pueden (o no) cuantificarse.

¡Bravo por la rapidez de la tutora!

Se aplaude a aquel tutor o tutora que pone en marcha el turbo y acaba lo más rápido posible. Lo más importante en una sesión de evaluación es ser puntual y que el/la tutor/a acabe muy pronto. Prima el tiempo por encima de indicadores de logro tales como “coordinación eficaz del equipo docente, conocimiento exhaustivo de cada alumno/a, previo a la sesión de evaluación en cuanto a su rendimiento, situación socioeconómica, cultural, familiar, acceso tecnológico en casa (dispositivos digitales), posibles necesidades específicas…

La sesión de evaluación, en la mayoría de los casos, constituye el único momento de encuentro de todo el equipo educativo de un grupo de alumnos/as en el transcurso de 3 o 4 meses (una evaluación). En cambio, se puede convertir la sesión en una información exhaustiva del tutor/a sobre cada alumno/a (información, por otra parte, muy necesaria y valiosa para el equipo docente), sin haber tratado ningún acuerdo, decisión o propuesta de mejora consensuada por parte de todos; entre otras cosas porque, lo más importante es acabar pronto el día con tantas evaluaciones que se tienen.

La productividad de una sesión de evaluación, como en cualquier otro tipo de reunión, implica responsabilidad de cada componente del equipo (puntualidad, predisposición, actitud…). Gran parte de la improductividad de la reunión radica, justamente, en la actitud de algunos compañeros y compañeras que “aprovechan el tiempo” leyendo un libro, corrigiendo exámenes, preparando clases, respondiendo al móvil, hablando con el compañero de al lado… Mientras la tutora o tutor intenta llevar a cabo la sesión y que le escuchen y respondan a sus preguntas.

Es muy vago y le cuesta. Como es flojito, por eso suspende. No va a aprobar

Pueden ir las tres juntas o cualquier combinación de ellas. Esta no es nuestra favorita. Es quizá la que más nos duele.

De nuevo en la 1ª y la 2ª evaluación volvemos a escuchar a la compañera este juicio de valor sobre una alumna cuando el tutor le pregunta: ¿Qué propuestas le sugieres a la alumna para que mejore su calificación? Esta sentencia, cualquiera de ellas, esconde tras de sí la concepción de una evaluación diagnóstica, ya realizada en su momento al inicio del curso, que parece ser confirma las sospechas de la profesora, y que justifica y acredita el suspenso de la alumna. En una entrada de este blog se presenta un estudio precisamente del tema de las calificaciones en un 3er curso de ESO a lo largo de todo el curso. Y efectivamente, y tristemente, a los y las que se dice que no van aprobar, no lo hacen (¡incluso tras repetir curso!, esa medida tan efectiva).

La concepción de una evaluación formativa, en la que se plantean propuestas de mejora concretas es inexistente; como mucho, el tutor consigue sonsacar de la profesora la prevista frase: “a la próxima, que estudie más”. Por no hablar de que se desconoce que las expectativas (positivas) es un factor de alto impacto en la mejora del aprendizaje, y de cómo trabajarlo. Por tanto, si ya se conoce quién no va a aprobar en la 1ª evaluación o en la inicial: ¿qué papel tenemos los profesores y profesoras en esto del aprendizaje?, ¿qué relevancia tiene nuestro método pedagógico, nuestro programa educativo?, ¿qué tamaño del efecto, en términos estadísticos? ¿Cuál es el valor añadido de la escuela?

Sobre todo esto hay mucha literatura, pero esta entrada no acabará con un “Para saber más”. Esperamos que la entrada os haya entretenido, y os haya hecho pensar, e incluso cuestionar nuestras descripciones y argumentos. Todos y todas alguna vez regalamos perlas de este estilo. Están tan arraigadas las concepciones sobre la evaluación, que no podemos escapar de ellas, o igual no queremos.

¡Perlas! (aquí en Valencia se dice mucho, en este caso cariñosamente). Esperamos que el inicio de un nuevo año nos renueve a todos y todas. Nos haga crecer y ser mejores personas, ante todo, y también a ser mejores profesionales. Un abrazo. Javier y Elena.

Guía para la elaboración de pruebas de evaluación educativa

 Bienvenidos y bienvenidas a este nuevo curso atípico donde los haya. El comienzo está siendo realmente duro, pero juntos podremos con ello.

En esta entrada no me voy a extender mucho y además tampoco voy a exponer cuestiones de cosecha propia. En parte, porque las tareas en el centro son ingentes y hay que dedicar horas a que esto empiece a funcionar como debe.

Os dejo una guía interesante del Ministerio de Educación y Formación Profesional para la elaboración de pruebas de evaluación educativa, en concreto para la elaboración de cuestionarios cognitivos. El MEFP aprovecha su dilatada experiencia en el diseño de este tipo de instrumentos de evaluación para las evaluaciones generales de diagnóstico (LOE), ahora con LOMCE, evaluaciones individualizadas, de distintas competencias. Son interesantes las referencias que hacen también a los marcos de evaluación en la Ed. Primaria (3º Ed. Primaria y Final). Espero que os sea útil en la aplicación de muchas cuestiones en la elaboración de cuestionarios para clase.

(Pincha en la imagen para acceder al recurso)