Criterios de desempeño e indicadores para el diseño de evaluaciones

 Wiggins (1998), en la ya por mí difundida obra de referencia Educative Assessment (pp. 128- 131) dedica una sección a los diferentes tipos de criterios que pueden ser utilizados para la evaluación de una tarea.

Antes de esto aclara que los tres elementos del diseño de la evaluación: objetivos de logro, estándares de desempeño y los criterios e indicadores implicados, sugieren tres cosas: 

1. Una única tarea no puede servir  para valorar adecuadamente un objetivo complejo.

2. Un único contexto (situación , audiencia, propósito o conjunto de condiciones) no puede ser adecuado para juzgar el amplio conocimiento de un estudiante,

3. Una única clase o género de desempeño (oral, escrito o muestra) o producto, no implica una evidencia válida y fiable.

Se debe hacer previamente una traducción a nuestro contexto de referentes de evaluación. Cuando habla de objetivos de logro, se refiere a nuestros criterios de evaluación, que actúan de metas y referentes de evaluación específicos de cada área o materia. A estos se les asociarían los estándares de desempeño que en nuestro contexto no existen (¿cómo de bien lo deben de hacer los y las estudiantes?). Finalmente se refiere a criterios, que especifican el estándar de desempeño sin estar sujetos a una tarea concreta del conjunto de tareas que pueden referirse a una meta de logro (contexto español: criterios de evaluación). El criterio es una manera de definir el éxito para alcanzar una meta de logro o resultado de aprendizaje. Cuando se alcanzan esos criterios concluimos no sólo que el desempeño específico (por ejemplo, saberse una lección) ha sido exitoso, sino que una meta de aprendizaje ha sido alcanzada.

Los indicadores son conductas o rasgos que es típico o característico de un desempeño concreto que está siendo evaluado. Es un signo o síntoma concreto para que un criterio sea alcanzado. Por ejemplo, consideremos la evaluación de una buena exposición.

Criterio: el estudiante habla de una forma motivadora

Indicadores para el criterio: hace contacto visual, modula la voz de forma placentera, utiliza anécdotas y humos apropiado para la audiencia y el contexto, dirige las cuestiones de la audiencia de forma amable.

Tipos de criterios (Wiggins, 1998, pp. 130-131)

• Impacto del desempeño: el éxito del desempeño, dado el propósito, las metas y los resultados deseados.
• Trabajo de calidad: la pulcritud, organización y rigor del trabajo en su conjunto.
• Adecuación de métodos y conductas: la calidad de los procedimientos y la forma de presentación, antes y durante el desempeño.
• Validez de contenido: La corrección de las ideas, destrezas o materiales utilizados.
• Grado de expertise: la sofisticación, complejidad o madurez del conocimiento empleado.

En la tabla siguiente se exponen ejemplos de criterios por tipo que pueden ser utilizados para una meta de logro y en el diseño de la evaluación.

Tanto criterios como indicadores pueden utilizarse en el diseño de rúbricas, escalas de valoración y listas de cotejo para determinar la descripción de niveles de logro o conductas o características a valorar o comprobar.

Evaluación de la competencia Conciencia y Expresiones Culturales en Educación Primaria

En esta última entrada del curso os dejo un documento que inicié en su día con un grupo de compañeros y compañeras, pero que finalmente por unas cosas y por otras dejamos de lado. Nuestra idea fue la de determinar, concretar, unas escalas de desempeño competente para cada una de las competencias clave para el final de la Educación Primaria. Todo ello basándonos en el currículo vigente de la Comunitat Valenciana, pero que bien puede valer para cualquier otro currículo de otras comunidades autónomas, y también en otras fuentes:

Que nadie espere encontrar fórmulas basadas en las calificaciones de los criterios o indicadores, o en medias ponderadas a partir de la calificación de las áreas. Cada vez estoy más alejado de esto, aunque entiendo que es el mal menor. En esencia, lo que vais a encontrar, en este caso para la competencia Conciencia y Expresiones Culturales, es una fundamentación de la competencia y cómo se concreta en unos descriptores en dos grandes dominios: conciencia (2 subdominios) y expresión (2 subdominios).

A partir de aquí se definen cuatro escalas de desempeño competente que permiten situar a un alumno/a que acaba la Ed. Primaria en cuanto a su competencia en conciencia y expresiones culturales.

Ejemplo de la escala de desempeño competente del subdominio 1a. Conocimiento de hechos y producciones culturales.

Acompañadas también, como una guía, de los contenidos (conocimientos, técnicas y recursos y procesos) extraídos de los criterios de evaluación que desde distintas áreas de la Ed. Primaria se relacionan con dicha competencia.

Por ejemplo, en este gráfico se representa, a partir de las relaciones que se establecen entre los criterios de evaluación con las competencias clave, el porcentaje de éstos relacionados con la competencia CEC respecto del total para cada área. Esto ya evidencia que a nivel oficial (currículo prescriptivo) hay alguna deficiencia, por ejemplo que esta competencia no está presente en todas las áreas (Ciencias Naturales y Ciencias Sociales o Valores Sociales y Cívicos). Y ciertamente, debería esto llevarnos a una rectificación del mismo...Además de otras que a nivel curricular se van demandando.

Finalmente, se acaban por dar ejemplos del tipo de evidencias que deberíamos recoger de nuestro alumnado para poder evaluar el desempeño competente para cada una de los dominios definidos.

Cómo plantear la evaluación en un contexto virtual (I): evaluación de los aprendizajes

Cómo no, me veo un tanto obligado a manifestar mi opinión, en esta situación de excepcionalidad, en torno al tema de la evaluación en el sistema no universitario. Esta entrada (Parte I), la dedicaré a qué se puede realizar respecto a la evaluación del aprendizaje en esta modalidad a distancia y virtual. Cuestión que ya ha sido probada y resuelta desde hace años en las modalidades a distancia, pero que a los de la modalidad presencial nos ha pillado un tanto fuera de juego. Tanto por qué tipo de evaluación practicar y sus consecuencias, como por los recursos que podemos utilizar para ello.

Lo primero que tenemos que despejar, y que cualquiera puede intuir, es que la evaluación de los aprendizajes en un contexto virtual es totalmente factible. Además, muchos entornos virtuales de aprendizaje, plataformas telemáticas o sistemas de gestión del aprendizaje (LMS por sus siglas en inglés) como Moodle, Blackboard,  Chamilo, Sakai...ofrecen múltiples recursos para ello. Más adelante se exponen algunos de estos recursos, unidos a la presentación de tareas, que se pueden realizar en estas plataformas. En concreto en Moodle, que es la que más conozco y utilizo, y la que se utiliza por ejemplo en mi Comunidad Autónoma (bajo el nombre de Aules) y en los cursos de formación del INTEF. La entrada la organizo en tres aspectos de la evaluación: 1) tareas evaluables, 2) instrumentos y procedimientos de evaluación y 3) el currículo de referencia.

La organización de las tareas y la transmisión de conocimiento en un contexto virtual

Para que se dé la evaluación de los aprendizajes del alumnado es fundamental que se evidencien éstos. Es decir, que se dé la oportunidad al estudiante de poder demostrar un cierto nivel de competencia. Por tanto, lo primero que nos tenemos que preguntar es ¿qué tipo de actividades y tareas estamos proponiendo a nuestro alumnado en esta transición sobrevenida al mundo virtual? Y en este aspecto, por lo visto hasta ahora, los docentes proponemos de todo un poco: desde las tareas más clásicas como: resuelve los cinco ejercicios de la página 153, para lo cual no se necesita un entorno virtual, hasta verdaderos retos interactivos o cooperativos aprovechando todas las potencialidades que nos ofrecen éstos. Lo que, pensándolo bien, tampoco el tema está en el medio (virtual o presencial), ¿no?

En cuanto a la transmisión de conocimientos y la comunicación: podemos utilizar, nuevamente: lee la página 152 del libro (incrustando esta instrucción en una tarea o en una etiqueta, infrautilizando el recurso) pasando a proporcionar enlaces a sitios web externos de forma organizada, archivos en carpetas o sueltos... Hasta llegar a una combinación de todo esto y utilizar recursos muy potentes para presentar información a la vez que provocamos tareas de aprendizaje al alumnado, por ejemplo: lecciones, wikis o glosarios, que servirían como actividades, además de para transmitir conocimiento. Externamente a Moodle también se pueden utilizar apps como medio para realizar infografías, presentaciones interactivas, vídeos... O programas de código abierto para crear y organizar contenido educativo en soporte informático sin necesidad de conocer HTML5 o XML, como eXeLearning y subirlo como paquete IMS a Moodle.

Además, Moodle tiene un conjunto de herramientas para mantenernos comunicados con nuestro alumnado, cuestión de suma importancia en esta etapa que estamos viviendo y, en general, en la enseñanza virtual: foros (también puede ser una actividad), chats o el diálogo, una herramienta que permite la comunicación personal y privada con un/a alumno/a.

En cualquier caso, Kareem Farah en el blog Edutopia (4 Tips for Teachers Shifting to Teaching Online), desarrolla cuatro claves a tener en cuenta a la hora de plantear el trabajo digital a nuestros estudiantes:

1. Actividades sencillas y simples: instrucciones muy claras, donde se tengan que movilizar uno o dos recursos y accesibles en pdf.

2. Establecer una base de operaciones digital: estos entornos virtuales de los que estamos hablando pueden servir.

3. Priorizar actividades a largo plazo y gestionadas por el alumnado: dar tiempo y autonomía.

4. Contactar individualmente con el alumnado: por el medio que sea.

La evaluación de las tareas: recursos desde la plataforma Moodle

Una vez planteadas las tareas estamos en condiciones de poder diseñar y realizar la evaluación de las mismas (y si queremos su calificación como parte de ésta). En esta sección de la entrada planteo los diversos procedimientos e instrumentos de evaluación que permite una plataforma como Moodle, y que estoy convencido que en mayor o menor medida también estarán disponibles en otro tipo de plataformas. Todas las actividades de Moodle pueden ser evaluadas, y así algunas tareas y herramientas de comunicación como el glosario, wiki, lección y foro. En la imagen siguiente se presenta una tabla de doble entrada: actividad / instrumentos y procedimientos de evaluación.

De todas las actividades presentadas en esta tabla, tanto la consulta como la encuesta no son "calificables", por eso no llevan un instrumento de evaluación asociado. En el resto, con los instrumentos de evaluación se pueden generar calificaciones cualitativas y cuantitativas. En cuanto al feedback, desde cada una de ellas se permite, casi siempre, abrir la posibilidad al estudiante de reenviar su tarea tras esa retroalimentación.  Por último señalar que una de las herramientas de comunicación no incluida en la tabla, el foro, puede ser también  calificada por el profesor y por los propios compañeros con una escala.

Las posibilidades son inmensas y conocer el propósito de las actividades y las herramientas que tenemos a nuestra disposición va a permitir monitorizar el aprendizaje de nuestro alumnado, ofrecerle herramientas de evaluación adecuadas y especialmente proporcionarle el feedback que necesita para mejorar. Tanto la entrega de tareas como las calificaciones pueden seguirse en módulo de calificaciones de la plataforma, donde se presenta un especie de libro de calificaciones (tipo los que tenemos en otras aplicaciones o el cuaderno de evaluación del profesorado clásico). Y si a alguien le interesa si se pueden ponderar las actividades, establecer mínimos de superación, escalas propias...pues también. Del mismo modo, el cuestionario (el clásico examen) ofrece múltiples posibilidades, no sólo en formato de preguntas, sino también en cuanto a aplicación y restricciones de tiempo, intentos, preguntas al azar, itinerario...

Revisión de los resultados de aprendizaje y otras modificaciones

Aunque quizá sea este el primer elemento que debemos revisar en este cambio a lo virtual, lo sitúo aquí al final. Suele ser lo menos atractivo pero lo que, a mi modo de ver, debería ocupar un tiempo considerable: repensando colectivamente, como claustro, departamento, nivel o ciclo, qué aprendizajes se van a fomentar y cómo:

1. Revisando qué criterios de evaluación, estándares, objetivos...resultados de aprendizaje en general, resultan modificados por la nueva situación o al menos requieren de un nuevo planteamiento. Con ello quiero decir que si quiero responder al currículum establecido y además diseño mis unidades didácticas y mis actividades de acuerdo a ellos, quizá éstas deben sufrir alguna modificación en cuanto a medios, recursos y tareas evaluables (no digo calificables). Y quizá aquí las asignaturas que más habitualmente requieren de realizaciones: Música, Educación Plástica, Educación Física, Tecnología... se van a ver más afectadas. En definitiva, adaptar las programaciones didácticas de departamento y aula a la nueva situación donde los aprendizajes se evidencian de otra forma, o al menos mediante procedimientos diferentes.

2. Revisando y comunicando los cambios en los criterios y procedimiento de evaluación y  de calificación: aunque no vayamos a hacerlo de una forma numérica, no está tampoco de más comunicar al alumnado y sus familias, siempre que no hayan directrices de centro o de la administración en otro sentido. Es un ejercicio de transparencia que debería estar consensuado en el seno de los equipos docentes de ciclo o departamentos: qué consideración y significación tienen las tareas entregadas en este tiempo para el aprendizaje del alumnado, qué instrumentos y procedimientos de evaluación se van a utilizar y cómo se va a calificar cada una de ellas (si es el caso).

3. Mantener la coherencia entre currículo, tareas propuestas y evaluación.

Conclusión: ventajas de la evaluación en un contexto virtual frente a un modelo presencial

No es que quiera abogar definitivamente por un modelo virtual, ni mucho menos. Considero esencial el modelo presencial: el calor, la interacción social, el cara a cara, los retos de la convivencia en un espacio físico que compartimos... Pero, si de algo nos tiene que valer esta experiencia, donde se manifiestan algunas debilidades del sistema educativo y, siendo autocríticos, de nuestra propia actuación como profesionales de la educación (no sólo las relativas a la competencia digital), es para sacar lo positivo y seguir adelante, aprendiendo y ofreciendo lo mejor de nosotros mismos a nuestro alumnado.

La evaluación "virtual" con las herramientas de las que hemos hablado va a permitir:

• Obtener resultados inmediatos, especialmente cuando hablamos de los cuestionarios, tanto para el docente como para el alumnado.
• Ofrecer retroalimentación diferida e incluso también inmediata.
• Gamificar la experiencia de aprendizaje (y evaluación) en cuanto a concesión de insignias, competencias alcanzadas...
• Ofrecer experiencias de coevaluación y de autoevaluación, con escalas y rúbricas integradas, como en los talleres.
• Adaptar los recursos, con alternativas tecnológicas accesibles y seguimiento, al alumnado con necesidades específicas de acceso a la información. 
• Personalizar las tareas e instrumentos de evaluación, e incluso los cuestionarios, dando posibilidades de intentos nuevos, de tiempo adicional,  de rúbricas y escalas personalizadas.
• Informar al alumnado de su progreso y de la distancia a la que está de conseguir una competencia mínima con las tareas que ha realizado y han sido evaluadas.
• ...

Obviamente, algunas de estas ventajas no hacen más que poner de relieve que va a haber parte del alumnado con Necesidades Específicas de Apoyo Educativo al que se lo podemos poner fácil con recursos que podemos ofrecer y recomendar. Véase la interesante entrada del Antonio Márquez donde se ofrecen recursos para familias, alumnado y profesorado: Tareas accesibles y tecnológicas en tiempos de COVID. Desafortunadamente, a otros no podremos llegar fácilmente. Debemos tener en cuenta a aquel alumno/a que presenta problemas de acceso a este tipo de enseñanza: por falta de recursos y conectividad, por situaciones socioeconómicas y familiares complicadas, por abandono del sistema (ya en la modalidad presencial). No es un porcentaje bajo en un centro público. Como norma general, me atrevería a decir que entre un 8%-10% de media. Ante esto no podemos, ni debemos, quedarnos solos. Tanto la administración, con sus medidas más globales y con los recursos que pueda aportar; como el centro, con un plan de contingencia para estos casos, con o sin ayuda de las entidades municipales (Ayuntamientos, Servicios Sociales, Policía Local...) deberían dar respuesta. Si no, la evaluación no valdrá para nada más que aumentar la brecha educativa ya existente.

Recursos para los docentes

• Recursos para el aprendizaje en línea (INTEF - MECFP).
• PROCOMUN (MECFP): Red de recursos educativos en abierto.
• Recursos de XTEC
• Aprendemos en casa (Programación RTVE: Clan i La 2)
• Aprendo en casa: Portal con recursos de profesorado, familas y comunidades autónomas.
• Plataformas online (European Commission)

8 claves para la evaluación de la competencia lectora

En esta entrada vamos a revisar algunas de las claves para la evaluación de la competencia lectora. ¿Por qué es tan importante esta competencia? Porque su dominio determina el éxito escolar en cierto modo, es un buen predictor. No sólo es necesaria en el rendimiento en el ámbito lingüístico, sino que, en general, contribuye a un mejor capacidad para afrontar el acceso al conocimiento de otras materias.

Desde el ámbito de la psicología de la educación y la pedagogía, se han expuesto modelos sobre la comprensión lectora y qué otras capacidades y destrezas determinan una mayor o menor competencia en esta destreza lingüística. Aunque no es el objeto de esta entrada (ni de este blog), uno de los modelos que lo explican de forma sencilla es el Simple View of Reading de Gough y Tunmer (1986), donde la capacidad de lectura (comprensión) es fruto de la interacción entre la comprensión del lenguaje (comprensión oral) y la destreza de descodificación. Perfetti, Landi y Oakhill ahondan más exponiendo un modelo también muy interesante. En 2005 en la obra de compilación de Snowling y Hulme: The Science of Reading, describen una serie de capacidades cognitivas que entran en juego para determinar la competencia de comprensión lectora: el estándar de coherencia, la memoria de trabajo, la conciencia fonológica, el vocabulario, el conocimiento de estructuras textuales y también el conocimiento extra-lingüístico (p.ej.: conocer hechos, datos, principios...sobre el tema de un texto) entre otras.

Fuente: Perfetti (1999)

Tenéis todas estas referencias al final de la entrada, por si os interesa ahondar en la cuestión de la comprensión lectora.

Centrándonos en la cuestión de la evaluación, el modelo que se seguirá es el de PISA, aunque también recomendamos el marco de PIRLS de la IEA, quizá más adecuado para Ed. Primaria. Ambos modelos proponen una definición de competencia lectora y a partir de aquí definen el dominio de evaluación y consideran una serie de aspectos (tipos de textos y diferentes niveles de comprensión). Quizá lo que me interesa aquí señalar es que valorar esta competencia teniendo ciertas claves nos puede ayudar a determinar programas de intervención con nuestro alumnado con el objetivo de ayudarlos a mejorar y, en definitiva, a tener mayores posibilidades de éxito en su escolarización y en su vida. Aunque no sea para evaluar, seguir estas claves puede ayudarnos a plantear textos y preguntas sobre ellos que faciliten la intervención a distintos niveles y proponer un programa más personalizado para todo el alumnado.

Definición de competencia lectora

Según la OCDE en el marco de evaluación de la lectura (PISA 2018), la competencia lectora es:

...la comprensión, el uso, la evaluación, la reflexión y el compromiso con los textos con el fin de lograr objetivos propios, desarrollar el conocimiento y el potencial personal y participar en la sociedad.

A partir de aquí se establecen una serie de elementos a considerar para establecer claves en la evaluación:
- los procesos de la competencia sobre los que influyen los factores del texto, de las tareas demandadas y los del propio lector.
- los textos
- las actividades

Claves para la evaluación

1. Evaluar atendiendo a los procesos de lectura

Se pueden determinar cuatros grandes procesos en el procesamiento del texto, de menor a mayor complejidad cognitiva: 1) Fluidez lectora, 2) Localizar información, 3) Comprender y 4) evaluar y reflexionar. En cada uno de ellos se puede especificar aún más en subprocesos y de éstos en descriptores concretos que ayudarán a definir las actividades o ítems (preguntas) usadas en la evaluación, considerando el texto.

Fuente: OCDE (2018) Marco teórico de lectura. PISA 2018

2. Proporcionar textos variados

Se debería evaluar la comprensión lectora (o trabajarla) ofreciendo textos variados atendiendo a cuatro características:

- fuente: simple o múltiple

- organización y navegación: estático o dinámico

- formato: continuo, discontinuo o mixto

- tipología:  descripción, narración, exposición, argumentación, instrucción, interacción o transacción.

(están todos descritos en el marco teórico que se referencia al final del post).

3. Atender a criterios de calidad a la hora de seleccionar textos (estímulos)

Es una de las características que se comentaban en el post sobre Cuestionarios cognitivos (III): estímulos. Para el caso de los textos deberíamos atender, previamente a su selección para una evaluación, a:

1. Grado en el que refleja el mundo real.
2. Grado de adecuación cultural.
3. Grado de adecuación lingüística.
4. Grado de interés para el grupo diana.
5. Grado de dificultad.
6. Derechos legales (copyright, licencia libre de diversos tipos...).

En cuanto a la dificultad, los textos en sí mismos pueden plantear un nivel de dificultad debido a diversos aspectos del lenguaje. Aunque la tipología textual ya supone una dificultad al lector, básicamente por la frecuencia con la que se utilizan en el aula (por ejemplo, son más difíciles los textos discontinuos que los continuos porque se trabajan menos…Son más difíciles los textos argumentativos que los narrativos…) también lo son por las características del lenguaje: longitud (más cantidad de información), organización, vocabulario, tipología oracional, tiempo verbal, uso de recursos estilísticos…

Se puede realizar una aproximación a la dificultad textual mediante el uso de los índices de lecturabilidad. Uno de los más frecuentes es el Índice de Flesch o Flesch-Kincaid. Aunque la mayor parte de estos índices tiene en cuenta sólo el número de palabras, oraciones y sílabas, dejando de lado otros aspectos del lenguaje que deberán valorar los diseñadores de la evaluación, pueden ser una buena guía que nos oriente y permita la comparación entre diferentes textos. Hay adaptaciones como la que realizó Inés Barrio, fruto de su tesis doctoral: la escala INFLESZ, con el desarrollo consiguiente de una aplicación libre para PC (https://legibilidad.blogspot.com.es/2015/01/el-programa-inflesz.html). También se puede calcular desde páginas web que lo ofrecen gratuitamente junto a otros índices. En castellano recomendamos la página de Alejandro Muñoz Fernández (https://legible.es), es muy fácil de utilizar y da cuenta de múltiples índices, entre ellos la escala INFLESZ. Por ejemplo, esta entrada tiene un nivel normal en la mayor parte de índices, se necesitan 5.3 años de escolaridad para entenderlo (Crawford) y el tiempo estimado de lectura son 8,7 minutos.

4. Escoger textos utilizados para diferentes propósitos

Todos los textos pueden desarrollarse en una amplia variedad de situaciones. La situación se usa para definir los contextos y usos para los que el autor o autora ha elaborado el texto. La forma en la que la variable situación se especifica es sobre una supuesta audiencia y propósito, no se basa simplemente en el lugar donde la actividad de lectura se lleva a cabo o el fin para el que se lee.

El marco de PISA 2018 categoriza las situaciones usando una adaptación del Marco Común Europeo de Referencia desarrollado en el Consejo de Europa en 1996. Las situaciones son: personal, pública, laboral y educativa.

5. Aplicar técnicas de análisis de texto para generar buenas preguntas (o ítems)

Analizar bien el texto antes de lanzarnos a hacer preguntas nos va a posibilitar una mayor consistencia y validez de la evaluación. Supongo que existirán múltiples técnicas para realizar esto. Las que recomiendan o difunden los técnicos de la IEA para hacer las pruebas de PIRLS son:

• mapa de texto: es una estrategia que permite identificar los elementos esenciales de cualquier texto, independientemente de su tipología. Casi todos los textos, especialmente los narrativos o los informativos tienen unos elementos comunes: tema, hechos principales, personajes principales, contexto o características del lenguaje... Se suele aplicar para textos de ficción y textos de no-ficción, variando algún elemento de análisis.
• análisis estructural: las tipologías textuales de hecho se corresponden con una determinada estructura que además se puede especificar aún más. Veamos un ejemplo de una lectura utilizada en una evaluación de diagnóstico de la competencia lectora en la Comunitat Valenciana:

 6. Utilizar distintos formatos de preguntas (o ítems)

Véase la guía establecida en este post: Cuestionarios cognitivos (IV): ítems de respuesta cerrada y abierta.

7. Atender a la dificultad de la preguntas.

La interacción entre proceso, formato de pregunta y texto establece una dificultad con la que se puede ir jugando a la hora de diseñar la prueba. Se deberían aplicar las preguntas más sencillas al principio de la prueba de evaluación para ir aumentando su complejidad paulatinamente.

8. Establecer estándares o puntos de corte que describan diferentes niveles de habilidad

Esto solamente puede realizarse si las preguntas están asociadas a descriptores clasificados en diferentes niveles de habilidad y si estas preguntas realmente se han diseñado lo suficientemente bien como para captar la habilidad definida en el descriptor y no otra. En el informe español de PISA 2018 se ejemplifica bien lo que se quiere decir con esta figura:

Fuente: MEFP (2019). Informe PISA 2018. Informe español (versión preliminar)

Si se quiere asociar a una calificación escolar, como la utilizada en España (de 1 a 10), ya que el aprobado es un 5, esta calificación debería corresponder con el nivel de lectura mínimo que queremos esperar de nuestro alumnado y no al acierto de la mitad de preguntas de una prueba, independientemente de cuál sea su dificultad y del tipo de preguntas que se acierte. Así la calificación, significaría algo en términos de aprendizaje y realmente se acercaría a una "medida" de este aprendizaje.

PISA establece unos niveles de lectura descriptivos asociados a puntuación. Podríamos decir que la puntuación media, en torno a 500 puntos, se sitúa en el nivel 3. Esta sería la descripción de lo que es capaz de realizar un alumno/a medio al finalizar su escolarización obligatoria.

Después de la evaluación de PISA 2018 se han publicado nuevos niveles de lectura, más bien ampliando la descripción de cada uno de ellos. Igualmente, podemos obtener preguntas ejemplo de cada uno de los niveles que pueden sernos útiles a la hora de plantear una evaluación propia de la competencia lectora. Se pueden encontrar en las páginas 29 a 36 del Informe español de PISA 2018, citado al final del post.

Nota final

El marco teórico de lectura de PIRLS es también un buen punto de referencia para diseñar evaluaciones de la competencia lectora desde este enfoque. En la página del INEE podéis encontrar mucha información, entre ella el marco teórico de 2016, quizá más adecuada por los cursos de Educación Primaria.

Asimismo, muchas editoriales están publicando herramientas relacionadas con este tipo de evaluaciones, por ejemplo:

• Ed. Graó: Proves ACL para los tres ciclos de la Ed. Primaria
• Ed. ANAYA: Cuadernillos para la Competencia Lingüística (en realidad lectora) por nivel de Ed. Primaria.

Este tipo de evaluaciones realizadas por centros, individualmente o de una zona, están proporcionando un punto de referencia externo, salvando las dificultades de comparación de niveles competenciales que tienen las calificaciones escolares (p.ej.: ¿un 7 en lengua castellana de todo el alumnado de centros de una misma zona implica un mismo nivel competencial?). Esto está siendo importante a la hora de configurar grupos heterogéneos en el instituto de acogida de referencia de centros de Ed. Primaria, o también a la hora de establecer programas de intervención con niveles personalizados y de intensidad creciente...entre otras actuaciones.

 Para saber más

- Gough, P. B. y Tunmer, W.E. (1986). Decoding, Reading and Reading Disability. Remedial and Special Education, January 1
- MEFP (2019). Informe PISA 2018. Informe español (versión preliminar). Secretaría General Técnica: Madrid. pdf
- OCDE (2018). Marco teórico de lectura. PISA 2018 - (versión traducida). pdf 
- Perfetti, C.A. (1999). Comprehending written language. A blue print of the Re. In: Hagoort P., Brown C. (Eds.) Neurocognition of Language Processing. Oxford University Press, Oxford, pp. 167–208.

- Perfetti, C.A., Landi, N. y Oakhill, J. (2005). The Acquisition of Reading Comprehension. In Snowling, M. y Hulme, C. (Eds.) The Science of Reading: A Handbook, Blackwell Publishing, Chapter 13.

Escalas de valoración

¡Por fin! Ya puedo ponerme un rato a seguir con el blog. He hecho récord sin hacer una entrada. El inicio de curso y trimestre ha sido especialmente ajetreado y me ha alejado de estos lares, aunque he seguido aprendiendo y haciendo otras cosas. Entre las relacionadas con evaluación del aprendizaje: coordinando el curso del INTEF, Evaluación de competencias: estrategias e instrumentos, ya finalizado, y espero que bien valorado. Y también coordinando la publicación de Cuadernos de Pedagogía: Especial Evaluación, junto con el amigo Lucas Gortázar. Publicación que ha visto la luz este mes y donde podéis leer el artículo de REDE: Hacia un nuevo modelo de evaluación, responsabilidad y mejora educativa.

Ahora a lo que nos interesa: las escalas de valoración, entrada con la que finaliza el repaso por los instrumentos de evaluación más utilizados en la valoración de los aprendizajes que podéis encontrar en este blog.

Las escalas de valoración son un instrumento que se situaría entre una lista de cotejo y una rúbrica:

1. Mantiene los criterios de realización de forma explícita, al igual que las listas de cotejo.
2. Se establecen niveles de logro en una escala, siguiendo uno o varios criterios de graduación: frecuencia, intensidad, modo, autonomía..., como lo hacen las rúbricas.

Por tanto, a lo largo de la entrada se harán continuas referencias a los dos instrumentos anteriormente descritos.

Definición

Instrumento para valorar, en un rango definido, el grado de cumplimiento de tareas de desempeño, niveles de habilidad, procedimientos o procesos, cantidades o cualidades.

El tesauro de ERIC, las define como una forma de registrar la magnitud estimada de un rasgo o cualidad y nos remite a términos más concretos o específicos como las escalas Likert, las de diferencial semántico y las escalas de valoración de conductas. Sobre las dos primeras seguramente realizaré una entrada, aunque no suelen utilizarse en el aula para valorar aprendizajes o desempeños cayendo más bien en el campo de la valoración de actitudes.

Así, estas tareas de desempeño, niveles de habilidad... se valoran en un nivel concreto dentro de un rango de valores. Por lo tanto, son similares a las listas de cotejo excepto en que indican el grado de cumplimiento, en lugar de señalar si se cumple o no se cumple (sí/no).Dicho de otro modo, las escalas de valoración añaden un elemento más a la listas de cotejo, la escala por la cual se van a valorar los distintos criterios de desempeño (o realización). En este caso, los criterios de desempeño no pueden valorarse en términos de realiza/no realiza porque admiten grados en función de alguna cualidad.

Ejemplos:
- Frecuencia: siempre, casi siempre, a veces, nunca
- Autonomía: sin apoyos, con apoyos puntuales, con apoyos frecuentes...
- Cumplimiento: completamente, en parte, sin realizar...
...

A veces la escala simplemente permite puntuar el criterio de desempeño sin la guía la cualidad que se pretende observar, aunque no es aconsejable.
En otras ocasiones, puede darse el caso de que tengamos distintas cualidades a tener en cuenta: frecuencia, autonomía...en distintos criterios de realización. Debemos procurar redactar los criterios de realización para intentar manejar sólo una de estas cualidades y mantener la homogeneidad de la escala.
Cuando se trata de frecuencias, suele ser habitual señalar el rango de cada nivel. Por ejemplo, Escribe la receta atendiendo a las normas de ortografía (Ortografía): Siempre (0 a 5 faltas de ortografía); A veces (6 y 10 faltas de ortografía); Nunca (Más de 10 faltas de ortografía).

Estructura de una escala de valoración

En una escala de valoración los criterios de desempeño van en una columna y el rango de cumplimiento con palabras descriptivas, con o sin números, en otras columnas. Estas otras columnas forman la "escala" y como se ha comentado pueden indicar un rango de logro, de acuerdo, de frecuencia, de autonomía, de motivación... En muchas ocasiones los criterios de desempeño se sustituyen por atributos, pero solo es aconsejable si se tiene claro qué hay detrás de cada atributo, es decir, el criterio de desempeño.

Usos principales

En cuanto a sus usos principales las escalas de valoración son un instrumento que se alinea con las rúbricas y las escalas de valoración. Son una buena herramienta para evaluar desempeños y proporcionar feedback a los estudiantes sobre qué aspectos deben mejorar en función de un criterio o cualidad determinada.

También puede ser un excelente instrumento para que elaboren los propios estudiantes y que lo utilicen como herramienta de coevaluación y autoevaluación según lo requiera el caso. Últimamente se están desarrollando elementos visuales que facilitan esta labor y atractivo para el alumnado: dianas de evaluación, estrellas, likes, acelerómetros, semáforos, uso de emoticonos...son todo versiones de escalas de valoración.

Autor: Proyecto Aprender (CC BY-NC-SA)

Ojo con esto, porque cuando nos hablan de un instrumento nuevo (ocurre con las dianas especialmente) en realidad no nos están ofreciendo nada nuevo, son escalas de valoración que se visten para salir de fiesta, nada más. Independientemente de lo atractivo de éstas, en el fondo se ha de procurar que estén diseñadas de forma que lo importante, los criterios de desempeño, o en su defecto los atributos, estén bien alineados con el currículo y con el contexto de realización de la actividad.

(Esta entrada está extraída en parte del contenido del curso del INTEF: Evaluación de competencias: estrategias e instrumentos. Autor: Javier Cortés De las Heras)

El continuo de la evaluación: hacia el aprendizaje para la comprensión

En esta breve entrada os ofrezco un continuo de "métodos" de evaluación tomado de (Wiggins y McTighe, 2001). En rojo y en azul añado las evidencias e instrumentos de cada uno de los elementos del continuo.

Respecto al concepto de comprensión en Wiggins y McTighe, hay que señalar que no coincide con el segundo de los niveles de la taxonomía de Bloom, sino que va mucho más allá...Haciendo un símil con Bloom, cuando los autores hablan de comprensión se refieren a seis facetas que implican mucho más allá que el recuerdo, identificación o recuperación de conocimientos (hechos, conceptos y principios) y aplicación de destrezas (estrategias, métodos y procesos).
Faceta 1: Explicación
Faceta 2: Interpretación
Faceta 3: Aplicación
Faceta 4: Perspectiva
Faceta 5: Empatía
Faceta 6: Auto-conocimiento

También se mantiene una estructura jerárquica y cada una de ellas tiene una serie de criterios.

En resumen, la comprensión profunda de la realidad, la que permite un aprendizaje pleno, no puede conseguirse únicamente con planteamientos tradicionales: donde básicamente el profesor explica, el alumno se ejercita e interacciona más o menos para "entender" lo que se explica y acaba por hacer una prueba escrita donde se cuenta lo explicado (de memoria).
Hacen falta planteamientos auténticos (situados en la realidad o en contextos reales y cercanos al alumnado, complejos, multicriteriales, construidos en el proceso...), como los proyectos o las tareas integradas. Necesariamente la adopción de estos enfoques cambia la evaluación, las evidencias que se necesitan y los instrumentos a utilizar.

Para saber más

Wiggins, G. & McTighe, J. (2001). Understanding by Design. New Jersey: Prentice-Hall.

Rúbricas (II): Tipos de rúbricas, ventajas e inconvenientes

No todas las rúbricas son iguales, e incluso algunas de las que van circulando por ahí con el nombre de rúbricas ni siquiera lo son. Quizá esta entrada te clarifique algo más que la anterior qué es un rúbrica, qué pinta tiene, cuáles son las ventajas de unas frente a otras.

Tipos de rúbricas

Habitualmente se suele hacer una clasificación de las rúbricas en: a) holísticas o b) analíticas, atendiendo a cómo consideran la evaluación del desempeño, si como un todo o atendiendo a sus características definitorias una a una.

También existe otra clasificación atendiendo al tipo de desempeño que se evalúa, si es específico o es general, quedando así rúbricas que son específicas o rúbricas que son genéricas, y esto dependerá del tipo de criterios por los que se evaluará ese desempeño. En esta clasificación no se profundizará demasiado, simplemente sirva decir que las rúbricas genéricas se dan cuando existen desempeños que reúnen características similares independientemente del contenido, que son interdisciplinares, por ejemplo, la presentación oral de una información (siempre y cuando el contenido de esa presentación no sea objeto de evaluación). Por el contrario, las rúbricas específicas de la tarea, enfatizan las características peculiares de una tarea concreta que no volverá a repetirse y están centradas en conceptos, hechos o destrezas y habilidades muy específicas.

Obviamente tanto con un tipo de clasificación como con otra, aunque más con la última desarrollada, puede haber enfoques mixtos donde se combinan aspectos genéricos y específicos o dos rúbricas que se combinen para formar una sola, con una evaluación holística y otra analítica de diferentes partes del desempeño. En definitiva, se puede hacer este tipo de combinaciones obteniendo cuatro tipos de rúbricas: holística específica o genérica y analítica específica o genérica, con sus variantes mixtas.

Rúbrica analítica

En las rúbricas analíticas los criterios de realización, con sus atributos, se evalúan en los distintos niveles proporcionando una descripción para cada uno de ellos. Cada atributo recibirá una puntuación por separado, aunque también puede obtenerse con propósitos sumativos una puntuación global del desempeño. Ocasionalmente se asignan pesos a la evaluación de cada atributo.

La principal ventaja en el uso de este tipo de rúbricas es que proporciona tanto a los estudiantes como al docente una imagen muy clara de por qué se obtiene una determinada puntuación y se detecta mejor qué partes del desempeño requieren de una revisión por parte de ambos. Su función es diagnóstica y con propósitos claramente formativos, aunque ya se ha dicho que puede utilizarse una puntuación global del desempeño con propósitos sumativos. Sin embargo, para crearlas se necesita mucho tiempo y su uso en la práctica de la evaluación requiere de mucha destreza, especialmente en desempeños que se evalúan en el mismo momento de su realización.

Esquema

Ejemplo

Rúbrica elaborada para la Unidad Didáctica Integrada: "Conocemos nuestro barrio" (6º Ed. Primaria). Publicada en: AA.VV. (2016). Unidades Didácticas Integradas para la Inclusión: Valencia: Generalitat Valenciana. (enlace)

Rúbrica holística

Cuando se da la superposición de criterios o son criterios muy asociados, es mejor utilizar este tipo de rúbrica. Los criterios se consideran en combinación en una sola escala descriptiva. Apoyan valoraciones más amplias sobre la calidad del proceso o del producto. Una valoración holística puede también formar parte de una analítica como un factor más, aunque este tipo de métodos tiene la dificultad de sobreponer los criterios de la rúbrica holística con los otros.

Su uso resulta más práctico, más rápido que las rúbricas analíticas. Sin embargo, al proporcionar una valoración global del desempeño se pierden detalles específicos y su uso formativo está limitado, al contrario que las analíticas, usándose preferiblemente en evaluaciones con propósito sumativo. También dada su limitada escala de puntuación este uso sumativo se circunscribe casi al hecho de proporcionar una calificación (excelente, notable, bien…), más que una puntuación.

En la rúbrica holística los niveles suelen aparecer delimitando las filas y los criterios de realización y sus atributos se combinan para proporcionar una descripción para cada uno de estos niveles.

Esquema

Ejemplo

Rúbrica elaborada para la Unidad Didáctica Integrada: "Conocemos nuestro barrio" (6º Ed. Primaria). Publicada en: AA.VV. (2016). Unidades Didácticas Integradas para la Inclusión: Valencia: Generalitat Valenciana. (enlace)

Muestras de desempeño, anclajes o testigos en las rúbricas holísticas

Un aspecto importante y deseable en el uso de rúbricas holísticas es el empleo de testigos o muestras ejemplares de desempeño, anclajes, cuando esto sea posible (por ejemplo, en la valoración de redacciones, dibujos e incluso productos (se pueden usar fotografías). Esto significa ni más ni me- nos que escoger entre las realizaciones de los estudiantes aquellas que estén en el límite superior de cada nivel, de manera que nos sirvan como elemento global de comparación.

Obviamente, la recogida de muestras no tiene por qué ser cada curso, una vez escojamos las primeras muestras, de nuestro primer grupo de estudiantes, las podemos mantener para otros cursos, a no ser que tengamos muestras mucho mejores en todos o cualquiera de los niveles de las rúbrica.
Así en las siguientes evaluaciones, si se han establecido bien las rúbricas y los testigos, al evaluar un desempeño de forma global tendremos tanto elementos verbales (descripciones) como elementos visuales (testigos) para situar la ejecución de un estudiante determinado en un nivel.

El procedimiento es como sigue (ej. redacciones): «¿esta redacción está mejor o peor que este modelo de nivel 1?». Si está mejor, pasaría a formar parte del siguiente nivel, el 2, y la compararíamos de nuevo con el modelo límite del nivel 2 para hacer la misma pregunta.

Si estuviese peor que el modelo del nivel 1, la dejaríamos en el nivel 1 (el mínimo).

Disponer de buenos modelos o testigos es una cuestión que depende del tiempo: requiere que hayamos trabajado considerablemente con la rúbrica y que dispongamos de un número suficiente de producciones de los alumnos y de las alumnas que sean significativamente clarificadoras y útiles para valorar globalmente un desempeño determinado.

 

Para saber más

En este enlace tienes una publicación donde explico todo el proceso de diseño de rúbricas, así como las claves principales para aumentar la fiabilidad y validez de este instrumento tan útil en la evaluación de desempeños:

- Cortés De las Heras, J. (2016). Diseño de rúbricas. En Monografías didácticas. Madrid. ANAYA.

Si quieres conocer aún más aquí tienes referencias mayoritariamente consultadas en la revista electrónica: Practical Assessment, Research and Evaluation.

- Brualdi Timmins, A.C. (1998). Implementing performance assessment in the classroom. Practical Assessment, Research & Evaluation, 6(2). Recuperado 13 junio 2014 de http://PAREonline.net/getvn.asp?v=6&n=2.

- ERIC/AE (2014). Scoring Rubrics – Definitions and Construction. Disponible on-line en: http://ericae.net/faqs/rubrics/scoring_rubrics.htm].

- Gonzalez, J. (2014). Know your terms: holistic, analytic and single-point rubrics. Recuperado 1 junio 2014 de http://www.cultofpedagogy.com/holistic-analytic-single-point-rubrics/.

- Mertler, C.A. (2001). Designing scoring rubrics for your classroom. Practical Assessment, Research & Evaluation, 7(25). Recuperado 13 junio 2014 de http://PAREonline.net/getvn.asp?v=7&n=25.

- Moskal, B. (2000). Scoring rubrics: what, when and how?. Practical Assessment, Research & Evaluation, 7(3). Recuperado 13 junio 2014 de http://PAREonline.net/getvn.asp?v=7&n=3.

- Moskal, B. (2003). Recommendations for developing classroom performance assessments and scoring rubrics. Practical Assessment, Research & Evaluation, 8(14). Recuperado 13 junio 2014 de http://PAREonline.net/getvn.asp?v=8&n=14.

- Moskal, B. M. y Leydens, J.A. (2000). Scoring rubric development: validity and reliability. Practical Assessment, Research & Evaluation, 7(10). Recuperado 13 junio 2014 de http://PAREonline.net/getvn.asp?v=7&n=10.

- Popham, W. J. (1997). What's wrong - and what's right -with rubrics. Educational Lidership, October 1997, 72-75.

- Simon, M. y Forgette R. (2001). A rubric for scoring postsecondary academic skills. Practical Assessment, Research & Evaluation, 7(18). Recuperado 13 junio 2014 de http://PAREonline.net/getvn.asp?v=7&n=18.

- Tiemey, R. y Simon, M. (2004). What's still wrong with rubrics: focusing on the consistency of performance criteria across scale levels. Practical Assessment, Research & Evaluation, 9(2). Recuperado 13 junio 2014 de http://PAREonline.net/getvn.asp?v=9&n=2.

- Wiggins, G. (1998). Educative Assessment. Designing Assessments To Inform and Improve Student Performance. Jossey-Bass Publishers, San Francisco, CA.