lunes, 24 de abril de 2017

Rúbricas (II): Tipos de rúbricas, ventajas e inconvenientes

No todas las rúbricas son iguales, e incluso algunas de las que van circulando por ahí con el nombre de rúbricas ni siquiera lo son. Quizá esta entrada te clarifique algo más que la anterior qué es un rúbrica, qué pinta tiene, cuáles son las ventajas de unas frente a otras.

Tipos de rúbricas


Habitualmente se suele hacer una clasificación de las rúbricas en: a) holísticas o b) analíticas, atendiendo a cómo consideran la evaluación del desempeño, si como un todo o atendiendo a sus características definitorias una a una.
También existe otra clasificación atendiendo al tipo de desempeño que se evalúa, si es específico o es general, quedando así rúbricas que son específicas o rúbricas que son genéricas, y esto dependerá del tipo de criterios por los que se evaluará ese desempeño. En esta clasificación no se profundizará demasiado, simplemente sirva decir que las rúbricas genéricas se dan cuando existen desempeños que reúnen características similares independientemente del contenido, que son interdisciplinares, por ejemplo, la presentación oral de una información (siempre y cuando el contenido de esa presentación no sea objeto de evaluación). Por el contrario, las rúbricas específicas de la tarea, enfatizan las características peculiares de una tarea concreta que no volverá a repetirse y están centradas en conceptos, hechos o destrezas y habilidades muy específicas.
Obviamente tanto con un tipo de clasificación como con otra, aunque más con la última desarrollada, puede haber enfoques mixtos donde se combinan aspectos genéricos y específicos o dos rúbricas que se combinen para formar una sola, con una evaluación holística y otra analítica de diferentes partes del desempeño. En definitiva, se puede hacer este tipo de combinaciones obteniendo cuatro tipos de rúbricas: holística específica o genérica y analítica específica o genérica, con sus variantes mixtas.

Rúbrica analítica


En las rúbricas analíticas los criterios de realización, con sus atributos, se evalúan en los distintos niveles proporcionando una descripción para cada uno de ellos. Cada atributo recibirá una puntuación por separado, aunque también puede obtenerse con propósitos sumativos una puntuación global del desempeño. Ocasionalmente se asignan pesos a la evaluación de cada atributo.
La principal ventaja en el uso de este tipo de rúbricas es que proporciona tanto a los estudiantes como al docente una imagen muy clara de por qué se obtiene una determinada puntuación y se detecta mejor qué partes del desempeño requieren de una revisión por parte de ambos. Su función es diagnóstica y con propósitos claramente formativos, aunque ya se ha dicho que puede utilizarse una puntuación global del desempeño con propósitos sumativos. Sin embargo, para crearlas se necesita mucho tiempo y su uso en la práctica de la evaluación requiere de mucha destreza, especialmente en desempeños que se evalúan en el mismo momento de su realización.

Esquema


Ejemplo

Rúbrica elaborada para la Unidad Didáctica Integrada: "Conocemos nuestro barrio" (6º Ed. Primaria). Publicada en: AA.VV. (2016). Unidades Didácticas Integradas para la Inclusión: Valencia: Generalitat Valenciana. (enlace)

Rúbrica holística


Cuando se da la superposición de criterios o son criterios muy asociados, es mejor utilizar este tipo de rúbrica. Los criterios se consideran en combinación en una sola escala descriptiva. Apoyan valoraciones más amplias sobre la calidad del proceso o del producto. Una valoración holística puede también formar parte de una analítica como un factor más, aunque este tipo de métodos tiene la dificultad de sobreponer los criterios de la rúbrica holística con los otros.
Su uso resulta más práctico, más rápido que las rúbricas analíticas. Sin embargo, al proporcionar una valoración global del desempeño se pierden detalles específicos y su uso formativo está limitado, al contrario que las analíticas, usándose preferiblemente en evaluaciones con propósito sumativo. También dada su limitada escala de puntuación este uso sumativo se circunscribe casi al hecho de proporcionar una calificación (excelente, notable, bien…), más que una puntuación.
En la rúbrica holística los niveles suelen aparecer delimitando las filas y los criterios de realización y sus atributos se combinan para proporcionar una descripción para cada uno de estos niveles.

Esquema

Ejemplo

Rúbrica elaborada para la Unidad Didáctica Integrada: "Conocemos nuestro barrio" (6º Ed. Primaria). Publicada en: AA.VV. (2016). Unidades Didácticas Integradas para la Inclusión: Valencia: Generalitat Valenciana. (enlace)

Muestras de desempeño, anclajes o testigos en las rúbricas holísticas

Un aspecto importante y deseable en el uso de rúbricas holísticas es el empleo de testigos o muestras ejemplares de desempeño, anclajes, cuando esto sea posible (por ejemplo, en la valoración de redacciones, dibujos e incluso productos (se pueden usar fotografías). Esto significa ni más ni me- nos que escoger entre las realizaciones de los estudiantes aquellas que estén en el límite superior de cada nivel, de manera que nos sirvan como elemento global de comparación.
Obviamente, la recogida de muestras no tiene por qué ser cada curso, una vez escojamos las primeras muestras, de nuestro primer grupo de estudiantes, las podemos mantener para otros cursos, a no ser que tengamos muestras mucho mejores en todos o cualquiera de los niveles de las rúbrica.
Así en las siguientes evaluaciones, si se han establecido bien las rúbricas y los testigos, al evaluar un desempeño de forma global tendremos tanto elementos verbales (descripciones) como elementos visuales (testigos) para situar la ejecución de un estudiante determinado en un nivel.

El procedimiento es como sigue (ej. redacciones): «¿esta redacción está mejor o peor que este modelo de nivel 1?». Si está mejor, pasaría a formar parte del siguiente nivel, el 2, y la compararíamos de nuevo con el modelo límite del nivel 2 para hacer la misma pregunta.
Si estuviese peor que el modelo del nivel 1, la dejaríamos en el nivel 1 (el mínimo).

Disponer de buenos modelos o testigos es una cuestión que depende del tiempo: requiere que hayamos trabajado considerablemente con la rúbrica y que dispongamos de un número suficiente de producciones de los alumnos y de las alumnas que sean significativamente clarificadoras y útiles para valorar globalmente un desempeño determinado.

 

Para saber más

En este enlace tienes una publicación donde explico todo el proceso de diseño de rúbricas, así como las claves principales para aumentar la fiabilidad y validez de este instrumento tan útil en la evaluación de desempeños:
- Cortés De las Heras, J. (2016). Diseño de rúbricas. En Monografías didácticas. Madrid. ANAYA.

Si quieres conocer aún más aquí tienes referencias mayoritariamente consultadas en la revista electrónica: Practical Assessment, Research and Evaluation.

- Brualdi Timmins, A.C. (1998). Implementing performance assessment in the classroom. Practical Assessment, Research & Evaluation, 6(2). Recuperado 13 junio 2014 de http://PAREonline.net/getvn.asp?v=6&n=2.
- ERIC/AE (2014). Scoring Rubrics – Definitions and Construction. Disponible on-line en: http://ericae.net/faqs/rubrics/scoring_rubrics.htm].
- Gonzalez, J. (2014). Know your terms: holistic, analytic and single-point rubrics. Recuperado 1 junio 2014 de http://www.cultofpedagogy.com/holistic-analytic-single-point-rubrics/.
- Mertler, C.A. (2001). Designing scoring rubrics for your classroom. Practical Assessment, Research & Evaluation, 7(25). Recuperado 13 junio 2014 de http://PAREonline.net/getvn.asp?v=7&n=25.
- Moskal, B. (2000). Scoring rubrics: what, when and how?. Practical Assessment, Research & Evaluation, 7(3). Recuperado 13 junio 2014 de http://PAREonline.net/getvn.asp?v=7&n=3.
- Moskal, B. (2003). Recommendations for developing classroom performance assessments and scoring rubrics. Practical Assessment, Research & Evaluation, 8(14). Recuperado 13 junio 2014 de http://PAREonline.net/getvn.asp?v=8&n=14.
- Moskal, B. M. y Leydens, J.A. (2000). Scoring rubric development: validity and reliability. Practical Assessment, Research & Evaluation, 7(10). Recuperado 13 junio 2014 de http://PAREonline.net/getvn.asp?v=7&n=10.
- Popham, W. J. (1997). What's wrong - and what's right -with rubrics. Educational Lidership, October 1997, 72-75.
- Simon, M. y Forgette R. (2001). A rubric for scoring postsecondary academic skills. Practical Assessment, Research & Evaluation, 7(18). Recuperado 13 junio 2014 de http://PAREonline.net/getvn.asp?v=7&n=18.
- Tiemey, R. y Simon, M. (2004). What's still wrong with rubrics: focusing on the consistency of performance criteria across scale levels. Practical Assessment, Research & Evaluation, 9(2). Recuperado 13 junio 2014 de http://PAREonline.net/getvn.asp?v=9&n=2.

- Wiggins, G. (1998). Educative Assessment. Designing Assessments To Inform and Improve Student Performance. Jossey-Bass Publishers, San Francisco, CA.





martes, 28 de marzo de 2017

Rúbricas (I): Qué son, contextos de aplicación y elementos constituyentes

Por fin aquí está, una de las entradas a las que he ido haciendo referencia en distintas entradas anteriores. Sí, las rúbricas de puntuación (scoring rubrics), matrices de valoración, rúbricas para la calificación o evaluación, rúbricas... . Y sí, también últimamente se ha escrito mucho sobre ellas, como si de un instrumento novedoso se tratase, cantidad de expertos, docentes y hasta no profesionales de la educación, hacen mención a ellas.
Puede ser cierto que su conocimiento sea nuevo para muchos de vosotros y vosotras, pero las rúbricas ya llevan con nosotros un tiempecito. En la mayor parte de blogs y publicaciones informales, como esta, se cuentan sus bondades, sus incovenientes, el aspecto que tienen, la definición, los tipos... Así, que el objetivo de esta entrada es proporcionar un poco de conocimiento nuevo a lo que no se cuenta de ellas, entre otras cosas de dónde y en qué contexto surge la idea de este instrumento, qué definición de entre las observadas se asume y para qué tipo de aprendizajes es más útil y efectivo utilizarlas.

Un poco de historia...

Alguien podría preguntarse, ¿en qué momento hicieron aparición las rúbricas en el contexto de la evaluación? Pues ya hace tiempo, más del que podemos imaginar. Allá a mediados de 1970 ya se estaba utilizando un instrumento similar, aunque aún no denominado rúbrica, para la evaluación holística de la composición escrita (standard developmental rating), como versión alternativa aplicada a la educación de las aplicadas en medicina. De hecho, muchos de los desarrollos de rúbricas se aplican a la evaluación de las destrezas lingüísticas, especialmente de expresión (oral o escrita), tanto en sus inicios, como en épocas cercanas a la nuestra. En algunos casos, se han denominado también escalas analíticas u holísticas, dependiendo del formato.

Popham comenta en un artículo de 1997 que el término rúbrica ya llevaba utilizándose hacía dos décadas (What's wrong -and what's right- with rubrics). En cualquier caso, unos años arriba o abajo, e independientemente de quién fue el primero en utilizarlo nos situamos en una época de cambio curricular en los EE.UU. de América, del paso de objetivos (operativos) concretos y centrados en contenidos, a la definición de estándares amplios, con destrezas complejas implícitas (trabajo cooperativo, toma de decisiones, pensamiento crítico y creativo...). Obviamente, los tests objetivos, más o menos estandarizados, con preguntas de elección múltiple, van dando paso a otro tipo de pruebas donde el alumnado ha de demostrar su desempeño en contextos más o menos cercanos a la realidad. Es cuando empiezan a acuñarse términos limítrofes en evaluación: alternativa, de desemepeño (performance) o auténtica. Y es cuando el profesorado necesita de otro instrumento para evaluar esas demostraciones de lo que se ha aprendido: las rúbricas.

Definición de rúbrica


Instrumento de valoración que utiliza, de forma graduada, la descripción cualitativa de los criterios de realización de una tarea o actividad compleja a evaluar. 


El término rúbrica, en el contexto de la evaluación, proviene del inglés scoring rubric, que traducido literalmente es “rúbrica para puntuar”. Según el Longman Dictionary of Contemporary English, el término rubric es un conjunto de instrucciones o una explicación en un libro o examen, etc. Con el adjetivo, y tomado de manera literal, se está diciendo que es un conjunto de instrucciones que sirve para puntuar.
En el diccionario de la Real Academia de la Lengua Española, en su 23ª edición, también se define  rúbrica.
Así, las referencias remiten al uso en la firma (esos rallajos que hacemos encima de nuestro nombre, quien los haga, cuando firmamos algún documento) o a un uso más antiguo, que remite además a la etimología de la palabra, derivada del latín ruber (rojo), que era el color utilizado en los epígrafes o rótulos de los libros y probablemente en el conjunto de las reglas de la liturgia. Como curiosidad, Jose Antonio Millán en el primer capítulo de su libro El candidato melancólico hace mención a rúbrica y otras derivadas de la misma raíz: rubor, rubí, rubeola…
Dejando la cuestión estrictamente léxica y centrándose en la cuestión pedagógica, en distintos libros, artículos y otro tipo de documentos que tratan las rúbricas, suelen aparecer diferentes definiciones. Por ejemplo, la del glosario de términos de pruebas estandarizadas del EducationalTesting Service (ETS), que define rúbrica como “un conjunto de reglas para puntuar las respuestas a un ítem de respuesta construida, a veces denominado guía de puntuación o valoración (scoring guide)". Personalmente, creo que no es una definición de aplicación general por estar demasiado contextualizada en pruebas estandarizadas. Así, las “guíasde valoración” utilizadas en las pruebas PISA, por ejemplo, no son estrictamente una rúbrica. La rúbrica requiere de algunas características más específicas.

Contextos de aplicación

Se parte de la idea, contrariamente a lo que se suele predicar últimamente, de que las rúbricas no son el único instrumento de evaluación posible y válido en el ámbito de la evaluación de los aprendizajes. Son especialmente útiles en contextos de aprendizaje auténticos, de desarrollo de competencias, de evaluación del desempeño. En concreto en la evaluación de:
- Conocimientos procedimentales
- Habilidades de alto nivel (pensamiento crítico, analítico o creativo)
- Desarrollo de hábitos sociales
- Habilidades de trabajo cooperativo
- Conductas en procesos de toma de decisiones...

Así que obviamente necesitan de pruebas que:
a) Sean diseñadas para potenciar el pensamiento y la reflexión, la construcción de significados y su comprensión profunda.
b) Tengan un valor instruccional, es decir que estén integradas como actividad propia de instrucción y no como actividad de evaluación descontextualizada y aislada, sólo diseñada para evaluar.
c) Evalúen contenidos amplios del currículum centrándose en conjuntos de habilidades, destrezas, competencias. Así, tomando como referencia los criterios de evaluación, serían multicriteriales.

Si esta es tu opción metodológica, sin duda las rúbricas serán el instrumento preponderante en la evaluación que hagas.

Al respecto de la evaluación del desempeño, por ejemplo, existen otras alternativas como la lista de cotejo o las escalas observacionales, quizá más apropiadas cuando la información a registrar se limita a la determinación de si se cumple o no con unos criterios específicos. En el esquema siguiente se hace una clasificación de los distintos tipos reconocidos para la evaluación del desempeño, y las rúbricas se sitúan como un tipo de escala o guía de valoración. La explicación sobre el tipo de rúbricas (analíticas u holísticas) se dará en la segunda parte de esta entrada.



Elementos constituyentes

Cierro la entrada con los elementos que conforman una rúbrica, los que se pueden encontrar en cualquier rúbrica analítica u holística.

En la rúbrica holística suele desaparecer el elemento de ponderación y los criterios de desempeño y atributos están implícitos en la descripción de los niveles de logro.


martes, 14 de marzo de 2017

Motivación y evaluación

¡Hola de nuevo! Aún sigo vivo...pero he ido liado en algunas cosas y el pobre blog lo he tenido abandonado un tiempo. Espero (es una promesa) dedicarle más entradas de aquí a final de curso.

En la entrada de hoy me gustaría centrarme en cómo la evaluación es uno de los pilares básicos para desarrollar la motivación en el aula, entre otros. Y para ello voy a basarme en un artículo que realicé hace aproximadamente un año junto a mi compañera Mariola López Tejedor (Orientadora) para una publicación del CEFIRE de Valencia que ha visto la luz recientemente: Educar con emoción (el enlace os llevará a una entrada del blog de la Biblioteca del CEFIRE y además se puede comprar en la librería de la Generalitat Valenciana - Llig, por 3€).

El artículo en cuestión lleva por título: Diseño Universal de Aprendizaje (DUA): Revisión de recursos para trabajar el principio de motivación. Si no sabéis de qué va el DUA os recomiendo encarecidamente que le deis un vistazo, por ejemplo aquí: EducaDUA. No es objeto de esta entrada hacer una revisión del DUA pero, para haceros una idea, éste propone un marco basado en la investigación para diseñar el currículo desde un punto de vista inclusivo, centrándose en tres principios y una serie de pautas (tres para cada principio):
I. Proporcionar múltiples medios de representación.
II. Proporcionar múltiples medios de acción y expresión.
III. Proporcionar múltiples formas de implicación.
El currículo lo aborda atendiendo a los objetivos, las metodologías, los materiales y la evaluación.
Así que, atendiendo al principio III y al hecho de la evaluación, es desde donde se lanzan estas aportaciones.

¿Cómo podemos ayudar a nuestro alumnado desde la evaluación a una mayor implicación en sus aprendizajes? 

1. Resaltado la relevancia de metas y objetivos de aprendizaje:
  • Pidiendo a los alumnos que formulen un objetivo o lo replanteen,
  • presentando un objetivo de diferentes maneras,
  • fomentando la división de metas a largo plazo en metas a corto plazo,
  • utilizando indicaciones y apoyos para visualizar el resultado previsto,
  • involucrar a los alumnos en debates sobre evaluación (criterios, excelencia...) de una tarea.
2. Utilizar la retroalimentación orientada hacia la maestría de una tarea:
  • Que fomente la perseverancia,
  • que se centre en el desarrollo de la eficacia y autoconciencia, fomentando el uso de estrategias y apoyos específicos para afrontar un desafío,
  • que enfatice el esfuerzo, la mejora, el logro o aproximación hacia un resultado de aprendizaje (tome el nombre que tome, dado el panorama: criterio de evaluación, estándar de aprendizaje...), mejor que en un rendimiento concreto,
  • que esta retroalimentación sea específica, frecuente y dada en el momento oportuno,
  • que sea sustantiva e informativa, más que comparativa o competitiva,
  • que modele cómo incorporar la evaluación como estrategia para el éxito futuro (patrones para identificar errores, respuestas incorrectas...).
3. Ayudándonos de instrumentos como las rúbricas (aunque no debería ser el único instrumento de evaluación), ya que enfatizan la descripción de tareas en distintos niveles de desempeño que pueden guiar la mejora del aprendizaje, entre otras particularidades a las que dedicaremos otra entrada.
Ejemplo de rúbrica sobre el proceso de elaboración y propiedades de un texto instructivo - CEIP La Cala (Benidorm) - 5º Ed. Primaria


Aquí tenéis alguna página web:
RubiStar
Teach-nology
How do rubrics help? (Edutopia)


4. Utilizando recursos TIC, a los que se presta bastante atención desde el marco del DUA, como por ejemplo:

SNAPPET -      https://es.snappet.org/
...
Hay bastantes aplicaciones que se pueden encontrar recopiladas en blogs sobre el tema.

5. Conectando la evaluación con el aprendizaje, no como momento separado de éste, con tareas auténticas, relevantes socialmente, incluso pruebas escritas con preguntas (cuestionarios cognitivos) donde se planteen contextos cercanos a la realidad del alumnado en diferentes ámbitos: personal, social, científico-académico.
Extracto de un cuestionario cognitivo para evaluar las competencia básica de Interacción con el medio natural y físico de Andalucía, 2010

6. Utilizando multiples medios (instrumentos) para evaluar los aprendizajes de acuerdo a la naturaleza de sus contenidos y a sus requerimientos cognitivos.

Si queréis conocer algo más sobre motivación desde uno de los puntos de vista de la neurociencia os recomiendo esta entrada de Jesús Guillén en Escuela con cerebro:  La motivación escolar: siete etapas clave