domingo, 30 de diciembre de 2018

Cuestionarios cognitivos (I): Fundamentación y características

Ya anuncié que durante el 2019 dedicaré las entradas a este instrumento de evaluación, a diversos aspectos como enfoques para su diseño o mejora, utilización más allá de la calificación, tipos de preguntas que se pueden realizar, alineación con el currículo...
En esta primera parte, más teórica, presentaré este instrumento y apuntaré a algunos de los aspectos más técnicos que pululan por ahí, sin pretender caer en algo que resulte demasiado pesado.
Y por supuesto: ¡Feliz Año 2019! No intentéis evaluar nada en el transcurso de la noche y siguientes días.

¿Qué es un cuestionario cognitivo?

Es un instrumento de evaluación que plantea preguntas (de respuesta cerrada o abierta) y que se refiere a aspectos del dominio cognitivo (conocimientos) de una determinada área, asignatura, materia o competencia. Los centrados en los aspectos de conocimiento de una determinada competencia suelen tener un contexto al cual se refieren estas preguntas, llamado frecuentemente estímulo.

Fuente: Agencia Andaluza de Evaluación Educativa - Competencia Lingüística

Visto así, los "exámenes" que se realizan en clase tienen este aspecto, de hecho no son muy diferentes al modelo de ejemplo. Y como se ha dicho, a pesar de su extensivo uso (abuso) en la evaluación del aprendizaje, son muy útiles para evaluar conocimientos.
Suelen tener el formato de prueba de lápiz y papel, pero cada vez más se está extendiendo el uso a formato digital por las grandes prestaciones que da al proceso de evaluación: control del tiempo, del proceso (intentos, errores...), evaluación de grupo (p.ej.: resolución de problemas conjunto) y también por su flexibilidad a la hora de distribuir el orden de las preguntas y el número a resolver de ellas en función de las respuestas previas (p. ej.: Tests Adaptativos Informatizados (TAI)).

Para diseñar cuestionarios cognitivos digitales

Aquí tienes una serie de enlaces con propuestas desde lo más simple a lo más complejo, algunas con posibilidad de generar diferentes tipos de ítems (incluso interactivos) o simples preguntas de opción múltiple. Sin duda hay muchas más plataformas...
Los cuestionarios cognitivos diseñados para las evaluaciones externas, de tipo estandarizado, reúnen una serie de características que aumentan considerablemente su validez y fiabilidad. Aspectos que pueden adoptarse en el diseño de los que hagamos en clase, o que se podrían considerar a la hora de revisar los "controles" que escogemos de las editoriales.
De todos estos aspectos: tipos de preguntas (cerradas o abiertas) y cuando utilizarlas, del sistema de puntuación, del establecimiento de puntos de corte (aprobado/suspenso; o distintos niveles), del feedback que proporcionan cuantitativo y cualitativo, de aspectos a revisar para su mejora desde el análisis de resultados, de si incluir estímulos o no... Se hablará en sucesivas entradas.

Un poco de teoría: Tests de Referencia Criterial (TRC)

Este tipo de cuestionarios cognitivos nacen como contraposición a los tests referidos a la norma (TRN), donde la puntuación de una persona se interpreta de acuerdo a su posición en una curva (la normal) de distribución de puntuaciones perteneciente a una población de referencia. Un ejemplo son los clásicos test estandarizados utilizados en la evaluación psicopedagógica (p.ej.: WISC).

De modo distinto, en los TRC la puntuación de una persona se interpreta respecto al dominio de aprendizaje que se evalúa, independientemente de la distribución de puntuaciones. Un ejemplo muy claro son los tests teóricos para obtener el permiso de conducir.
En su construcción por lo tanto, las preguntas o ítems se basan en una competencia específica que se describe en componentes y descriptores (objetivos, indicadores...) y que constituyen el universo de medida: el dominio, que ha de estructurarse y especificarse como una de las primeras tareas de diseño. Ejemplos de cómo se especifica una determinada competencia los podéis encontrar en los marcos de la Evaluación General de Diagnóstico (o más recientemente Evaluación Individualizada) de España:
 U otros organismos internacionales como la IEA, con un enfoque más curricular (TIMSS 2019 o PIRLS 2016) o la OCDE, en la evaluación de diversas competencias en el marco de PISA, por ejemplo: Marco de la Competencia Global 2018

En estas plataformas de dos editoriales puedes acceder también a casi todos los cuestionarios realizados desde 2006 hasta este año en diversas competencias:

Diferencia con los exámenes escritos

El cómo se construyen los diferencia (no en su apariencia) de los clásicos exámenes de clase, cuya construcción no está basada en objetivos sino en temas. Por ejemplo, del Tema 3: Los ecosistemas, se van extrayendo preguntas en función de la importancia que se otorgue a cada uno de los aspectos de este tema. Este enfoque impreciso en muchas ocasiones, no puede considerarse un enfoque referido al criterio, ni su interpretación puede darse muchas veces en términos de diferente calidad en el aprendizaje. Ni tampoco el criterio por el cual se decide si se aprueba o suspende el examen, que suele estar fijado en una puntuación de 5 sobre 10 (España) sin importar el nivel de competencia en el dominio para establecer este punto de corte. Además, un análisis más profundo de cualquiera de estas pruebas revelará que casi siempre se centran en un aspecto del dominio cognitivo: recordar o comprender hechos, conceptos o procedimientos, salvo algunas excepciones. Y la puntuación se interpreta como la cantidad de aspectos que se han recordado o resuelto.
Independientemente de si ese es nuestro propósito de la evaluación del aprendizaje: comprobar qué grado de recuerdo o comprensión sobre diferentes hechos, conceptos o procedimientos tenga nuestro alumnado, o se si quiere ir más allá, en un TRC se ha de pasar por un análisis del dominio de aprendizaje. El dominio de aprendizaje en el currículo vigente (para cada asignatura) está plasmado en los referentes de la evaluación: criterios de evaluación (en el currículo español), estándares, metas de logro... (en otros contextos) y en los contenidos. Y no todos ellos serán susceptibles de ser referentes para una evaluación que utilice como instrumento el cuestionario cognitivo. Una vez realizado el análisis y planificación, se pasaría a generar las preguntas o ítems, vinculándolas siempre a los criterios de evaluación o sus especificaciones.

Su planteamiento, muy extendido en las evaluaciones externas, se ha propuesto para pruebas de clase. Y su tradición se remonta a los años 60, con figuras dentro de la evaluación educativa como Robert Glaser, Ronald Hambleton, Thomas Haladyna, Ronald Berk, James Popham... por citar a algunos.

Para saber más:

- Chatterji, M. (2003). Designing and Using Tools for Educational Assessment. USA: Pearson Education Inc.
- Jornet, J. y Suárez, J. (1995). Evaluación referida al criterio, en García Hoz, V. (Cord). Tratado de Educación personalizada.Vol. Problemas y métodos de investigación en Educación Personalizada. Barcelona: Rialp.
- Jornet, J., Suárez, J., González Such, J. y Belloch, C. (1995). Estrategias de elaboración de pruebas criteriales en Educación Superior. UNED.
- Shrock, S. y Coscarelli, W. (2000). Criterior-Referenced Test Development. Silver Spring, MD: ISPI.
- Westgaard, O. (1999). Test that Work. San Franscisco, CA: Jossey-Bass/Pfeiffer.




domingo, 16 de diciembre de 2018

La invariabilidad de la variable: la calificación escolar


Lo prometido es deuda, aunque más tarde de lo previsto. Ahora que estamos en pleno proceso de evaluación (entendida como algo serio y formal: las Juntas de Evaluación)...ya sabemos que la evaluación es continua y formativa...Os presento aquí un humilde estudio sobre las calificaciones escolares a lo largo de un curso con alumnado de 3º de la ESO de un instituto cualquiera de nuestra geografía (en este caso de mi tierra).

Si Heráclito hubiese sido profesor de instituto, su doctrina del cambio, la ley que lo rige (logos), se hubiese ido al garete. El río, siendo el mismo, no cambia; quizá el bañista sí lo haga, pero tampoco lo sabemos. Todo queda, nada pasa; la vida no es un río.
Podéis descargaros el estudio aquí.

Os pongo aquí algunas conclusiones a las que he llegado, me encantaría que sacaseis las vuestras, y me encantaría que sirviera de reflexión. Os advierto que soy un científico de primera y he llegado a determinar exactamente qué es lo que les pasa a los alumnos y alumnas.

- Las chicas obtienen mejores calificaciones que los chicos en todas las asignaturas, a excepción de Ed. Física, aunque la diferencia no es estadísticamente significativa, como en Matemáticas y Física y Química.

- Los nacidos en el primer semestre del año obtienen mejores calificaciones que sus compañeros nacidos en el segundo semestre en todas las asignaturas, aunque estas diferencias no son estadísticamente significativas.

- Los repetidores obtienen peores calificaciones que sus compañeros no repetidores en todas las asignaturas, aunque estas diferencias no sean siempre estadísticamente significativas. Si se amplía este grupo con los que no están en el curso que les tocaría por edad (“no idóneos”) estas diferencias se incrementan respecto a los que sí están en el curso que les toca por edad, y además en todas las asignaturas las diferencias son estadísticamente significativas. Esto pone de relieve que repetir (sin entrar a analizar las causas) no supone una mejora si se compara con sus compañeros no repetidores.

- El rendimiento de los distintos grupos probablemente está influido por la composición de los repetidores o “no idóneos” (por eso el grupo B es mejor en rendimiento). Bien es cierto que grupos con las mismas o similares condiciones en alguna asignatura concreta (en este caso Matemáticas y Geografía e Historia) difieren en rendimiento, apuntando hacia otras variables referidas al profesorado.

- La variación a lo largo del curso en la media de calificaciones de las asignaturas no supera la horquilla de 0,5 puntos. No obstante se dan patrones diferenciados: el de ascenso progresivo, el patrón en V o el plano. El alumnado se comporta de manera diferente según las asignaturas, en unas cada vez aprenden más (progresivo), en otras se mantienen al nivel y en otras tienen altibajos, especialmente en el segundo trimestre, probablemente por la “resaca” vacacional de Navidades.

- Hay asignaturas que se sitúan en rangos de puntuación diferentes a lo largo del curso. El alumnado encuentra más fáciles asignaturas como Educación Física, Música, Educación Plástica y Visual o incluso Biología y Geología (rango 6-7). Algo más complicadas: Física y Química, Geografía e Historia, Valenciano o Inglés (rango 5-6), y definitivamente hay disciplinas muy complicadas para ellos: Matemáticas y Castellano (rango 5 o <5).

- Esta última conclusión se refleja en la evolución de aprobados en las distintas asignaturas a lo largo del curso:
  1. La mayor parte de asignaturas obtienen mayores porcentajes de aprobados en el tercer trimestre, respecto del primero, y en la mayoría de estas la evolución de aprobados es ascendente. Sólo dos asignaturas obtienen prácticamente el mismo número de aprobados al final (3r trimestre) que al principio (1r trimestre): Valenciano y Castellano.
  2. El ámbito artístico-expresivo (Ed. Física, Ed. Plástica y Visual y Música), el ámbito científico (Biología y Geología, Física y Química) y el ámbito social (Geografía e Historia) alcanzan un porcentaje de aprobados que supera el 75% al finalizar el curso.
  3. Todo el ámbito lingüístico (Primera Lengua Extranjera: Inglés, Valenciano y Castellano) y las Matemáticas se mueven en la horquilla del 60% al 70% de aprobados, salvo en este caso Castellano que supera cuanto apenas el 50%, corroborando lo complicada que resulta esta disciplina para alumnado de 14-15 años.
- El porcentaje de alumnado que promocionaría en cada trimestre también es un dato a considerar: en torno al 45% del alumnado promocionaría en el 1r y 2º trimestre, pero en el 3r trimestre los alumnos y alumnas se esfuerzan considerablemente y llegan a promocionar algo más del 60%. Además luego saben que tienen la extraordinaria para los que no se han esforzado lo suficiente.

- En definitiva, el alumnado es bastante predecible en cuanto a su comportamiento, la media de calificaciones de las asignaturas que obtenga un alumno o alumna en el primer trimestre no variará ostensiblemente en el tercer trimestre mucho, unas 2 décimas más.

- Como consecuencia de ello, el tamaño del efecto del “curso” es muy pequeño d=0,14. Si se hace por asignaturas, salvo una de ellas (Física y Química, d=0,58), el tamaño del efecto es nulo o muy pequeño, en ningún caso supera d=0,4 considerado como el valor que indica que un factor incide positivamente, en este caso en el aprendizaje. Y es que ya se sabe, el alumnado no quiere aprender.

miércoles, 7 de noviembre de 2018

Elaboración de las programaciones didácticas en ESO y Bachillerato

Prometí hacer la siguiente entrada sobre un estudio de calificaciones, pero mientras llega os comparto el documento que hemos realizado en el Departamento de Orientación del instituto para la elaboración de las programaciones en educación secundaria.
Está en valenciano, así que para los de fuera de Comunitat Valenciana, Catalunya o Balears necesitaréis de ayuda extra. Obviamente, los referentes normativos son propios de la Comunitat Valenciana y España, en su caso.



lunes, 29 de octubre de 2018

Resultados de aprendizaje: más allá del copia-pega

He vuelto aquí tras el verano y después de un inicio de curso realmente intenso. Mi propósito era retomar el blog en septiembre, pero ha sido imposible. Espero mantener una vez al mes una entrada a partir de ahora y deseo que lo disfrutéis y compartáis al máximo.
Este curso, me voy a centrar bastante en cuestionarios cognitivos, pero antes publicaré dos entradas. La primera de ellas es la de este mes, ya casi finalizado. Y la segunda, el mes que viene, sobre un estudio de calificaciones a lo largo de un curso de alumnado de 3º de ESO, pero ya vendrá. Al lío.

En la entrada de octubre me gustaría hablaros de los resultados de aprendizaje. Moon (2002) los define como “una declaración de lo que el estudiante se espera que conozca, comprenda y sea capaz de hacer al finalizar un período de aprendizaje”. Y en distintos países, en sus currículos, pueden recibir distintos nombres (metas de logro, objetivos de aprendizaje, indicadores de logro, estándares de contenido/aprendizaje, criterios de evaluación...). Todos ellos tienen en común que, además de aprendizajes esperados al finalizar un período formativo, son referentes para la evaluación, en algunos lugares prescriptivos (como el caso de España con sus criterios de evaluación) y en otros no.

En la infografía que he preparado tenéis la estructura general de un resultado de aprendizaje. Sólo recordar, que no siempre aparece un contexto, aunque precisamente es este elemento el que permite perfilar los criterios de evaluación (no confundir con los criterios de evaluación del currículo español) de una actividad o tarea. Y desafortunadamente, no siempre están redactados de forma clara y hay que hacer un esfuerzo de interpretación, y en la mayoría de veces de concreción, para que nos sean útiles.



Para sacarles todo el partido, nos será muy útil utilizar distintas taxonomías. La más conocida es la de Bloom, revisada por Anderson y Krathwohl en 2001, y que podéis ver en esta entrada. Hay otras para el dominio psicomotor como la de Simpson o Harrow, o para el dominio afectivo, Krathwohl. Y también otras taxonomías como la de Marzano y Kendall de 2007.

Usos prácticos

Sí, se puede (y se debe) ir más allá del uso del copia-pega para completar programaciones didácticas que sólo sirven para cumplir con unos requisitos burocráticos:
  1. Nos ayudan a cumplir con unos referentes de aprendizaje públicos, que han sido establecidos para todo el alumnado independientemente de su origen y estatus. Es decir, son de derecho, y no están al albur de empresas privadas, de colegios de pago o de "iluminatis" que piensan que lo que ellos enseñan es mejor que cualquier otra cosa, cosa que a veces podría ocurrir...pero hay que dar garantías siempre.
  2. Sirven como referencia para las adaptaciones que se debe proporcionar a un grupo de alumnos o un alumno individualmente. Algunos incluso mantienen una relación longitudinal a lo largo de toda la etapa para facilitar estas adaptaciones (caso de los decretos de Ed. Primaria, ESO y Bachillerato de la Comunitat Valenciana). Es interesante la apreciación que se hace en Sánchez Serrano (2016) en la aplicación del Diseño Universal de Aprendizaje al currículo, y en concreto a la separación de las metas (acción y contenido) y los medios (contexto) que aparecen en estos resultados de aprendizaje o a la determinación de la red de aprendizaje principal (afectiva, estratégica o cognitiva).
  3. Podemos establecer metas de aprendizaje claras para nuestro alumnado, monitorizar el aprendizaje respecto a éstas y proporcionar feedback efectivo que les ayude a aprender más y mejor aquello no consolidado, a establecer mejores estrategias de enseñanza y aprendizaje y a autoevaluarse.
  4. Son ideales para graduar los aprendizajes (y para ello hay que utilizar esquemas como las taxonomías) según su dificultad y complejidad, y así alinear las puntuaciones que se obtengan de las diferentes pruebas e instrumentos con escalas descriptivas de aprendizaje.
  5. Por último, sirven para el diseño de instrumentos de evaluación. En las rúbricas (escalas de valoración o listas de cotejo) para especificar las características o atributos de la actividad o tarea que se va a evaluar. En los cuestionarios cognitivos, a redactar ítems (preguntas) alineadas totalmente con los referentes y, como aspecto más técnico, a elaborar matrices de especificaciones.
Seguro que se os ocurren más utilidades. Para mí estas son las más relevantes.

Referencias

En la entrada sobre la Taxonomía de Bloom tenéis las referidas a las taxonomías. Además...

Moon, J.(2004). Linking levels, learning outcomes and assessment criteria.Bologna Seminar on ‘Using Learning Outcomes’ Edinburgh, United Kingdom, 1-2 July 2004. http://www.bologna-bergen2005.no/ (sección “Seminars”).

Sánchez Serrano, J.M. (2016). Diseño del Currículum desde el enfoque del Diseño Universal para el Aprendizaje. En Carmen Alba Pastor (Coord.), Diseño Universal para el Aprendizaje:  Educación para todos y prácticas de enseñanza inclusivas, pp. 59-88. Madrid: Morata.

domingo, 15 de julio de 2018

¡Feliz verano!

Sí, se acercan las vacaciones para los docentes. Aún dando los últimos coletazos a un curso maravilloso, 2017-18, donde he podido descubrir y disfrutar junto a los alumnos y alumnas y mis compañeros y compañeras. Ha sido un placer compartir inquietudes profesionales y personales, escuchar y hablar sobre los proyectos, intereses e inquietudes de alumnos/as, también de sus  dificultades en la vida (unas académicas y otras de vida), intentar mediar, pasármelo de miedo en las salidas extraescolares...Al curso que viene más y mejor.

Quería aprovechar esta última entrada del curso para varias cosas.

En primer lugar, gracias a todos los lectores. En este curso el blog ha superado las 10.000 visitas, en dos cursos. Gracias también a los lectores de otros países: de América del Sur y del Norte y Europa. Para mí es un logro, en un blog de temática muy específica y dirigida a profesionales de la educación fundamentalmente. Mil gracias, de verdad. Me anima a seguir con esto, sin ningún otro afán que divulgar los aspectos más relevantes de la evaluación educativa y hasta el momento, dentro de ésta, de la evaluación de los aprendizajes.

En segundo lugar, os invito a participar. ¿Cómo?
  • Comentando las entradas del blog:  estoy seguro de que otros lectores estarán encantados de leer vuestras aportaciones. No hace falta que estén fundamentadas en nada, más que en vuestra experiencia e intuición profesional.
  • Suscribéndoos al blog: hay una pestaña para eso en el menú de la derecha.
  • Enviándome vuestro correo electrónico para añadiros a las noticificaciones por correo, hasta que decidáis daros de baja.
  • Solicitando alguna temática que os interese tratar en las próximas entradas.
  • Participando como autor/a del blog. Sólo tenéis que decírmelo y estaré encantado de que participéis.
En tercer lugar, pero no menos importante. Quisiera dar las gracias a todos los centros educativos de educación infantil y primaria e institutos de educación secundaria, por la oportunidad que me han dado en este curso de participar en sus proyectos de formación sobre evaluación. Sigo aprendiendo de y con vosotros.

Ahora a descansar, a recargar energía. A desconectar del trabajo y reconectar con el Universo.
¡Viva la Revoluación!
Un abrazo muy grande.

domingo, 24 de junio de 2018

Un nuevo marco europeo de competencias clave

Hace unos días se publicó la Recomendación del Consejo de 22 de mayo de 2018 relativa a las competencias clave para el aprendizaje permanente. Esta recomendación se presenta como una actualización de su antecesora, y se plantean en ella aspectos interesantes a tener en cuenta.
En esta entrada haré un comentario de esta nueva recomendación desde una perspectiva comparada, tomando como referencia la de 2006. Resulta de gran interés el texto que fundamenta la recomendación y las recomendaciones en sí mismas. El análisis de los cambios en cada competencia clave, salvo su denominación, lo dejaré para una serie que trataré aparte.
Ambas recomendaciones, la actual es una revisión y actualización de la anterior de 2006, presentan un marco de referencia sobre competencias clave necesarias para el aprendizaje permanente, que tiene como fin la formación y educación de la sociedad en su conjunto. En ambas recomendaciones, las referencias al desarrollo del trabajo y empleo suelen ser frecuentes, aunque con un peso relativo mayor en la recomendación de 2006, siendo un texto más corto que el de 2018. Desde luego, esta primera recomendación surge como fruto del Consejo Europeo de Lisboa del año 2000 y del programa Educación y Formación 2010, y más directamente de la revisión de los objetivos de Lisboa en 2005...Os sonarán los objetivos de referencia en Europa para la competencia lectora, el abandono escolar prematuro, la finalización del ciclo superior de educación secundaria o la participación de los adultos en el aprendizaje permanente...Todas estas preocupaciones, llevaron a formular una oferta de competencias clave para el aprendizaje permanente y utilizar un marco de referencia europeo con claras referencias a los jóvenes y su formación inicial, a las personas con dificultades para desarrollar su potencial y a la población adulta en general para la actualización de dichas competencias.

Fundamentación de las recomendaciones

Doce años después, ¿qué nos trae la nueva recomendación? Para empezar una fundamentación mucho más extensa y con referencias a aspectos interesantes:
1. Formación y aprendizaje permanente inclusivos y de calidad, como un derecho social.
2. Énfasis en las tecnologías, dada la creciente automatización de los puestos de trabajo.
3. Aunque ya se hacía mención en 2006, a los valores sociales y cívicos, al aprendizaje de idiomas o el espíritu de empresa, en 2018 se enfatizan las competencias emprendedoras y las sociales y cívicas, junto con el deseo de aumentar los niveles de lectura, matemáticas y ciencia.
4.  Implementar nuevas formas de aprendizaje en una sociedad móvil y digital. Memorizar hechos y procedimientos no es suficiente y se debe enseñar y aprender: resolución de problemas, el pensamiento crítico, la habilidad para cooperar, la creatividad, el pensamiento computacional y la autorregulación.

Otro de los aspectos interesantes a resaltar en la fundamentación es que hace referencia a la necesidad de respaldar:

  1. Desarrollo de competencias: estableciendo buenas prácticas, mejorando el apoyo  y formación a docentes, mediante la actualización de métodos y herramientas de evaluación y validación, fomentando formas innovadoras de enseñanza y aprendizaje: aprendizaje orientado a competencias.
  2. Validación de competencias: se trata de reconocer la adquisición de competencias teniendo en cuenta también los aprendizajes adquiridos en contextos no formales e informales. Los procesos de evaluación van a adquirir una gran importancia.
  3. Oferta de competencias: todas las adaptaciones se han hecho atendiendo a la mejora de las capacidades básicas, el aprendizaje de idiomas, la perfección de competencias digitales y emprendedoras y el impulso de los valores comunes para el funcionamiento de nuestras sociedades. Asimismo, creo que estas recomendaciones dan gran importancia a los Objetivos del Desarrollo Sostenible, en especial al objetivo 4.7:
"4.7. De aquí a 2030, asegurar que todos los alumnos adquieran los conocimientos teóricos y prácticos necesarios para promover el desarrollo sostenible, entre otras cosas mediante la educación para el desarrollo sostenible y los estilos de vida sostenibles, los derechos humanos, la igualdad de género, la promoción de una cultura de paz y no violencia, la ciudadanía mundial y la valoración de la diversidad cultural y la contribución de la cultura al desarrollo sostenible"

También aparecen de manera más o menos explícita marcos de referencia como el de la Lenguas, DigComp o EntreComp, marco de referencia de competencias para una cultura democrática o la educación científica y arte (proyectos CTIM o CTIAM, por sus siglas en español).

A partir de esta fundamentación se desarrollan las cinco recomendaciones.

Definición de competencia

En 2006, competencia se definía como: una combinación de conocimiento, capacidades y actitudes adecuadas al contexto. Y se continuaba especificando que las competencias clave son aquéllas que todas las personas precisan para su realización y desarrollo personales, así como para la ciudadanía activa, la inclusión social y el empleo.

En esencia poca cosa ha cambiado en 2018. Se especifica a qué se refiere con conocimientos, destrezas (capacidades en la traducción española, a mi juicio una mala traducción de skills) y actitudes:

a) los conocimientos se componen de hechos y cifras, conceptos, ideas y teorías que ya están establecidos y apoyan la comprensión de un área o tema concretos;
b) las capacidades se definen como la habilidad para realizar procesos y utilizar los conocimientos existentes para obte­ner resultados;
c) las actitudes describen la mentalidad y la disposición para actuar o reaccionar ante las ideas, las personas o las situaciones.


En cuanto a qué se considera como competencia clave, se incluyen algunos aspectos más de los ya aparecidos en 2006: para el éxito en la vida en sociedades pacíficas, modo de vida saludable o estilo de vida sostenible. Y cambia ligeramente inclusión social por integración social o empleo por empleabilidad. Como aspecto diferenciador se dice que se desarrollan con una perspectiva de aprendizaje permanente y mediante el aprendizaje formal, no formal e informal en todos los contextos (familiar, centro educativo, lugar de trabajo, entorno y otras comunidades). Es sin duda, un avance no demasiado explotado en el anterior marco a tener muy en cuenta en el futuro.

Finalmente, tal como aparecía ya en 2006, se aclara que todas las competencias clave son igualmente importantes, que se solapan y entrelazan; y también aparecen los aspectos transversales a ellas: el pensamiento crítico, la resolución de problemas, el trabajo en equipo, las capacidades de comunicación y negociación, las capacidades analíticas, lacreatividad y las capacidades interculturales.

¿Qué competencias clave?

Cambia algún aspecto de su nombre y descripción, pero esencialmente son las mismas. Como decía anteriormente, dedicaré una sección en este blog a ir desarrollándolas. Aquí dejo una tabla comparativa y enlaces a documentos interesantes que amplían su desarrollo:

2006
2018
Comunicación en lengua materna
Competencia en lectoescritura
Comunicación en lenguas extranjeras
Competencia multilingüe
Competencia matemática y competencias básicas en ciencia y tecnología
Competencia matemática y competencia en ciencia, tecnología e ingeniería
Competencia digital
Competencia digital (ver DigComp)
Aprender a aprender
Competencia personal, social y de aprender a aprender
Competencias sociales y cívicas
Competencia ciudadana (ver Key Citezenship Competences Framework)
Sentido de la iniciativa y espíritu emprendedor
Competencia emprendedora (ver EntreComp)
Conciencia y expresiones culturales
Competencia en conciencia y expresiones culturales (ver Cultural Awareness and Expression Handbook)

Los cambios más relevantes, así a primera vista, se refieren a la competencia de aprender a aprender y las competencias sociales y cívicas. En 2018, aprender a aprender integra los aspectos sociales y alguno más personal, además del aprender a aprender; y las competencias sociales y cívicas se quedan en las cuestiones que afectan a la ciudadanía.

Evaluación y validación del desarrollo de competencias

En el anexo del texto de la Recomendación se hace mención al respaldo al desarrollo de competencias clave y a la superación de determinadas dificultades encontradas hasta ahora. Entre las acciones a desarrollar se citan tres:
a) utilización de una diversidad de planteamientos y contextos, recomiendo encarecidamente a los educadores su lectura,
b) apoyo al personal académico, y
c) evaluación y validación del desarrollo de competencias.

Respecto a este último punto son varios aspectos los que se recomiendan, y que de una manera u otra he ido también señalando en las entradas dedicadas a la evaluación de competencias. En especial el que las competencias habrían de traducirse en marcos de resultados de aprendizaje y complementar su evaluación con evaluaciones de diagnóstico, formativas y sumativas. Esto va a requerir, sin duda, del uso de tecnologías digitales para captar los avances en múltiples dimensiones y en distintos contextos de aprendizaje (también los no formales o informales) disponibles para todas las personas.

Lo que parece obvio es que el futuro de la evaluación está asegurado, siempre y cuando se trabaje en pos de unos métodos e instrumentos que superen los existentes. Por ejemplo, no es posible evaluar todas las dimensiones de la competencias con cuestionarios cognitivos, ni tampoco todas las competencias podrán ser reportadas en cuanto a su desarrollo desde enfoques de evaluación externa. Deberán entrar en juego, como señala la recomendación, los procesos de autoevaluación; el uso de descriptores de niveles y la demostración de evidencias de todo tipo para validar esos niveles, la evaluación de aula... Nada parecido a nuestros sistemas de "calificación" de aprendizajes y todo un cuestionamiento a la obtención de titulaciones que actúan como "patente de corso" para seguir avanzando en las distintas etapas de la educación formal. Esté será un futuro debate en la Educación Secundaria Obligatoria (véase: Tiana, el secretario de Estado de Educación que aboga por eliminar los títulos de la ESO)

Como casi siempre, aprovecho para reivindicar otra forma de evaluar en la escuela, alejada de la "pseudomedida" que practicamos de los aprendizajes. Esa disfrazada de objetividad científica y de posicionamientos incuestionables desde el punto de vista numérico (aunque se hagan verdaderas atrocidades con los números), pero absolutamente intuitiva y carente de fundamento desde el punto de vista de lo que se pretende medir: el aprendizaje. Se sigue sin saber nada sobre qué representa un 6, un 4 o un 9, en términos de descripción de aprendizajes. Básicamente porque todo el diseño de la evaluación, en general, no se apoya en la descripción en términos de resultados de aprendizaje de las competencias o áreas que se pretenden evaluar.

lunes, 18 de junio de 2018

El continuo de la evaluación: hacia el aprendizaje para la comprensión

En esta breve entrada os ofrezco un continuo de "métodos" de evaluación tomado de (Wiggins y McTighe, 2001). En rojo y en azul añado las evidencias e instrumentos de cada uno de los elementos del continuo.





Respecto al concepto de comprensión en Wiggins y McTighe, hay que señalar que no coincide con el segundo de los niveles de la taxonomía de Bloom, sino que va mucho más allá...Haciendo un símil con Bloom, cuando los autores hablan de comprensión se refieren a seis facetas que implican mucho más allá que el recuerdo, identificación o recuperación de conocimientos (hechos, conceptos y principios) y aplicación de destrezas (estrategias, métodos y procesos).
Faceta 1: Explicación
Faceta 2: Interpretación
Faceta 3: Aplicación
Faceta 4: Perspectiva
Faceta 5: Empatía
Faceta 6: Auto-conocimiento

También se mantiene una estructura jerárquica y cada una de ellas tiene una serie de criterios.

En resumen, la comprensión profunda de la realidad, la que permite un aprendizaje pleno, no puede conseguirse únicamente con planteamientos tradicionales: donde básicamente el profesor explica, el alumno se ejercita e interacciona más o menos para "entender" lo que se explica y acaba por hacer una prueba escrita donde se cuenta lo explicado (de memoria).
Hacen falta planteamientos auténticos (situados en la realidad o en contextos reales y cercanos al alumnado, complejos, multicriteriales, construidos en el proceso...), como los proyectos o las tareas integradas. Necesariamente la adopción de estos enfoques cambia la evaluación, las evidencias que se necesitan y los instrumentos a utilizar.

Para saber más

Wiggins, G. & McTighe, J. (2001). Understanding by Design. New Jersey: Prentice-Hall.

domingo, 10 de junio de 2018

¿Hay solución para la evaluación de las competencias clave? (III): el enfoque holístico y auténtico

Por fin, llegamos a la última entrada que voy a dedicar a esto de la evaluación de las competencias clave, en cuestión de soluciones que se pueden implementar desde nuestros centros educativos. En parte, tengo que decirlo, estos enfoques surgen de la práctica que he ido observando a lo largo de estos años en los que he podido participar de proyectos de formación en centros o seminarios que tenían como foco esta cuestión. Y esta última solución es la menos practicada, pero desde mi punto de vista la más "auténtica". Empecemos...(aviso, es larga la entrada: aquí su descarga en formato artículo).

1. Conocer el dominio de evaluación: las competencias clave

En evaluación educativa, la primera tarea de todo diseñador de pruebas es conocer el dominio de evaluación: sea una destreza, una tarea, una asignatura o, en este caso, una competencia clave. El dominio constituye el universo de medida: el conjunto de todos aquellos elementos (objetivos, acciones, tareas e ítems, en el contexto de pruebas referidas al criterio) que representan el propósito de la instrucción y evaluación. Y donde pueden identificarse dos niveles en su conceptualización: a) definición y b) estructuración. (Jornet y Suárez, 1989). Ambos aspectos conferirán a la prueba validez de contenido y de constructo. Por ejemplo, en los marcos de evaluación de diagnóstico (LOE) o de final de etapa (LOMCE) se han definido y estructurado algunas competencias clave (Competencia Matemática y competencias básicas en Ciencia y Tecnología, Competencia en Comunicación Lingüística, Competencias Social y Cívica), véase referencia al final de la entrada. También alguna comunidad autónoma ha realizado este esfuerzo de definición en el contexto de estas evaluaciones.

En anteriores entradas sobre los enfoques de evaluación de competencias, la cuestión de la definición y estructuración del dominio, o no es el foco central o como mucho se especificaría a través de los criterios de evaluación de las asignaturas. Suponiendo que el legislador ha realizado bien la asociación de estos criterios de evaluación con el dominio de la competencia correspondiente.


Ejemplo de criterio de evaluación 3º Ed. Primaria de Lengua Castellana y Literatura (Decret 89/2014)
3LCL.BL3.2. Crear y revisar textos escritos aplicando correctamente las normas ortográficas de la lengua propias del nivel educativo.

Este criterio de evaluación está relacionado con la  Competencia en Comunicación Lingüística (CCLI) y la Competencia de Aprender a Aprender (CAA).

Hasta ahora, salvo los ejemplos descritos de las evaluaciones de diagnóstico, no se han definido (especificado) y estructurado las competencias clave, de manera que pueda ser operativa su evaluación. Por tanto, si no se conocen a fondo las competencias clave, cómo se estructuran y qué elementos las constituyen, es imposible que diseñemos actividades donde se trabajen explícitamente, y mucho menos que las identifiquemos en las evidencias de aprendizaje de nuestros alumnos. Por tanto, no podremos evaluarlas, al menos directamente. Se necesitan criterios de referencia que se refieran exclusivamente a una determinada competencia.
La tarea de especificarlas para Educación Primaria y Secundaria, además de ser una cuestión teórica, quizá no sea de los centros educativos. Pero sí el conocerlas, al menos su definición y descripción. Y esto lo podemos encontrar en:

- Recomendación del Parlamento Europeo y del Consejo de 18 de diciembre de 2006 sobre las competencias clave para el aprendizaje permanente (Diario Oficial de la Unión Europea L 394, de 30 de diciembre de 2006).
NOVEDAD
- Recomendación del Consejo de 22 de mayo de 2018 relativa a las competencias clave para el aprendizaje permanente (Diario Oficial de la Unión Europea C 189, de 4 de junio de 2018).
- Infografías del MEC (sintetizan la definición de cada competencia recogidas en la Orden anterior).

Además, se han ido publicando documentos donde se desarrollan marcos de referencia de competencias clave, algunos por niveles:

- Competencia en Comunicación Lingüística (materna y extranjera): Marco Común Europeo de Referencia para las Lenguas
- Competencia Digital: DigComp 2.1
- Aprender a Aprender: Learning to Learn: What is it and can it be measured?
 - Competencias sociales y cívicas: Framework for the Key Citizenship Competences
- Sentido de Iniciativa y Espíritu Emprendedor: EntreComp
- Conciencia y Expresiones Culturales: Cultural Awareness and Expression Handbook

En conclusión, al menos se debería conocer en profundidad, en qué consiste cada competencia, para pasar a...

2. Obtener evidencias de un aprendizaje competencial

Reconociendo las competencias, sabremos identificarlas en las realizaciones de nuestro alumnado. Salvo proyectos interdisciplinares, las competencias se trabajan a través de las asignaturas.

¿Qué aspectos son esenciales a mi juicio para trabajar competencias?
  • Enfoque de diseño (véase: http://revoluacion.blogspot.com.es/2017/05/cuatro-organizadores-para-hacer-mas.html.
  • Planteamiento de tareas auténticas y relevantes socialmente.
  • Secuenciación (ejercicios-actividades-tareas (UDIs), conocimientos-comprensión -transferencia (Wiggins y McTighe); mapas de progreso (Popham)).
  • Altas expectativas y motivación.
  • Participación, colaboración, cooperación, intercambio y experimentación.
  • Interacción y reflexión del equipo docente, sobre el aprendizaje y la enseñanza.
Remito también a la infografía que alinea los saberes de toda competencia con el tipo de evidencias:
  • Respuestas a preguntas cerradas / abiertas o construidas (por escrito u oralmente): elección múltiple, verdadero/falso, asociación, ordenación; rellenar huecos (frases o palabras), frases o párrafos, etiquetar un diagrama, tablas, ilustraciones, mapas conceptuales, diagramas de flujo.
  • Desempeños: presentación oral, baile, demostración en ciencias, habilidades atléticas, actuación teatral, debate, recital...
  • Productos: ensayo, trabajo de investigación o laboratorio, entrada o artículo de un blog, poema o canción, portfolio, exhibición artística, modelo, maqueta, proyecto de ciencias, vídeo, audio, hoja de cálculo, base de datos...
  • Procesos: toma de decisiones, proceso de descripción, análisis, creación, planificación, etc., un diario de aprendizaje, entrevista, conferencia, diálogos, participación en grupo...

Por tanto, toda actividad que planteemos, además de ser susceptible de ser evaluada, tendrá relación no sólo con nuestra asignatura y sus criterios de evaluación, sino también con las distintas competencias. Así, en la planificación de estas actividades estaría bien que registrásemos de algún modo con qué competencias se relaciona. Como las competencias son constructos complejos donde se dan conocimientos, destrezas y actitudes y valores, no siempre se va a cubrir con el planteamiento de una actividad el conjunto de saberes de una competencia, ni de todas las competencias.


Ejemplo de actividad de UDI: TAREA y una actividad de 2º ESO. 
Mora Domenech, L. (Coord.), Cortés Esteve, M.C., Marquina Pérez, J.L., Pérez García, M., Rodrigo Martínez, J. y Solaz Estelas, J. (2016).
TAREA
Estudio para analizar cuál es la utilización que hacen de los móviles nuestros alumnos y cuánto tiempo le dedican, comparando esto último con el tiempo que le dedican al estudio. Al mismo tiempo pretendemos que se reflexione sobre lo que significa la utilización incorrecta de las tecnologías.
ACTIVIDAD 5
Presentación de un informe de investigación 

Las competencias y los saberes de cada una de ellas que están presentes son (al menos):
CCLI
Diversidad del lenguaje y de la comunicación en función del contexto
Expresarse de forma escrita en múltiples modalidades, formatos y soportes
CMCT
Términos y conceptos matemáticos
Estadística
Representaciones matemáticas
Lenguaje científico
Usar datos y procesos científicos
Analizar gráficos y representaciones matemáticas
Interpretar y reflexionar sobre los resultados matemáticos
Respetar los datos y su veracidad
CAA
Estrategias de planificación de resolución de una tarea


3. Evaluar las competencias: enfoques auténticos

Con enfoque auténtico quiero señalar que el foco está puesto en el dominio de la competencia y que no intervienen artefactos como:
a) La inferencia que se realiza desde los criterios de las asignaturas (parte II de esta serie), y mucho menos,
b) la utilización de una fórmula matemática más o menos compleja (media ponderada generalmente) que a través de las calificaciones de las asignaturas permita obtener la "calificación" de las competencias clave. Posible mediante la relación que existe a nivel normativa entre criterios de evaluación de las asignaturas con las competencias clave.

Y en estos enfoques auténticos distingo dos:
  1. Evaluaciones externas regionales, nacionales o internacionales: generalmente se realizan mediante cuestionarios cognitivos en formato lápiz y papel o digital. Limitados a un tipo de saberes de las competencias clave (generalmente conocimientos y alguna destreza).
  2. Evaluación holística, más centrada en las posibilidades de un centro educativo. Abierta a todo tipo de saberes de la competencia, a los aspectos continuos y formativos de la evaluación e implementada en un período amplio de formación. Es holística porque, aún pudiendo ser descrita una competencia desde diferentes dimensiones, permite una valoración global de los múltiples desempeños demostrados por el alumno o la alumna a lo largo de un período formativo.
Es este tipo de evaluación al que me refiero en la entrada. Una propuesta válida para los centros educativos, que incluso algunos ya han comenzado a poner en marcha de una forma o de otra. Existen  dos caminos para desarrollar el sistema: el teórico y el empírico. En cualquier caso, se trata de definir niveles de desempeño de cada una de las competencias clave para un determinado nivel educativo (donde se necesiten): a saber, final de Ed. Primaria y cada uno de los niveles de la ESO. Muy parecidos a los que se establecen en evaluaciones de competencias como las pruebas PISA.

Fuente:  Marco teórico de lectura - PISA 2018 (Trad.: INEE)
El acercamiento teórico está reservado para expertos (docentes en activo, inspectores/as de Educación, asesores/as de formación) o administraciones. Por ejemplo, ya somos un grupo de personas las que estamos desarrollando a partir de los criterios de evaluación y contenidos, junto con la especificación y definición de cada competencia, estos niveles de desempeño para el final de la Educación Primaria. No es cuestión de contar aquí el proceso de elaboración, pero dejo como muestra una de las subdimensiones, de las cuatro que se han definido, de la competencia Conciencia y Expresiones Culturales (CEC):1a. Conocimiento de he

El acercamiento empírico, que es el que han puesto en funcionamiento algunos centros educativos, en los que he podido participar en algún momento de su proceso de formación, trata de definir estos niveles de desempeño por actividades o evidencias que se pueden observar a lo largo de un curso en el alumnado (productos, desempeños o procesos generalmente). Estas evidencias son evaluables por todo o parte del profesorado de un nivel determinado y están relacionadas con una competencia en concreto. Os pongo un ejemplo del IES Ramón Llull de Valencia, que ha definido así el portafolio (producto), entre otros aspectos, para valorar el nivel de desempeño de Aprender a Aprender.


Conclusión: un procedimiento de evaluación de dos vías

Claro, ahora está encajar todo esto en el proceso de enseñanza/aprendizaje.
Comenzamos demostrando, en la primera parte de esta serie, que las evaluación de competencias no es una cuestión que se haya solucionado administrativamente, que todo nuestro sistema educativo (promoción y titulación) giran en torno a las asignaturas y a la calificación numérica de éstas. Así, se relega la evaluación de las competencias clave casi a una cuestión puramente formal, sin peso alguno en la vida escolar y sin criterios de referencia (característica indispensable en la evaluación).
Los distintos enfoques, parte dos de la serie y esta parte, vienen a paliar estas deficiencias, a costa del esfuerzo del profesorado de los centros educativos, sustentados por equipos directivos proactivos.
Lo que sin duda va a ocurrir, si se quiere implementar este tipo de evaluación, es que se tendrá que evaluar por dos vías: asignaturas y competencias. Es lo que nos ha proporcionado este sistema educativo. La alternativa mejor, desde mi modo de ver es eliminar una de las dos vías y organizar el sistema educativo en torno a ella. ¿Cuál? Creo que todos podréis intuir por cuál apuesto...Cada uno/a de vosotros/as, que saque sus conclusiones.

Para finalizar, un diagrama (espero que autoexplicativo) del procedimiento a seguir, donde se aprecian estas dos vías de evaluación que actualmente coexisten en nuestro sistema educativo. Evidentemente, una con más tradición y peso que la otra:

Para saber más

Mora Domenech, L. (Coord.), Cortés Esteve, M.C., Marquina Pérez, J.L., Pérez García, M., Rodrigo Martínez, J. y Solaz Estelas, J. (2016). Unitats Didàctiques Integrades per a la Inclusió. Valencia: Generalitat Valenciana. Conselleria de Educación, Cultura y Deporte.
Suárez Rodríguez, J.M. y Jornet Meliá, J. (1989). Conceptualización del dominio educativo desde una perspectiva integradora en evaluación referida al criterio (ERC). Bordón, 41 (2), 237-276.


(editado, 13 de junio de 2018: Recomendación Europea sobre Competencias Clave 2018)



miércoles, 2 de mayo de 2018

¿Hay solución para la evaluación de las competencias clave? (II): el enfoque analítico

En la parte anterior a esta entrada se exponía el estado de la cuestión respecto de la evaluación de las competencias clave. Ahora, se pretende dar con algún enfoque que a mi juicio puede acercar a una solución, dejando a un lado los escollos administrativos o de sistema y aprovechando las sinergias del centro educativo. Todas estas soluciones están siendo probadas por algún centro educativo.

Enfoque analítico: guiado por la calificación

El procedimiento general consistiría en, desde la asignatura o interdisciplinarmente:
1. Escoger los criterios de evaluación que se van a trabajar en una tarea (proyecto u otro tipo de actividad similar, con un desempeño complejo), y dada su asociación con las competencias clave, determinar qué competencias se están trabajando (y posteriormente se evaluarán).
2. Se desarrolla la tarea, se propone una metodología, adaptaciones de las actividades o ejercicios que la componen...Se planifica la temporalización y se asignan los recursos necesarios.
3. Se planifica la evaluación de la tarea: procedimientos y estrategias y los instrumentos a utilizar.

Este procedimiento se ha usado mucho por los centros que han participado en el proyecto COMBAS del MEC (véase para más información sobre el proyecto: AA.VV. (2013). Guía para la formación en centros sobre las competencias básicasMadrid: Secretaría General Técnica. Centro de Publicaciones. Ministerio de Educación, Cultura y Deporte) o en las versiones de éste en algunas comunidades autónomas.

Todo gira en torno al área y sus criterios de evaluación, a través de una tarea que ahora sabemos conscientemente que trabaja ciertas competencias clave. El instrumento de evaluación proporcionará (como suele ser habitual) una calificación de esa tarea. Calificación que servirá a los propósitos de la asignatura: generalmente haciendo media (ponderada o no) con la calificación de otras tareas. Incluso en algunos casos se "califica", por diversos procedimientos, cada uno de los criterios de evaluación (o indicadores o estándares) asociados a la tarea evaluada. En otros casos, se reparte la "nota" de la tarea evaluada entre los distintos criterios asociados a la tarea (ponderados o no). De hecho, son acercamientos aún vigentes en muchos centros, para los que se han creado plataformas virtuales (por ejemplo Qe, en muchos centros concertados) que ahorran el trabajo que otros iniciaron en su momento con enormes hojas de cálculo.

Así, si se agrupan todos los criterios de evaluación de una competencia determinada, por ejemplo Competencia en Comunicación Lingüística, provenientes de distintas tareas evaluadas de distintas asignaturas, se puede obtener con una fórmula: la "nota" de la competencia. Así con todas ellas.

Valoración

Desde mi punto de vista este enfoque sigue sin asegurar una evaluación de competencias. Es cierto que el planteamiento de tareas integradas en las UDI (Unidades Didácticas Integradas, del proyecto COMBAS) sí asegura un trabajo de las competencias. En este sentido, ha sido un proyecto de calado en todo el Estado que ha transformado verdaderamente a muchos centros, sumergiéndolos en un proceso de innovación interesante con resultados excelentes en cuanto a otra manera de enseñar y de aprender. Sin embargo, a mi modo de ver, no acabó por perfilar del todo la cuestión de la evaluación. Con el enfoque de "calificación" de criterios de evaluación se sigue alejado del dominio de de las competencias, la parte más esencial para una evaluación válida. Además, la suma de distintas partes (criterios de evaluación), por muy sofisticado que sea el método de cálculo, no es el todo (la/s competencia/s). Y todo por poner a la evaluación al servicio de la calificación.  Nos dejamos deslumbrar de nuevo por el hecho de calificar. Hecho que es complementario a la evaluación, no sustantivo.

Ahora conocemos de dónde viene esta "moda" de calificar criterios de evaluación. Cosa que no ocurre en ningún país con una cultura de la evaluación asentada. Ni en las evaluaciones internacionales, donde se manejan cantidades ingentes de descriptores (el equivalente, para entendernos, a nuestros estándares de aprendizaje evaluables). Se ha creado un artificio para salvar la evaluación de las competencias clave, para que no resulte una suerte de "Euromillones" eso del consejo orientador o el Informe Final de la Educación Primaria. El intento está bien, pero ha agobiado y agobia a cantidad de docentes que tienen que calificar a un buen número de alumnos en un buen número de criterios de evaluación.

Quisiera plantear algunas preguntas para la reflexión, e invitar a los comentarios a este post: ¿tiene sentido proporcionar una "nota" a la competencia clave" cuando ni siquiera la norma lo indica así?, ¿tiene sentido dar cuenta de ella trimestralmente o incluso anualmente?, ¿realmente todos los criterios de evaluación están bien asociados con la/s competencias clave correspondientes?, ¿alguien lo ha comprobado con la descripción de la Recomendación europea de 2006, o de la Orden ECD/65/2015?, ¿el hecho de calificar criterios de evaluación asegura un trabajo realmente competencial en el aula?

En el siguiente post, tercera y última parte, apostaré por otro tipo de enfoque. Más holístico, alineado con las competencias clave y con las prácticas de aula si así se desea. Y por supuesto, alejado de la calificación, pero no de la evaluación. Habría un tercer enfoque, el utilizado por las evaluaciones nacionales e internacionales: pero este aspecto lo iré aportando en otras entradas referidas a la evaluación externa de los aprendizajes, cuando toque.

jueves, 1 de marzo de 2018

La guía definitiva para usar un instrumento de evaluación

Os propongo en esta infografía la guía definitiva para alinear los componentes de una competencia con evidencias de aprendizaje (y sus procesos) con unos instrumentos determinados. Es un modelo, y como todo modelo es una simplificación de la realidad compleja. Espero que os sea útil.

(editado el 2 de mayo de 2018)


lunes, 5 de febrero de 2018

¿Hay solución para la evaluación de las competencias clave? (I): el estado de la cuestión

En las diversas formaciones a las que asisto sobre evaluación siempre existe un problema de fondo. Ya no es tanto la cuestión más o menos técnica y compleja de la evaluación. Si no de, en el contexto del sistema educativo español, cómo  evaluar las competencias clave. La evaluación DE las competencias clave (con ese DE resaltado) es el foco de esta entrada. No entro a valorar, ni entiendo, lo de evaluación POR competencias o evaluación competencial; si es lo mismo o no. Lo planteado aquí, puede sugerir una solución o directamente llevar a la conclusión de que no la hay, no sin transformaciones profundas de nuestro sistema educativo.

Estado de la cuestión

Actualmente el relato es el siguiente:
En el plano normativo, el Gobierno de España traslada la recomendación europea sobre competencias clave a su legislación:
- LOE / LOMCE
- Reales Decretos de currículo en la enseñanza obligatoria
- Normativa específica sobre competencias clave Orden ECD/65/2015.

En esta legislación, se trasladan las mismas competencias que en Europa, salvo las dos primeras que se convierten en una: Competencia en Comunicación Lingüística, que integra las competencias clave de la recomendación europea:
- Comunicación en la lengua materna
- Comunicación en lenguas extranjeras


Con esta normativa, cada comunidad autónoma desarrolla sus propios decretos de currículo en la educación primaria y secundaria, y al respecto de las competencias clave (en la mayor parte, si no es en todas):
  • Se vincula dentro de cada área/asignatura, cada criterio de evaluación o estándar de aprendizaje evaluable a una o varias competencias. Esto da la posibilidad de elaborar los llamados "perfiles de competencia".
  • Se dan orientaciones metodológicas (no en todas las normativas autonómicas) para que desde cada área o asignatura se trabajen las siete competencias clave .
  • Se establecen documentos oficiales que incluyen a las competencias clave, en concreto para su evaluación: en educación primaria, el informe final de etapa, y en educación secundaria obligatoria el llamado Consejo Orientador, en cada uno de los niveles de esta etapa. También, siguiendo la normativa, la consideración de dichas competencias clave para la propuesta de graduación del alumnado proveniente de la Formación Profesional Básica.
Y es en este último punto, aunque no sea relevante el hecho de aparición de las competencias clave en estos documentos oficiales, donde más se ha liado la cuestión. Incluso aunque no sea sólo con vocación de rellenar papeles y casillas, como si se tratase del Euromillones, casi todo docente que tiene un primer y sucesivo encuentro con esta tarea de "evaluar" competencias clave, se puede preguntar:
- Qué son las competencias clave y qué elementos y estructura específica tienen cada una de ellas,
- qué contenidos, destrezas y actitudes están relacionadas realmente con mi área o asignatura,
- cómo evaluarlas, si la calificación y promoción gira en torno a las áreas/asignaturas, que son además las que estructuran la organización escolar,
- quién las evalúa, ¿todo el profesorado para cada alumno/a?, ¿su tutor/a?
- para qué sirve su evaluación.

No parece haber contestación que solucione en la práctica estas respuestas. Estaríamos pues, como ocurre ahora, ante un hecho burocrático sin solución práctica. Una situación donde existe un doble foco al respecto de la evaluación: a) el de las áreas/asignaturas, con su tradición, su reflejo en la organización escolar y sus efectos en la promoción y titulación.
b) el de las competencias, sin tradición, sin reflejo en la organización escolar y con efectos nulos en la promoción y titulación, al menos directa.

No hay color. Ya no es sólo una cuestión de no saber evaluarlas: ese no es el problema del profesorado. Más bien de un descrédito de partida en cuanto a la función que tienen las competencias clave ante el hecho de la evaluación en concreto y el educativo, en general. Descrédito al que no pocos docentes se resisten, a pesar de ser generalizado, intentando hacer que funcionen.

Para finalizar con esta primera parte de planteamientos iniciales me gustaría señalar otra cuestión que es previa a la evaluación. Casi todos los centros, representados por parte del profesorado, en las formaciones sobre evaluación, se plantean inicialmente: ¿cómo puedo evaluar esta competencia (aprender a aprender, conciencia y expresiones culturales...)?

Bien, antes de eso cabría preguntarse:
  1. ¿Conozco la competencia, de qué va? Sin este conocimiento, no puedo hacerla reconocible en el proceso de enseñanza/aprendizaje. Es el universo de medida, el dominio a evaluar (la medición como parte del proceso de evaluación).
  2. ¿Doy pie a que mi alumnado evidencie a través de las tareas, actividades y ejercicios esos aprendizajes? Esto puede ocurrir implícitamente, en el curso de actividades que no tienen que ver con la competencia o bien de forma intencional, explícitamente, con actividades relacionadas con la competencia.
En definitiva, y en lenguaje sencillo: saber de qué va y provocar que se dé en el escenario. Si sé qué "mirar" y dónde, cuándo y a quién "mirar", puedo empezar a plantearme la evaluación.

Para saber más

- Página del Ministerio de Educación, Cultura y Deporte sobre competencias clave e infografías.

- Valle, J y Manso, J. (2013). Competencias clave como tendencia de la política educativa supranacional de la Unión Europea. Revista de Educación, Extraordinario, pp. 12-33.



domingo, 14 de enero de 2018

Listas de cotejo o verificación

Seguimos con la serie de otro de los instrumentos utilizados para la evaluación del desempeño. Así vamos ampliando el repertorio para formas alternativas de evaluación. Espero que os guste y no olvidéis repasar las entradas dedicadas a las rúbricas (I) y (II).

Qué son las listas de cotejo o verificación


Una lista de cotejo es una herramienta que sirve para identificar la presencia o ausencia de conocimientos, destrezas o conductas.

Se caracterizan por una serie de ítems (criterios de desempeño), que expresan conductas o características, situadas generalmente en una columna. Mientras que en la otra columna están las casillas para tachar o marcar en un recuadro, o similar, los ítems completados.

(Este ejemplo es un producto que debía realizar el alumnado, una baraja tipo la de los Pokemon o similar, pero con poliedros y sus características)

Así, son instrumentos ideales para la evaluación del desempeño, como ya mostramos en su día, junto a los registros observacionales, las escalas de valoración y las rúbricas. Y dentro de este conjunto de instrumentos, son idóneos para desempeños (procesos o productos) que pueden identificarse mediante la observación de aspectos muy concretos y específicos, y que además se pueden valorar en términos de cumplimiento/no cumplimiento. Es decir, no admiten gradación en frecuencias, modo, intensidad... Podemos diferenciar desde el aspecto del procedimiento de evaluación, listas de cotejo para valorar desempeños que impliquen procesos, de aquellas que implican la valoración de características de productos. En el primer caso se necesita observar al alumnado (en directo o en diferido) y en el segundo no es necesario.

Diseño de listas de cotejo

Para el diseño de las listas de cotejo, muy similar al de las rúbricas, se pueden seguir los siguientes pasos:

Pasos previos

  1. Identificar los referentes normativos (criterios de evaluación (legislación española), metas de logro, indicadores de éxito, estándares, objetivos…).
  2. En paralelo al paso anterior, identificar el desempeño o producto que va a observarse e identificar que tipo de información va a observarse en este contexto: uso del lenguaje, hábitos de trabajo (en grupo o individual), estrategias de aprendizaje, de resolución, reacciones, actividades concretas, interacciones en clase…
  3. Es el momento de especificar otros aspectos de las condiciones de observación (evaluación): a quién observar:

a.     alumnos/as individualmente o grupos de alumnos
b.     durante cuánto tiempo y con qué frecuencia
c.      cuándo: durante actividades integradas (implícitas) de aprendizaje o en actividades explícitas de evaluación.
d.     necesidad de registro de la información (si no es un producto): audio, video, fotografía…

Diseño

  1. Con el contexto anterior claramente delimitado, especialmente de la actividad, debemos ponernos en situación y generar frases que expresen resultados específicos que va a mostrar el alumnado, que se puedan observar.
  2. Determinar o seleccionar aquellas, que son fácilmente observables, que relacionadas con los referentes normativos que se han seleccionado en el paso 1, e indiquen conductas de éxito. Las que no cumplan con estos requisitos, descartarlas.
  3. Con las seleccionadas cabría hacer una síntesis de aquellas que puedan expresar una misma conducta de diferente forma, o mantener sólo una de ellas; reformular a un lenguaje sencillo, específico, sin ambigüedades y relevantes.
  4. Pasarlo a un formato que sea útil en el contexto de la observación. Bien fichas individuales o grupales. Y con espacio para incluir otro tipo de observaciones.
Otros pasos incluirían su mejora como instrumento con cuestiones de validez y fiabilidad, de las que se hablará en general para instrumentos de este tipo, en otra entrada.

Características de las listas de cotejo

  • Los criterios o ítem de éxito deben basarse en resultados esperados.
  • Deben ser suficientemente cortas para mantener su practicidad
  • Tener las destrezas (ítems) agrupados en secciones lógicas o distribuidas siguiendo un proceso desde el principio hasta el final.
  • Resaltar las tareas relevantes
  • Estar escritas con un lenguaje claro, redacción detallada para minimizar el riesgo de malas interpretaciones
  • Dejar espacio para otra información importante, como los datos del estudiante, los del profesor, la calificación o resultado.

Contextos de uso de las listas de cotejo


Concretamente, como se ha señalado anteriormente, sirven para identificar que se han completado tareas clave en un procedimiento, proceso o actividad. Generalmente se evalúa la conducta o característica manifiesta, pero algunas de ellas pueden ser clave para inferir actitudes. También pueden ser utilizadas para evaluar habilidades de pensamiento de alto nivel.

Por tanto, van a ser muy útiles en la observación de actividades en las que las conductas que manifiesten los alumnos son claves para evaluar si se ha conseguido un determinado objetivo de aprendizaje, meta o indicador de logro, criterio de evaluación (en la legislación española)... Pueden ser utilizadas fundamentalmente en asignaturas como: educación física, educación artística o para evaluar destrezas o productos específicos de otras materias como matemáticas, lenguas o ciencias en menor medida.

Como ocurre con otros instrumentos de evaluación del desempeño, los alumnos pueden utilizarlas como guía para completar proyectos, procedimientos, productos…tanto en grupo como individualmente. También pueden utilizarlas para su propia evaluación (autoevaluación) sea un grupo o un individuo, o en la evaluación de pares (compañeros; coevaluación). Obviamente el profesorado puede utlizarlas tanto en la evaluación de estudiantes individualmente, como de grupos o el grupo-clase.

Algunas recomendaciones con alumnado
  • Si las van a utilizar como guías o como instrumento de autoevaluació o coevaluación, asegurarse de que comprenden los criterios (ítems).
  • Compartir nuestras observaciones con los estudiantes. Realizar observaciones específicas y describirles cómo poder mejorar en su proceso, demostrando o promoviendo determinados tipos de pensamiento, de destrezas, actitudes…
Algunas recomendaciones para el profesorado:
  • Analizar perfiles de desempeño a lo largo de varias sesiones utilizando la lista, o con diferentes clases, alumnos…Esto también ayudará a ver inconsistencias en nuestro lista de cotejo y mejorar su diseño.
  • Usar la información recopilada para modificar o mejorar el proceso de enseñanza (lecciones, instrucciones que damos, actividades que diseñamos…)

Calificación con listas de cotejo

Generalmente, desde el punto de vista sumativo, los ítems conseguidos o completados de una lista de cotejo se califican con un 1 y los no conseguidos con un 0. De esta forma, en una lista de cotejo con 10 ítems, si se han acertado 5, la puntuación obtenida será de 5 (sobre 10). Y así podríamos alinear esta puntuación con un sistema de calificación. En España, un 5 corresponde a un SUFICIENTE (aprobado) en una escala que va de 1 a 10 puntos.

Si el número de ítems no correspondiese a una escala reconocible en el sistema, siempre pueden realizarse las conversiones pertinentes. Por ejemplo, una lista con 15 ítems, en la que se aciertan 9 ítems, ¿cómo podría convertirse a una escala de 1 a 10? Pasamos de una escala de 0 a 15, a una de 1 a 10. La conversión que todos realizamos intuitivamente es siguiendo una regla de tres: si 15 es un 10, un 9 será x. En teoría: x= 10 x 9 /15 = 6. ¡Y listos! Pero esta operación es de todas todas incorrecta, en este caso. Gráficamente lo que ocurre es esto:



Por tanto la conversión a puntuación de la escala 1 al 10 se debe hacer primero estableciendo la constante con la otra escala, la de 0-15, siguiendo el ejemplo. Y el problema está en el origen, en un caso es 1 y en otro 0 (esto pasa mucho con las rúbricas). Por tanto la fórmula para establecer la constante, en casos donde el origen es distinto es:

Fórmula = Escala menor (valor máximo - valor mínimo) / Escala mayor (valor máximo - valor mínimo)

En nuestro ejemplo: (10-1) / (15-0) = 9 / 15 = 0,6

Y ya está. Un 0 en nuestra lista de cotejo sería un 1 en la escala de referencia (1 al 10), el origen, y la puntuación obtenida de 9 sería en la escala 1 a 10 como sigue:

1 (origen) + (9 x 0,6) = 6,4

Algo más de lo que habíamos obtenido al principio (un 6). ¡Que luego se promedia todo!
Si ambas escalas parten del mismo origen, con la regla de tres es suficiente. De hecho, la regla de tres establece en realidad una ratio.

Usos formativos de la evaluación, más allá de la calificación

Sin embargo, desde el punto de vista que defiendo siempre a lo largo de mis entradas, si algo tiene de valor la evaluación es que puede proporcionar tanto al alumnado y profesorado elementos de juicio sobre cómo y qué aprenden y cómo enseñan respectivamente, y hacia donde pueden ir encaminados sus siguientes pasos en un proceso de mejora continua. La calificación es una síntesis que generalmente no está alineada con una descripción homogénea de la competencia adquirida.
Así, las listas de cotejo pueden:
  • En un proceso con ítems secuenciados, en qué nivel del proceso se ha quedado un alumno/a (qué destrezas ha adquirido dentro de éste y cuáles le faltan para finalizar con éxito).
  • En un desempeño que implique destrezas de diferente dificultad, observar que se adquieren unas (las más sencillas) y no otras (las más complejas). Pueden ser de índole cognitiva, psicomotriz, afectivas…Si además las ordenamos en la lista, se verá claramente que la puntuación está alineada con la descripción que podemos hacer de la competencia.
  • En un desempeño con diferentes secciones o aspectos diferenciados, por ejemplo destrezas individuales y destrezas de trabajo cooperativo o participación…diferenciar de dónde proviene la calificación y dar información relevante sobre uno u otro aspecto.

Un ejemplo de destreza psicomotriz en un contexto de juego con pelota (Ed. Infantil). En este caso los ítems están ordenados de menor a mayor complejidad en la conducta psicomotriz (aproximadamente), que se puede manifestar en el juego observado:


Para saber más

British Columbia Institute of Technoloy (2010). Developing checklists and rating scale. Autor.
Brookhart, S. M. (1999). The Art and Science of Classroom Assessment: The Missing Part of Pedagogy. ASHE-ERIC Higher Education Report 27 (1).