8 claves para la evaluación de la competencia lectora

En esta entrada vamos a revisar algunas de las claves para la evaluación de la competencia lectora. ¿Por qué es tan importante esta competencia? Porque su dominio determina el éxito escolar en cierto modo, es un buen predictor. No sólo es necesaria en el rendimiento en el ámbito lingüístico, sino que, en general, contribuye a un mejor capacidad para afrontar el acceso al conocimiento de otras materias.

Desde el ámbito de la psicología de la educación y la pedagogía, se han expuesto modelos sobre la comprensión lectora y qué otras capacidades y destrezas determinan una mayor o menor competencia en esta destreza lingüística. Aunque no es el objeto de esta entrada (ni de este blog), uno de los modelos que lo explican de forma sencilla es el Simple View of Reading de Gough y Tunmer (1986), donde la capacidad de lectura (comprensión) es fruto de la interacción entre la comprensión del lenguaje (comprensión oral) y la destreza de descodificación. Perfetti, Landi y Oakhill ahondan más exponiendo un modelo también muy interesante. En 2005 en la obra de compilación de Snowling y Hulme: The Science of Reading, describen una serie de capacidades cognitivas que entran en juego para determinar la competencia de comprensión lectora: el estándar de coherencia, la memoria de trabajo, la conciencia fonológica, el vocabulario, el conocimiento de estructuras textuales y también el conocimiento extra-lingüístico (p.ej.: conocer hechos, datos, principios...sobre el tema de un texto) entre otras.

Fuente: Perfetti (1999)

Tenéis todas estas referencias al final de la entrada, por si os interesa ahondar en la cuestión de la comprensión lectora.

Centrándonos en la cuestión de la evaluación, el modelo que se seguirá es el de PISA, aunque también recomendamos el marco de PIRLS de la IEA, quizá más adecuado para Ed. Primaria. Ambos modelos proponen una definición de competencia lectora y a partir de aquí definen el dominio de evaluación y consideran una serie de aspectos (tipos de textos y diferentes niveles de comprensión). Quizá lo que me interesa aquí señalar es que valorar esta competencia teniendo ciertas claves nos puede ayudar a determinar programas de intervención con nuestro alumnado con el objetivo de ayudarlos a mejorar y, en definitiva, a tener mayores posibilidades de éxito en su escolarización y en su vida. Aunque no sea para evaluar, seguir estas claves puede ayudarnos a plantear textos y preguntas sobre ellos que faciliten la intervención a distintos niveles y proponer un programa más personalizado para todo el alumnado.

Definición de competencia lectora

Según la OCDE en el marco de evaluación de la lectura (PISA 2018), la competencia lectora es:

...la comprensión, el uso, la evaluación, la reflexión y el compromiso con los textos con el fin de lograr objetivos propios, desarrollar el conocimiento y el potencial personal y participar en la sociedad.

A partir de aquí se establecen una serie de elementos a considerar para establecer claves en la evaluación:
- los procesos de la competencia sobre los que influyen los factores del texto, de las tareas demandadas y los del propio lector.
- los textos
- las actividades

Claves para la evaluación

1. Evaluar atendiendo a los procesos de lectura

Se pueden determinar cuatros grandes procesos en el procesamiento del texto, de menor a mayor complejidad cognitiva: 1) Fluidez lectora, 2) Localizar información, 3) Comprender y 4) evaluar y reflexionar. En cada uno de ellos se puede especificar aún más en subprocesos y de éstos en descriptores concretos que ayudarán a definir las actividades o ítems (preguntas) usadas en la evaluación, considerando el texto.

Fuente: OCDE (2018) Marco teórico de lectura. PISA 2018

2. Proporcionar textos variados

Se debería evaluar la comprensión lectora (o trabajarla) ofreciendo textos variados atendiendo a cuatro características:

- fuente: simple o múltiple

- organización y navegación: estático o dinámico

- formato: continuo, discontinuo o mixto

- tipología:  descripción, narración, exposición, argumentación, instrucción, interacción o transacción.

(están todos descritos en el marco teórico que se referencia al final del post).

3. Atender a criterios de calidad a la hora de seleccionar textos (estímulos)

Es una de las características que se comentaban en el post sobre Cuestionarios cognitivos (III): estímulos. Para el caso de los textos deberíamos atender, previamente a su selección para una evaluación, a:

1. Grado en el que refleja el mundo real.
2. Grado de adecuación cultural.
3. Grado de adecuación lingüística.
4. Grado de interés para el grupo diana.
5. Grado de dificultad.
6. Derechos legales (copyright, licencia libre de diversos tipos...).

En cuanto a la dificultad, los textos en sí mismos pueden plantear un nivel de dificultad debido a diversos aspectos del lenguaje. Aunque la tipología textual ya supone una dificultad al lector, básicamente por la frecuencia con la que se utilizan en el aula (por ejemplo, son más difíciles los textos discontinuos que los continuos porque se trabajan menos…Son más difíciles los textos argumentativos que los narrativos…) también lo son por las características del lenguaje: longitud (más cantidad de información), organización, vocabulario, tipología oracional, tiempo verbal, uso de recursos estilísticos…

Se puede realizar una aproximación a la dificultad textual mediante el uso de los índices de lecturabilidad. Uno de los más frecuentes es el Índice de Flesch o Flesch-Kincaid. Aunque la mayor parte de estos índices tiene en cuenta sólo el número de palabras, oraciones y sílabas, dejando de lado otros aspectos del lenguaje que deberán valorar los diseñadores de la evaluación, pueden ser una buena guía que nos oriente y permita la comparación entre diferentes textos. Hay adaptaciones como la que realizó Inés Barrio, fruto de su tesis doctoral: la escala INFLESZ, con el desarrollo consiguiente de una aplicación libre para PC (https://legibilidad.blogspot.com.es/2015/01/el-programa-inflesz.html). También se puede calcular desde páginas web que lo ofrecen gratuitamente junto a otros índices. En castellano recomendamos la página de Alejandro Muñoz Fernández (https://legible.es), es muy fácil de utilizar y da cuenta de múltiples índices, entre ellos la escala INFLESZ. Por ejemplo, esta entrada tiene un nivel normal en la mayor parte de índices, se necesitan 5.3 años de escolaridad para entenderlo (Crawford) y el tiempo estimado de lectura son 8,7 minutos.

4. Escoger textos utilizados para diferentes propósitos

Todos los textos pueden desarrollarse en una amplia variedad de situaciones. La situación se usa para definir los contextos y usos para los que el autor o autora ha elaborado el texto. La forma en la que la variable situación se especifica es sobre una supuesta audiencia y propósito, no se basa simplemente en el lugar donde la actividad de lectura se lleva a cabo o el fin para el que se lee.

El marco de PISA 2018 categoriza las situaciones usando una adaptación del Marco Común Europeo de Referencia desarrollado en el Consejo de Europa en 1996. Las situaciones son: personal, pública, laboral y educativa.

5. Aplicar técnicas de análisis de texto para generar buenas preguntas (o ítems)

Analizar bien el texto antes de lanzarnos a hacer preguntas nos va a posibilitar una mayor consistencia y validez de la evaluación. Supongo que existirán múltiples técnicas para realizar esto. Las que recomiendan o difunden los técnicos de la IEA para hacer las pruebas de PIRLS son:

• mapa de texto: es una estrategia que permite identificar los elementos esenciales de cualquier texto, independientemente de su tipología. Casi todos los textos, especialmente los narrativos o los informativos tienen unos elementos comunes: tema, hechos principales, personajes principales, contexto o características del lenguaje... Se suele aplicar para textos de ficción y textos de no-ficción, variando algún elemento de análisis.
• análisis estructural: las tipologías textuales de hecho se corresponden con una determinada estructura que además se puede especificar aún más. Veamos un ejemplo de una lectura utilizada en una evaluación de diagnóstico de la competencia lectora en la Comunitat Valenciana:

 6. Utilizar distintos formatos de preguntas (o ítems)

Véase la guía establecida en este post: Cuestionarios cognitivos (IV): ítems de respuesta cerrada y abierta.

7. Atender a la dificultad de la preguntas.

La interacción entre proceso, formato de pregunta y texto establece una dificultad con la que se puede ir jugando a la hora de diseñar la prueba. Se deberían aplicar las preguntas más sencillas al principio de la prueba de evaluación para ir aumentando su complejidad paulatinamente.

8. Establecer estándares o puntos de corte que describan diferentes niveles de habilidad

Esto solamente puede realizarse si las preguntas están asociadas a descriptores clasificados en diferentes niveles de habilidad y si estas preguntas realmente se han diseñado lo suficientemente bien como para captar la habilidad definida en el descriptor y no otra. En el informe español de PISA 2018 se ejemplifica bien lo que se quiere decir con esta figura:

Fuente: MEFP (2019). Informe PISA 2018. Informe español (versión preliminar)

Si se quiere asociar a una calificación escolar, como la utilizada en España (de 1 a 10), ya que el aprobado es un 5, esta calificación debería corresponder con el nivel de lectura mínimo que queremos esperar de nuestro alumnado y no al acierto de la mitad de preguntas de una prueba, independientemente de cuál sea su dificultad y del tipo de preguntas que se acierte. Así la calificación, significaría algo en términos de aprendizaje y realmente se acercaría a una "medida" de este aprendizaje.

PISA establece unos niveles de lectura descriptivos asociados a puntuación. Podríamos decir que la puntuación media, en torno a 500 puntos, se sitúa en el nivel 3. Esta sería la descripción de lo que es capaz de realizar un alumno/a medio al finalizar su escolarización obligatoria.

Después de la evaluación de PISA 2018 se han publicado nuevos niveles de lectura, más bien ampliando la descripción de cada uno de ellos. Igualmente, podemos obtener preguntas ejemplo de cada uno de los niveles que pueden sernos útiles a la hora de plantear una evaluación propia de la competencia lectora. Se pueden encontrar en las páginas 29 a 36 del Informe español de PISA 2018, citado al final del post.

Nota final

El marco teórico de lectura de PIRLS es también un buen punto de referencia para diseñar evaluaciones de la competencia lectora desde este enfoque. En la página del INEE podéis encontrar mucha información, entre ella el marco teórico de 2016, quizá más adecuada por los cursos de Educación Primaria.

Asimismo, muchas editoriales están publicando herramientas relacionadas con este tipo de evaluaciones, por ejemplo:

• Ed. Graó: Proves ACL para los tres ciclos de la Ed. Primaria
• Ed. ANAYA: Cuadernillos para la Competencia Lingüística (en realidad lectora) por nivel de Ed. Primaria.

Este tipo de evaluaciones realizadas por centros, individualmente o de una zona, están proporcionando un punto de referencia externo, salvando las dificultades de comparación de niveles competenciales que tienen las calificaciones escolares (p.ej.: ¿un 7 en lengua castellana de todo el alumnado de centros de una misma zona implica un mismo nivel competencial?). Esto está siendo importante a la hora de configurar grupos heterogéneos en el instituto de acogida de referencia de centros de Ed. Primaria, o también a la hora de establecer programas de intervención con niveles personalizados y de intensidad creciente...entre otras actuaciones.

 Para saber más

- Gough, P. B. y Tunmer, W.E. (1986). Decoding, Reading and Reading Disability. Remedial and Special Education, January 1
- MEFP (2019). Informe PISA 2018. Informe español (versión preliminar). Secretaría General Técnica: Madrid. pdf
- OCDE (2018). Marco teórico de lectura. PISA 2018 - (versión traducida). pdf 
- Perfetti, C.A. (1999). Comprehending written language. A blue print of the Re. In: Hagoort P., Brown C. (Eds.) Neurocognition of Language Processing. Oxford University Press, Oxford, pp. 167–208.

- Perfetti, C.A., Landi, N. y Oakhill, J. (2005). The Acquisition of Reading Comprehension. In Snowling, M. y Hulme, C. (Eds.) The Science of Reading: A Handbook, Blackwell Publishing, Chapter 13.

Cómo diseñar buenas preguntas en un cuestionario

En esta entrada me centraré en un instrumento que se suele utilizar para recoger información sobre el funcionamiento de programas que desarrollamos en nuestros centros educativos: el cuestionario. Generalmente son instrumentos que consiguen aportarnos información sobre aspectos de percepción del proceso o resultados de ese programa concreto. Y si nuestra evaluación está basada en indicadores, serán los llamados indicadores de percepción los que demanden de esta herramienta. Por ejemplo: Grado de satisfacción con el programa (de forma general), o un aspecto concreto de él.

Con ello, doy inicio a lo que posiblemente sea una serie de herramientas para la evaluación de programas, que constituyen el eje de la acción de los centros educativos y que muchas veces no se sabe muy cómo evaluar de forma más estructurada. En este caso, en la entrada mensual, me voy al final, a tener en cuenta unas claves para el diseño de un buen cuestionario.

Introducción

La redacción de las preguntas de un cuestionario es ciertamente más un arte que una ciencia, como señalan algunos expertos de la materia. La práctica en el diseño de cuestionarios es la que nos va a servir fundamentalmente para no repetir errores, a ir ganando paulatinamente en experiencia. Aún así, como arte, la inspiración juega un importante papel; también la cuidadosa revisión e intento de adecuación a una serie de reglas que se proporcionan en esta entrada.

Mi consejo es que la primera redacción se haga desatendiendo a las reglas, una vez determinado qué es lo que queremos evaluar (el dominio de la evaluación), la población/muestra, y el procedimiento. Realizada esta primera redacción, es hora de revisar la adecuación de cada pregunta a las reglas y en su caso introducir las modificaciones pertinentes. Este procedimiento permitirá, desde mi punto de vista, generar preguntas más rápidamente y de forma más creativa. Posteriormente, la fase de adecuación pondrá las cosas en su sitio. Aún así, debemos intentar realizar una fase de pilotaje o al menos una revisión por parte de expertos, que nos proporcionará información para obtener mayor validez a nuestros instrumentos.

Muchos de los ejemplos que se muestran en cada una de las reglas han sido extraídos y traducidos directamente de las fuentes citadas en el apartado "Para saber más". Espero que sean clarificadores.

En síntesis, se proporciona una tabla donde aparecen nombradas todas las reglas a tener en cuenta a la hora de redactar las preguntas de un cuestionario, así como una clasificación que está en función de aspectos referidos a los respondientes y su contexto o bien a aspectos de uso lingüístico general.

Reglas referidas a los respondientes y su contexto

1. Ajustar el vocabulario y la gramática a la población encuestada.
a. Para estudios en una organización o contexto específico es preferible utilizar la jerga usada en la misma.
b. Se ha de ser especialmente cuidadoso en el lenguaje que puede ser familiar para el diseñador del cuestionario, pero no para los que van a responderlo.
c. En contextos más generales, se debe evitar cualquier uso de expresiones coloquiales, étnicas o excesivamente técnicas.

2. Evitar cuestiones que vayan más allá de las capacidades del respondiente
a. Todas las personas tenemos en un sentido u otro limitaciones cognitivas, especialmente cuando se trata de recordar eventos pasados. Preguntar, por ejemplo, “cómo te sentías respecto a la relación con tus hermanos cuando tenías seis años” probablemente sea inútil.
b. No tiene sentido preguntar a las personas sobre cosas que no son modos habituales de pensamiento. Por ejemplo, “¿cuántos litros de gasolina utilizaste en tu coche en el último año?”.
c. Igualmente, y esto tiene mucho que ver con la recomendación 1, se deben evitar las preguntas con lenguaje sofisticado, incluso con población altamente formada:

¿Qué aspectos concretos del debate actual sobre positivismo/interpretativo te gustaría que se viesen reflejados en el curso de psicología del desarrollo?

3. No asumir que los respondientes son expertos sobre ellos mismos

¿Valorarías más a un profesor si contase más chistes en clase?

Esta pregunta asume que el estudiante es completamente consciente de todo lo que hace y por qué lo hace.

Mejor: ¿Cómo valorarías al profesor X? ; ¿Cuántas chistes suele contar el profesor X en clase?

4. Evitar preguntas embarazosas
Obviamente, en la media que evitemos preguntas que tienen qu ver con asuntos personales o privados mucho mejor, siempre que sea posible. Los datos que se obtienen tendrán más validez en la medida en que los respondientes confíen en lo que le proporcionan al evaluador. Si les hacemos sentir incómodos perderemos su confianza.

¿Has asistido alguna vez en tu carrera profesional a cualquiera de los cursos que se ofrecen?

Si tienes más de 40 años, y nunca has asistido a un curso, marca la casilla con la opción NUNCA y otra en la casilla MAYORES DE 40.

5. Evitar lenguaje emocional, sesgo de prestigio (deseabilidad social) y preguntas guiadas
a. Vigilar el uso de preguntas “cargadas” que están asociadas a situaciones extremas.

¿Qué debe hacerse con los terroristas asesinos que amenazan la libertad de los buenos ciudadanos y la seguridad de nuestros niños?

b. Evitar el sesgo de prestigio, que consiste en la tendencia de los respondientes a contestar de forma que se sientan bien. Las personas no mienten directamente, pero intentarán quedar bien consigo mismos. Ciertamente, este tipo de sesgo es difícil de evitar: se puede obtener datos de contraste de otras preguntas similares en sentido contrario o haciendo el cuestionario lo más privado posible.

La mayor parte de médicos señala que fumar cigarrillos causa enfermedades de pulmón en aquellos que están cerca de los fumadores. ¿Está de acuerdo?

Esta pregunta tendería a provocar un “sí” por respuesta, sencillamente porque las personas confían en los médicos.

Otro ejemplo similar:

¿Estás de acuerdo, como la mayor parte de la gente, que los servicios de salud fallan?

c. Similar al caso anterior, una pregunta guiada es la que fuerza o implica un cierto tipo de respuesta. Es fácil cometer este tipo de errores, no en la pregunta en sí, sino en las opciones de respuesta. Las preguntas de respuesta cerrada deberían proporcionar todo el rango de respuestas y distribuirse de forma equitativa en el rango, además de ser todas teóricamente probables.

¿Es este el mejor programa de CAD que has usado jamás? Sí / No

En este caso, aunque al respondiente le gustara mucho el programa, pero tuviese otro más preferido, estaría forzado a contestar “No”. Claramente, la respuesta negativa cubre un amplio rango de opiniones. Un conjunto de respuestas mejor sería:

1. Totalmente en desacuerdo … 5. Totalmente de acuerdo

6. Evitar premisas falsas
Este tipo de error se podría considerar del tipo de preguntas guiadas.

¿Qué es la cosa más importante que debemos hacer para parar el deterioro de la economía?

Esta pregunta asume que la economía va mal, se está deteriorando, con lo que el respondiente puede no estar de acuerdo.

Mejor: ¿Cuál es la cosa más importante que podría hacer el gobierno para fortalecer la economía?

7. Evitar preguntar sobre intenciones futuras (si se puede)
Preguntas o afirmaciones del estilo: “Si X va a ocurrir, ¿harías/pensarías/… Y? no tienen sentido ya que la conducta futura casi siempre está poco relacionada con una situación hipotética. Este tipo de preguntas fuerzan al respondiente a evidenciar pensamientos que quizá ni siquiera haya considerado. No producen datos consistentes y claros que representen una opinión real.

Reglas referidas a aspectos lingüísticos de uso general

8. Evitar ambigüedades, confusión y vaguedad.
Este es el aspecto que causa generalmente la mayor fuente de errores en los cuestionarios. La meta es eliminar la posibilidad de que la pregunta signifique cosas distintas a gente distinta.

a. Se debe asegurar que está absolutamente claro lo que se pregunta y cómo se quiere que se responda. Por ejemplo:

¿Cuáles son tus ingresos?

El respondiente no sabe si son semanales, mensuales o anuales, brutos o netos, familiares o individuales, este año o el año pasado, del salario o incluyendo dividendos, intereses,…

Mejor: ¿Cúales fueron tus ingresos netos por salario el mes pasado?

b. Se deben evitar abreviaturas que sean inecesarias. En todo caso, se puede indicar al principio del cuestionario la palabra y su abreviatura, indicando que en lo sucesivo se utilizará la misma.
c. Igualmente, evitar palabras indefinidas o categorías de respuesta en la propia pregunta.

¿Sales a correr regularmente?

Alguien que responda puede pensar qué significa “regularmente”. O para distintos encuestados “regular” puede significar distintas cosas además de no indicar exactamente frecuencia, si es lo queremos averiguar.

Otro ejemplo, al nivel de las respuestas, podría ser este, además se da un mejor ejemplo para la cuestión del ejemplo anterior:

¿Cada cuánto sales a correr?

1. Muy a menudo

2. A menudo

3. A veces

4. Raramente

5.  Nunca

Sería preferible proporcionar elecciones ya cuantificadas

Mejor

1. Cada día

2. De 2 a 6 veces por semana

3. Una vez por semana

4. Una vez al mes

5.  Nunca

9. Evitar preguntas dobles

En muchas ocasiones una pregunta esconde en realidad dos preguntas, generalmente en con el uso de la conjunción "y":

¿Crees que los españoles deberían comer menos y hacer más ejercicio?

Mejor:

¿Crees que los españoles deberían comer menos?

¿Crees que los españoles deberían hacer más ejercicio?

10. Evitar negativos y especialmente dobles negativos
a. Los negativos como “Los estudiantes no deberían realizar un examen obligatorio para graduarse” son generalmente difíciles de procesar por muchos respondientes, especialmente si están de acuerdo con el predicado, ya que así estarían en desacuerdo con no hacer algo, lo cual es bastante confuso.
b. Los negativos dobles como “No es buena idea no hacer los deberes a tiempo” conllevan a la obtención de datos bastante poco fiables, porque las personas no están seguras de si poner un “sí” o un “no” incluso si tienen claro que entregar los deberes a tiempo es una buena idea.

11. Fraseo
Muchos adjetivos, verbos y nombres pueden tener distintas connotaciones (positivas o negativas). Considera estas dos palabras pueril y aniñado, que virtualmente tiene prácticamente el mismo significado. Generalmente se prefiere aniñado, ya que pueril se refiere más a conductas que a aspecto físico, por ejemplo.
En otras ocasiones pueden existir verbos que no tienen ni un significado positivo o negativo. Veamos las siguientes dos preguntas:

1. ¿Estás de acuerdo con el plan de gobierno que se opone al desarrollo creciente de las costas?

2. ¿Estás de acuerdo con el plan de gobierno que apoya el desarrollo limitado de las costas?

La apreciación de diferencias es más sutil, ambas preguntas dicen la misma cosa, pero producen datos diferentes. Una está en sentido positivo y la otra en negativo. Es imposible predecir cómo van a variar los resultados, así que un método para controlar esto es ser consciente de las maneras diferentes de utilizar las palabras en las cuestiones y proporcionar una mezcla de ellas en el cuestionario. Si la muestra de participantes es muy grande, diversas versiones pueden prepararse para eliminar estos efectos.

12. Preguntar por información precisa
Pregunta dando la posibilidad de dar respuestas precisas y completas, especialmente si crees que la información les es accesible y no hay impedimentos claros. (p.ej.:siendo demasiado intrusivo en la vida privada).

Tienes…

 Menos de 18 años

 Entre 18 y 65 años

 Más de 65 años

Mejor:

Proporciona tu edad a fecha 1 de septiembre de 2011 (en años) 

En este ejemplo, aunque los grupos de edad fueran los que se necesitan para la investigación, preguntar por la edad exacta tiene las siguientes ventajas:
- Hay menos posibilidad de errores
- La edad exacta puede registrarse de forma sencilla, con un programa de ordenador, en forma de grupos.
- El investigador puede alterar dichos grupos manteniendo las edades exactas. Puede inspeccionar diferentes agrupamientos para ver cómo se asocian a diferentes variables.
- Se pueden obtener estadísticos descriptivos más potentes (media, desviación estándar,…)
- Con ayuda de un ordenador se pueden transformar incluso fechas de nacimiento en edades, en la medida en que tengamos la fecha exacta en la que se produjo la contestación al cuestionario.

Lógicamente presentar la información en grupos posee una ventaja clara, reduce el tiempo para completar la información o, en algunos casos, mejora la tasa de respuesta de una pregunta concreta.

13. Evitar en lo posible muchas preguntas de respuesta abierta.
Esta regla es especialmente importante en aquellos cuestionarios que ha de responder una persona sin ayuda, por sí mismos, únicamente con la ayuda de las instrucciones. En este tipo de cuestionarios es difícil redactar preguntas de respuesta abierta que obtengan información de forma consistente en distintos respondientes.
Adicionalmente, demandan más tiempo al encuestado, y por tanto fatigan mucho más que las respuestas de tipo cerrado.
El problema de la ambigüedad en las palabras es prácticamente ineludible. Una cuestión que a simple vista parece inofensiva, inocente, no lo es:

¿Tu hijo realiza las tareas escolares regularmente?

¿Qué significa, en este caso, “regularmente”?¿una vez al día?¿al año quizá?...

Otro ejemplo,
¿Cuántos alumnos hay en la escuela?

Alguien puede pensar: matriculados, otro sin embargo, matriculados pero no absentistas, o los que hay en el momento de contestar, sin contar con los que se han ido a un viaj de fin de curso, etc, etc.

La mayor parte de problemas que se dan en las preguntas que requieren una respuesta cerrada se dan de hecho en este tipo de preguntas. La diferencia estriba en que se ha de ser extremadamente preciso para obtener información del mismo tipo, libre en lo posible de muchas interpretaciones, a los respondientes.

Para saber más

- Cohen, L., Manion, L. y Morrison, K. (2007). Research Methods in Education (6th Ed.). London: Routledge Palmer.

- Crawford, I.M. (1997). Marketing Research and Information Systems. (Marketing and Agribusiness Texts - 4). Roma: FAO. URL: http://www.fao.org/docrep/w3241e/w3241e00.htm#Contents.

- O’Brien, D. Questionnaire Design. Georgia Tech College of Computing :: School of Computer Science.

- Principles of Questionnaire Construction. URL: http://www.analytictech.com/mb313/principl.htm.

- University of Leeds Information Systems Services. Guide to the design of questionnaires.

Escalas de valoración

¡Por fin! Ya puedo ponerme un rato a seguir con el blog. He hecho récord sin hacer una entrada. El inicio de curso y trimestre ha sido especialmente ajetreado y me ha alejado de estos lares, aunque he seguido aprendiendo y haciendo otras cosas. Entre las relacionadas con evaluación del aprendizaje: coordinando el curso del INTEF, Evaluación de competencias: estrategias e instrumentos, ya finalizado, y espero que bien valorado. Y también coordinando la publicación de Cuadernos de Pedagogía: Especial Evaluación, junto con el amigo Lucas Gortázar. Publicación que ha visto la luz este mes y donde podéis leer el artículo de REDE: Hacia un nuevo modelo de evaluación, responsabilidad y mejora educativa.

Ahora a lo que nos interesa: las escalas de valoración, entrada con la que finaliza el repaso por los instrumentos de evaluación más utilizados en la valoración de los aprendizajes que podéis encontrar en este blog.

Las escalas de valoración son un instrumento que se situaría entre una lista de cotejo y una rúbrica:

1. Mantiene los criterios de realización de forma explícita, al igual que las listas de cotejo.
2. Se establecen niveles de logro en una escala, siguiendo uno o varios criterios de graduación: frecuencia, intensidad, modo, autonomía..., como lo hacen las rúbricas.

Por tanto, a lo largo de la entrada se harán continuas referencias a los dos instrumentos anteriormente descritos.

Definición

Instrumento para valorar, en un rango definido, el grado de cumplimiento de tareas de desempeño, niveles de habilidad, procedimientos o procesos, cantidades o cualidades.

El tesauro de ERIC, las define como una forma de registrar la magnitud estimada de un rasgo o cualidad y nos remite a términos más concretos o específicos como las escalas Likert, las de diferencial semántico y las escalas de valoración de conductas. Sobre las dos primeras seguramente realizaré una entrada, aunque no suelen utilizarse en el aula para valorar aprendizajes o desempeños cayendo más bien en el campo de la valoración de actitudes.

Así, estas tareas de desempeño, niveles de habilidad... se valoran en un nivel concreto dentro de un rango de valores. Por lo tanto, son similares a las listas de cotejo excepto en que indican el grado de cumplimiento, en lugar de señalar si se cumple o no se cumple (sí/no).Dicho de otro modo, las escalas de valoración añaden un elemento más a la listas de cotejo, la escala por la cual se van a valorar los distintos criterios de desempeño (o realización). En este caso, los criterios de desempeño no pueden valorarse en términos de realiza/no realiza porque admiten grados en función de alguna cualidad.

Ejemplos:
- Frecuencia: siempre, casi siempre, a veces, nunca
- Autonomía: sin apoyos, con apoyos puntuales, con apoyos frecuentes...
- Cumplimiento: completamente, en parte, sin realizar...
...

A veces la escala simplemente permite puntuar el criterio de desempeño sin la guía la cualidad que se pretende observar, aunque no es aconsejable.
En otras ocasiones, puede darse el caso de que tengamos distintas cualidades a tener en cuenta: frecuencia, autonomía...en distintos criterios de realización. Debemos procurar redactar los criterios de realización para intentar manejar sólo una de estas cualidades y mantener la homogeneidad de la escala.
Cuando se trata de frecuencias, suele ser habitual señalar el rango de cada nivel. Por ejemplo, Escribe la receta atendiendo a las normas de ortografía (Ortografía): Siempre (0 a 5 faltas de ortografía); A veces (6 y 10 faltas de ortografía); Nunca (Más de 10 faltas de ortografía).

Estructura de una escala de valoración

En una escala de valoración los criterios de desempeño van en una columna y el rango de cumplimiento con palabras descriptivas, con o sin números, en otras columnas. Estas otras columnas forman la "escala" y como se ha comentado pueden indicar un rango de logro, de acuerdo, de frecuencia, de autonomía, de motivación... En muchas ocasiones los criterios de desempeño se sustituyen por atributos, pero solo es aconsejable si se tiene claro qué hay detrás de cada atributo, es decir, el criterio de desempeño.

Usos principales

En cuanto a sus usos principales las escalas de valoración son un instrumento que se alinea con las rúbricas y las escalas de valoración. Son una buena herramienta para evaluar desempeños y proporcionar feedback a los estudiantes sobre qué aspectos deben mejorar en función de un criterio o cualidad determinada.

También puede ser un excelente instrumento para que elaboren los propios estudiantes y que lo utilicen como herramienta de coevaluación y autoevaluación según lo requiera el caso. Últimamente se están desarrollando elementos visuales que facilitan esta labor y atractivo para el alumnado: dianas de evaluación, estrellas, likes, acelerómetros, semáforos, uso de emoticonos...son todo versiones de escalas de valoración.

Autor: Proyecto Aprender (CC BY-NC-SA)

Ojo con esto, porque cuando nos hablan de un instrumento nuevo (ocurre con las dianas especialmente) en realidad no nos están ofreciendo nada nuevo, son escalas de valoración que se visten para salir de fiesta, nada más. Independientemente de lo atractivo de éstas, en el fondo se ha de procurar que estén diseñadas de forma que lo importante, los criterios de desempeño, o en su defecto los atributos, estén bien alineados con el currículo y con el contexto de realización de la actividad.

(Esta entrada está extraída en parte del contenido del curso del INTEF: Evaluación de competencias: estrategias e instrumentos. Autor: Javier Cortés De las Heras)

¡Feliz verano! - 2019

Estamos llegando ya a la finalización de otro curso más. Aún queda alguna tarea por acabar, en mi caso. Pero básicamente informes, papeleos, planificación del curso que viene...Ya sin alumnado por aquí... la parte más rollo. Como dice nuestro querido alumnado, ¡qué pateo!

Al igual que el año pasado, os quiero dar las gracias por continuar leyendo el blog, por enviar comentarios, por valorar este trabajo. Este año ha sido muy intenso y quizá he sido algo menos regular con las entradas, que básicamente se han centrado en cuestionarios cognitivos. Aunque también ha sido el curso en el que más visitas ha recibido este blog. Quizá porque lo recomiendo en los cursos que imparto a otros centros y compañeros, que este curso han sido unos cuantos. Y claro, me hacen caso (¡qué majos/as!). En definitiva, la valoración que hago es positiva.

¿Qué nos deparará el curso que viene respecto a la Revoluación? Pues se plantea intenso. Al respecto de las entradas que voy a continuar ofreciendo, quizá algunos de los aspectos en los que me centre sea en análisis más concienzudos sobre el uso de la calificación, resultados de distintas evaluaciones internacionales, marcos teóricos de evaluación, como el de lectura de PISA...y alguna que otra conclusión de las que estamos trabajando en Red por el Diálogo Educativo (REDE), cuando sean públicas. Aunque también me gustaría ir ofreciendo poco a poco más recursos, entre ellos tengo un proyecto pendiente sobre evaluación de competencias clave.

Os dejo por aquí un enlace al blog de Asociación Educación Abierta. En la Jornada que organizó esta asociación el día 11 de mayo, con el título "Lo que PISA no ve" tuve el honor y el placer de hacer una pequeña intervención al respecto de la evaluación del aprendizaje. Y aquí tenéis el vídeo:

Por último, pero no menos importante, también estaré desde septiembre coordinando un curso del INTEF sobre evaluación de competencias clave, junto con otros compañeros/as que realizarán la tutoría. Aquí tenéis el tag de Twitter para cuando comience: #EvalComp_INTEF. Y un artículo donde se explica el contenido del curso.

Sed felices, descansad y disfrutad al máximo de lo esencial (que no es la evaluación). Nos vemos en el curso que viene.

Cuestionarios cognitivos (IV): ítems de respuesta cerrada y abierta

Para empezar, quien dice ítem dice pregunta. En esta entrada vamos a dedicarnos a describir los formatos de ítems que se pueden utilizar en un cuestionario cognitivo. Los formatos de respuesta cerrada han ido desapareciendo de nuestros cuestionarios de clase  (especialmente los de elección múltiple) quizá porque se han ganado una mala fama, injustificada en muchos casos dados los tipos de ítems de respuesta abierta que aparecen habitualmente:

Pregunta de respuesta abierta corta de un cuestionario de CC. Sociales 6º Ed. Primaria - Ed. SM

¿Qué aspecto del aprendizaje se persigue evaluar con este tipo de ítems del ejemplo?, ¿qué proceso cognitivo está implicado fundamentalmente? ¿Qué diferencia habría entre escribir el concepto o seleccionarlo de una lista?

Qué es un ítem

El ítem es la unidad mínima de medida de una prueba.

En una unidad de evaluación pueden presentarse ítems de distinta tipología, pero todos ellos están vinculados a un estímulo, un contexto determinado. En otras pruebas, los ítems no dependen de un estímulo concreto, como ocurre en la mayor parte de cuestionarios de clase.

Los hay de repuesta cerrada y de respuesta abierta. En algunas clasificaciones a los ítems de respuesta abierta se les denomina ítems de respuesta construida. Y existiría entre medio de los de respuesta cerrada y construida, los de respuesta semi-construida. A todos los efectos:

- Ítem de respuesta cerrada: se proporcionan las respuestas al alumno/a (que se tendrá que seleccionar, asociar, ordenar, colocar en un espacio...).

- Ítem de respuesta abierta: las respuestas las ha de proporcionar el alumno/a, sean cortas (una palabra o frase, un dibujo sencillo, gráfico, la resolución de una operación, colorear un área pequeña...) o largas (párrafos, textos, desarrollo de operaciones complejas o problemas).

Reglas a seguir en la escritura de ítems (de cualquier tipología)

La escritura de un ítem y su inclusión dentro del conjunto del cuestionario debe permitir la medida del rendimiento de los alumnos en la competencia evaluada.  Crear un ítem de forma aislada puede ser relativamente sencillo. Crear un conjunto de ítems que se adapte a los aprendizajes que queremos evaluar (determinados en criterios de evaluación, indicadores de logro o descriptores) y además en un número elevado, ya no es tan sencillo. A esto se añade la posibilidad de utilizar estímulos, con lo que se complica la redacción, ya que hay que hacerla en un determinado contexto.

En definitiva, para construir un ítem debemos tener, al menos:

• Conocimiento en profundidad de los contenidos de la competencia o materia a evaluar.
• Conocimiento de los aspectos concretos de los procesos cognitivos que se evalúan.

Estos dos puntos son los que definen la tabla de especificaciones de un cuestionario y por tanto es el elemento de partida para comenzar la creación y construcción de preguntas de manera organizada. Ejemplos de tablas (o matrices) de especificaciones y de cómo un ítem responde a la evaluación de un determinado aspecto los podéis encontrar en cualquier marco de evaluación. Por ejemplo:

- Marco de evaluación final de Educación Primaria (MECD)

En cuanto a las sugerencias generales:

Los ítems son independientes unos de otros, la resolución de uno de ellos no ha de influir en la de otro.
El objetivo de un ítem es obtener una conducta observable y claramente interpretable (debe ser capaz de discriminar). De la respuesta que proporciona un alumno/a debe poder inferirse, con un grado suficiente de fiabilidad y validez, un nivel de dominio de la competencia.

1. Cada ítem debe ser diseñado para evaluar sólo el resultado seleccionado del dominio y por tanto debe de servir para provocar las ejecuciones deseadas.
2. Cada ítem debería referirse a una sola cuestión o concepto con una respuesta correcta clara o mejor opción.
3. Los ítems no deben proporcionar pistas a la persona que contesta.
4. En cuanto a su redacción, deben ser claros y sintéticos, formulados en forma de pregunta (a ser posible) y siempre en positivo, evitando la negación y mucho más la doble negación.  Han de incluir contenidos importantes o significativos.
5. Es muy importante también situar toda la información de un mismo ítem en una misma página, fácilmente abarcable con la mirada.
6. En cuanto a su resolución se debe procurar minimizar el tiempo que el alumno necesita para su lectura y comprensión.

El objetivo principal de todo esto es evitar añadir a cada ítem dificultad irrelevante que lo aleje del propósito para el que ha sido creado, la evaluación de un aspecto del dominio de aprendizaje. Así que todos estos aspectos deberían tenerse en cuenta en una posible revisión del cuestionario.

Volviendo a cómo se encabezaba esta entrada, es muy habitual rehuir de los ítems de respuesta cerrada y utilizar todos los ítems de respuesta abierta. Sin embargo, no es lo recomendable cuando lo que se quiere evaluar es la recuperación (identificación, clasificación, reconocimiento...) de conocimientos (especialmente de hechos o conceptos), básicamente porque van a proporcionar mayor ventaja tanto al alumnado (en su respuesta) como al profesorado (en su corrección) sin restar un ápice de validez para lo que se pretende evaluar. Obviamente, los ítems de respuesta cerrada son más complejos de diseñar que los de respuesta abierta, porque incluyen (además de la pregunta (o tronco)) las alternativas de respuesta. Se aportará una entrada sobre las reglas de generación de ítems, sus ventajas e inconvenientes más adelante.

Formatos y usos más habituales de ítems

Puedes descargar la infografía que aparece a continuación. Cada tipología tiene unas reglas de generación (diseño) propias, y unas ventajas e inconvenientes. De las más señaladas como ventajas de los ítems de respuesta corta es la facilidad en su corrección, y de los de respuesta larga la posibilidad de valorar conocimientos y aspectos cognitivos más complejos (aplicar, analizar, evaluar y crear).

Cuestionarios cognitivos (III): Estímulos

En esta tercera parte vamos a abordar el asunto de los estímulos en cuestionarios cognitivos. Ya se ha indicado en anteriores entradas referidas a este instrumento de evaluación que su aparición ha sido más frecuente en cuestionarios sobre evaluación de competencias clave en las evaluaciones de diagnóstico (LOE) y las individualizadas (LOMCE), todas ellas de carácter externo.

Sin embargo, el uso de este tipo de elementos en los cuestionarios de clase no es tan habitual. Generalmente, en los cuestionarios que se usan en clase, cada pregunta presenta en su enunciado la información necesaria para responder, e independiente del resto de preguntas. Esta información, a menudo, está desprovista de un contexto de aplicación de los conocimientos demandados.

Fuente: Extracto de preguntas de una prueba de Matemáticas 6º Ed. Primaria (ANAYA)

Entonces...

¿Qué hace que un cuestionario de este tipo evalúe una competencia?

O bien que el dominio de evaluación sea una competencia o, en el caso de no serlo, que se refiera a una asignatura, presentando los conocimientos a evaluar en un contexto de aplicación.

Recordemos que una competencia se define por el conjunto de conocimientos, destrezas y actitudes que se aplican de manera efectiva en un contexto determinado.

Estos contextos pueden ser: personales, académicos / laborales, sociales; personales, locales, nacionales, globales... Y se concretan en situaciones (problema) mediante los llamados estímulos. Dicho de otra manera, un estímulo es una pieza de información referida a un contexto o situación, utilizada en los cuestionarios cognitivos para evaluar unos conocimientos.

Los reactivos (ítems / preguntas) se ponen en relación con este estímulo (que representa un contexto) para movilizar conocimientos (factuales, conceptuales, procedimentales y metacognitivos) y en menor medida destrezas, de manera eficiente.

Materiales para generar estímulos

La verdad es que toda información que nos rodee que sirva para evidenciar un tipo de conocimiento en nuestro alumnado mediante la respuesta a preguntas que hagamos sobre esa información, es susceptible de convertirse en estímulo. Aquí va una lista:

• Noticias, artículos – en papel o en Internet.
• Compras, incluyendo anuncios.
• Objetos reales y su embalaje – comida, bebidas, ingredientes, materiales, jardín, hogar, medicinas, productos de limpieza, etc.
• Cocina y comida – recetas.
• Panfletos y octavillas
• Mapas y guías.
• Información financiera.
• Información sobre edificios, jardines, campos de deporte, parques, etc.
• Información sobre vacaciones y viajes.
• Materiales de trabajo, si se ve apropiado.
• Una foto con texto al pie.
• ...

Muchos de estos estímulos tendrán que modificarse para hacerlos asequibles a nuestro alumnado. Por ejemplo, si cogemos una factura de la luz tal cual es en el mundo real, quizá haya que escanearla y editarla: eliminado toda información que excede a las competencias a evaluar, quitando la publicidad y datos personales, agrandando alguna tipografía o destacándola, etc.

En la evaluación de la competencia lectora (o comprensión lectora) el estímulo es un texto, que se refiere a un contexto determinado y que puede clasificarse según su fuente, organización, formato o tipología textual. Sobre ellos y las estrategias para generar preguntas a partir de ellos se hará una entrada especial.

Criterios básicos para seleccionar un buen estímulo

• Que sea rico en los matices que proporciona la información que contiene, e interesante. Evitar temáticas que no generen demasiado interés y que puedan llegar a aburrir.
• Que presente un reto óptimo a los estudiantes, ni demasiado difícil ni demasiado fácil para el nivel al que va dirigido. No ha de plantear retos artificiales o añadidos, que lo harían más difícil de comprender. Se debe cuidar especialmente la cantidad de información que contiene, sobre todo en niveles educativos inferiores, que puede sobrecargar la tarea cognitiva más importante: contestar a las preguntas planteadas sobre él.
• Que ofrezca la oportunidad de realizar preguntas sobre el conocimiento a evaluar. 
• Que sea accesible y equitativo atendiendo a posibles diferencias en los alumnos. Por supuesto, no se ha de utilizar algo que sea potencialmente ofensivo o que pueda molestar o discriminar.

Una advertencia final, antes de exponer algún ejemplo de estímulos. No evaluar conocimientos con este tipo de estrategia si antes en las actividades de clase el enfoque no es este. Recordad que lo importante en evaluación no es ser más o menos "moderno", "guay", si no más bien ser coherente con la metodología de enseñanza y el currículo de referencia (véase esta entrada: El papel de la evaluación en la taxonomía de Bloom (II)).

Ejemplos

PISA - Competencia Matemática

(OCDE)

PISA - Competencia Científica (estímulo digital interactivo)

(OCDE)

Evaluación de Diagnóstico 2011-12 - Conciencia y Expresión Cultural 4º Ed. Primaria

(Junta de Andalucía)

Evaluación de Diagnóstico 2010 - Competencias Sociales y Cívicas 

(Gobierno del País Vasco)

Aclarando conceptos de evaluación: pruebas, instrumentos, técnicas y procedimientos.

Después de tener una conversación con una compañera del instituto me ha venido la inspiración. Cuántas veces nos preguntamos si esto o aquello es un instrumento de evaluación o no: ¿un portafolio, un diario de aprendizaje... son instrumentos de evaluación?¿Y la autoevaluación o coevaluación?¿Las dianas de evaluación conforman un instrumento de evaluación diferente de otros, con categoría plena?

Hay un "cacao" auténtico en este tema, incluso en autores reconocidos dentro del campo de la educación. Y aquí esta sencilla entrada para intentar aclarar algunas cosas al respecto (desde mi punto de vista, claro). No es que las definiciones con sus ejemplos vayan a cambiar las prácticas docentes. Incluso algunos/as podéis pensar que -¡qué más da como se nombre o lo que sea, con saber cuándo y cómo quiero utilizarlo-. Y en parte se tiene razón, pero ¿qué pasa cuando nos piden que definamos alguna cuestión de éstas en una oposición, entrevista de trabajo, en una charla dirigida a o entre compañeros...? Así que, espero que estas definiciones os ayuden un poco en vuestro buen hacer docente.

Antes de empezar

¿Cómo se debería proceder con las definiciones de los conceptos que voy a proporcionar con sus ejemplos?
1. Leed y comprended la definición
2. Leed los ejemplos y comprobar que se ajustan a la categoría en la que están incluidos y no en otra (definida o no).
3. Para validar la definición, buscad más ejemplos o contraejemplos. En este último caso habrá que redefinir el concepto.

Por tanto, si tenéis:

• contraejemplos que hagan repensar la definición o,
• ejemplos que completen a lo que hay expuesto o,
• matizaciones a las definiciones 

Por favor, aportadlos en los comentarios a la entrada. Prometo actualizarla en cuanto haya suficientes. Y si no hay, quedará como está.

Métodos de evaluación - cómo evaluamos

Conjunto de pasos (procedimiento objetivos o subjetivo) con sus estrategias y técnicas, que usa el docente (evaluador) para someter al estudiante (evaluado) a una prueba y así valorar el grado de consecución del aprendizaje con uno o varios instrumentos de evaluación.

De forma genérica se pueden distinguir:

• Métodos de observación
• Métodos de encuesta
• Métodos de entrevista
• Administración de pruebas
• Autoinformes

Pruebas de evaluación (evidencias) - qué evaluamos

Retos o situaciones en las que se demanda a un estudiante (evaluado) que realice una acción (o conjunto de ellas) con el objeto de evaluar sus conocimientos, destrezas y/o actitudes.

• Respuestas a preguntas cerradas / abiertas o construidas (por escrito, oralmente, digitalmente): elección múltiple, verdadero/falso, asociación, ordenación; rellenar huecos (frases o palabras), frases o párrafos, etiquetar un diagrama, tablas, ilustraciones, mapas conceptuales, diagramas de flujo.
• Desempeños: presentación oral, baile, demostración en ciencias, habilidades atléticas, actuación teatral, debate, recital...
• Productos: ensayo, trabajo de investigación o laboratorio, entrada o artículo de un blog, poema o canción, portfolio, exhibición artística, modelo, maqueta, proyecto de ciencias, vídeo, audio, hoja de cálculo, base de datos...
• Procesos: toma de decisiones, proceso de descripción, análisis, creación, planificación, etc., un diario de aprendizaje, entrevista, conferencia, diálogos, participación en grupo…

Instrumentos de evaluación - con qué evaluamos

Herramientas que permiten establecer una valoración sobre el grado de consecución de los aprendizajes (cualitativa – cuantitativa).

• Cuestionarios (cognitivos)
• Escalas actitudinales
• Listas de cotejo o comprobación
• Escalas de valoración y sus variantes creativas (p. ej.: diana de evaluación)
• Rúbricas (analíticas y holísticas)