En esta primera parte, más teórica, presentaré este instrumento y apuntaré a algunos de los aspectos más técnicos que pululan por ahí, sin pretender caer en algo que resulte demasiado pesado.
Y por supuesto: ¡Feliz Año 2019! No intentéis evaluar nada en el transcurso de la noche y siguientes días.
¿Qué es un cuestionario cognitivo?
Es un instrumento de evaluación que plantea preguntas (de respuesta cerrada o abierta) y que se refiere a aspectos del dominio cognitivo (conocimientos) de una determinada área, asignatura, materia o competencia. Los centrados en los aspectos de conocimiento de una determinada competencia suelen tener un contexto al cual se refieren estas preguntas, llamado frecuentemente estímulo.
Fuente: Agencia Andaluza de Evaluación Educativa - Competencia Lingüística
Visto así, los "exámenes" que se realizan en clase tienen este aspecto, de hecho no son muy diferentes al modelo de ejemplo. Y como se ha dicho, a pesar de su extensivo uso (abuso) en la evaluación del aprendizaje, son muy útiles para evaluar conocimientos.
Suelen tener el formato de prueba de lápiz y papel, pero cada vez más se está extendiendo el uso a formato digital por las grandes prestaciones que da al proceso de evaluación: control del tiempo, del proceso (intentos, errores...), evaluación de grupo (p.ej.: resolución de problemas conjunto) y también por su flexibilidad a la hora de distribuir el orden de las preguntas y el número a resolver de ellas en función de las respuestas previas (p. ej.: Tests Adaptativos Informatizados (TAI)).
Para diseñar cuestionarios cognitivos digitales
Aquí tienes una serie de enlaces con propuestas desde lo más simple a lo más complejo, algunas con posibilidad de generar diferentes tipos de ítems (incluso interactivos) o simples preguntas de opción múltiple. Sin duda hay muchas más plataformas...- Formularios de Google Docs
- Moodle (Cuestionarios)
- Hotpotatoes
- QuizBean
- QuizMeOnline
- GoConqr
- Gnowledge
- Quizlet
- QuestBase
- Tao Testing
Los cuestionarios cognitivos diseñados para las evaluaciones externas, de tipo estandarizado, reúnen una serie de características que aumentan considerablemente su validez y fiabilidad. Aspectos que pueden adoptarse en el diseño de los que hagamos en clase, o que se podrían considerar a la hora de revisar los "controles" que escogemos de las editoriales.
De todos estos aspectos: tipos de preguntas (cerradas o abiertas) y cuando utilizarlas, del sistema de puntuación, del establecimiento de puntos de corte (aprobado/suspenso; o distintos niveles), del feedback que proporcionan cuantitativo y cualitativo, de aspectos a revisar para su mejora desde el análisis de resultados, de si incluir estímulos o no... Se hablará en sucesivas entradas.
Un poco de teoría: Tests de Referencia Criterial (TRC)
Este tipo de cuestionarios cognitivos nacen como contraposición a los tests referidos a la norma (TRN), donde la puntuación de una persona se interpreta de acuerdo a su posición en una curva (la normal) de distribución de puntuaciones perteneciente a una población de referencia. Un ejemplo son los clásicos test estandarizados utilizados en la evaluación psicopedagógica (p.ej.: WISC).
De modo distinto, en los TRC la puntuación de una persona se interpreta respecto al dominio de aprendizaje que se evalúa, independientemente de la distribución de puntuaciones. Un ejemplo muy claro son los tests teóricos para obtener el permiso de conducir.
De modo distinto, en los TRC la puntuación de una persona se interpreta respecto al dominio de aprendizaje que se evalúa, independientemente de la distribución de puntuaciones. Un ejemplo muy claro son los tests teóricos para obtener el permiso de conducir.
En su construcción por lo tanto, las preguntas o ítems se basan en una competencia específica que se describe en componentes y descriptores (objetivos, indicadores...) y que constituyen el universo de medida: el dominio, que ha de estructurarse y especificarse como una de las primeras tareas de diseño. Ejemplos de cómo se especifica una determinada competencia los podéis encontrar en los marcos de la Evaluación General de Diagnóstico (o más recientemente Evaluación Individualizada) de España:
U otros organismos internacionales como la IEA, con un enfoque más curricular (TIMSS 2019 o PIRLS 2016) o la OCDE, en la evaluación de diversas competencias en el marco de PISA, por ejemplo: Marco de la Competencia Global 2018
En estas plataformas de dos editoriales puedes acceder también a casi todos los cuestionarios realizados desde 2006 hasta este año en diversas competencias:
- Anaya
Diferencia con los exámenes escritos
El cómo se construyen los diferencia (no en su apariencia) de los clásicos exámenes de clase, cuya construcción no está basada en objetivos sino en temas. Por ejemplo, del Tema 3: Los ecosistemas, se van extrayendo preguntas en función de la importancia que se otorgue a cada uno de los aspectos de este tema. Este enfoque impreciso en muchas ocasiones, no puede considerarse un enfoque referido al criterio, ni su interpretación puede darse muchas veces en términos de diferente calidad en el aprendizaje. Ni tampoco el criterio por el cual se decide si se aprueba o suspende el examen, que suele estar fijado en una puntuación de 5 sobre 10 (España) sin importar el nivel de competencia en el dominio para establecer este punto de corte. Además, un análisis más profundo de cualquiera de estas pruebas revelará que casi siempre se centran en un aspecto del dominio cognitivo: recordar o comprender hechos, conceptos o procedimientos, salvo algunas excepciones. Y la puntuación se interpreta como la cantidad de aspectos que se han recordado o resuelto.
Independientemente de si ese es nuestro propósito de la evaluación del aprendizaje: comprobar qué grado de recuerdo o comprensión sobre diferentes hechos, conceptos o procedimientos tenga nuestro alumnado, o se si quiere ir más allá, en un TRC se ha de pasar por un análisis del dominio de aprendizaje. El dominio de aprendizaje en el currículo vigente (para cada asignatura) está plasmado en los referentes de la evaluación: criterios de evaluación (en el currículo español), estándares, metas de logro... (en otros contextos) y en los contenidos. Y no todos ellos serán susceptibles de ser referentes para una evaluación que utilice como instrumento el cuestionario cognitivo. Una vez realizado el análisis y planificación, se pasaría a generar las preguntas o ítems, vinculándolas siempre a los criterios de evaluación o sus especificaciones.
Su planteamiento, muy extendido en las evaluaciones externas, se ha propuesto para pruebas de clase. Y su tradición se remonta a los años 60, con figuras dentro de la evaluación educativa como Robert Glaser, Ronald Hambleton, Thomas Haladyna, Ronald Berk, James Popham... por citar a algunos.
Para saber más:
- Chatterji, M. (2003). Designing and Using Tools for Educational Assessment. USA: Pearson Education Inc.
- Jornet, J. y Suárez, J. (1995). Evaluación referida al criterio, en García Hoz, V. (Cord). Tratado de Educación personalizada.Vol. Problemas y métodos de investigación en Educación Personalizada. Barcelona: Rialp.
- Jornet, J., Suárez, J., González Such, J. y Belloch, C. (1995). Estrategias de elaboración de pruebas criteriales en Educación Superior. UNED.
- Shrock, S. y Coscarelli, W. (2000). Criterior-Referenced Test Development. Silver Spring, MD: ISPI.- Jornet, J., Suárez, J., González Such, J. y Belloch, C. (1995). Estrategias de elaboración de pruebas criteriales en Educación Superior. UNED.
- Westgaard, O. (1999). Test that Work. San Franscisco, CA: Jossey-Bass/Pfeiffer.
