Cómo plantear la evaluación en un contexto virtual (II): análisis de documento de la conferencia sectorial de educación

Y aquí me descuelgo con la segunda parte prometida. Hace unos días, el 15 de abril, se hicieron públicas medidas más concretas para el ámbito educativo por parte de la Conferencia Sectorial de Educación (CSE). Y como es de esperar, las reacciones en diferentes foros han sido diferentes, también por parte del colectivo de docentes, ante las propuestas: desde su absoluta aprobación hasta su rechazo más rotundo. Quizá en España se haya tardado algo más que en otros países como Francia o Italia, pero creo que vale la pena ir avanzando, sin precipitarse, ante estas decisiones.

El documento toca muchos aspectos y de casi todas las enseñanzas no universitarias de régimen general (obligatorias y no obligatorias) y de régimen especial (como las enseñanzas artísticas y deportivas). Me centraré especialmente en las primeras, y dentro de estas, más en las obligatorias, aunque también especificaré alguna cosa más de las no obligatorias (Bachillerato y Formación Profesional). De los aspectos tratados, el que más me interesa es el de la evaluación y sus consecuencias, aunque ligado también a sobre qué se va evaluar (currículo y tareas de aprendizaje). No voy a citar todo el texto continuamente, para eso dejo el link al documento; sino más bien voy a entresacar la información, la voy a ordenar por una serie de temas comentados y realizaré la propuesta correspondiente si viene al caso. Perdonad si hay algún sesgo en la información seleccionada, procuraré que no, la mayor parte síntesis de lo escrito en el documento de la CSE aunque reorganizado. Aviso, es mi propuesta, mi opinión después del análisis. Ni la mejor, seguramente, ni la peor.

Disipando la confusión

Después de la comparecencia de la Ministra de Educación y del Secretario General de Educación, hemos leído y escuchado en distintos medios que España da el aprobado general. Por ejemplo:

- La Vanguardia (15/04/2020): aquí, para luego al día siguiente desdecirse (16/04/2020): “Por qué no es un aprobado general”.

- El País (15/04/2020): aquí, aunque previamente ya se preparaba el terreno: (14/04/2020): "La mayoría de profesores españoles rechaza el aprobado general".

He escogido dos periódicos al azar…los primeros de la búsqueda. En definitiva, en casi todos los medios sean formales o informales, no sólo aparece la cuestión del aprobado, también se suma al carro: “notas”, “promoción”, “repetición”, “evaluación”… Un galimatías que lleva a la confusión que como de costumbre se nos tiene acostumbrados; es el mejor caldo de cultivo para alentar a las masas que no quieren leer (aunque realmente todo esta ahí, blanco sobre negro), y prefieren ejercer el “cuñadismo”, en este caso pedagógico. Ya se sabe que para ser “cuñado” no hace falta ejercer la profesión de la que se habla, y si es sobre educación, ni te cuento.

Pues efectivamente, todos estos términos citados en torno al hecho de la evaluación, no son lo mismo. Voy a exponer aquí un diagrama sencillo, y posteriormente organizaré el análisis del documento de la CSE de acuerdo a cada uno de los elementos visualizados.

Como se aprecia en la imagen, aprobar o suspender no es lo mismo que promocionar o no promocionar. Las “notas” o calificaciones, condicionan a su vez el que una asignatura se supere o no; y éstas a su vez dependen de procedimientos numéricos (no voy a entrar en este tema) que al menos suelen estar explicitados en la programación didáctica, en los llamados criterios de calificación (cuya forma y contenido no es prescriptivo). Sí es prescriptiva la escala de calificación que se utiliza para calificar a una asignatura (de 1 a 10). Cuando se habla de evaluación sin más, queda indefinida la cuestión: no sabemos si se refiere a sus instrumentos y procedimientos, al hecho de calificar y las calificaciones y sus consecuencias: aprobar/suspender, promocionar/repetir. O a una cuestión más general de lo que se entiende por evaluación en su conjunto.

Desgrano las propuestas de la Conferencia Sectorial de Educación (CSE), generales y específicas por etapa, señalando lo indefinido o general y haciendo la propuesta pertinente, a quien interese.

Consideraciones generales

Una de las cuestiones que aparece en el texto es que las administraciones educativas harán las adaptaciones que resulten necesarias de la normativa actual. Esto me parece fundamental para proteger al propio sistema: a todos, ajustándonos a normas que no queden al albur de la interpretación de familias, centros o profesorado; máxime las que tienen consecuencias en la vida de las personas: repetir o no, titular o no, aprobar o suspender, las calificaciones (cuentan en algunos procesos de admisión a otras etapas), hincharnos a hacer “deberes” o no… Además el propio documento de la CSE incluye que las administraciones educativas establecerán los marcos generales para: adaptar el currículo, la metodología didáctica y la evaluación.

Propuesta 0: Establecer la normativa necesaria sobre los aspectos mencionados en el CSE y especificar aquellos aspectos que protejan a familias, profesorado y equipos directivos, especialmente los que tienen consecuencia sobre la promoción / titulación, no dejándolos a criterio de cada centro.

El documento también es interesante en cuanto a propuestas en torno a:

1. Planes específicos de recuperación del vínculo escolar (alumnado desconectado, no localizable o con carencia de medios digitales).
2. Herramientas y programas de formación adecuados para el alumnado.
3. Adaptación del modelo de tutorías (organización, autorregulación y bienestar emocional).
4. Acciones de orientación académica y profesional (4ºESO, 2º Bach. y grados de FP)
5. Adaptaciones de acceso a alumnado con necesidades ed. Especiales y en general al alumnado con necesidades específicas de apoyo educativo.
6. Recursos formativos y medios de apoyo para la labor docente.

Evidencias de aprendizaje: “tareas escolares”, competencias y aprendizajes esenciales

La Conferencia Sectorial de Educación especifica que se propongan en este período, actividades, a distancia o presenciales (que se puedan llevar a cabo) que:

• Permitan el aprendizaje continuo y susciten interés por aprender.
• estén adaptadas a su edad y características y a la situación excepcional,
• sean globalizadoras, interdisciplinares y tutorizadas.

Previamente o como condición, la administración educativa, los centros y el profesorado deberá revisar los currículos y programaciones didácticas, renunciando a los propósitos iniciales, centrándose en:

• Aprendizajes y competencias imprescindibles.
• No penalizando o perjudicando el bienestar del alumnado sin sobrecargarlo de tareas excesivas.
• Desarrollando actividades de recuperación, repaso, refuerzo y, en su caso, ampliación de aprendizajes anteriores que resulten necesarios para todo o parte de su alumnado.
• Colaborando, reforzando las coordinaciones entre el profesorado, para hacer posible: la adaptación de las programaciones, actividades y criterios de evaluación, evitar problemas de sobrecarga de tareas, falta de acompañamiento docente o desigualdad de apoyo familiar.

En este caso nada que objetar. Creo que marca un camino a los centros para organizar, dentro del marco expuesto, cómo hacerlo con suficiente autonomía, que no es necesario especificar más en normativa. Un pero… Hubiese estado bien aclarar si las competencias son las clave o esto se queda en el terreno indefinido, como también se queda lo de “imprescindibles”. Complicado tema de cerrar en un trimestre en una normativa transitoria. Y una idea pesimista…va a estar complicado eso de globalizadoras, interdisciplinares y tutorizadas…uy, uy, uy. Además, los equipos directivos tendrán que estar preparados para lidiar con los límites de qué se considera tarea excesiva y qué se considera necesario ampliar.

¿Qué hay de los procedimientos e instrumentos de evaluación?

La cuestión general que plantea la CSE es que se adapte la evaluación del alumnado. ¿En qué aspectos? Algunos ya se aplican, aunque entiendo que aquí se quieren enfatizar:

• Utilizar diversas modalidades: autoevaluación y coevaluación.
• Combinar la información cualitativa y cuantitativa.
• Evaluación continua de las actividades.
• Acentuar el carácter diagnóstico y formativo para valorar los avances y retrocesos producidos y así planificar la recuperación y programar el próximo curso (comentaré esto al final de la entrada).
• Considerar las evaluaciones de todo el curso.
• Valorar los aprendizajes y competencias imprescindibles.

Todo esto ya figura en la normativa de evaluación, son orientaciones generales. Es decir no cambia nada. Y los problemas los vamos a tener en la cuestión de qué aprendizajes son los imprescindibles, como indicaba más arriba; y en el de siempre, entender qué es la evaluación formativa (que implica a la continua). Se entiende pues, que cada tarea se calificará cualitativa o cuantitativamente con los procedimientos e instrumentos habituales que tenga el profesorado, adaptados a esta situación; al igual que se debe hacer con los criterios de calificación de cada programación didáctica. Y consecuentemente comunicarlos a los estudiantes y sus familias.

Como en el post anterior ya hice un comentario sobre cómo deberían ser las tareas planteadas (evaluables) en este período, no me repetiré.

Profe, ¿vale para nota?

Pues no se dice nada sobre las calificaciones en el texto de la CSE, y he aquí el agujero negro que tiene el comunicado. ¿Esto quiere decir que se aprueba y suspende como habitualmente se hace? Entendemos que sí… Es decir que un alumno puede suspender dos, tres, cinco, diez… ¿Ha de cambiar alguna cuestión al respecto? Atender a lo que ya me he referido en el apartado de aspectos generales:

desarrollando actividades de recuperación, repaso, refuerzo y, en su caso, ampliación de aprendizajes anteriores que resulten necesarios para todo o parte de su alumnado.

Qué consideraciones deberíamos tener en cuenta para esto de aprobar o suspender la tercera evaluación (final). Aquí van dos propuestas, que bien podrían quedar más o menos definidas en normativa (lo esperable) o adoptarse en los centros, en el caso de que no se definan:

Propuesta 1: Para todo el alumnado al que la calificación en alguna asignatura, considerando las dos primeras evaluaciones, sea negativa se establecerán tareas de refuerzo y recuperación que les permitan superarlas con éxito en la evaluación final ordinaria o en su período extraordinario.

Propuesta 2: En ningún caso la calificación de una asignatura en la tercera evaluación (final) podrá ser inferior a la calificación máxima obtenida en las dos primeras evaluaciones, pudiendo ser aumentada en consideración de la valoración de las tareas efectuadas en el período de confinamiento.

O en lugar de a la máxima, a la media redondeada hacia el entero más cercano, aunque ya os digo que no creo en medias aritméticas hechas con dos valores…Manías.

Es más, cito lo que se dice para ESO, que también vale para Bachillerato:

En ningún caso, el alumno podrá verse perjudicado por las dificultades derivadas del cambio de metodología a distancia del tercer trimestre, y no podrá ver minorados los resultados obtenidos en las evaluaciones de los trimestres anteriores. (p. 9 y p.12)

Road to promotion

La indicación general de la CSE, como ya lo es, es que la promoción/titulación será la norma general, siendo la repetición una medida excepcional. Nuevamente se matiza un aspecto que ya está en normativa. Al que se le añade simplemente que la repetición será argumentada y acompañada de un plan preciso de recuperación.

Lo de argumentar es nuevo, la verdad, nadie argumenta repeticiones porque hay una norma que especifica cuando repetir o no, y si se hace una excepción cuándo y cómo hacerla. Y lo del plan específico de refuerzo para los repetidores, ya está regulado desde 2013, al menos. Que algunos han vendido esto como nuevo en su programa político, y no. Lo que ocurre es que pocos centros lo hacen o al menos no lo tienen definido formalmente en un documento, salvo en alguna comunidad autónoma que sí está bastante regulado y con modelo de documento estandarizado. Nada nuevo pues. Pero... se especifica por niveles cuestiones importantes:

Especificaciones sobre la promoción

Las Administraciones educativas podrán flexibilizar, de manera excepcional durante el curso 2019-2020, los criterios de promoción en todos los cursos de Educación Secundaria Obligatoria, sin tener en cuenta limitaciones que afecten al número de materias pendientes (pp. 8 y 10).

O para la titulación, sin lugar a dudas, en ESO y Bachillerato:

Las Administraciones educativas podrán flexibilizar los criterios de obtención del título de Graduado en Educación Secundaria Obligatoria, basándose en la adquisición de los objetivos generales establecidos para la etapa y el desarrollo de las competencias. No serán tenidas en cuenta limitaciones para obtener la titulación que afecten al número de áreas pendientes. Las decisiones sobre titulación se adoptarán en todo caso de manera colegiada por el equipo docente. (pp. 10 y 11).

No serán tenidas en cuenta limitaciones que afecten al número de áreas pendientes. El equipo docente valorará la adquisición suficiente de los objetivos generales de Bachillerato que permitan al alumno o alumna continuar su itinerario académico. (p. 13)

Este es uno de los aspectos que debería quedar reflejado en normativa y donde quizá haya más polémica. Efectivamente ni el aprobado es general, ni tampoco la promoción ni la titulación, como algunos dicen, pero:

• Habrá comunidades autónomas que lo dejen como está establecido en normativa, sin flexibilizar (el “podrán” es una posibilidad, no un imperativo).
• Habrá comunidades autónomas que flexibilicen, pero de desigual manera seguramente: desde promoción de todo el alumnado independientemente del número de asignaturas aprobadas o suspendidas, hasta regular un límite razonable en situación excepcional o unas condiciones valorables muy claras (independientemente del número).
• Habrá comunidades autónomas que trasladarán el papel de la flexibilización a los centros educativos, la situación menos deseable desde mi punto de vista; la que más desigualdades va acarrear al alumnado y problemas va a crear a la administración (p.ej.: a la inspección educativa).

Así que, ante esta situación de indefinición, lanzo esta:

Propuesta 3: se podrá aplicar la medida excepcional de la repetición de curso en aquellos casos en los que se considere que por el número de materias no superadas en la evaluación extraordinaria no se aconseje su promoción/titulación y el aprovechamiento de las medidas de refuerzo planificadas para el primer trimestre del curso 2020-2021, justificado en el informe individualizado.

El informe individualizado

Este informe se va nombrando a lo largo de todo el documento, y debe sumarse a los documentos de evaluación ya establecidos por normativa. Es un documento que servirá a los propósitos de justificar el período que se establezca de refuerzo para el curso siguiente y, en su caso, la promoción/no promoción. Qué debe contener debería ser también una de las cuestiones a fijar por la administración educativa. Valga como propuesta un breve esquema:

Propuesta 4: Además de los datos del alumno/a y del centro, el informe individualizado debería incluir:

• Valoración de las condiciones en las que se ha desarrollado la enseñanza a distancia en el nivel, al respecto de las tareas y asignaturas, con indicadores extraídos de lo establecido en la norma que se desarrolle a partir de este documento de la CSE.
• Valoración de las condiciones de accesibilidad del alumno/a y posibles dificultades encontradas
• Calificaciones del 1er y 2º trimestre, más la otorgada en la evaluación final o extraordinaria (aunque los documentos oficiales de evaluación servirían).
• Criterios de promoción del alumno/a: por competencias clave, definiendo criterios de desempeño competente, o uno global o mejor 4 o 5 por competencia clave, para ser valorados con una escala sencilla, que estén contextualizados en situaciones de aprendizaje que se hayan podido dar en este período.
• Decisión del equipo docente de promoción/titulación
• Justificación de la no promoción, si es el caso (en base a lo valorado)

Espero que, aunque largo, sea de vuestro provecho. Y por favor, tómense estas aportaciones considerando que soy un profesional más de la educación, con una opinión que puede estar diametralmente en contraposición a las de otros profesionales. Hechas con la mejor de las intenciones, sumar siempre a esta situación. En esencia, estoy muy de acuerdo con el documento de la CSE, sólo que faltan matices y especificidades, y en mi opinión, algo de orden explicativo y precisión en algunos términos. Sé que queda el tema polémico de julio…Lo dejo para otros, pero apunto que para el análisis de los datos obtenidos de la situación, la planificación y programación del próximo curso, los equipos educativos tendremos que dedicar mucho tiempo si no queremos que se convierta en un parche. No dar clase no significa no trabajar, para aquellos que todavía siguen atacando nuestra profesión desde este argumento (que sí, que como en todos los trabajos hay personas que no trabajan en julio, y probablemente tampoco el resto del año). Para todos, compañeros y compañeras mis más sinceros apoyos en esta situación que nos ha tocado vivir. Trabajemos conjuntamente, ahora más que nunca.

Cuanta más información requiera el diseño de una herramienta, mayor inteligencia potencial confiere al usuario

(inspirada en Daniel Dennett)

Cómo plantear la evaluación en un contexto virtual (I): evaluación de los aprendizajes

Cómo no, me veo un tanto obligado a manifestar mi opinión, en esta situación de excepcionalidad, en torno al tema de la evaluación en el sistema no universitario. Esta entrada (Parte I), la dedicaré a qué se puede realizar respecto a la evaluación del aprendizaje en esta modalidad a distancia y virtual. Cuestión que ya ha sido probada y resuelta desde hace años en las modalidades a distancia, pero que a los de la modalidad presencial nos ha pillado un tanto fuera de juego. Tanto por qué tipo de evaluación practicar y sus consecuencias, como por los recursos que podemos utilizar para ello.

Lo primero que tenemos que despejar, y que cualquiera puede intuir, es que la evaluación de los aprendizajes en un contexto virtual es totalmente factible. Además, muchos entornos virtuales de aprendizaje, plataformas telemáticas o sistemas de gestión del aprendizaje (LMS por sus siglas en inglés) como Moodle, Blackboard,  Chamilo, Sakai...ofrecen múltiples recursos para ello. Más adelante se exponen algunos de estos recursos, unidos a la presentación de tareas, que se pueden realizar en estas plataformas. En concreto en Moodle, que es la que más conozco y utilizo, y la que se utiliza por ejemplo en mi Comunidad Autónoma (bajo el nombre de Aules) y en los cursos de formación del INTEF. La entrada la organizo en tres aspectos de la evaluación: 1) tareas evaluables, 2) instrumentos y procedimientos de evaluación y 3) el currículo de referencia.

La organización de las tareas y la transmisión de conocimiento en un contexto virtual

Para que se dé la evaluación de los aprendizajes del alumnado es fundamental que se evidencien éstos. Es decir, que se dé la oportunidad al estudiante de poder demostrar un cierto nivel de competencia. Por tanto, lo primero que nos tenemos que preguntar es ¿qué tipo de actividades y tareas estamos proponiendo a nuestro alumnado en esta transición sobrevenida al mundo virtual? Y en este aspecto, por lo visto hasta ahora, los docentes proponemos de todo un poco: desde las tareas más clásicas como: resuelve los cinco ejercicios de la página 153, para lo cual no se necesita un entorno virtual, hasta verdaderos retos interactivos o cooperativos aprovechando todas las potencialidades que nos ofrecen éstos. Lo que, pensándolo bien, tampoco el tema está en el medio (virtual o presencial), ¿no?

En cuanto a la transmisión de conocimientos y la comunicación: podemos utilizar, nuevamente: lee la página 152 del libro (incrustando esta instrucción en una tarea o en una etiqueta, infrautilizando el recurso) pasando a proporcionar enlaces a sitios web externos de forma organizada, archivos en carpetas o sueltos... Hasta llegar a una combinación de todo esto y utilizar recursos muy potentes para presentar información a la vez que provocamos tareas de aprendizaje al alumnado, por ejemplo: lecciones, wikis o glosarios, que servirían como actividades, además de para transmitir conocimiento. Externamente a Moodle también se pueden utilizar apps como medio para realizar infografías, presentaciones interactivas, vídeos... O programas de código abierto para crear y organizar contenido educativo en soporte informático sin necesidad de conocer HTML5 o XML, como eXeLearning y subirlo como paquete IMS a Moodle.

Además, Moodle tiene un conjunto de herramientas para mantenernos comunicados con nuestro alumnado, cuestión de suma importancia en esta etapa que estamos viviendo y, en general, en la enseñanza virtual: foros (también puede ser una actividad), chats o el diálogo, una herramienta que permite la comunicación personal y privada con un/a alumno/a.

En cualquier caso, Kareem Farah en el blog Edutopia (4 Tips for Teachers Shifting to Teaching Online), desarrolla cuatro claves a tener en cuenta a la hora de plantear el trabajo digital a nuestros estudiantes:

1. Actividades sencillas y simples: instrucciones muy claras, donde se tengan que movilizar uno o dos recursos y accesibles en pdf.

2. Establecer una base de operaciones digital: estos entornos virtuales de los que estamos hablando pueden servir.

3. Priorizar actividades a largo plazo y gestionadas por el alumnado: dar tiempo y autonomía.

4. Contactar individualmente con el alumnado: por el medio que sea.

La evaluación de las tareas: recursos desde la plataforma Moodle

Una vez planteadas las tareas estamos en condiciones de poder diseñar y realizar la evaluación de las mismas (y si queremos su calificación como parte de ésta). En esta sección de la entrada planteo los diversos procedimientos e instrumentos de evaluación que permite una plataforma como Moodle, y que estoy convencido que en mayor o menor medida también estarán disponibles en otro tipo de plataformas. Todas las actividades de Moodle pueden ser evaluadas, y así algunas tareas y herramientas de comunicación como el glosario, wiki, lección y foro. En la imagen siguiente se presenta una tabla de doble entrada: actividad / instrumentos y procedimientos de evaluación.

De todas las actividades presentadas en esta tabla, tanto la consulta como la encuesta no son "calificables", por eso no llevan un instrumento de evaluación asociado. En el resto, con los instrumentos de evaluación se pueden generar calificaciones cualitativas y cuantitativas. En cuanto al feedback, desde cada una de ellas se permite, casi siempre, abrir la posibilidad al estudiante de reenviar su tarea tras esa retroalimentación.  Por último señalar que una de las herramientas de comunicación no incluida en la tabla, el foro, puede ser también  calificada por el profesor y por los propios compañeros con una escala.

Las posibilidades son inmensas y conocer el propósito de las actividades y las herramientas que tenemos a nuestra disposición va a permitir monitorizar el aprendizaje de nuestro alumnado, ofrecerle herramientas de evaluación adecuadas y especialmente proporcionarle el feedback que necesita para mejorar. Tanto la entrega de tareas como las calificaciones pueden seguirse en módulo de calificaciones de la plataforma, donde se presenta un especie de libro de calificaciones (tipo los que tenemos en otras aplicaciones o el cuaderno de evaluación del profesorado clásico). Y si a alguien le interesa si se pueden ponderar las actividades, establecer mínimos de superación, escalas propias...pues también. Del mismo modo, el cuestionario (el clásico examen) ofrece múltiples posibilidades, no sólo en formato de preguntas, sino también en cuanto a aplicación y restricciones de tiempo, intentos, preguntas al azar, itinerario...

Revisión de los resultados de aprendizaje y otras modificaciones

Aunque quizá sea este el primer elemento que debemos revisar en este cambio a lo virtual, lo sitúo aquí al final. Suele ser lo menos atractivo pero lo que, a mi modo de ver, debería ocupar un tiempo considerable: repensando colectivamente, como claustro, departamento, nivel o ciclo, qué aprendizajes se van a fomentar y cómo:

1. Revisando qué criterios de evaluación, estándares, objetivos...resultados de aprendizaje en general, resultan modificados por la nueva situación o al menos requieren de un nuevo planteamiento. Con ello quiero decir que si quiero responder al currículum establecido y además diseño mis unidades didácticas y mis actividades de acuerdo a ellos, quizá éstas deben sufrir alguna modificación en cuanto a medios, recursos y tareas evaluables (no digo calificables). Y quizá aquí las asignaturas que más habitualmente requieren de realizaciones: Música, Educación Plástica, Educación Física, Tecnología... se van a ver más afectadas. En definitiva, adaptar las programaciones didácticas de departamento y aula a la nueva situación donde los aprendizajes se evidencian de otra forma, o al menos mediante procedimientos diferentes.

2. Revisando y comunicando los cambios en los criterios y procedimiento de evaluación y  de calificación: aunque no vayamos a hacerlo de una forma numérica, no está tampoco de más comunicar al alumnado y sus familias, siempre que no hayan directrices de centro o de la administración en otro sentido. Es un ejercicio de transparencia que debería estar consensuado en el seno de los equipos docentes de ciclo o departamentos: qué consideración y significación tienen las tareas entregadas en este tiempo para el aprendizaje del alumnado, qué instrumentos y procedimientos de evaluación se van a utilizar y cómo se va a calificar cada una de ellas (si es el caso).

3. Mantener la coherencia entre currículo, tareas propuestas y evaluación.

Conclusión: ventajas de la evaluación en un contexto virtual frente a un modelo presencial

No es que quiera abogar definitivamente por un modelo virtual, ni mucho menos. Considero esencial el modelo presencial: el calor, la interacción social, el cara a cara, los retos de la convivencia en un espacio físico que compartimos... Pero, si de algo nos tiene que valer esta experiencia, donde se manifiestan algunas debilidades del sistema educativo y, siendo autocríticos, de nuestra propia actuación como profesionales de la educación (no sólo las relativas a la competencia digital), es para sacar lo positivo y seguir adelante, aprendiendo y ofreciendo lo mejor de nosotros mismos a nuestro alumnado.

La evaluación "virtual" con las herramientas de las que hemos hablado va a permitir:

• Obtener resultados inmediatos, especialmente cuando hablamos de los cuestionarios, tanto para el docente como para el alumnado.
• Ofrecer retroalimentación diferida e incluso también inmediata.
• Gamificar la experiencia de aprendizaje (y evaluación) en cuanto a concesión de insignias, competencias alcanzadas...
• Ofrecer experiencias de coevaluación y de autoevaluación, con escalas y rúbricas integradas, como en los talleres.
• Adaptar los recursos, con alternativas tecnológicas accesibles y seguimiento, al alumnado con necesidades específicas de acceso a la información. 
• Personalizar las tareas e instrumentos de evaluación, e incluso los cuestionarios, dando posibilidades de intentos nuevos, de tiempo adicional,  de rúbricas y escalas personalizadas.
• Informar al alumnado de su progreso y de la distancia a la que está de conseguir una competencia mínima con las tareas que ha realizado y han sido evaluadas.
• ...

Obviamente, algunas de estas ventajas no hacen más que poner de relieve que va a haber parte del alumnado con Necesidades Específicas de Apoyo Educativo al que se lo podemos poner fácil con recursos que podemos ofrecer y recomendar. Véase la interesante entrada del Antonio Márquez donde se ofrecen recursos para familias, alumnado y profesorado: Tareas accesibles y tecnológicas en tiempos de COVID. Desafortunadamente, a otros no podremos llegar fácilmente. Debemos tener en cuenta a aquel alumno/a que presenta problemas de acceso a este tipo de enseñanza: por falta de recursos y conectividad, por situaciones socioeconómicas y familiares complicadas, por abandono del sistema (ya en la modalidad presencial). No es un porcentaje bajo en un centro público. Como norma general, me atrevería a decir que entre un 8%-10% de media. Ante esto no podemos, ni debemos, quedarnos solos. Tanto la administración, con sus medidas más globales y con los recursos que pueda aportar; como el centro, con un plan de contingencia para estos casos, con o sin ayuda de las entidades municipales (Ayuntamientos, Servicios Sociales, Policía Local...) deberían dar respuesta. Si no, la evaluación no valdrá para nada más que aumentar la brecha educativa ya existente.

Recursos para los docentes

• Recursos para el aprendizaje en línea (INTEF - MECFP).
• PROCOMUN (MECFP): Red de recursos educativos en abierto.
• Recursos de XTEC
• Aprendemos en casa (Programación RTVE: Clan i La 2)
• Aprendo en casa: Portal con recursos de profesorado, familas y comunidades autónomas.
• Plataformas online (European Commission)

Evaluación de programas (I): algunas cuestiones teóricas

Sí, lo sé. Esto no es lo que generalmente se espera de este blog. Dedicado casi siempre a la evaluación del aprendizaje...Pero esto de la evaluación de programas no deja de ser algo práctico también que nos atañe como docentes y que tiene mucho que ver con el aprendizaje. De hecho, nuestra programación didáctica es un programa, que además en algunas normativas autonómicas (España) se exige su evaluación. En mi caso, orientación educativa, también se debe evaluar el PAT (Plan de Acción Tutorial), POAP (Plan de Orientación Académica y Profesional), insertos ambos en el Plan de Actividades del Departamento de Orientación. Además, toda actividad del centro educativo se vertebra en torno a programas, que no voy a enumerar (son muchos, ¿demasiados?). Tanto es así, que cuando se plantea la evaluación de centros, algunos prefieren hablar de evaluación de programas (de centro).
A lo largo de la entrada tocaré algunas cuestiones que para mí son fundamentales en la evaluación de programas. La primera, con la que abro, qué es un programa.

¿Hay diferencias entre plan, programa y proyecto?

Antes de plantear cualquier tipo de evaluación de programas quisiera comenzar por especificar qué se entiende por programa y su diferencia con otros conceptos afines que en muchas ocasiones se utilizan indistintamente, proyectos y planes, especialmente estos últimos.

Así un programa lo definimos como:
El conjunto de acciones organizadas y dirigidas hacia unas metas globales y/o complejas. Además los programas pueden incluir diferentes proyectos.

Un plan está conformado por el conjunto de objetivos y los medios (actividades, procedimientos, recursos, etc.) para conseguirlos. Con lo que la diferencia tampoco queda demasiado clara. Sin embargo, un proyecto tiene otras connotaciones más particulares y está dirigido a conseguir un propósito mucho más concreto y con una duración determinada.

Desde este punto de vista tendremos tal vez que hablar más bien de evaluación de planes y programas como un conjunto de estrategias y herramientas que están al servicio de la toma de decisiones en función de los objetivos que persiguen.

¿Qué se entiende por evaluación de programas?

En síntesis, se trata del juicio de la viabilidad, eficacia, valor, etc., de un programa en relación con los objetivos, normas o criterios declarados (ERIC Thesaurus). En esta primera definición ya nos encontramos dos elementos a considerar en la evaluación de programas/planes:

1. Los objetivos que persigue el programa.
2. Las características que permiten describir cualitativa o cuantitativamente el programa que tiene como referencia unos objetivos.

Otras definiciones, como la de Scriven (1999) indican que la evaluación se define como la investigación sistemática del mérito, bien o relevancia de un objeto. Así, asignar "valor" a los esfuerzos de un programa implica dirigirse a tres dominios interrelacionados:

• Mérito (o calidad)
• Bien (o valor; p.ej.: coste-efectividad)
• Relevancia (o importancia)

Un enfoque de evaluación potente asegura que las siguientes preguntas han de plantearse como parte constituyente de la evaluación, para que el valor de los esfuerzos del programa puedan determinarse y los juicios sobre el valor puedan hacerse en base a evidencias.

• ¿Qué será evaluado? (p.ej.: ¿qué es "el programa" y en qué contexto existe?)
• ¿Qué aspectos del programa se consideran cuando se valore el rendimiento del programa?
• ¿Qué estándares (p.ej.: nivells de rendimiento) han de conseguirse por parte del programa para considerarlo como exitoso?
• ¿Qué evidencias se utilizarán para indicar como se ha desarrollado el programa?
• ¿Qué conclusiones al respecto del rendimiento del programa se justifican comparándolas con las evidencias disponibles de los estándares seleccionados?
• ¿Cómo se usarán las lecciones aprendidas de la investigación evaluativa del programa para mejorar la efectividad de la educación?

Son preguntas que deberíamos responder o abordar desde un punto de vista teórico-práctico antes de desarrollar la evaluación de cualquier programa- También deberíamos considerar si es necesario o factible evaluar un determinado programa. Aunque por imperativo legal, en educación, aquellos que están sujetos a norma hemos de evaluarlos, no deberíamos evaluarlos, o estaríamos en malas condiciones para la evaluación si:

1. Los estándares para cualquier evaluación no se van a cumplir:
1. Utilidad: la evaluación sirve a las necesidades de información de los usuarios.
2. Factibilidad: la evaluación es realista, prudente, diplomática.
3. Apropiada: la evaluación se lleva a cabo legal y éticamente y con la intención de procurar bienestar a los que están implicados y a los afectados por los resultados.
4. Precisión: la evaluación revela información técnica adecuada.
2. El programa está cuestionado.
3. El programa no tiene una dirección u objetivos claros.
4. Los interesados no están de acuerdo con los objetivos del programa.
5. No hay recursos económicos para hacer una buena evaluación (la que pueda cumplir con los estándares del punto 1).

Si alguno de estos aspectos no está presente, es razonable poder plantearse la evaluación del programa. Y esta evaluación ha de producir conclusiones y hallazgos a tiempo, relevantes, creíbles y objetivos sobre el ejercicio del programa. Por tanto se ha de basar en la recolección de análisis de datos válidos y fiables.

Temas y ámbitos en la evaluación de programas

En la evaluación de programas se dan dos niveles de resultados:

a. Salidas operativas.

b. Resultados: beneficios/perjuicios a usuarios, resultados asociados a objetivos

Con estos dos niveles, se plantean tres temas generales de la evaluación:

1. Resultados: objetivos dentro de los presupuestos sin causar resultados negativos.

2. Efectividad del coste: si implica al método más apropiado, eficiente y efectivo (coste) para conseguir los objetivos.

3. Relevancia continuada: si el programa continua siendo relevante para las prioridades de la organización que lo promueve o de las necesidades de los usuarios.

Así y todo, la pregunta es, ¿cómo medir los resultados asociados a un programa? (problemas de medida), y lo más complejo, ¿cómo atribuir a un programa que es la causa de los resultados obtenidos? (problemas de atribución).

Una "reflexión" sobre la evaluación de los planes y programas del centro

Aunque hay mucha normativa en las distintas Comunidades Autónomas, y diferente, sobre los distintos planes, programas y proyectos que constituyen los ejes de acción de un centro educativo, podemos consensuar al menos los siguientes que aparecen en la Ley Orgánica 2/2006, de Educación, modificada por la Ley Orgánica 8/2013, para la mejora de la calidad educativa, (arts. 120 a 125):

1. Proyecto Educativo (art. 121)
2. Planificación estratégica (debería decir plan estratégico) (art. 122 bis); esta sospecho que no se ha desplegado en la mayor parte de centro educativos.
3. Proyecto de Gestión (art. 123)
4. Plan de convivencia (art. 124)
5. Programación general anual (PGA) (art. 125)

Por ejemplo, en la Comunitat Valenciana (España), en las instrucciones de inicio de curso constan 14 planes y programas, más otros que pueda añadir el centro, además de los citados por normativa anteriormente: Plan de normalización lingüística, Diseño particular de los Programas lingüísticos que aplica el centro, Proyecto lingüístico de centro del Programa de educaciónplurilingüe e intercultural, Programa de reutilización, reposición y renovació de libros de texto y material curricular, Plan para el fomento de la lectura, Plan de igualdad y convivencia (este ya estaba citado),  Reglamento de régimen interior, con las normas básicas de convivencia (no es estrictamente un programa), Plan de atención a la diversidad y la inclusión educativa, Plan de orientación académica y profesional, Plan de acción tutorial, Transición entre etapas y modalidades de escolarización, Plan de formación permanente del profesorado para el desarrollo del Proyecto educativo, Proyecto educativo del comedor escolar...¿seguís ahí?

La PGA además incluye, en nuestro caso, el Plan Anual de Mejora, además de otros programas (algunos se relacionan estrechamente con algunos planes citados anteriormente): Programaciones didácticas, Programa de Orientación y Refuerzo para el Avance y Apoyo en la Educación, Programación anual del departamento de orientación, Programa anual de formación permanente del profesorado del centro, Programa anual del comedor escolar, Programa anual de actividades complementarias y extraescolares y servicios complementarios.

¡¡¡Buffffff!!! Really, George?

Todo esto se tiene que evaluar y reflejar en la memoria de final de curso, que ha de servir para realizar propuestas de mejora para el siguiente curso. Como comprenderéis cualquier parecido con una evaluación es pura coincidencia ya que cumplir con los estándares de utilidad, factibilidad, adecuación y precisión se hace misión imposible. Aún así, soy optimista y en lo que respecta a la evaluación de la programación anual del Dep. de Orientación, el plan de acción tutorial y el plan de orientación académica y profesional, de los que soy responsable, he iniciado un proceso de evaluación basado en evidencias que intenta explicar el grado de consecución de los objetivos fijados en ellos.

En las próximas entradas iré poniendo cuestiones más prácticas de para evaluar programas que os pueden ayudar en vuestra labor: 

- Fases: implicaciones y actividades.

- Estrategias en la evaluación de programas: inferencia causal, criterios, métodos, técnicas de análisis de datos.

- Un ejemplo de la planificación de la evaluación de un programa.

8 claves para la evaluación de la competencia lectora

En esta entrada vamos a revisar algunas de las claves para la evaluación de la competencia lectora. ¿Por qué es tan importante esta competencia? Porque su dominio determina el éxito escolar en cierto modo, es un buen predictor. No sólo es necesaria en el rendimiento en el ámbito lingüístico, sino que, en general, contribuye a un mejor capacidad para afrontar el acceso al conocimiento de otras materias.

Desde el ámbito de la psicología de la educación y la pedagogía, se han expuesto modelos sobre la comprensión lectora y qué otras capacidades y destrezas determinan una mayor o menor competencia en esta destreza lingüística. Aunque no es el objeto de esta entrada (ni de este blog), uno de los modelos que lo explican de forma sencilla es el Simple View of Reading de Gough y Tunmer (1986), donde la capacidad de lectura (comprensión) es fruto de la interacción entre la comprensión del lenguaje (comprensión oral) y la destreza de descodificación. Perfetti, Landi y Oakhill ahondan más exponiendo un modelo también muy interesante. En 2005 en la obra de compilación de Snowling y Hulme: The Science of Reading, describen una serie de capacidades cognitivas que entran en juego para determinar la competencia de comprensión lectora: el estándar de coherencia, la memoria de trabajo, la conciencia fonológica, el vocabulario, el conocimiento de estructuras textuales y también el conocimiento extra-lingüístico (p.ej.: conocer hechos, datos, principios...sobre el tema de un texto) entre otras.

Fuente: Perfetti (1999)

Tenéis todas estas referencias al final de la entrada, por si os interesa ahondar en la cuestión de la comprensión lectora.

Centrándonos en la cuestión de la evaluación, el modelo que se seguirá es el de PISA, aunque también recomendamos el marco de PIRLS de la IEA, quizá más adecuado para Ed. Primaria. Ambos modelos proponen una definición de competencia lectora y a partir de aquí definen el dominio de evaluación y consideran una serie de aspectos (tipos de textos y diferentes niveles de comprensión). Quizá lo que me interesa aquí señalar es que valorar esta competencia teniendo ciertas claves nos puede ayudar a determinar programas de intervención con nuestro alumnado con el objetivo de ayudarlos a mejorar y, en definitiva, a tener mayores posibilidades de éxito en su escolarización y en su vida. Aunque no sea para evaluar, seguir estas claves puede ayudarnos a plantear textos y preguntas sobre ellos que faciliten la intervención a distintos niveles y proponer un programa más personalizado para todo el alumnado.

Definición de competencia lectora

Según la OCDE en el marco de evaluación de la lectura (PISA 2018), la competencia lectora es:

...la comprensión, el uso, la evaluación, la reflexión y el compromiso con los textos con el fin de lograr objetivos propios, desarrollar el conocimiento y el potencial personal y participar en la sociedad.

A partir de aquí se establecen una serie de elementos a considerar para establecer claves en la evaluación:
- los procesos de la competencia sobre los que influyen los factores del texto, de las tareas demandadas y los del propio lector.
- los textos
- las actividades

Claves para la evaluación

1. Evaluar atendiendo a los procesos de lectura

Se pueden determinar cuatros grandes procesos en el procesamiento del texto, de menor a mayor complejidad cognitiva: 1) Fluidez lectora, 2) Localizar información, 3) Comprender y 4) evaluar y reflexionar. En cada uno de ellos se puede especificar aún más en subprocesos y de éstos en descriptores concretos que ayudarán a definir las actividades o ítems (preguntas) usadas en la evaluación, considerando el texto.

Fuente: OCDE (2018) Marco teórico de lectura. PISA 2018

2. Proporcionar textos variados

Se debería evaluar la comprensión lectora (o trabajarla) ofreciendo textos variados atendiendo a cuatro características:

- fuente: simple o múltiple

- organización y navegación: estático o dinámico

- formato: continuo, discontinuo o mixto

- tipología:  descripción, narración, exposición, argumentación, instrucción, interacción o transacción.

(están todos descritos en el marco teórico que se referencia al final del post).

3. Atender a criterios de calidad a la hora de seleccionar textos (estímulos)

Es una de las características que se comentaban en el post sobre Cuestionarios cognitivos (III): estímulos. Para el caso de los textos deberíamos atender, previamente a su selección para una evaluación, a:

1. Grado en el que refleja el mundo real.
2. Grado de adecuación cultural.
3. Grado de adecuación lingüística.
4. Grado de interés para el grupo diana.
5. Grado de dificultad.
6. Derechos legales (copyright, licencia libre de diversos tipos...).

En cuanto a la dificultad, los textos en sí mismos pueden plantear un nivel de dificultad debido a diversos aspectos del lenguaje. Aunque la tipología textual ya supone una dificultad al lector, básicamente por la frecuencia con la que se utilizan en el aula (por ejemplo, son más difíciles los textos discontinuos que los continuos porque se trabajan menos…Son más difíciles los textos argumentativos que los narrativos…) también lo son por las características del lenguaje: longitud (más cantidad de información), organización, vocabulario, tipología oracional, tiempo verbal, uso de recursos estilísticos…

Se puede realizar una aproximación a la dificultad textual mediante el uso de los índices de lecturabilidad. Uno de los más frecuentes es el Índice de Flesch o Flesch-Kincaid. Aunque la mayor parte de estos índices tiene en cuenta sólo el número de palabras, oraciones y sílabas, dejando de lado otros aspectos del lenguaje que deberán valorar los diseñadores de la evaluación, pueden ser una buena guía que nos oriente y permita la comparación entre diferentes textos. Hay adaptaciones como la que realizó Inés Barrio, fruto de su tesis doctoral: la escala INFLESZ, con el desarrollo consiguiente de una aplicación libre para PC (https://legibilidad.blogspot.com.es/2015/01/el-programa-inflesz.html). También se puede calcular desde páginas web que lo ofrecen gratuitamente junto a otros índices. En castellano recomendamos la página de Alejandro Muñoz Fernández (https://legible.es), es muy fácil de utilizar y da cuenta de múltiples índices, entre ellos la escala INFLESZ. Por ejemplo, esta entrada tiene un nivel normal en la mayor parte de índices, se necesitan 5.3 años de escolaridad para entenderlo (Crawford) y el tiempo estimado de lectura son 8,7 minutos.

4. Escoger textos utilizados para diferentes propósitos

Todos los textos pueden desarrollarse en una amplia variedad de situaciones. La situación se usa para definir los contextos y usos para los que el autor o autora ha elaborado el texto. La forma en la que la variable situación se especifica es sobre una supuesta audiencia y propósito, no se basa simplemente en el lugar donde la actividad de lectura se lleva a cabo o el fin para el que se lee.

El marco de PISA 2018 categoriza las situaciones usando una adaptación del Marco Común Europeo de Referencia desarrollado en el Consejo de Europa en 1996. Las situaciones son: personal, pública, laboral y educativa.

5. Aplicar técnicas de análisis de texto para generar buenas preguntas (o ítems)

Analizar bien el texto antes de lanzarnos a hacer preguntas nos va a posibilitar una mayor consistencia y validez de la evaluación. Supongo que existirán múltiples técnicas para realizar esto. Las que recomiendan o difunden los técnicos de la IEA para hacer las pruebas de PIRLS son:

• mapa de texto: es una estrategia que permite identificar los elementos esenciales de cualquier texto, independientemente de su tipología. Casi todos los textos, especialmente los narrativos o los informativos tienen unos elementos comunes: tema, hechos principales, personajes principales, contexto o características del lenguaje... Se suele aplicar para textos de ficción y textos de no-ficción, variando algún elemento de análisis.
• análisis estructural: las tipologías textuales de hecho se corresponden con una determinada estructura que además se puede especificar aún más. Veamos un ejemplo de una lectura utilizada en una evaluación de diagnóstico de la competencia lectora en la Comunitat Valenciana:

 6. Utilizar distintos formatos de preguntas (o ítems)

Véase la guía establecida en este post: Cuestionarios cognitivos (IV): ítems de respuesta cerrada y abierta.

7. Atender a la dificultad de la preguntas.

La interacción entre proceso, formato de pregunta y texto establece una dificultad con la que se puede ir jugando a la hora de diseñar la prueba. Se deberían aplicar las preguntas más sencillas al principio de la prueba de evaluación para ir aumentando su complejidad paulatinamente.

8. Establecer estándares o puntos de corte que describan diferentes niveles de habilidad

Esto solamente puede realizarse si las preguntas están asociadas a descriptores clasificados en diferentes niveles de habilidad y si estas preguntas realmente se han diseñado lo suficientemente bien como para captar la habilidad definida en el descriptor y no otra. En el informe español de PISA 2018 se ejemplifica bien lo que se quiere decir con esta figura:

Fuente: MEFP (2019). Informe PISA 2018. Informe español (versión preliminar)

Si se quiere asociar a una calificación escolar, como la utilizada en España (de 1 a 10), ya que el aprobado es un 5, esta calificación debería corresponder con el nivel de lectura mínimo que queremos esperar de nuestro alumnado y no al acierto de la mitad de preguntas de una prueba, independientemente de cuál sea su dificultad y del tipo de preguntas que se acierte. Así la calificación, significaría algo en términos de aprendizaje y realmente se acercaría a una "medida" de este aprendizaje.

PISA establece unos niveles de lectura descriptivos asociados a puntuación. Podríamos decir que la puntuación media, en torno a 500 puntos, se sitúa en el nivel 3. Esta sería la descripción de lo que es capaz de realizar un alumno/a medio al finalizar su escolarización obligatoria.

Después de la evaluación de PISA 2018 se han publicado nuevos niveles de lectura, más bien ampliando la descripción de cada uno de ellos. Igualmente, podemos obtener preguntas ejemplo de cada uno de los niveles que pueden sernos útiles a la hora de plantear una evaluación propia de la competencia lectora. Se pueden encontrar en las páginas 29 a 36 del Informe español de PISA 2018, citado al final del post.

Nota final

El marco teórico de lectura de PIRLS es también un buen punto de referencia para diseñar evaluaciones de la competencia lectora desde este enfoque. En la página del INEE podéis encontrar mucha información, entre ella el marco teórico de 2016, quizá más adecuada por los cursos de Educación Primaria.

Asimismo, muchas editoriales están publicando herramientas relacionadas con este tipo de evaluaciones, por ejemplo:

• Ed. Graó: Proves ACL para los tres ciclos de la Ed. Primaria
• Ed. ANAYA: Cuadernillos para la Competencia Lingüística (en realidad lectora) por nivel de Ed. Primaria.

Este tipo de evaluaciones realizadas por centros, individualmente o de una zona, están proporcionando un punto de referencia externo, salvando las dificultades de comparación de niveles competenciales que tienen las calificaciones escolares (p.ej.: ¿un 7 en lengua castellana de todo el alumnado de centros de una misma zona implica un mismo nivel competencial?). Esto está siendo importante a la hora de configurar grupos heterogéneos en el instituto de acogida de referencia de centros de Ed. Primaria, o también a la hora de establecer programas de intervención con niveles personalizados y de intensidad creciente...entre otras actuaciones.

 Para saber más

- Gough, P. B. y Tunmer, W.E. (1986). Decoding, Reading and Reading Disability. Remedial and Special Education, January 1
- MEFP (2019). Informe PISA 2018. Informe español (versión preliminar). Secretaría General Técnica: Madrid. pdf
- OCDE (2018). Marco teórico de lectura. PISA 2018 - (versión traducida). pdf 
- Perfetti, C.A. (1999). Comprehending written language. A blue print of the Re. In: Hagoort P., Brown C. (Eds.) Neurocognition of Language Processing. Oxford University Press, Oxford, pp. 167–208.

- Perfetti, C.A., Landi, N. y Oakhill, J. (2005). The Acquisition of Reading Comprehension. In Snowling, M. y Hulme, C. (Eds.) The Science of Reading: A Handbook, Blackwell Publishing, Chapter 13.

Cómo diseñar buenas preguntas en un cuestionario

En esta entrada me centraré en un instrumento que se suele utilizar para recoger información sobre el funcionamiento de programas que desarrollamos en nuestros centros educativos: el cuestionario. Generalmente son instrumentos que consiguen aportarnos información sobre aspectos de percepción del proceso o resultados de ese programa concreto. Y si nuestra evaluación está basada en indicadores, serán los llamados indicadores de percepción los que demanden de esta herramienta. Por ejemplo: Grado de satisfacción con el programa (de forma general), o un aspecto concreto de él.

Con ello, doy inicio a lo que posiblemente sea una serie de herramientas para la evaluación de programas, que constituyen el eje de la acción de los centros educativos y que muchas veces no se sabe muy cómo evaluar de forma más estructurada. En este caso, en la entrada mensual, me voy al final, a tener en cuenta unas claves para el diseño de un buen cuestionario.

Introducción

La redacción de las preguntas de un cuestionario es ciertamente más un arte que una ciencia, como señalan algunos expertos de la materia. La práctica en el diseño de cuestionarios es la que nos va a servir fundamentalmente para no repetir errores, a ir ganando paulatinamente en experiencia. Aún así, como arte, la inspiración juega un importante papel; también la cuidadosa revisión e intento de adecuación a una serie de reglas que se proporcionan en esta entrada.

Mi consejo es que la primera redacción se haga desatendiendo a las reglas, una vez determinado qué es lo que queremos evaluar (el dominio de la evaluación), la población/muestra, y el procedimiento. Realizada esta primera redacción, es hora de revisar la adecuación de cada pregunta a las reglas y en su caso introducir las modificaciones pertinentes. Este procedimiento permitirá, desde mi punto de vista, generar preguntas más rápidamente y de forma más creativa. Posteriormente, la fase de adecuación pondrá las cosas en su sitio. Aún así, debemos intentar realizar una fase de pilotaje o al menos una revisión por parte de expertos, que nos proporcionará información para obtener mayor validez a nuestros instrumentos.

Muchos de los ejemplos que se muestran en cada una de las reglas han sido extraídos y traducidos directamente de las fuentes citadas en el apartado "Para saber más". Espero que sean clarificadores.

En síntesis, se proporciona una tabla donde aparecen nombradas todas las reglas a tener en cuenta a la hora de redactar las preguntas de un cuestionario, así como una clasificación que está en función de aspectos referidos a los respondientes y su contexto o bien a aspectos de uso lingüístico general.

Reglas referidas a los respondientes y su contexto

1. Ajustar el vocabulario y la gramática a la población encuestada.
a. Para estudios en una organización o contexto específico es preferible utilizar la jerga usada en la misma.
b. Se ha de ser especialmente cuidadoso en el lenguaje que puede ser familiar para el diseñador del cuestionario, pero no para los que van a responderlo.
c. En contextos más generales, se debe evitar cualquier uso de expresiones coloquiales, étnicas o excesivamente técnicas.

2. Evitar cuestiones que vayan más allá de las capacidades del respondiente
a. Todas las personas tenemos en un sentido u otro limitaciones cognitivas, especialmente cuando se trata de recordar eventos pasados. Preguntar, por ejemplo, “cómo te sentías respecto a la relación con tus hermanos cuando tenías seis años” probablemente sea inútil.
b. No tiene sentido preguntar a las personas sobre cosas que no son modos habituales de pensamiento. Por ejemplo, “¿cuántos litros de gasolina utilizaste en tu coche en el último año?”.
c. Igualmente, y esto tiene mucho que ver con la recomendación 1, se deben evitar las preguntas con lenguaje sofisticado, incluso con población altamente formada:

¿Qué aspectos concretos del debate actual sobre positivismo/interpretativo te gustaría que se viesen reflejados en el curso de psicología del desarrollo?

3. No asumir que los respondientes son expertos sobre ellos mismos

¿Valorarías más a un profesor si contase más chistes en clase?

Esta pregunta asume que el estudiante es completamente consciente de todo lo que hace y por qué lo hace.

Mejor: ¿Cómo valorarías al profesor X? ; ¿Cuántas chistes suele contar el profesor X en clase?

4. Evitar preguntas embarazosas
Obviamente, en la media que evitemos preguntas que tienen qu ver con asuntos personales o privados mucho mejor, siempre que sea posible. Los datos que se obtienen tendrán más validez en la medida en que los respondientes confíen en lo que le proporcionan al evaluador. Si les hacemos sentir incómodos perderemos su confianza.

¿Has asistido alguna vez en tu carrera profesional a cualquiera de los cursos que se ofrecen?

Si tienes más de 40 años, y nunca has asistido a un curso, marca la casilla con la opción NUNCA y otra en la casilla MAYORES DE 40.

5. Evitar lenguaje emocional, sesgo de prestigio (deseabilidad social) y preguntas guiadas
a. Vigilar el uso de preguntas “cargadas” que están asociadas a situaciones extremas.

¿Qué debe hacerse con los terroristas asesinos que amenazan la libertad de los buenos ciudadanos y la seguridad de nuestros niños?

b. Evitar el sesgo de prestigio, que consiste en la tendencia de los respondientes a contestar de forma que se sientan bien. Las personas no mienten directamente, pero intentarán quedar bien consigo mismos. Ciertamente, este tipo de sesgo es difícil de evitar: se puede obtener datos de contraste de otras preguntas similares en sentido contrario o haciendo el cuestionario lo más privado posible.

La mayor parte de médicos señala que fumar cigarrillos causa enfermedades de pulmón en aquellos que están cerca de los fumadores. ¿Está de acuerdo?

Esta pregunta tendería a provocar un “sí” por respuesta, sencillamente porque las personas confían en los médicos.

Otro ejemplo similar:

¿Estás de acuerdo, como la mayor parte de la gente, que los servicios de salud fallan?

c. Similar al caso anterior, una pregunta guiada es la que fuerza o implica un cierto tipo de respuesta. Es fácil cometer este tipo de errores, no en la pregunta en sí, sino en las opciones de respuesta. Las preguntas de respuesta cerrada deberían proporcionar todo el rango de respuestas y distribuirse de forma equitativa en el rango, además de ser todas teóricamente probables.

¿Es este el mejor programa de CAD que has usado jamás? Sí / No

En este caso, aunque al respondiente le gustara mucho el programa, pero tuviese otro más preferido, estaría forzado a contestar “No”. Claramente, la respuesta negativa cubre un amplio rango de opiniones. Un conjunto de respuestas mejor sería:

1. Totalmente en desacuerdo … 5. Totalmente de acuerdo

6. Evitar premisas falsas
Este tipo de error se podría considerar del tipo de preguntas guiadas.

¿Qué es la cosa más importante que debemos hacer para parar el deterioro de la economía?

Esta pregunta asume que la economía va mal, se está deteriorando, con lo que el respondiente puede no estar de acuerdo.

Mejor: ¿Cuál es la cosa más importante que podría hacer el gobierno para fortalecer la economía?

7. Evitar preguntar sobre intenciones futuras (si se puede)
Preguntas o afirmaciones del estilo: “Si X va a ocurrir, ¿harías/pensarías/… Y? no tienen sentido ya que la conducta futura casi siempre está poco relacionada con una situación hipotética. Este tipo de preguntas fuerzan al respondiente a evidenciar pensamientos que quizá ni siquiera haya considerado. No producen datos consistentes y claros que representen una opinión real.

Reglas referidas a aspectos lingüísticos de uso general

8. Evitar ambigüedades, confusión y vaguedad.
Este es el aspecto que causa generalmente la mayor fuente de errores en los cuestionarios. La meta es eliminar la posibilidad de que la pregunta signifique cosas distintas a gente distinta.

a. Se debe asegurar que está absolutamente claro lo que se pregunta y cómo se quiere que se responda. Por ejemplo:

¿Cuáles son tus ingresos?

El respondiente no sabe si son semanales, mensuales o anuales, brutos o netos, familiares o individuales, este año o el año pasado, del salario o incluyendo dividendos, intereses,…

Mejor: ¿Cúales fueron tus ingresos netos por salario el mes pasado?

b. Se deben evitar abreviaturas que sean inecesarias. En todo caso, se puede indicar al principio del cuestionario la palabra y su abreviatura, indicando que en lo sucesivo se utilizará la misma.
c. Igualmente, evitar palabras indefinidas o categorías de respuesta en la propia pregunta.

¿Sales a correr regularmente?

Alguien que responda puede pensar qué significa “regularmente”. O para distintos encuestados “regular” puede significar distintas cosas además de no indicar exactamente frecuencia, si es lo queremos averiguar.

Otro ejemplo, al nivel de las respuestas, podría ser este, además se da un mejor ejemplo para la cuestión del ejemplo anterior:

¿Cada cuánto sales a correr?

1. Muy a menudo

2. A menudo

3. A veces

4. Raramente

5.  Nunca

Sería preferible proporcionar elecciones ya cuantificadas

Mejor

1. Cada día

2. De 2 a 6 veces por semana

3. Una vez por semana

4. Una vez al mes

5.  Nunca

9. Evitar preguntas dobles

En muchas ocasiones una pregunta esconde en realidad dos preguntas, generalmente en con el uso de la conjunción "y":

¿Crees que los españoles deberían comer menos y hacer más ejercicio?

Mejor:

¿Crees que los españoles deberían comer menos?

¿Crees que los españoles deberían hacer más ejercicio?

10. Evitar negativos y especialmente dobles negativos
a. Los negativos como “Los estudiantes no deberían realizar un examen obligatorio para graduarse” son generalmente difíciles de procesar por muchos respondientes, especialmente si están de acuerdo con el predicado, ya que así estarían en desacuerdo con no hacer algo, lo cual es bastante confuso.
b. Los negativos dobles como “No es buena idea no hacer los deberes a tiempo” conllevan a la obtención de datos bastante poco fiables, porque las personas no están seguras de si poner un “sí” o un “no” incluso si tienen claro que entregar los deberes a tiempo es una buena idea.

11. Fraseo
Muchos adjetivos, verbos y nombres pueden tener distintas connotaciones (positivas o negativas). Considera estas dos palabras pueril y aniñado, que virtualmente tiene prácticamente el mismo significado. Generalmente se prefiere aniñado, ya que pueril se refiere más a conductas que a aspecto físico, por ejemplo.
En otras ocasiones pueden existir verbos que no tienen ni un significado positivo o negativo. Veamos las siguientes dos preguntas:

1. ¿Estás de acuerdo con el plan de gobierno que se opone al desarrollo creciente de las costas?

2. ¿Estás de acuerdo con el plan de gobierno que apoya el desarrollo limitado de las costas?

La apreciación de diferencias es más sutil, ambas preguntas dicen la misma cosa, pero producen datos diferentes. Una está en sentido positivo y la otra en negativo. Es imposible predecir cómo van a variar los resultados, así que un método para controlar esto es ser consciente de las maneras diferentes de utilizar las palabras en las cuestiones y proporcionar una mezcla de ellas en el cuestionario. Si la muestra de participantes es muy grande, diversas versiones pueden prepararse para eliminar estos efectos.

12. Preguntar por información precisa
Pregunta dando la posibilidad de dar respuestas precisas y completas, especialmente si crees que la información les es accesible y no hay impedimentos claros. (p.ej.:siendo demasiado intrusivo en la vida privada).

Tienes…

 Menos de 18 años

 Entre 18 y 65 años

 Más de 65 años

Mejor:

Proporciona tu edad a fecha 1 de septiembre de 2011 (en años) 

En este ejemplo, aunque los grupos de edad fueran los que se necesitan para la investigación, preguntar por la edad exacta tiene las siguientes ventajas:
- Hay menos posibilidad de errores
- La edad exacta puede registrarse de forma sencilla, con un programa de ordenador, en forma de grupos.
- El investigador puede alterar dichos grupos manteniendo las edades exactas. Puede inspeccionar diferentes agrupamientos para ver cómo se asocian a diferentes variables.
- Se pueden obtener estadísticos descriptivos más potentes (media, desviación estándar,…)
- Con ayuda de un ordenador se pueden transformar incluso fechas de nacimiento en edades, en la medida en que tengamos la fecha exacta en la que se produjo la contestación al cuestionario.

Lógicamente presentar la información en grupos posee una ventaja clara, reduce el tiempo para completar la información o, en algunos casos, mejora la tasa de respuesta de una pregunta concreta.

13. Evitar en lo posible muchas preguntas de respuesta abierta.
Esta regla es especialmente importante en aquellos cuestionarios que ha de responder una persona sin ayuda, por sí mismos, únicamente con la ayuda de las instrucciones. En este tipo de cuestionarios es difícil redactar preguntas de respuesta abierta que obtengan información de forma consistente en distintos respondientes.
Adicionalmente, demandan más tiempo al encuestado, y por tanto fatigan mucho más que las respuestas de tipo cerrado.
El problema de la ambigüedad en las palabras es prácticamente ineludible. Una cuestión que a simple vista parece inofensiva, inocente, no lo es:

¿Tu hijo realiza las tareas escolares regularmente?

¿Qué significa, en este caso, “regularmente”?¿una vez al día?¿al año quizá?...

Otro ejemplo,
¿Cuántos alumnos hay en la escuela?

Alguien puede pensar: matriculados, otro sin embargo, matriculados pero no absentistas, o los que hay en el momento de contestar, sin contar con los que se han ido a un viaj de fin de curso, etc, etc.

La mayor parte de problemas que se dan en las preguntas que requieren una respuesta cerrada se dan de hecho en este tipo de preguntas. La diferencia estriba en que se ha de ser extremadamente preciso para obtener información del mismo tipo, libre en lo posible de muchas interpretaciones, a los respondientes.

Para saber más

- Cohen, L., Manion, L. y Morrison, K. (2007). Research Methods in Education (6th Ed.). London: Routledge Palmer.

- Crawford, I.M. (1997). Marketing Research and Information Systems. (Marketing and Agribusiness Texts - 4). Roma: FAO. URL: http://www.fao.org/docrep/w3241e/w3241e00.htm#Contents.

- O’Brien, D. Questionnaire Design. Georgia Tech College of Computing :: School of Computer Science.

- Principles of Questionnaire Construction. URL: http://www.analytictech.com/mb313/principl.htm.

- University of Leeds Information Systems Services. Guide to the design of questionnaires.