Sí, lo sé. Esto no es lo que generalmente se espera de este blog. Dedicado casi siempre a la evaluación del aprendizaje...Pero esto de la evaluación de programas no deja de ser algo práctico también que nos atañe como docentes y que tiene mucho que ver con el aprendizaje. De hecho, nuestra programación didáctica es un programa, que además en algunas normativas autonómicas (España) se exige su evaluación. En mi caso, orientación educativa, también se debe evaluar el PAT (Plan de Acción Tutorial), POAP (Plan de Orientación Académica y Profesional), insertos ambos en el Plan de Actividades del Departamento de Orientación. Además, toda actividad del centro educativo se vertebra en torno a programas, que no voy a enumerar (son muchos, ¿demasiados?). Tanto es así, que cuando se plantea la evaluación de centros, algunos prefieren hablar de evaluación de programas (de centro).
A lo largo de la entrada tocaré algunas cuestiones que para mí son fundamentales en la evaluación de programas. La primera, con la que abro, qué es un programa.
¿Hay diferencias entre plan, programa y proyecto?
Antes de plantear cualquier tipo de evaluación de programas quisiera comenzar por especificar qué se entiende por programa y su diferencia con otros conceptos afines que en muchas ocasiones se utilizan indistintamente, proyectos y planes, especialmente estos últimos.
Así un programa lo definimos como:
El conjunto de acciones organizadas y dirigidas hacia unas metas globales y/o complejas. Además los programas pueden incluir diferentes proyectos.
Así un programa lo definimos como:
El conjunto de acciones organizadas y dirigidas hacia unas metas globales y/o complejas. Además los programas pueden incluir diferentes proyectos.
Un plan está conformado por el conjunto de objetivos y los medios (actividades, procedimientos, recursos, etc.) para conseguirlos. Con lo que la diferencia tampoco queda demasiado clara. Sin embargo, un proyecto tiene otras connotaciones más particulares y está dirigido a conseguir un propósito mucho más concreto y con una duración determinada.
Desde este punto de vista tendremos tal vez que hablar más bien de evaluación de planes y programas como un conjunto de estrategias y herramientas que están al servicio de la toma de decisiones en función de los objetivos que persiguen.
¿Qué se entiende por evaluación de programas?
En síntesis, se trata del juicio de la viabilidad, eficacia, valor, etc., de un programa en relación con los objetivos, normas o criterios declarados (ERIC Thesaurus). En esta primera definición ya nos encontramos dos elementos a considerar en la evaluación de programas/planes:- Los objetivos que persigue el programa.
- Las características que permiten describir cualitativa o cuantitativamente el programa que tiene como referencia unos objetivos.
- Mérito (o calidad)
- Bien (o valor; p.ej.: coste-efectividad)
- Relevancia (o importancia)
- ¿Qué será evaluado? (p.ej.: ¿qué es "el programa" y en qué contexto existe?)
- ¿Qué aspectos del programa se consideran cuando se valore el rendimiento del programa?
- ¿Qué estándares (p.ej.: nivells de rendimiento) han de conseguirse por parte del programa para considerarlo como exitoso?
- ¿Qué evidencias se utilizarán para indicar como se ha desarrollado el programa?
- ¿Qué conclusiones al respecto del rendimiento del programa se justifican comparándolas con las evidencias disponibles de los estándares seleccionados?
- ¿Cómo se usarán las lecciones aprendidas de la investigación evaluativa del programa para mejorar la efectividad de la educación?
Son preguntas que deberíamos responder o abordar desde un punto de vista teórico-práctico antes de desarrollar la evaluación de cualquier programa- También deberíamos considerar si es necesario o factible evaluar un determinado programa. Aunque por imperativo legal, en educación, aquellos que están sujetos a norma hemos de evaluarlos, no deberíamos evaluarlos, o estaríamos en malas condiciones para la evaluación si:
- Los estándares para cualquier evaluación no se van a cumplir:
- Utilidad: la evaluación sirve a las necesidades de información de los usuarios.
- Factibilidad: la evaluación es realista, prudente, diplomática.
- Apropiada: la evaluación se lleva a cabo legal y éticamente y con la intención de procurar bienestar a los que están implicados y a los afectados por los resultados.
- Precisión: la evaluación revela información técnica adecuada.
- El programa está cuestionado.
- El programa no tiene una dirección u objetivos claros.
- Los interesados no están de acuerdo con los objetivos del programa.
- No hay recursos económicos para hacer una buena evaluación (la que pueda cumplir con los estándares del punto 1).
Si alguno de estos aspectos no está presente, es razonable poder plantearse la evaluación del programa. Y esta evaluación ha de producir conclusiones y hallazgos a tiempo, relevantes, creíbles y objetivos sobre el ejercicio del programa. Por tanto se ha de basar en la recolección de análisis de datos válidos y fiables.
Temas y ámbitos en la evaluación de programas
En la evaluación de programas se dan dos niveles de resultados:
a. Salidas operativas.
b. Resultados: beneficios/perjuicios a usuarios, resultados asociados a objetivos
Con estos dos niveles, se plantean tres temas generales de la evaluación:
1. Resultados: objetivos dentro de los presupuestos sin causar resultados negativos.
2. Efectividad del coste: si implica al método más apropiado, eficiente y efectivo (coste) para conseguir los objetivos.
3. Relevancia continuada: si el programa continua siendo relevante para las prioridades de la organización que lo promueve o de las necesidades de los usuarios.
Así y todo, la pregunta es, ¿cómo medir los resultados asociados a un programa? (problemas de medida), y lo más complejo, ¿cómo atribuir a un programa que es la causa de los resultados obtenidos? (problemas de atribución).
Una "reflexión" sobre la evaluación de los planes y programas del centro
Aunque hay mucha normativa en las distintas Comunidades Autónomas, y diferente, sobre los distintos planes, programas y proyectos que constituyen los ejes de acción de un centro educativo, podemos consensuar al menos los siguientes que aparecen en la Ley Orgánica 2/2006, de Educación, modificada por la Ley Orgánica 8/2013, para la mejora de la calidad educativa, (arts. 120 a 125):
- Proyecto Educativo (art. 121)
- Planificación estratégica (debería decir plan estratégico) (art. 122 bis); esta sospecho que no se ha desplegado en la mayor parte de centro educativos.
- Proyecto de Gestión (art. 123)
- Plan de convivencia (art. 124)
- Programación general anual (PGA) (art. 125)
Por ejemplo, en la Comunitat Valenciana (España), en las instrucciones de inicio de curso constan 14 planes y programas, más otros que pueda añadir el centro, además de los citados por normativa anteriormente: Plan de normalización lingüística, Diseño particular de los Programas lingüísticos que aplica el centro, Proyecto lingüístico de centro del Programa de educaciónplurilingüe e intercultural, Programa de reutilización, reposición y renovació de libros de texto y material curricular, Plan para el fomento de la lectura, Plan de igualdad y convivencia (este ya estaba citado), Reglamento de régimen interior, con las normas básicas de convivencia (no es estrictamente un programa), Plan de atención a la diversidad y la inclusión educativa, Plan de orientación académica y profesional, Plan de acción tutorial, Transición entre etapas y modalidades de escolarización, Plan de formación permanente del profesorado para el desarrollo del Proyecto educativo, Proyecto educativo del comedor escolar...¿seguís ahí?
La PGA además incluye, en nuestro caso, el Plan Anual de Mejora, además de otros programas (algunos se relacionan estrechamente con algunos planes citados anteriormente): Programaciones didácticas, Programa de Orientación y Refuerzo para el Avance y Apoyo en la Educación, Programación anual del departamento de orientación, Programa anual de formación permanente del profesorado del centro, Programa anual del comedor escolar, Programa anual de actividades complementarias y extraescolares y servicios complementarios.
¡¡¡Buffffff!!! Really, George?
Todo esto se tiene que evaluar y reflejar en la memoria de final de curso, que ha de servir para realizar propuestas de mejora para el siguiente curso. Como comprenderéis cualquier parecido con una evaluación es pura coincidencia ya que cumplir con los estándares de utilidad, factibilidad, adecuación y precisión se hace misión imposible. Aún así, soy optimista y en lo que respecta a la evaluación de la programación anual del Dep. de Orientación, el plan de acción tutorial y el plan de orientación académica y profesional, de los que soy responsable, he iniciado un proceso de evaluación basado en evidencias que intenta explicar el grado de consecución de los objetivos fijados en ellos.
En las próximas entradas iré poniendo cuestiones más prácticas de para evaluar programas que os pueden ayudar en vuestra labor:
- Fases: implicaciones y actividades.
- Estrategias en la evaluación de programas: inferencia causal, criterios, métodos, técnicas de análisis de datos.
- Un ejemplo de la planificación de la evaluación de un programa.
