¿DE DÓNDE VIENE TANTO AFÁN POR LOS RANKING?: LA EVALUACIÓN: ALGO MÁS QUE UNA COMPROBACIÓN : ESTÁNDARES

Ha aumentado la preocupación por la evaluación, en la formación y fuera de ella. En ese aumento ha contribuido el gran desarrollo de la evaluación, fruto del esfuerzo y la preocupación tanto de Captura de pantalla 2014-12-05 a las 13.03.23investigadores como de la presión social vehiculizada por la política educativa, que han propiciado la creación de distintos organismos como el Comité Conjunto de Estándadres para la Evaluación Educativa (CCEEE) – Joint Committe on Standars for Educational Evaluation- en los E.E.U.U-, la Agencia para la Evaluación de la Calidad -Quality Assessment Agency (QAA)- en el Reino Unido, el Instituto Nacional de Calidad de la Educación (INCE) o la recientemente ANECA creada, en España al amparo de la LOU u otros organismos similares en otros países, cuya finalidad, según el caso, puede ser triple: por un lado, realizar estudios teóricos, heurísticos y especulativos que permiten afianzar nuevos conocimientos y abrir campos de investigación; por otro, fijar criterios de ejecución, elaborar normas de procedimientos o facilitar información e instrumentos para realizar las evaluaciones de acuerdo a esos principios; y, finalmente, convertirse en centros captadores de informes y estudios, que operen como base de datos, para, a su vez, realizar sus propios estudios, elaborar metainformes de los recibidos y proseguir con sus propuestas teóricas como generadores de conocimiento en relación con la evaluación.

La preocupación por los estándares para la evaluación representa una corriente americana que nació a finales de 1975 a partir de un comité formado inicialmente por nueve personas procedentes a partes iguales de la Asociación Americana de investigación Educativa, la Asociación Americana de Psicología y el Consejo Nacional de Medición en Educación a quienes después se unieron otras personas de otras instituciones, asociaciones, federaciones o consejos Sus primeros trabajos salieron a la luz en 1981, posteriormente revisados en 1994 (Comité Conjunto… 1998), también es interesante destacar otro trabajo de 1988 (Comité Conjunto (2001, o Stfflebeam 2001).

Según ambos textos, el primero sobre evaluación de programas proyectos y materiales educativos y el segundo sobre evaluación del personal –profesores-, la conceptualización del término estándar se basa en las siguientes ideas:

            Un estándar ha sido definido como “un principio mutuamente acordado por las personas implicadas en la práctica profesional de la evaluación, que si se cumple, mejorará la calidad y la justicia de la evaluación” (Comité Conjunto de Estándares para la Evaluación Educativa, 1998: 30); otra versión de la misma fuente, pero retomando la definición inicial de 1981 afirma que es “un principio comúnmente asumido por las personas implicadas en la práctica profesional de la evaluación para la medición de la valía o la calidad de una evaluación” (Comité Conjunto de Estándares para la Evaluación Educativa, 2001: 26). Se advierte que en la primera versión el peso inicial de la medición está mucho más presente en el comité que aceptó dicha definición que en el del segundo, bastante más descargado del peso positivista. (No ha de olvidarse que los primeros estándares presentados versaban sobre los tests y manuales educativos y psicológicos, en un trabajo de 1974 sobre una versión inicial de 1966 -Comité Conjunto, 1998).

En el caso de los programas y en el de los docentes, los estándares se ofrecen como una guía que orienta su aplicación en diferentes marcos (centros, universidades, leyes, medicina, ejército, negocios, administración, seguros sociales…) a la vez que ofrecen explicaciones, propósitos, pautas de acción, casos ilustrativos o situaciones de aplicación, errores más comunes y documentación de apoyo.

En el caso de los profesores su evaluación ha sido definida como “la evaluación sistemática de la actuación profesional y/o cualificaciones de una persona en relación con un cometido profesional y (a) algún fin institucional justificado y defendible” (Stufflebeam, 2001: 26) Al igual que el anterior estudio sobre programas, presenta una disposición y estructura idéntica de los veintiún estándares en este caso, frente a los treinta anteriores, agrupados en las cuatro características o atributos básicos de una evaluación bien fundamentada: propiedad (en algunos textos ha sido traducida por legitimidad) utilidad, viabilidad (en algunos textos, factibilidad) y precisión.

Es muy importante que se tenga en cuenta que los “estándares introducen criterios para valorar planes, procedimientos e informes de evaluación” (Comité Conjunto, 2001: 28), es decir, marca las pautas para realizar una buena evaluación desde el punto de vista científico, investigador, metodológico, que contemple y resista la propia metaevaluación, a la vez que nos ilumina esta última. Los estándares no nos indican ni definen lo que es una buena enseñanza, un buen programa, una buena dirección o un buen material docente, sino que sobre lo que nos informa es si la evaluación sobre esos objetos se ha realizado correctamente. También se ha de contemplar que dichos estándares, recomendaciones, están contemplados desde las condiciones, leyes, y situaciones que se dan en los Estados Unidos, o sea, que su transferibilidad, en alguno de sus supuestos y sugerencias, debe ser oportunamente filtrada y reflexionada. No obstante, su formato ejemplar permite adaptaciones y solicitan sugerencias para su propia mejora.

Previamente a la presentación de dichos estándares es necesario presentar algunos elementos comunes a todos ellos (Comité Conjunto (1998 y 2001)

– Los estándares ofrecen consejos sobre como llevar a cabo las actividades de evaluación pero no incluyen criterios para emitir juicios.

– Lo que pretenden es facilitar y favorecer el diálogo y la reflexión entre los componentes del equipo de evaluación y entre estos y las personas implicadas (audiencias, clientes, responsables de formación, formadores…).Captura de pantalla 2014-12-30 a las 8.32.34

– Se recomienda que: 1) se recoja información relevante sobre las cuestiones que sean objeto de evaluación en consonancia con la finalidad de la evaluación y 2) que sea suficiente para “juzgar la eficacia, el costo, la respuesta a las necesidades sociales, la viabilidad y el valor del programa” (1998: 31).

– Favorecen la utilización de distintas técnicas e instrumentos de recogida de información, tanto basada en metodologías cuantitativas como cualitativas.

– Ayudan a los evaluadores a comprender, confrontar e identificar la realidad política en la que se desarrollan las acciones evaluadas, así como a evitar los riesgos generados por el poder, el poder del dinero en forma de abusos y corruptelas.

– Dejan margen de actuación para poner en marcha procedimientos de evaluación creativos y que tengan sentido a nivel local.

– Cada uno de los estándares, si bien está ubicado en una de las cuatro carácterísticas o atributos que son necesarios y suficientes para conseguir una evaluación justa y bien fundamentada, puede ser importante, e incluso relevante en alguna otra.

    Sea cual sea el tipo de evaluación que se vaya a realizar, dónde y cuando se aplica, es muy conveniente que el responsable del equipo de evaluación y sus integrantes reflexionen previamente en torno a (Comité Conjunto, 1998): “Decidir si se lleva a cabo la evaluación, Definir el problema de la evaluación, Diseñar la evaluación, Recoger la información, Analizar la información, Informar de la evaluación, Hacer el presupuesto de la evaluación, Hacer el contrato de la evaluación, Gestionar la evaluación, Proveer de personal a la evaluación Desarrollar políticas de evaluación” (p.37)

1.- LA UTILIDAD COMO CRITERIO

Este atributo o característica de la evaluación “está pensado para orientar las evaluaciones con el fin de que estas sean informativas, oportunas e influyentes. Requieren que los evaluadores se familiaricen con sus audiencias, las definan claramente, averigüen cuáles son sus necesidades de información de las audiencias, planifiquen las evaluaciones para responder a tales necesidades y den cuenta de informaciones relevantes de un modo claro y oportuno en el tiempo” (Comité Conjunto, 1998: 33)

2.- LA VIABILIDAD O LA FACTIBILIDAD COMO CRITERIO

Con esta atribución de la evaluación se hace mención a la característica según la cual los sistemas de evaluación, sus diseños y sus desarrollos deben ser fáciles de aplicar eficientes en su planteamientos y viables desde distintos puntos de vista y ser desarrollados en su marco de acción natural.

3.- LA PRECISIÓN COMO CRITERIO

Esta atribución exige de la evaluación que la información obtenida necesaria para llevar a cabo el proceso sea recogida, tratada y analizada cumpliendo los requisitos y exigencias según el rigor y sistematización exigidos en procesos ligados a la investigación evaluativa, respetando la metodología más apropiada en cada caso y que las conclusiones se deriven de las evidencias encontradas, dichos estándares exigen que la evaluación sea comprensiva y bien fundamentada.

4.- LA PROPIEDAD O LA LEGITIMACIÓN COMO CRITERIO

            “Los estándares de propiedad requieren que las evaluaciones se lleven a cabo legal, éticamente y con el debido respeto hacia el bienestar de los evaluados y los clientes de las evaluaciones” (Comité Conjunto 2001: 43), están plasmadas con la idea de proteger a las personas implicadas de los abusos y tratando de proteger sus derechos y para que los evaluadores actúen “cumpliendo las leyes relacionadas con cuestiones como la privacidad, la libertad de información y la protección de las personas” (Comite Conjunto, 1998: 34)Captura de pantalla 2012-12-10 a la(s) 18.27.14

 

En definitiva, los estándares y sus criterios suponen un instrumento de reflexión y una guía de trabajo para la evaluación de programas, de proyectos de acción, de intervención o de dirección, de materiales educativos o, igualmente interesantes, para la evaluación del personal formados e, incluso, de otro personal al servicio de la formación.

Sobre esas bases teóricas están desarrollados los sistemas de evaluación como PISA (Programa Internacional de Evaluación de los Alumnos (PISA), que es un proyecto de la OCDE cuyo objetivo es evaluar la formación de los alumnos cuando llegan al final de la etapa de enseñanza obligatoria a los 15 años. El programa ha sido concebido como un recurso para obtener información abundante y detallada que permita los países miembros adoptar decisiones y políticas públicas necesarias para mejorar los niveles educativos. También el Programa Internacional para la Evaluación de la Competencia de los Adultos (PIAAC), conocido también como el PISA para adultos y, en general, toda la legislación que afecta a la evaluación, como la contenida en la Ley Orgánica 2/2006, de 3 de mayo, (Publicada en BOE núm. 106 de 04 de Mayo de 2006. Y, en concreto, el TÍTULO VI) y la establecida en la Ley Orgánica de Mejora de la Calidad Educativa (LOMCE), que ha sido publicada en el Boletín Oficial del Estado del 10 de diciembre como Ley Orgánica 8/2013, de 9 de diciembre

Sobre esas bases se justifican también los diferentes Rankings que vienen publicándose sobre las Universidades.

En todos los casos y por más que las intenciones sean buenas inicialmente, se están consiguiendo resultados perversos que, al menos por ahora, solo están logrando cierto desprecio social sobre nuestra realidad educativa, tanto obligatoria como post-obligatoria y no la mejora (de la financiación, del reconocimiento, de la dotación de recursos, de la formación permanente del profesorado, de la investigación e innovación al respecto, etc.). Es más, si ya antes se cargaba sobre el sistema educativo la responsabilidad de toda desviación personal o social, ahora pareciera que se quisiera derrumbar el sistema directamente, porque no obtiene aquello que cada uno espera de él.

Anuncios

Un comentario en “¿DE DÓNDE VIENE TANTO AFÁN POR LOS RANKING?: LA EVALUACIÓN: ALGO MÁS QUE UNA COMPROBACIÓN : ESTÁNDARES

Responder

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión / Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión / Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión / Cambiar )

Google+ photo

Estás comentando usando tu cuenta de Google+. Cerrar sesión / Cambiar )

Conectando a %s