Este documento se encontraba antiguamente en la dirección http://www2.uca.es/RELIEVE/V3N1_1.HTM. Por favor, a partir de ahora utilice la siguiente referencia: "Escudero, T. (1997). Enfoques modélicos y estrategias en la evaluación de centros educativos.  RELIEVE, vol. 3, n. 1. Consultado en http://www.uv.es/RELIEVE/v3n1/RELIEVEv3n1_1.htm en (poner fecha)."


Este artículo ha sido consultado en   ocasiones desde su publicación


R evista ELectrónica de Investigación y EValuación Educativa // 1997 // Volumen 3 // Número 1_1
ISSN 1134-4032 // D.L. SE-1138-94

ENFOQUES MODÉLICOS Y ESTRATEGIAS EN LA EVALUACIÓN DE CENTROS EDUCATIVOS

por

Tomás Escudero Escorza
tescuder@posta.unizar.es
Instituto de Ciencias de la Educación
Universidad de Zaragoza


RESUMEN

En este trabajo se presentan diversos enfoques modélicos de uso más frecuente entre los evaluadores de centros educativos. Se ofrecen distintas clasificaciones de estos modelos según enfoques conceptuales y criterios de evaluación utilizados, y se analizan los modelos de evaluación en las perspectivas siguientes: 1) los resultados escolares, 2) los procesos internos y la realidad estructural y funcional del centro; 3) la mejora institucional, diferenciando según se ponga el énfasis en la autoevaluación institucional o en la evaluación externa como complemento de la interna; y 4) las metaevaluaciones de los modelos utilizados por los sistemas educativos. La última parte del trabajo aborda la evaluación en su vertiente práctica de aplicación a los centros, presentando estrategias y apoyos metodológicos que puedan facilitar una tarea tan compleja y llena de dificultades.

ABSTRACT

This paper shows different school assessment models, the more frequently used by evaluators. The models are classified according to the conceptual approach and they are analysed from the following perspectives: 1) school output; 2) internal processes and structural and functional reality of the school.; 3) Institutional improvement, according to the point where the emphasis is placed: inner evaluation or outer evaluation as a complement of the internal evaluation; 4) the methaevaluations of the models used by educational systems. The last part of the work tackles the evaluation on its practice slope (how it is performed in the school), introducing strategies and methodological supports to make easier a so complex and difficult task.


1. INTRODUCCIÓN

En algún otro momento (Escudero, 1993) nos hemos hecho eco, coincidiendo con distintos autores, de la cierta ligereza con que se usa el término modelo en investigación evaluativa, para denominar cosas diversas como enfoques, planes, esquemas, organigramas, programas e incluso métodos de evaluación, que no son modelos en sentido riguroso (De Miguel, 1989). En cualquier caso, la investigación evaluativa trabaja habitualmente en un contexto de caso específico, de caso único, al que debe adecuarse, con lo que resulta de una cierta incoherencia hablar de modelos de aplicación general. Por estas razones, nosotros preferimos hablar de enfoques modélicos como término algo más flexible y, además, creemos que el evaluador de centros, por ejemplo, construye su propio modelo de evaluación a medida que va resolviendo los problemas que se plantea en el diseño y desarrollo de su trabajo sobre aspectos claves como finalidad, objeto, tiempo, agentes, etc. Más adelante profundizamos en los criterios básicos para definir el propio modelo evaluativo.

Pero, a pesar de lo dicho, la literatura especializada en evaluación de centros suele hablar de modelos de evaluación, aunque se produzca en coherencia con lo apuntado, una cierta dispersión de clasificaciones o tipologías. Sin embargo, siempre existen algunos elementos de acuerdo entre los diversos estudios. En este trabajo, ofrecemos un análisis panorámico amplio, aunque no exhaustivo, de los enfoques modélicos más habituales en la práctica de la evaluación de centros, así como de ciertas estrategias metodológicas en las que suelen apoyarse.

2. ENFOQUES MODÉLICOS

La aproximación a este tipo de estudios puede hacerse desde la perspectiva práctica del análisis del proceso global de evaluación de centros, contestando de manera secuenciada y explicando las alternativas posibles, dilemas y problemas con que se enfrenta el evaluador de centros. Esta perspectiva es la que suelen tomar textos o análisis con orientación global y de síntesis (Escudero, 1980; Pérez Juste y Martínez Aragón, 1989; De Miguel y otros, 1994). Pero también existen la aproximación a los modelos de evaluación desde perspectivas teóricas y la que se fundamenta en el análisis metaevaluativo de los programas de evaluación de centros. Nuestro análisis del problema lo apoyamos en estas tres diferentes aproximaciones y en su combinación.

Tomando como punto de partida los enfoques conceptuales sobre las organizaciones y considerando a los centros educativos como tales, De Miguel (1989) sugiere la existencia de cinco grandes bloques de agrupamiento de los modelos de evaluación de centros. Estos cinco bloques son los siguientes:

a) Los que enfatizan los resultados (outputs).
b) Los que enfatizan los procesos internos a la propia organización.
c) Los que postulan criterios mixtos o integradores.
d) Los que se centran sobre los aspectos culturales de la organización.
e) Los que intentan evaluar la capacidad de la propia organización para autotransformarse (evaluación para cambiar).

García Ramos (1989), partiendo del propio análisis de De Miguel, extiende a ocho los bloques de agrupamiento de los modelos según el tipo de criterio de evaluación utilizado, esto es, según se ponga el énfasis en:

a) Los resultados (outputs).
b) La relación entradas-salidas (inputs-outputs).
c) Los procesos internos de la propia organización.
d) Los aspectos técnicos de la organización.
e) Los aspectos culturales de la organización.
f) La capacidad de la propia organización para autotransformarse.
g) La relación organización-factores humanos.
h) Los criterios integradores.

Más recientemente, De Miguel y otros (1994) reducen todo a dos grandes bloques, los que enfatizan los resultados y los que enfatizan los procesos internos, y aunque dicen que este agrupamiento puede resultar algo reduccionista, resulta útil, sobre todo ante la dicotomía de planteamientos de orientación sumativa y formativa, y para captar las diferencias entre la investigación centrada en la eficacia escolar y la centrada en su mejora (Clark y otros, 1984; Wimpelberg y otros, 1989).

2.1. La perspectiva de los resultados escolares

Los modelos de evaluación de instituciones escolares centrados en sus resultados, se entroncan de manera directa en el movimiento investigativo de las escuelas eficaces y, como es lógico, tienen los mismos soportes metodológicos, tomando como referente básico los objetivos del centro y su nivel de consecución.

Dentro de estos modelos nos encontramos con distintos tipos tales como (Shulman, 1986): a) Entrada-salida (input-output), b) Proceso-producto, c) Entrada-proceso-producto y d) Contexto-entrada-proceso-producto, esto es, con el conocido modelo CIPP de Stufflebeam. Estos tipos, básicamente se reducen, según Castejón y otros (1993), a dos, los de entrada-salida y entrada-proceso-producto. De la Orden (1993), por su parte, habla de cuatro subtipos, diferenciados entre sí en función de las variables predictivas seleccionadas y del enfoque analítico o global. Estos subtipos son los siguientes: a) Modelos input-output, b) Modelos procesuales de eficacia institucional, c) Modelos procesuales con énfasis en la clase y d) Modelos sistémicos.

En el modelo de entrada-salida se considera el centro educativo como un conjunto de variables que contribuyen, junto con las características iniciales de los alumnos, de tipo personal (inteligencia, rendimiento anterior, autoconcepto, etc) o social (nivel socioeconómico y cultural), a la determinación del producto (rendimiento) final. Esta contribución es de tipo aditivo, esto es, a las características de entrada de los alumnos se añaden las del centro educativo. No se tiene en cuenta la contribución común de las características de los alumnos en interacción con los procesos educativos que tienen lugar en el centro. Metodológicamente se sustenta en un modelo aditivo en el que los factores son sumandos independientes. Técnicas estadísticas como el análisis de regresión múltiple y los métodos de partición de la varianza que enfatizan el componente único de cada variable, como el método paso a paso (stepwise), sirven de base a este modelo.

Los primeros estudios acerca de los «efectos de la escuela» (Coleman y otros, 1966; Jencks y otros, 1972; Bidwell y Kasarda, 1980), basados en un modelo de este tipo, concluyeron que las diferencias entre escuelas en los procesos educativos explicaban muy poco de la varianza en el logro de los alumnos. Por el contrario, el rendimiento académico era, sobre todo, función del ambiente socioeconómico y cultural ñvariables de entradañ del que procedían los alumnos, mientras que la organización educativa tenía unos efectos mínimos. Sin embargo, estos trabajos presentan una debilidad metodológica clara, por cuanto utilizan sistemas de partición de la varianza jerárquicos o acumulativos; lo cual no permite separar los efectos únicos de los efectos comunes que se dan entre las variables que se introducen primero en la ecuación y aquéllas ñcomo las referidas a los procesos educativosñ que se introducen después (Mayeskee y otros, 1969; Madaus y otros, 1979). Frente a las técnicas de partición incremental de la varianza, los procedimientos de partición simétrica (Mayeskee y otros, 1969; Pedhazur, 1982; Linn, 1986) permiten separar los componentes único y común, posibilitando establecer los efectos combinados de variables relativas a los bloques de entrada y a los efectos de la escuela conjuntamente. No obstante, el análisis de la comunalidad no ayuda a entender el tipo específico de interacciones que se producen entre las variables (Pedhazur, 1982). Este procedimiento, al igual que el método stepwise sólo resulta útil dentro de un esquema predictivo en el que lo que interesa es conocer qué variables contribuyen más a explicar el producto educativo.

Los modelos de entrada-proceso-producto incorporan tanto las variables de entrada de tipo sociofamiliar y personal de profesores y alumnos, como las variables procesuales de enseñanza-aprendizaje que tienen lugar en el centro. Modelos como los de Centra y Potter (1980) y Creemers y Scheerens (1989) pertenecen a este tipo. La característica diferencial respecto al modelo anterior, del tipo entrada-salida, no se refiere únicamente al mayor número de variables que contempla, sino también al tipo de relación que se establece entre ellas. Esta relación es interactiva. La escuela no se considera sólo un componente más de los que contribuyen al rendimiento, sino que se estima que ejerce un tipo preciso de efectos en combinación con el resto de las variables. Se establece explícitamente la dirección de estos efectos; lo cual permite un mejor entendimiento del funcionamiento del modelo y de sus componentes individuales. Este modelo es provechoso para la investigación sobre los efectos de la escuela, toda vez que en las escuelas eficaces, más que variables cruciales que ejercen su efecto de forma aislada y descontextualizada, parece existir una red de interrelaciones en la que todos los factores se refuerzan mutuamente, dando lugar a un patrón particular de funcionamiento escolar (Purkey y Smith, 1983). No podemos pretender hallar una causalidad lineal, sino más bien estructural, recíproca e interactiva. El modelo metodológico que le sirve de base es el interactivo, que permite la inferencia causal y la determinación de los efectos recíprocos entre variables, al menos en el caso de los modelos no recursivos. Se posibilita el establecimiento de un modelo teórico de influencias, interacciones y efectos directos e indirectos entre variables que puede contrastarse empíricamente. Para calcular los parámetros del modelo se utilizan técnicas de análisis de sendas y de ecuaciones estructurales (Jöreskog, 1978; Kenny, 1979; Long, 1987; Loehlin, 1987). Los resultados de Dunkin (1978) mostraron que las características iniciales de los estudiantes, en interacción con los factores del proceso educativo, eran los elementos que en mayor medida explicaban el rendimiento.

La aplicación de los modelos procesuales en la investigación sobre escuelas eficaces permitió identificar la relevancia de variables como liderazgo, disciplina y control de los estudiantes, expectativas sobre el rendimiento, tiempo de aprendizaje, etc., y las interacciones entre ellas como influyentes en los logros escolares; se seleccionan variables procesuales y del clima institucional como predictoras de la eficacia del centro, por sus relaciones con los resultados académicos.

Pero existen problemas con los supuestos de estos modelos, en la medida que se desconoce o conoce deficientemente la relación causal y su magnitud, entre estas variables y entre ellas y el producto institucional. Asimismo, estas variables pueden interaccionar de forma no prevista con otras variables contextuales del centro. Raudenbush y Willms (1995) concluyen un interesante artículo sobre la estimación de los efectos escolares diciendo que no se puede saber cual es el nivel de efectividad de las practicas pedagógicas de un centro, si no se parte de unaa teoría explicativa de qué hace que un centro educativo sea eficaz.

Algunos de estos modelos ponen el énfasis en los procesos propiamente instructivos, fundamentalmente relacionados con el contexto de enseñanza-aprendizaje del aula, a veces con preponderancia psicosociológica (Walberg, 1976) y otras con preponderancia técnico-didáctica (Hernichsfeger y Wiley, 1978).

Los modelos causales, de los que son ejemplos los presentados por Yorke (1987), Stöel (1987) y Fuentes (1988) tienden a integrar los presupuestos de los modelos que enfatizan los resultados y los que se centran únicamente en los procesos internos, sin tratar los resultados. Se postula una interrelación activa entre variables que se expresa y analiza en función de modelos causales en los que las variables relativas a la organización escolar son intermediarias entre sus entradas y salidas (De Miguel, 1989).

2.2. Las perspectivas de los procesos internos y de la realidad estructural y funcional del centro

Otra gran perspectiva evaluadora es la que se apoya en el análisis interno de la organización, de sus estructuras de funcionamiento y de la satisfacción de sus miembros, sobre la hipótesis de que una situación favorable desde esta perspectiva incide en la calidad y en el éxito de la organización (Goodman y Pennings, 1977; Van de Ven y Ferry, 1980; Lawler y otros, 1980). Dentro de estos planteamientos se convierte en objeto principal de interés la gestión y dirección de los centros (Reed y otros, 1987), la dirección de la dinámica didáctica del aula y de manera especial el clima institucional, con expresión de las percepciones, expectativas, actitudes, juicios, procesos de solución de conflictos, mecanismos de comunicación y participación, etc. (De Miguel, 1989). Sobre este último aspecto ya hemos señalado anteriormente que existe una pujante línea de trabajos, en el que participa nuestro país, con el diseño y elaboración de instrumentos para valorar el clima de los centros y el clima de las aulas.

Miles (1974) nos hablaba de diez características de un centro docente sano, que nosotros resumimos en su momento (Escudero, 1980). Estas características nos parecen seguir teniendo interés en el momento presente para valorar la calidad organizativa y funcional de un centro educativo. Las diez características son las siguientes:

1) Objetivos. Los objetivos deben ser claros y aceptados por los miembros del grupo. Además, deben ser alcanzables con los recursos disponibles y apropiados para las demandas del entorno.
2) Buenas comunicaciones. El movimiento de información es una importante dimensión de la salud organizativa de un centro educativo, ya que éste no es un pequeño grupo como para funcionar cara a cara. Es necesaria la comunicación libre de distorsiones de tipo «vertical», «horizontal» y con el entorno que le rodea. La información va de un lado a otro sin especial dificultad, con un mínimo de distorsión. Dentro de la organización sana se detectan bien y rápidamente las tensiones; existe la suficiente información sobre los problemas que hay en el sistema, como para asegurar que puede darse un buen diagnóstico sobre las dificultades existentes.
3) Óptima igualación de poder. En una organización sana la distribución de la influencia es relativamente equitativa. Los subordinados (si existe una autoridad formal) pueden ejercer influencias hacia arriba y perciben que su jefe puede hacer lo mismo respecto a su superior inmediato. La actitud básica de las personas en una organización como ésta, frente a los de arriba, los de abajo, y los de los lados, es de colaboración más que de tensión.
4) Utilización de recursos. A nivel organizativo, la «salud» implica que los «inputs» del sistema, en especial los personales, se usan de forma eficaz, esto es, requiriendo un esfuerzo tenso pero racional, lejano de la sobrecarga y el ocio.
5) Cohesión. Una organización sana se conoce a sí misma, en su conjunto y en sus partes, sabe a donde va, conoce sus objetivos y el por qué de los mismos. Cada miembro del centro debe participar de estos principios y sentirse a gusto dentro de la organización, recibiendo su influencia e influyendo en ella.
6) Moral. Esta dimensión implica la idea de satisfacción y bienestar, aunque la satisfacción no sea suficiente para la «salud» porque basándose en aquélla, pueden soslayarse hostilidades y problemas. No obstante, a nivel organizativo parece útil evocar la moral: una suma de sentimientos individuales de satisfacción que apoyan los deseos de realizar esfuerzos.
7) Innovación. Un sistema sano tiende a moverse hacia nuevos objetivos, nuevos procedimientos, a diversificarse a sí mismo y a ir cambiando en alguna medida a través del tiempo. Un sistema de este tipo crece, se desarrolla y cambia, en vez de mantenerse igual y rutinario.
8) Autonomía. La organización sana no responde en forma pasiva a las demandas del exterior, sintiéndose instrumento del entorno, y no responde tampoco a las demandas que percibe en forma rebelde o destructiva. Tiende a mantener, más bien, una cierta independencia del entorno, de forma que las respuestas recibidas en sus relaciones no sean «determinantes» de su propio comportamiento.
9) Adaptación. La autonomía e innovación tienen relación estrecha con la adecuación o adaptación con el entorno. Si las demandas de éste y los recursos organizativos no están equiparados, se plantean problemas que exigen un nuevo enfoque y una nueva estructura. Un sistema con esta concepción posee la suficiente estabilidad y capacidad de tolerancia como para afrontar las dificultades que se presenten durante el proceso de adaptación.
10) Equilibrio en las técnicas de resolución de problemas. Cualquier organismo, incluido el «sano», tiene problemas, tensiones y dificultades. Lo importante no es la no existencia de problemas sino la forma en que la organización se enfrente con ellos. En un sistema eficaz los problemas se resuelven con un mínimo de energía, de forma que los mecanismos usados para solucionarlos, no sólo no se debilitan, sino que se mantienen y refuerzan. Una buena organización se caracteriza por poseer estructuras y procedimientos para detectar e identificar la existencia de problemas, descubrir las posibles soluciones, aplicarlas y medir su eficacia. En síntesis, un organismo sano es aquel que tiene capacidad, y, de hecho, se autoevalúa permanentemente.

Estas diez características tienen un alto grado de interdependencia y creemos que definen un marco apropiado de índices indirectos de calidad, pues se trata de aspectos que indudablemente condicionan en un sentido u otro el funcionamiento del centro, sobre los que parecen existir múltiples evidencias de su influencia en dicho sentido.

En esta misma línea de inspección interna del centro existen otras muchas propuestas de análisis que parten de distintas perspectivas (Escudero, 1980). Nos podemos encontrar desde esquemas de base analítica, con orientación primordial hacia los aspectos económico-administrativos, hasta enfoques que centran su interés básicamente en las características y en la actividad de los profesores. Entre las aproximaciones evaluativas del funcionamiento que más enfatizan los aspectos de gestión económico financiera está la conocida como auditoría (Pérez Juste y Martínez Aragón, 1989), en alguna de sus versiones más habituales.

También podríamos integrar en este bloque los que De Miguel (1989) denomina modelos culturales, que toman como elemento de análisis los aspectos culturales implícitos en los centros, considerados como organizaciones sociales. Los elementos de información sobre los individuos y grupos del centro, sus estructuras conceptuales y simbólicas a partir de los que construyen la realidad y el conjunto de propósitos y significados diferenciales generados en su relación con el entorno, son aspectos potencialmente definidores de la cultura del centro (Erickson, 1987).

Nosotros entendemos que el análisis de la cultura institucional no es, en rigor, un modelo diferenciado de evaluación, aunque quizás sí puede serlo de análisis de la realidad de un centro. De lo que sí estamos convencidos es de que el análisis de la cultura institucional es un elemento imprescindible en toda evaluación de un centro educativo, como elemento básico de contextualización y de explicación rigurosa de resultados, y como marco referencial para las propuestas de reformas.

Naturalmente, unidos a estos modelos de evaluación, al igual que al de los otros bloques, está la concepción estructural de la realidad de un centro, de sus variables definitorias, de sus relaciones, etc., sobre lo que la literatura especializada recoge multitud de ejemplos y concepciones. Como es lógico, el evaluador se apoya en alguna concepción estructural y relacional del centro al plantearse su evaluación.

2.3. La perspectiva de la mejora institucional

El cambio, la innovación, la reforma y la mejora institucional la entendemos como uno de los objetivos básicos en la investigación evaluativa sobre centros educativos en el momento presente.

Para nosotros, la evaluación para el cambio no nos parece solamente el elemento central desde el que definir un bloque de modelos de evaluación, tal como hemos señalado anteriormente, sino que nos parece una de las razones de ser, aunque no la única, de la evaluación de centros. Por ello, creemos en la evaluación para el cambio, que se entronca en un movimiento alternativo al de las escuelas eficaces, conocido como movimiento de mejora de la escuela, orientado a la búsqueda de aspectos del centro que inciden en su funcionamiento y eficacia que deben mejorar y del modo en que deben hacerlo (De Miguel y otros, 1994).

La mejora de los centros, en definitiva, nos parece más que un criterio definidor de modelos de evaluación y pensamos que puede y debe ser un objetivo de todo modelo de evaluación de un centro que se precie de tal, con independencia de que se enfatice el análisis de los resultados o de los procesos internos. Naturalmente, el énfasis en la mejora y el cambio condiciona obligatoriamente los procedimientos y las variables de la evaluación pero, repetimos, cualquier modelo de evaluación puede incidir, al nivel correspondiente, en la mejora del centro escolar.

Esta orientación de la evaluación de centros, sin duda preponderante en el momento actual, hace que en los planteamientos de las evaluaciones se pierda cierto interés por las relaciones causa-efecto entre variables de entrada y procesuales con los resultados, y se aumente el interés por el contexto concreto que se evalúa, con sus fenómenos y procesos interactivos. Hay que diagnosticar los problemas de la institución y ver qué fuerzas y recursos tiene para resolverlos. En esta perspectiva, aumenta la relevancia de los procesos de autoevaluación, de los de participación y de reflexión de los agentes del centro y del uso responsable y colegiado de la autonomía del centro (Sabirón, 1993; Sancho, 1993; Santos, 1993; Borrell, 1995).

2.3.1. El énfasis de la autoevaluación institucional

En coherencia con los nuevos planteamientos y orientaciones de la evaluación de centros escolares, la autoevaluación institucional ha venido articulándose cada vez más como el elemento central de la evaluación orientada hacia la mejora. Se trata de un proceso evaluativo que se inicia en el propio centro, que se realiza por los propios profesionales que actúan en él, con el objetivo de comprender y mejorar la práctica escolar (Gairín, 1993). Sin embargo, en la autoevaluación también pueden intervenir agentes externos para facilitar el proceso de reflexión y modular las interpretaciones desde el interior.

Lo que sí parece evidente es que la autoevaluación, para que pueda llevarse a cabo con éxito, necesita un caldo de cultivo proporcionado por la autonomía institucional y la participación responsable, a ser posible entusiasta, de los miembros de la organización. En este contexto, el liderazgo del director o facilitador de la evaluación resulta fundamental para ayudar al grupo a que tome conciencia de la importancia de su trabajo y a que lo realice de manera adecuada (Borrell, 1995). La autoevaluación, en definitiva, pone en evidencia la capacidad de la propia organización para autotransformarse.

En nuestro país, seguramente, no existe en los centros un clima afectivo entre el profesorado favorecedor de la autoevaluación, aunque sí se cuenta con un buen nivel de autonomía institucional. Por ello, no siempre son muy productivos los apoyos e impulsos evaluadores que parten de los responsables educativos. Pero sí existen muchos trabajos de investigación al respecto, con la producción de un buen número de instrumentos para la evaluación, que las más de las veces pueden ser utilizados tanto en procesos de evaluación interna como externa (Borrell, 1995). En algún caso concreto se ha diseñado un modelo completo de autoevaluación, como el modular desarrollo por Blanco (1993) en su tesis doctoral. Pero son algunos proyectos internacionales los que han tenido más incidencia en el desarrollo de este tipo de evaluaciones, incluso en nuestro contexto académico.

En esta línea de búsqueda de elementos de innovación y cambio escolar se sitúa el proyecto ISIP (International School Improvement Project) puesto en marcha en 1982 por la OCDE a través de su Centro para Investigación Educativa e Innovación (CERI), implicando a más de una docena de paises y más de un centenar de participantes. Los resultados globales fueron publicados unos años después (Hopkins, 1987; OCDE, 1989).

Se enfatiza la autonomía de la escuela para poder resolver sus propios problemas con programas de autoevaluación escolar o revisión basada en la escuela definida como una inspección sistemática interna, orientada hacia la mejora y el cambio (Bollen y Hopkins, 1987). El proceso se plantea con las cinco fases siguientes: a) Preparación, b) Revisión inicial, c) Revisión específica, d) Desarrollo (Introducción Sistemática de la Innovación) y e) Institucionalización. Globalmente, la autoevaluación en el ISIP se concibe como una estrategia en sí misma de mejora institucional.

Dentro de esta línea, el programa-guía de autoevaluación más conocido y recomendado por ISIP es el GRIDS (Guidelines for Review and Internal Development in Schools), que es un programa sin control externo, que identifica los agentes de la evaluación y la innovación, apoyándose en el enfoque procesual de la investigación-acción, sin negar la posibilidad de un asesoramiento externo (McMahon y otros, 1984; GRIDS, 1988; Hopkins, 1988; Bartolomé y otros, 1991; De Miguel y otros, 1994). Las cinco fases secuenciadas del programa GRIDS aparecen detalladas en las referencias anteriores.

Con el fin de organizar programas específicos de autoanálisis escolar, se creó en Francia, en 1983, la Mission Achadémique pour la Formation des Einseignants (MAFPEN). El grupo de estudios de Lyon de esta organización (GETED) ha elaborado documentos y directrices de autoevaluación (GETED, 1990 y 1992) con tres aproximaciones de análisis, el sistemático, el estratégico y el cultural. Las fichas de autoevaluación hacen referencia a siete ámbitos: a) Identificación del centro, b) Alumnos, c) Contexto, d) Recursos humanos y materiales, e) Aspectos pedagógico-organizativos, f) Visión de conjunto y g) Imagen del centro. El programa se plantea como elemento de formación, así como de colaboración entre centros para la mejora (Borrell, 1995).

2.3.2. El complemento de la evaluación externa

Recientemente opinaba Nevo (1994) que la evaluación basada en el centro no es sinónimo de evaluación interna, ni tampoco antónimo de evaluación externa, sino de una combinación de ambas, pues la evaluación necesita de las aportaciones tanto de una como de otra. Los centros con orientación innovadora y experimental necesitan libertad y autonomía para desarrollar sus enfoques innovadores y, consecuentemente, deben apoyarse fundamentalmente en la autoevaluación, pero también necesitan demostrar sus méritos, esto es, las ventajas que ofrecen sobre las escuelas más convencionales, a las que intentan reemplazar. Esto no se consigue sólo con la evaluación interna; sin algún elemento de la evaluación externa es probable que surjan críticas y demandas de rendición de cuentas. Sin embargo, parece claro que la evaluación basada en el centro, orientada para mejorarlo, debe apoyarse prioritariamente en la evaluación interna, aunque se sugiere siempre complementarla con cierta evaluación externa, como una evaluación colaborativa (De Miguel y otros, 1994).

Pero, con independencia de lo que acabamos de decir, todavía sigue siendo predominante la evaluación externa sobre la evaluación interna en aquellos países con gran experiencia en evaluación de centros (U.S. Department of Education, 1991) y también en nuestro propio sistema (Bartolomé y otros, 1991; Borrell, 1995).

Esta evaluación externa se puede promover desde dentro del centro, por el deseo de profesores o directivos de acreditarse o de conocer su situación, con fortalezas y deficiencias, o de contrastar los hallazgos de la autoevaluación.

Cuando se promueve desde fuera, la evaluación suele pretender el control del funcionamiento, el análisis de los logros, el diagnóstico de las dificultades y el análisis de la eficiencia en la utilización de los recursos (Soler, 1991).

Pero la evaluación externa tiene muchos formatos diferentes. Nos podemos encontrar evaluaciones del tipo auditoria, con un enfoque empresarial de control externo (Pérez Juste y Martínez Aragón, 1989) y también nos podemos encontrar con evaluaciones controladas externamente como el plan EVA ministerial (Luján y Puente, 1993; MEC, 1994), que tienen como uno de sus objetivos básicos el fomento de actuaciones internas para la mejora y que buscan la participación de los miembros del centro en el proceso de evaluación. En el modelo de auditoria, el auditor, que es un profesional externo, emite un informe valorativo del centro en cuanto al funcionamiento administrativo, utilización de recursos, eficiencia, cumplimiento legal, efectividad y logros.

Entre los modelos internacionales acreditados se puede destacar la Guía para la evaluación y acreditación (ECIS, 1987) del «European Council of International School» (Bartolomé y otros, 1991; Borrell, 1995), en la que se compagina la evaluación externa con un autoestudio, con un seguimiento cada cinco años.

Otro modelo reconocido es el puesto en marcha por el Departamento de Instrucción Pública del Estado de Delaware para alcanzar los estándares aprobados (DELAWARE, 1984). Se trata también de un programa quinquenal que utiliza encuestas y entrevistas a profesores y directivos, hojas de observación y registro y visitas de expertos; termina con un plan de mejora y ayuda.

Finalmente, modelos también conocidos son los existentes en el Estado de Colorado (Frazier, 1986), el de Connecticut (Proctor y Villanova, 1984), el PROYECTO RISE (1982) de Milwaukee, así como materiales y cuestionarios de evaluación de diversos proyectos de gran alcance (NAEPS, 1984; Northwest, 1985; Chrispleels, 1990).

2.4. La perspectiva de las metaevaluaciones

Al introducir el análisis de enfoques modélicos para la evaluación de centros señalábamos que una aproximación importante es la de la metaevaluación de los modelos utilizados por los sistemas educativos. En la práctica, esta aproximación nos parece que termina coincidiendo con la que toma el evaluador cuando analiza todos y cada uno de los pasos y fases del proceso evaluador y va valorando las posibles alternativas que puede tomar en cada caso. A la postre, tal como ya hemos señalado, es cada equipo de evaluación, en su contexto concreto, el que termina construyendo su propio modelo para evaluar el objeto de evaluación que tiene.

Bartolomé y otros (1991) llevaron a cabo un análisis de los modelos institucionales de evaluación de centros utilizados en Cataluña, seis en total, a los que añadieron dos europeos (ECIS y GRIDS) y uno americano (DELAWARE). Tras consultar la literatura especializada sobre el tema, este equipo estableció un listado de criterios comparativos agrupados en los cinco bloques siguientes:

1. OBJETIVOS DE LA EVALUACIÓN

1.1. Finalidad: necesidades o decisiones a las que sirve.
1.2. Audiencia de la evaluación: personas principales a las que se les informa de los resultados.

2. OBJETO DE LA EVALUACIÓN
Variables o aspectos sobre los que se recoge información categorizadas en:

2.1. Capacidad del sistema: contextuales, organizativas...
2.2. Proceso: durante el desarrollo de actividades.
2.3. Producto: resultados, efectos.

3. METODOLOGÍA DE EVALUACIÓN

3.1. Dinámica del proceso evaluativo: origen de la demanda de evaluación, nivel de formalización y sistematización establecido «a priori» y «durante el desarrollo», ¿quién selecciona las cuestiones evaluativas, temporabilidad, etc.?
3.2. Instrumentos de recogida de información categorizado en: de tipo cerrado (cuestionarios, escalas, etc.), de tipo abierto (entrevistas, registros anecdóticos, etc.) y de tipo mixto (proporción aproximada de uno u otro tipo).
3.3. Fuentes de información: ¿quién debe cumplimentar los instrumentos?
3.4. Estudios de validez y fiabilidad de los instrumentos: constatar SÍ o NO, o matizar en caso necesario.

4. CRITERIOS DE EVALUACIÓN
Tipo de criterio que utiliza. «De tipo absoluto»: quién y cómo se establecen (basados en estudios o teorías, ordenanzas legales, etc.). «De tipo comparativo»: comparaciones entre centros, etc.

5. EL PAPEL DEL EVALUADOR
En caso de una «evaluación externa»: agente o responsables de la evaluación. En caso de una «evaluación interna»: formación de equipo evaluador, presencia o no de un experto o agente externo al centro.

A partir de estos criterios establecieron ocho apartados con diferentes subapartados en cada caso, llegando en total a algo menos de medio centenar de potenciales entradas para una tabla de comparación y, consiguientemente, de definición de modelos de evaluación. Las entradas potenciales de la citada tabla de comparación de modelos de evaluación de centros son: 1) Objetivos, 2) Evaluador, 3) Audiencia primaria, 4) Instrumentos de evaluación, 5) Fuentes de información, 6) Criterios, 7) Dinámica y 8) Objeto de evaluación.

Bartolomé y otros (1991) analizan los nueve modelos de evaluación antes aludidos, señalando en cada entrada la existencia o no de esa característica en cada uno de los modelos. Solamente en el apartado del objeto de evaluación, ordenan por prioridad los tres aspectos recogidos. De su análisis comparativo destacan algunos aspectos como que solamente el GRIDS es concebido íntegramente bajo la perspectiva de evaluación interna y que solamente este modelo y el DELAWARE enfatizan claramente su orientación optimizadora. En la mayoría de los programas evaluados se sitúa la responsabilidad evaluadora en el exterior del centro, pero con ayudas internas. Las audiencias principales son los profesores y la Administración. Todos los programas salvo el GRIDS tienen instrumentos propios de evaluación, pero sólo en uno de los modelos se han realizado estudios métricos de los mismos. Todos los programas, salvo uno que se centra únicamente en los profesores, utilizan a la dirección del centro como fuente de información. Sobre la presencia de estándares o criterios propios existe una clara división en los modelos evaluados. La dinámica de la evaluación tiende a estar formalizada explicando cuándo y cómo debe evaluarse. El objeto prioritario de evaluación se reparte entre la capacidad del sistema y el proceso de enseñanza-aprendizaje; en todos los modelos evaluados el producto aparece en el tercer lugar en cuanto a prioridad.

Gallegos (1994) nos informa de una metaevaluación de actuales modelos de evaluación de centros en Estados Unidos, llevada a cabo por el CREATE (Center for Research on Educational Accountability and Teacher Evaluation), en la que se revisaron un total de cincuenta y un modelos de distinto carácter, nacional, regional, estatal, local y de agencias públicas y privadas. Este estudio partió de la clasificación de modelos reflejada en el estudio de Richards (1988), que incluye los siguientes tipos de modelos de evaluación de centros:

A) Modelos centrados en el cumplimiento, que determinan si el centro está operando de acuerdo con determinadas normas o requisitos externamente establecidos, que normalmente enfatizan más los «inputs» y los recursos disponibles que el rendimiento.
B) Modelos centrados en el diagnóstico de la mejora de los estudiantes y se apoyan en buena medida en pruebas criteriales antes y después. Tienen un énfasis preferentemente formativo y centran su interés en la búsqueda de fórmulas para cubrir las necesidades detectadas en los alumnos.
C) Modelos centrados en el rendimiento, sobre todo a partir de pruebas normalizadas aplicadas al final de los ciclos educativos. Se intenta una evaluación normativa que permita comparación de centros y distritos escolares, transversal y longitudinalmente.

También el equipo de Gallegos (1994) elaboró una matriz de análisis de modelos con el objetivo de clarificar y valorar los modelos de manera más detallada que la anterior clasificación general, puesto que son muchos los modelos prácticos que resulta difícil incluirlos en uno de estos grandes bloques, ya que comparten características de más de uno. Las categorías de la matriz de clasificación de modelos son los siguientes (mantenemos las siglas utilizadas por el estudio procedentes del nombre inglés para denominar entre paréntesis los aspectos de las diferentes categorías):

a) PROCESO

En esta categoría se indica si se solicita un autoestudio (SS) por parte del personal del centro, se requiere una visita (V) de un equipo de consultores externos, o se omite esta a favor de una auditoría administrativa (DA), llevada a cabo por algún responsable a partir de la información recogida.

b) NIVEL EDUCATIVO

Se indica si se usa para evaluar centros básicos (E) o secundarios (M y H) o de todos los niveles (DIST) o de todo el Estado (State).

c) ORIENTACIÓN

Aquí se indica la perspectiva para la que se recoge la información, formativa (Form) para mejorar el centro o sumativa (Sum) para tomar decisiones sobre la eficacia de sus programas y su continuidad.

d) DATOS

Esta categoría clasifica a los modelos según el uso de datos cuantitativos (Quan) o cualitativos (Qual).

e) PLANIFICACIÓN/TOMA DE DECISIONES

Esta categoría se apoya en el modelo CIPP de Stufflebeam (1983) e indica si el modelo evaluado incluye el contexto (C), esto es, trata de identificar las necesidades, problemas y oportunidades del entorno, las entradas (I) buscando información útil sobre la mejor ubicación de los recursos disponibles para cubrir las necesidades y obtener los objetivos, el proceso (P1) que detecta y documenta si lo que ocurre coincide con lo planificado y si existen mecanismos de corrección durante el mismo y los productos (P2) que miden los resultados previstos y no previstos, interpretados a la vista de las necesidades, los objetivos, las entradas y el proceso.

f) ÁREAS DE RENDICIÓN DE CUENTAS

Siguiendo los planteamientos de Stufflebeam (1991) se establecen los componentes o ámbitos sobre los que el centro debe rendir cuentas, tales como el crecimiento (G), en relación con las necesidades de desarrollo, la equidad (E) en relación con la igualdad de oportunidades, la factibilidad (F1) sobre la adecuación de la planificación en relación con los recursos y la excelencia (Ex), sobre si existe o no un clima que busque el aprendizaje y la excelencia en la enseñanza y en el rendimiento de los alumnos.

g) NORMAS DE LA EVALUACIÓN

Se utilizan las normas del Joint Committee (1981), en las cuatro categorías clásicas. Normas de utilidad (U) que aseguran que la evaluación sirve para cubrir las necesidades informativas de las distintas audiencias, normas de factibilidad (F2) que aseguran que una evaluación es realista, normas de legitimidad (P), que aseguran que se lleva a cabo de manera legal, ética y con el debido respeto a los implicados y normas de precisión (A), relacionadas con la adecuación técnica de la evaluación para determinar el mérito y el valor de lo evaluado.

h) RELACIONES CON EL SISTEMA

Esta categoría identifica los niveles de interacción o relación que son requeridos para poder llevar adecuadamente la evaluación, con el sistema escolar determinado, con la Administración, etc.

i) FORTALEZAS ESPECÍFICAS

Identificación de aquellos aspectos fuertes del modelo de evaluación, que le son específicos y que van más allá de las características genéricas del mismo.

j) PUNTUACIÓN

Se establece una puntuación de 1 a 5 para las distintas categorías genéricas de la matriz. La puntuación va desde el 1 (más de lo previsto) hasta el 4 (no cumple lo previsto), siendo 5 la indicación de que falta documentación para la valoración de dicha categoría. La puntuación 2 significa que se cumple lo previsto y la 3 que se cumple parcialmente.

Con todas estas categorías se articula una matriz sobre la que se identifica el modelo concreto de evaluación que se está evaluando, puntuando al nivel correspondiente las entradas de las distintas categorías.

El equipo de Gallegos evaluó con estos sistemas descritos seis modelos nacionales elaborados por asociaciones profesionales y organizaciones de centros y por las agencias federales. Uno de ellos, el de la Asociación Educativa Católica, es un modelo de autoestudio para sus centros miembros, los otros siguen apoyándose en gran medida en la evaluación externa. El programa América 2000, por ejemplo, se centra sobre el análisis de escuelas individuales, un poco en la línea promovida por la Administración de premiar con apoyos y reconocimiento a los centros con altos rendimientos.

Los modelos regionales evaluados procedían de las siete asociaciones regionales de acreditación y de un laboratorio educativo regional. Estos modelos han sólido ser modelos centrados en el cumplimiento de los requerimientos legales para su funcionamiento. Sin embargo, en los últimos años se están ofreciendo también alternativas más centradas en el rendimiento y en el diagnóstico para el perfeccionamiento institucional.

La mayoría de los veintidós modelos estatales evaluados, utilizados por los respectivos departamentos de educación, son modelos de cumplimiento, lo que parece explicable porque se trata de evaluaciones obligatorias que tienen como uno de sus objetivos principales el control del gasto público. Estos planteamientos probablemente seguirán por un tiempo en los modelos estatales, pero existen movimientos de cambio hacia otros modelos, como los detectados por Gallegos (1994) en los casos de los estados de Indiana y Texas.

Los modelos de las agencias locales parecen estar claramente influidos por el movimiento de las escuelas eficaces y buscan la mejora escolar a través de la determinación de aspectos que correlacionan con el éxito del centro. Esto no niega el objetivo de la evaluación sumativa de los centros, que también es objetivo de las agencias locales de evaluación.

En conjunto, Gallegos (1994) detecta un movimiento en la evaluación de centros que va más allá del control de su cumplimiento, interesándose cada vez más en el diagnóstico y solución de los problemas y en el rendimiento de los centros. Sin embargo, también detecta que la evaluación sigue fundamentalmente basada en mediciones propias de los viejos modelos; se necesita una revisión y ampliación de los indicadores de las evaluaciones. Pero, sobre este aspecto no parece existir suficiente trabajo empírico y, en consecuencia, es uno de los claros retos de la investigación evaluativa de instituciones escolares en la actualidad.

3. LA PRÁCTICA DE LA EVALUACIÓN DE INSTITUCIONES ESCOLARES: ESTRATEGIAS Y APOYOS METODOLÓGICOS

Sea cual sea el enfoque modélico que se tome, la evaluación de centros educativos, como casi todas las grandes investigaciones evaluativas, es una tarea compleja, sobre todo en la práctica , por razones técnicas, presiones ambientales, falta de evaluadores cualificados y dificultades de lograr la colaboración y participación necesarias. De hecho, la práctica de la evaluación, a pesar de sus avances, sobre todo en la última década, necesita seguir su proceso de desarrollo y solucionar algunos problemas importantes todavía demasiado frecuentes.

En referencia con lo anterior, Gallegos (1994), en su metaevaluación de más de medio centenar de modelos de evaluación americanos, encontró algunos defectos y lagunas muy generalizados. Los más comunes eran los siguientes:

Ante estos problemas, la reforma y mejora escolar a través de procesos de evaluación, profundizando en las tendencias emergentes en los últimos años, parece requerir cambios en algunos terrenos.

Las administraciones educativas deben potenciar la formación de evaluadores, sobre todo dentro del personal de los centros educativos, pues no se puede seguir demandando y construyendo modelos que partan de la participación del personal de los centros, si este no tiene la debida preparación técnica para ello. Ya es suficientemente difícil lograr su participación por otros motivos como para añadir un impedimento que sí se puede evitar con programas de formación adecuados. Esto, lógicamente, podría hacerse más fácilmente y mejor, promoviendo la colaboración con los centros y departamentos universitarios especializados en estos campos de la investigación.

Otro aspecto de capital importancia es la contextualización del proceso de evaluación del centro, adaptándolo a sus objetivos, entorno y posibilidades,…, buscando su mejora como institución individual. De los programas estandarizados es muy difícil obtener beneficios relevantes para cada centro, de acuerdo con su situación y necesidades particulares.

Otra necesidad reconocida a la que ya nos hemos referido con anterioridad, es la de identificar indicadores de calidad de los centros más útiles que los habituales, profundizando en una línea de investigación ya en marcha (Oakes 1989: National Council on Educational Statistics, 1991), que busca indicadores verdaderamente relacionados con la salud del centro y con aspectos críticos para mejorar su funcionamiento. Pero en este intento se debe ser extremadamente cuidadoso, ya que si se enfatiza la atención a unos pocos indicadores, pero no relacionados con los temas relevantes, se pueden crear problemas en vez de resolverlos (National Council on Educational Statistics, 1991). Los buenos indicadores deben permitir comprobar el progreso de un centro educativo con el tiempo.

A estas reflexiones estratégicas podemos añadir las que nos ofrece Nevo (1994) tras cuatro años de trabajo en un experimento de evaluación interna y externa. Las sugerencias son las siguientes:

a) La mejor manera de que el personal del centro comprenda el significado de la evaluación es a través de la distinción de lo que es descripción y lo que es valoración o juicio.

Muchos de los problemas y resistencias a la evaluación proceden de las diferentes concepciones que de ellos tienen los profesores y los administradores de los centros, a veces concepciones erróneas (Nevo y Goldblat, 1988). Se necesita crear un clima de franca y abierta comunicación, sobre la base de conceptos y concepciones claros para todos, especialmente en componentes y funciones tan importantes de la evaluación como son la descripción y la valoración (Stake, 1967; Guba y Lincoln, 1981; Nevo, 1983).

En primer lugar, el personal de los centros debe entender que evaluar es un proceso sistemático y técnicamente riguroso, y no intuitivo, para el que se necesita preparación. En segundo lugar, dejar en claro que esta sistematicidad técnica mejora la objetividad de la descripción, pero no totalmente. En tercer lugar, aclarar que la subjetividad interviene más en la valoración que en la descripción, pero que la subjetividad no implica arbitrariedad. Precisamente la evaluación intenta evitar la arbitrariedad en los juicios, siempre con algún componente de subjetividad.

b) Los estudiantes y su rendimiento no deberían ser el único objeto de la evaluación escolar

Muchos profesores identifican la evaluación con la evaluación y las pruebas del rendimiento de los alumnos, en el sentido de calificarlos (Stiggins y Faires Conklin, 1992), teniendo dificultades para introducir en el proceso los programas y otros objetos o elementos escolares, tales como los proyectos, el currículum, los materiales, los profesores, otro personal, los estudiantes,…, y el centro como entidad global. Esto debe explicarse bien.

c) Los resultados o impactos no deberían ser lo único que se examina cuando se evalúa un programa, un proyecto o cualquier otro objeto escolar.

Esto no quiere decir que los resultados e impactos no sean variables importantes, pero los méritos de un programa o del centro no pueden limitarse a ellos. Habría que fijarse al menos en los objetivos, las estrategias y planes y el proceso de implementación, en unión de los resultados e impactos. Esto ya fue propuesto hace más de un cuarto de siglo (Stake, 1967; Stufflebeam y otros, 1971), pero no tiene la consideranción debida en la práctica evaluativa.

d) La evaluación del centro debe tener tanto la función formativa como la sumativa, proporcionando información para la planificación y el perfeccionamiento, así como para la certificación y la rendición de cuentas.

La corriente que niega el valor de la evaluación sumativa es errónea porque también es muy útil. No cabe duda de que la evaluación es importante para mejorar los centros, pero también lo es para acreditar su funcionamiento, sobre todo ante proyectos de reforma, cuando se ponen en contraste distintos proyectos. Evitar la evaluación sumativa ante el empuje de la formativa es un error.

e) No se puede juzgar de manera razonable la calidad global de un centro escolar con un sólo criterio, o incluso por criterios múltiples, ni se necesita hacerlo así.

Pero esto no significa que sólo haya que proporcionar datos descriptivos y evitar los juicios. La evaluación debe proporcionar juicios de valor a partir de diversos criterios sobre distintos aspectos del centro. Lo que probablemente no es necesario son las valoraciones globales, porque son escasamente útiles para la evaluación formativa y se mezclan con el terreno de las decisiones en el caso de la sumativa.

f) Las necesidades de evaluación interna de una escuela se atienden de la mejor manera por un equipo de profesores y otros educadores, para quienes la evaluación es solamente parte definitoria de su trabajo, apoyados por un apropiado entrenamiento y asistencia técnica externa.

Scriven (1967) llamó a este equipo «amateur», cuya fortaleza está en su familiaridad con el centro y sus funciones, así como en no ser visto como una amenaza por el resto de compañeros. Su debilidad puede estar en la falta de experiencia y preparación, pero esto puede ser compensado con la asistencia de expertos externos.

g) Para llevar a cabo evaluaciones internas razonables es necesario utilizar instrumentos y métodos alternativos de las ciencias del comportamiento y de otros campos de estudio relacionados y adaptarlos a las necesidades del centro y a las capacidades del equipo "amateur" de evaluación.

No hay evaluación sin medición y recogida de información, pero los evaluadores internos de la escuela necesitan instrumentos de fácil manejo. Las cosas deben mejorarse bastante en este terreno (Stiggins y Faires Couklin, 1992).

h) «Aprender haciendo» sigue siendo todavía la mejor manera de aprender a evaluar.

Es más eficaz motivar y explicar bien la evaluación y su significado y formar poco a poco con el apoyo de la práctica, que introducir en bloque una visión profunda o incluso «recetaria» de la evaluación. La evaluación interna suele ser mejor camino de aprendizaje que la evaluación externa.

Cuando nos referimos a las variables que deben considerarse en la evaluación de un centro, siempre nos vamos a encontrar con variables que son antecedentes, como los de entrada y las contextuales, que tienen básicamente un carácter estático, con variables del proceso, que tienen carácter dinámico y con las variables producto, que vuelven a tener carácter estático. El énfasis que demos a unas u otras variables en el proceso de evaluación marcará en buena medida nuestro enfoque modélico. Las variables antecedentes y de proceso coincidirían con índices indirectos de calidad del centro, mientras que los productos serían los índices directos de calidad. Listados amplios de distintos tipos de variables a considerar en la evaluación de centros, pueden encontrarse, por ejemplo, en los trabajos de Escudero (1980), García Ramos (1989) y Pérez Juste y Martínez Aragón (1989).

Buena parte de las variables producto de un centro en un momento, en un periodo, se convierten en antecedentes para un periodo posterior.

Los evaluadores ante todo el conjunto de variables posibles, tienen que plantearse un proceso de selección dentro de cada tipo, en función del objeto, de la finalidad y de la orientación preferente de la evaluación.

Si el evaluador decidiera prestar atención únicamente a los productos, estaría aplicando un modelo economicista que desvirtúa incluso el propio concepto de educación. Se podrían juzgar y comparar niveles educativos y de salida del centro, pero nunca valorar la educación que se imparte en el mismo. En rigor, este enfoque sería un verdadero disparate.

Dedicarse a los productos, pero a la vista de los antecedentes, lo que coincide con el conocido modelo input-output, con los inputs como covariables o predictores, supone utilizar un enfoque eficaz en cuanto a medición de los rendimientos del sistema, pero muy limitado, porque se pueden detectar problemas, pero, en muchas ocasiones no se sabe donde ubicarlos ni, por consiguiente, ofrecer alternativas de solución.

Dedicarse a los productos, a la vista de los antecedentes y del proceso es un enfoque más educativo y más completo, pues permite la mejora real del sistema. Para compaginar la evaluación formativa y sumativa es necesario tener en cuenta tanto los índices directos como los indirectos de calidad del centro. Dentro de la consideración de estos tres tipos de variables, se pueden plantear diferentes esquemas de tratamiento y enfatizar más o menos unas u otras variables.

La consideración de las variables antecedentes y productos, por la naturaleza métrica de estas variables, generalmente estáticas, resalta la metodología cuantitativa. Por el contrario, la consideración de las variables de proceso, por sus características y dinamismo, resalta la metodología cualitativa. En todo caso, estas situaciones no son siempre así, aunque sean las más frecuentes, puesto que existen productos claramente cualitativos (elección de estudios, intereses, etc.) y variables del proceso que sí se pueden cuantificar (intervenciones en el aula, tiempos de explicación, etc.).

Seleccionadas sus variables, el evaluador de centros necesita instrumentos de medición de las mismas, instrumentos que con bastante frecuencia tiene que elaborar o, al menos, adecuar a partir de instrumentos de manuales u otros proyectos o modelos de evaluación.

Ya hemos dicho anteriormente que la investigación evaluativa debe incidir mucho más en la elaboración de buenos instrumentos de evaluación, pero esto no niega que en los últimos años se han producido muchos materiales y muchos instrumentos que están a disposición de los evaluadores.

De hecho, lo habitual es que los textos que tratan de la evaluación de centros, incluyan también instrumentos para la evaluación. Así, por ejemplo, el libro de De Miguel y otros (1994) que trata de la evaluación de centros e institutos de educación secundaria, ofrece quince cuestionarios de evaluación de otros tantos aspectos de la vida de un instituto, tales como el contexto sociocultural y educativo, la organización y funcionamiento del Consejo Escolar, el Proyecto Educativo de Centro, el liderazgo del equipo directivo, los procesos en el aula, el clima institucional, etc. Al describir estos cuestionarios se indican los correspondientes indicadores y los «items» relacionados con cada uno de ellos.

Los modelos de evaluación de centros utilizados en Cataluña, evaluados por Bartolomé y otros (1991), son en algunos casos un conjunto de cuestionarios de evaluación sobre distintos aspectos de los centros y su funcionamiento. Borrell (1995) referencia algunos de los apoyos instrumentales elaborados en la última década en nuestro país. El plan EVA ministerial (MEC, 1991), por ejemplo, ha desarrollado muchísimos materiales para la evaluación (encuestas, entrevistas, listados, etc.). Esteban y Bueno (1988) construyeron guías para la discusión y el autoanálisis. Como trabajos pioneros en nuestro país pueden citarse la pauta de evaluación de centros educativos de García Hoz (1975), las pautas del Servicio de Inspección Técnica de Educación de mediados de los setenta (Pérez Juste y Martínez Aragón, 1989), los cuestionarios sobre las tareas del profesor, los objetivos educativos y la dirección del centro que ofrece en su libro Isaacs (1977) y los instrumentos que presenta Ibar (1976) para evaluar el modelo económico-administrativo de un centro. Previamente, el CEDODEP (1966) había editado su escala de evaluación de centros de básica.

En un trabajo mucho más reciente sobre los instrumentos para evaluar los centros escolares de secundaria, Cardona (1995) analiza una serie de instrumentos elaborados en España, diferenciando los que tienen una perspectiva global, esto es, que intentan evaluar los diferentes aspectos del centro, de los que la tienen específica y se centran en determinados aspectos de la vida o características del centro. En este trabajo Cardona analiza su Escala de Evaluación Diagnóstica para Centros de Educación Secundaria (EED/CES).

Para finalizar haremos referencia al trabajo de Sabirón (1993) que, tras introducir su planteamiento sobre la evaluación de centros docentes, ofrece un anexo de instrumentos de evaluación españoles y extranjeros, referenciando casi una cuarentena, con mención expresa de la denominación del instrumento, autor, dimensiones evaluadas, base paradigmática y aplicación sugerida.

4. EPÍLOGO

En las páginas anteriores se recoge un análisis de buena parte de las diferentes aproximaciones modélicas, con las que la investigación evaluativa afronta la evaluación de centros educativos.

En primer lugar nos hemos detenido en aquellos enfoques que toman como criterio preferente los resultados escolares y que se entroncan, de manera clara, en la línea de investigación de las escuelas eficaces. Dentro de los modelos de este bloque, hemos visto la diversidad existente, sobre todo en función del grado de inclusión y de consideración en los mismos de las variables de carácter procesual.

El segundo gran bloque de enfoques modélicos se fundamenta en el estudio y valoración de los propios procesos internos del centro, así como en su realidad estructural y funcional. Las teorías sobre organizaciones, así como los estudios sobre clima y cultura institucionales, son la base fundamentadora de este tipo de aproximaciones a la evaluación de centros educativos.

La perspectiva de la mejora institucional es el tercer criterio de clasificacion de enfoques modélicos de evaluación que hemos utilizado, pero lo hemos hecho más por resaltar una línea muy pujante en la actualidad, que por concebir a esta perspectiva como algo diferenciado de los restantes enfoques. Ya hemos señalado que, para nosotros, la mejora como objetivo, es una condición definitoria de toda investigación evaluativa, sea cual sea el enfoque empleado. En todo caso, en esta línea deben enfatizarse los procesos de autoevaluación institucional y el complemento de las evaluaciones externas.

La última perspectiva introducida es la de la metaevaluación de los modelos utilizados por los diferentes sistemas educativos, que termina coincidiendo con la que toma el evaluador, cuando analiza los pasos y fases del proceso de evaluación y valora y se decide por una u otra de las alternativas posibles. En el artículo recogemos los resultados y las sugerencias de algunos recientes estudios metaevaluativos.

Estos últimos análisis se conectan con la presentación y discusión de algunos de los problemas metodológicos y de fundamentación más habituales en la práctica de la evaluación de centros en la actualidad. Posteriormente, se ofrecen un buen número de estrategias metodológicas favorecedoras del rigor y de la calidad de la práctica evaluadora.

5. REFERENCIAS BIBLIOGRÁFICAS

BARTOLOMÉ, M. y otros (1991). Análisis de los modelos institucionales de evaluación de centros de Cataluña, Revista de Investigación Educativa, 9, 17, 103-118.

BIDWELL, C. E. y KASARDA, J. D. (1980). Conceptualizing and measuring the effects of school and schooling, American Journal of Education, (88), 401-430.

BLANCO, L. (1993). Autoevaluación modular de centros educativos. Barelona: PPU.

BOLLEN, R. y HOPKINS, D. (1987). School Based Review: Toward a Praxis, ACCO, Leuven, Bélgica.

BORRELL, N. (1995). Modelos para la evaluación externa e interna de los centros docentes, en Medina, A. y Villar, L.M. (Eds), Evaluación de programas educativos, centros y profesores, Madrid: Editorial Universitas, S.A., pp. 211-233.

CARDONA, J. (1995). Un instrumento para evaluar los centros escolares de educación secundaria, en Medina, A. y Villar, L. M. (Coord.), Evaluación de Programas Educativos, Centros y Profesores, Madrid: Editorial Universitas, S.A., pp. 275-302.

CASTEJÓN, J. L. y otros (1993). Investigación sobre la eficacia de centros de enseñanza secundaria. Un modelo de identificación y funcionamiento, Revista de Educación, (301), 221-244.

CEDODEP (1966). Técnicas de valoración de personal docente. Organización y supervisión de escuelas, Madrid: CEDODEP.

CENTRA, J. y POTTER, D. (1980). School and teacher effects: an interrelational model, Review of Educational Research, (80), 273-291.

CLARK, D. y otros (1984). Effective schools and school improvement: A comparative analysis two lines inquiry, Educational Administration Quaterly, 20 (3), 41-68.

COLEMAN, J. y otros (1966). Equality of educational opportunity, U.S. Department of H.E.W., Office of Education, Washington, D.C.

CREEMERS, B. P. y SCHEERENS, J. (Eds.), 1989). Developments in school effectiveness research, Número especial del International Journal of Educational Research, (13), 7.

CHRISPELLS, J. A. (1990). Achieving and sustaining school effectiveness: A five year study of change in elementary schools. Comunicación presentada en Annual Meeting of the American Educational Research Association, Boston.

DE LA ORDEN, A. (1993). La escuela en la perspectiva del producto educativo. Reflexiones sobre evaluación de centros docentes, Bordón, 45 (3), 263-270.

DE MIGUEL, M. (1989). Modelos de investigación sobre organizaciones educativas, Revista de Investigación Educativa, 7 (13), 21-56.

DE MIGUEL, M. y otros (1994, Evaluación para la calidad de los institutos de educación secundaria, Madrid: Escuela Española.

DELAWARE (1984). School Improvement Review Process, Department of Public Instruction, Delaware.

DUNKIN, M. J. (1978). Student characteristics, classroom process and student achievement, Journal of Educational Psychology, 70 (6), 998-1009.

ECIS (1987). Evaluation and Acreditation. Londres: European Council of International Schools.

ERICKSON, F. (1987). Conceptions of school culture: An overview. Educational Administration Quaterly, 23, (4).

ESCUDERO, T. (1980). ¿Se pueden evaluar los centros educativos y sus profesores?. Educación Abierta, 10, ICE-Universidad de Zaragoza.

ESCUDERO, T. (1993). Enfoques modélicos en la evaluación de la enseñanza universitaria. Actas de las III Jornadas Nacionales de Didáctica Universitaria "Evaluación y Desarrollo Profesional", Servicio de Publicaciones de la Universidad de Las Palmas de Gran Canaria, pp. 5-59.

ESTEBAN, S. y BUENO, J. (1988). Claves para transformar y evaluar los centros. Madrid: Popular.

FRAZIER, C. (1986). Indicators of Quality Schools: Instruments to Access your School's Quality. Department of Education, Denver, Colorado.

FUENTES, A. (1988). Procesos funcionales y eficacia de la escuela. Un modelo causal. Madrid: Universidad Complutense.

G.E.T.E.D. (1990). Guide pour l'Auto-évaluation de l'Etablissment Scolaire. C.R.D.P., Lyon.

G.E.T.E.D. (1992). L'Auto-Evaluation de l'Etablissment Scolaire. Les dossiers thematiques,(7), M.A.F.P.E.N., Lyon.

GAIRÍN, J. (1993). La autoevaluación institucional como vía para mejorar los centros educativos, Bordón, 45, 3, 331-350.

GALLEGOS, A. (1994). Meta-evaluation of school evaluation models. Studies in Educational Evaluation, 20 (1), 41-54.

GARCÍA HOZ, V. (1975). Una pauta para la evaluación de centros educativos, Revista Española de Pedagogía, (130), 117-150.

GARCÍA RAMOS, J. M. (1989). Extensión de la evaluación. En R. Pérez Juste y J.M. García Ramos, Diagnóstico, evaluación y toma de decisiones.Madrid: Rialp, pp. 315-385.

GOODMAN, P. y PENNINGS, J. (Eds.) (1977). New perspectives on organizational effectiveness. San Francisco: Jossey-Bass.

GRIDS (1988). Secondary School Handbook. Londres: S.C.D.C. Publications.

GUBA, E. G. y LINCOLN, Y. S. (1981). Effective evaluation. San Francisco: Jossey-Bass.

HERNICHSFEGER, A. y WILEY, D. C. (1978). Conceptual issues in models of school learning. Curriculum Studies, 10 (3).

HOPKINS, D. (Ed.) (1987). Improving Use Quality of Schooling. Londres: The Falmer Press.

HOPKINS, D. (1988). Doing school based review instruments and guidelines. ACCO, Leuven, Bélgica.

IBAR, M. G. (1976). Modelo económico-administrativo como instrumento de gestión y evaluación de centros docentes. Bilbao: ICE de la Universidad de Deusto.

ISAACS, D. (1977). Cómo evaluar los centros educativos. Pamplona: EUNSA.

JENKS, C. y otros (1972). Inequality: a reassessment of the effect of family on schooling in America. Nueva York: Basic Books.

JOINT COMMITTEE on Standars for Educational Evaluation (1981). Standards for evaluations of educational programs, projects, and materials. Nueva York: McGraw-Hill.

JORESKOG, K. G. (1978). Structural analysis of covariance and correlation matrices, Psychometrika, (43), 443-477.

KENNY, D. A. (1979). Correlation causality. Nueva York: Willy.

LAWLER, E. y otros (Eds.) (1980). Organizational Assesment. Nueva York: Wiley Sons.

LINN, R. L. (1986). Quantitative methods. En M.C. Wittrock (Ed.), Handbook of research on teaching, Nueva York: Macmillan, pp. 92-118.

LOEHLIN, J. C. (1987). Latent variable models, LEA, Hillsdale, N.J.

LONG, J. S. (1987). Covariance structure models. An introduction to LISREL,Beverly Hills, CA: SAGE.

LUJAN, J. y PUENTE, J. (1993). El plan de evaluación de centros docentes (Plan EVA), Bordón, 45 (3), 307-320.

MADAUS, G. F. y otros (1979). The sensitivity of measures of school effectiveness, Harvard Educational Review, 49, 207-230.

MAYESKEE, G. y otros (1969). A study of the achievement of our nations´s students, U.S. Department of H.E.W., Office of Education, Washington, D.C.

MCMAHON, A. y otros (1984). GRIDS Handbook. Londres: Longman.

MEC (1991). Plan de evaluación de centros docentes. Plan EVA. Programa piloto para 1991-1992.Madrid: MEC-CIDE.

MEC (1994). Plan de evaluación de centros docentes. Plan EVA. Madrid: MEC.

MILES, M. B. (1974). Las diez características del centro docente "sano", La Educación Hoy, 5 (197-198.

NAEPS (1984). Standards for Quality Elementary Schools, NAEPS, Reston.

NATIONAL Council on Educational Statistics (1991). Educations counts: An indicator system to monitor the nations's educational health, U.S. Department of Education, Washington, D.C.

NEVO, D. (1983). The conceptualization of educational evaluation: An analytical review of the literature, Review of Educational Research, 53, 117-128.

NEVO, D. (1994). Combining internal and external evaluation: A case for school-based evaluation, Studies in Evaluation, 20, 87-98.

NEVO, D. y GOLDBLAT, E. (1988). Evaluation perceptions and school assessment in schools of active learning, School of Education, Tel-Aviv University.

NORTHWEST Regional Laboratory (1985). Building Level Effectiveness Survey, N.R.E.L., Portland.

O.C.D.E. (1989). Schools and Quality: An International Report, OCDE, París.

OAKES, J. (1989). What educational indicators? The case for assessing school context, Educational Evaluation and Policy Analysis, 11 (2), 181-199.

PEDHAZUR, E. J. (1982). Multiple regression in behavioral research: Explanations and prediction. Nueva York: Rinehart and Winston.

PÉREZ JUSTE, R. y MARTÍNEZ ARAGÓN, L. (1989). Evaluación de centros y calidad educativa. Madrid: Cincel.

PROCTOR, P. y VILLANOVA, R. (1984). Handbook for use of the Connecticut School Effectiveness. Connecticut Department of Education, Hartford.

PROJECT RISE (1982). Rising to Individual Scholastic Excellence: A guide to school Effectiveness. Milwawkee Public Schools, Milwaukee.

PURKEY, S. y SMITH, M. (1983). Effective schools: a review. The Elementary School Journal, 83 (4), 427-452.

RAUDENBUSH, S. W. y WILLMS, J. D. (1995). The estimation of school effects, Journal of Educational and Behavioral Statistics, 20 (4), 307-335.

REED, D. y otros (1987). Social control and the qualitative and quantitative. Comunicación en la Annual Meeting of the American Educational Research Association, Washington, DC.

RICHARDS, C. (1988). A typology of educational monitoring-systems. Evaluation and Policy Analysis, 10 (2), 106-116.

SABIRÓN, F. (1993). La evaluación del centro docente. En M. Lorenzo y O. Saenz, Organización escolar: una perspectiva ecológica, Marfil, Alcoy, pp. 449-477.

SANCHO, J. (1993). Evaluar, conocer, transformar y mejorar. La evaluación del centro y el desarrollo del criterio profesional. Aula de Innovación Educativa, (6), 47-51.

SANTOS, M. A. (1993). La evaluación: un proceso de diálogo, comprensión y mejora. Archidona, MA: Aljibe.

SCRIVEN, M. (1967). The methodology of evaluation. En R. E. Stake (Ed.), AERA Monograph Series on Curriculum Evaluation N.° 1, Rand McNally, Chicago.

SHULMAN, L. S. (1986). Paradigms and research programs in the study of teaching: A contemporary perspective. En M.C. Wittrock (Ed.), Handbook of Research on Teaching, Macmillan, New York, pp. 3-36.

SOLER, E. (Coord.) (1993). Fundamentos de supervisión educativa. Madrid: La Muralla, S.A.

SOLER, E. (1991). La visita de Inspección. Madrid: La Muralla, S.A.

STAKE, R. E. (1967). The countenance of educational evaluation. Teachers College Records, (68), 523-540.

STIGGINS, R. J. y FAIRES CONKLIN, N. (1992). In tearcher's hands: Investigating the practice of classroom assessment. Nueva York: SUNY Press.

STÖEL, W. (1987). Characteristics of effective secondary schools in the Netherlands. Comunicación presentada en la Annual Meeting of the American Educational Research Association, San Francisco.

STUFFLEBEAM, D. L. (1983). The CIPP model for program evaluation. En G.F. Madaus, G. F. y otros (Eds.), Evaluation models. Boston: Kluwer-Nijhoff, pp. 117-141.

STUFFLEBEAM, D. L. (1991). Evaluation guide for evaluations of programs, services, and organizations. Kalamazoo, MI: CREATE.

STUFFLEBEAM, D. L. y otros (1971). Educational evaluation and decision making. Peacock, Itasca, Ill.

U.S. DEPARTMENT OF EDUCATION (1991). America 2000: An education strategy Department of Education, Washington, D.C.

VAN DE VEN, A. y FERRY, D. (1980). Measuring and assesing organizations.Nueva York: Wiley.

WALBERG, H. J. (1976). Psychology of learning enviroments: Behavioral, structural or perceptual?. En S.L. Schulman (Ed.), Review of Research on Education, (4), Itaska, IL: Peacook.

WIMPELBERG, R. y otros (1989). Sensitivity to context: the past and the future of effective school research. Educational Administration Quaterly, 25 (1), 82-127.

YORKE, D. (1987). Indicators of institutional achievement: some theoretical and empirical considerations. Higher Education, 16 (1), 3-20.


TO KNOW MORE / PARA SABER MÁS

This article has been cited in... / Este artículo ha sido citado en...

* Gámez Requena JJ, Márquez Aragonés AC. Evaluación de los programas de promoción de la salud para inmigrantes. Index Enferm Digital 2004; 44-45. Disponible en < http://www.index-f.com/index-enfermeria/44revista/44_articulo_51-55.php >[Párrafo añadido el 10 de Abril de 2007 / Paragraph added April 10th 2007].

* Lukas, J.F. y Santiago, K.F.(2004). Evaluación de  centros escolares de educación secundaria del País Vasco. Revista Electrónica de Investigación Educativa, 6 (2). http://redie.uabc.mx/vol6no2/contenido-lukas.html [Párrafo añadido el 10 de Abril de 2007 / Paragraph added April 10th 2007].

* Rodríguez Sabiote, C. y Gutiérrez Pérez, J. (2003). Debilidades de la evaluación de la calidad en la universidad española. Causas, consecuencias y propuestas de mejora. Revista Electrónica de Investigación Educativa, 5 (1). http://redie.ens.uabc.mx/vol5no1/contenido-sabiote.html [Párrafo añadido el 10 de Abril de 2007 / Paragraph added April 10th 2007].

* Ortigosa, María Eugenia, Gonzalez, Odris, Rodriguez, Laura (2003).. El rendimiento y la prosecución estudiantil en la escuela de arquitectura, LUZ: Aproximación a un modelo de evaluación permanente. Multic., vol.3, no.2 , p.117-125. Disponible en http://www.serbi.luz.edu.ve/scielo.php?script=sci_arttext&pid=S1317-22552003012000006&lng=es&nrm=iso. ISSN 1317-2255. [Párrafo añadido el 10 de Abril de 2007 / Paragraph added April 10th 2007].

* Torres Fernández, C.P. (2006). Las investigaciones sobre evaluación educativa en Cuba. Ciencias Pedagógicas, 6 (1) ,   http://cied.rimed.cu/revista/61/index  [Párrafo añadido el 10 de Abril de 2007 / Paragraph added April 10th 2007].  

* García Martínez, F.A. (2005). La evaluación en el complejo mundo de la educación. Eticanet, numero 5. http://www.ugr.es/~sevimeco/revistaeticanet/index.htm  [Párrafo añadido el 10 de Abril de 2007 / Paragraph added April 10th 2007].

* Andrés Fernández, Miguel A.  (2005).  Propuesta de indicadores del proceso de enseñanza/aprendizaje en la formación profesional en un contexto de gestión de calidad total.  Revista ELectrónica de Investigación y EValuación Educativa, v. 11,  n. 1. http://www.uv.es/RELIEVE/v10n2/RELIEVEv11n1_4.htm[Párrafo añadido el 10 de Abril de 2007 / Paragraph added April 10th 2007].

* Millan, Jaime, Rioseco G., Marilú, Peredo L., Hernán (2002). Hacia un modelo para evaluar la formación técnica de nivel superior. Estud. pedagóg., 2002, no.28, p.47-67. ISSN 0718-0705. [Párrafo añadido el 10 de Abril de 2007 / Paragraph added April 10th 2007].

* Escudero, T. (2005-2006). Claves identificativas de la investigación evaluativa. Contextos Educativos. 8-9: 179-199. http://www.unirioja.es/servicios/sp/ej/contextos/infos/2091397.pdf  [Párrafo añadido el 10 de Abril de 2007 / Paragraph added April 10th 2007].

* Gutierrez, M. (2001). La gestión de calidad en los centros educativos. http://www.calidad.org/public/arti2001/0981031144_monica.htm [Párrafo añadido el 10 de Abril de 2007 / Paragraph added April 10th 2007].

* Gargallo López, Bernardo (2003). Un modelo de evaluación del sistema educativo. Revista Española de Pedagogía. 61, 224: 33. [Párrafo añadido el 10 de Abril de 2007 / Paragraph added April 10th 2007].

* Miguel Diaz, Mario De (1997). La evaluación de los centros educativos. una aproximación a un enfoque sistémico. RIE. Revista de Investigación Educativa, 15, 2: 145-178. [Párrafo añadido el 10 de Abril de 2007 / Paragraph added April 10th 2007].

 

 

 

 




Volver al índice general


Volver al índice del Vol. 3 Nº 1