Este documento se encontraba antiguamente en la dirección http://www2.uca.es/RELIEVE/V3N1_3.HTM. Por favor, a partir de ahora utilice la siguiente referencia: "Fernández Díaz, M.J.. y González Galán, A. (1997). Desarrollo y situación actual de los estudios de eficacia escolar.  RELIEVE, vol. 3, n. 1. Consultado en http://www.uv.es/RELIEVE/v3n1/RELIEVEv3n1_3.htm en (poner fecha)."

Este artículo ha sido consultado en   ocasiones desde su publicación

La eficacia escolar viene siendo uno de los objetivos de estudio desde hace algunas décadas y actualmente continúa acaparando el interés de investigadores y prácticos de la educación. En este trabajo pretendemos analizar el desarrollo experimentado por los estudios de eficacia tanto en el ámbito de la investigación como en la implantación de los procesos de mejora de los centros y su evaluación. Nos centramos en los siguientes aspectos: 1) La importancia de la teoría en la investigación sobre eficacia, tras unos primeros años carentes de la misma; 2) La nueva aproximación al concepto de eficacia, entendida como "valor añadido"; 3) El desarrollo experimentado en la medida de las variables implicadas en los estudios; 4) Los nuevos planteamientos metodológicos, referidos concretamente al análisis de datos; y 5) La implantación de procesos de mejora de centros y su correspondiente evaluación.

The scholar effectiveness is one of the study objectives in the past few decades. Actually, it continues capturing the interest of the researchers and practices of the education. In this work it is pretend to analyse the development suffered by the effectiveness studies in the research field as in the implementation of the improvement processes of the school and its evaluation. The paper is focused on the next issues: 1) Theory importance in the effectiveness research, after some years without it; 2) The new approach to the effectiveness. The "value added" concept; 3) The development of the variables measurement; 4) The new methodological perspectives, specially in data analysis; and 5) the implementation of the improvement processes and their evaluation.

JUSTIFICACIÓN Y OBJETIVOS

Es evidente que hay muchas razones que justifican el que los estudios de eficacia sigan siendo uno de los objetivos prioritarios de investigadores, educadores y políticos, entre otros. Intentaremos subrayar alguna de ellas.

Para algunos, la motivación inicial que llevó a muchos investigadores a replicar a Coleman y Jencks et al. en la búsqueda de evidencias respecto de la importancia de la escuela en los logros de los alumnos, sigue siendo una razón fundamental de su trabajo. Tratan de buscar nuevos diseños, nuevos procedimientos de control, nuevas metodologías, medidas más fiables y válidas y, en suma, superar las dificultades metodológicas para avanzar y encontrar consistencia en los resultados y, en consecuencia, dar respuestas más claras y evidentes de la importancia de los factores escolares. La comunidad educativa parece necesitar razones evidentes de la importancia de su acción y los resultados apuntan efectivamente en esta línea. La profundización en los estudios, el convencimiento de las limitaciones y deficiencias de muchos de ellos van permitiendo avanzar en muy diversas líneas y campos con la esperanza de encontrar nuevos sistemas y modelos que permitan descubrir el complejo entramado de esa "caja negra" que es el centro escolar, fundamentalmente en su consideración dinámica. En este sentido, se han dado pasos importantes y, si bien las variables que inicialmente fueron objeto de estudio siguen mostrando su relevancia y relación con rendimiento académico, parecen mostrarse con más evidencia. Encontramos ya estudios que ponen de manifiesto la importancia y las diferencias entre centros educativos en eficacia, en relación con el rendimiento predicho a partir de las variables de tipo personal o social.

Por otra parte, la investigación sobre eficacia constituye actualmente un criterio especialmente relevante para justificar la inclusión de indicadores de evaluación de centros, ya que, si bien desde planteamientos teóricos podemos identificar y justificar un gran número de ellos, a la hora de seleccionar aquellos más relevantes existen otro tipo de criterios más objetivos que pueden impedir el que la evaluación sea una labor ardua y prolija cuya eficacia será dudosa al poseer tanta información, probablemente irrelevante, para una toma de decisiones operativa, cumpliendo con la función propiamente evaluativa. No es extraño encontrar en la literatura sobre el tema y en algunos modelos o planes, extensos listados de indicadores o variables a incluir en la evaluación de un centro, donde, si bien todos ellos constituyen componentes del centro, no sería adecuado incluirlos en una evaluación de centros de las características que apuntamos. En este sentido, la calidad de la evaluación no está precisamente en recoger la mayor cantidad posible de información relativa al centro, sino en seleccionar aquellas variables que, desde planteamientos teóricos y fundamentados en un modelo, se puedan justificar como especialmente relevantes por la magnitud de su importancia, por su valor mediador, por su capacidad para ejercer cambios si fuera necesario, por su importancia puesta de manifiesto en investigaciones empíricas y, en síntesis, por su contribución a una evaluación dinámica, operativa, de resultados y feedback inmediatos, y eficaz en la toma de decisiones y en su repercusión en el centro. Así pues, la determinación de indicadores debe partir de modelos conceptuales dirigidos hacia sistemas de valores más comprehensivos que tengan en cuenta variables de contexto, entrada, procesos y productos, y la evidencia empírica existente en relación al logro de los distintos productos.

No cabe duda de que, en la actualidad, la calidad, preocupación de educadores, administrativos, políticos, etc. se relaciona en cualquier caso con eficacia. Desde aquellos que asocian calidad con eficacia a aquellos otros que lo consideran un componente de la misma, la eficacia se ha vinculado estrechamente a ella. En un momento en que la mayoría de los países plantean reformas, sistemas de evaluación nacional, internacional, de centros, profesores, etc., para lograr una educación de calidad, los estudios de eficacia son un referente importante. Es otra razón que justifica la proliferación de este tipo de estudios. Desde una aproximación más concreta los programas de mejora de los centros van dirigidos a plantear reformas específicas que afectan a la organización general del centro, orientadas al desarrollo de aquellas variables o elementos del centro que han mostrado sistemáticamente su relación con eficacia (liderazgo, expectativas del profesor, implicación de los padres en las tareas educativas, etc.). Los resultados de algunas de estas investigaciones constituyeron verdaderas guías para la elaboración de los programas de mejora. No obstante, es necesario dejar constancia de la escasa repercusión que todavía en la actualidad ha tenido el movimiento de escuelas eficaces en la reforma o mejora de los centros, aunque se pueden encontrar algunos programas en ciertos países, tal como analizaremos posteriormente.

En la exposición precedente encontramos elementos en los que confluye la investigación sobre eficacia y la evaluación de centros. No obstante, quisiéramos destacar la importancia de la evaluación como medio para mejorar los centros, incrementar su eficacia y, en último término, lograr una educación de calidad. Podríamos afirmar que la eficacia y especialmente la calidad son las razones fundamentales que justifican los procesos de evaluación. En este marco, nos proponemos presentar en este trabajo los progresos más importantes que han experimentado los estudios de eficacia en su desarrollo, tanto en el ámbito de la investigación como de la puesta en marcha de procesos de reforma educativa. Así, nos centraremos en la nueva aproximación al concepto de eficacia como "valor añadido"; la importancia de los modelos teóricos como fundamento y base de la investigación, tras una primera fase ausente de la misma; el desarrollo en la medición de las variables implicadas y en los planteamientos metodológicos, especialmente en las técnicas de análisis y, por último, la implantación de los procesos de mejora de los centros, basados en la investigación sobre eficacia, y la evaluación de los mismos.

CONCEPTUALIZACIÓN DE EFICACIA COMO "VALOR AÑADIDO"

La cuestión que ahora se plantea es cómo comparar la eficacia entre distintas escuelas a nivel individual, de distrito, región, etc. Parece obvio que no podemos admitir el comparar directamente las puntuaciones en un test de rendimiento entre escuelas cuyos alumnos proceden de estatus socio-económicos y culturales diferentes. Webster et al. (1994) denuncian las comparaciones públicas realizadas en Estados Unidos entre escuelas y distritos escolares sobre la base de medidas de producto desajustadas. Esta técnica favorece a las escuelas con estudiantes aventajados y perjudica a aquéllas con poblaciones demográficas situadas por debajo de la media. Una solución a este problema sería comparar únicamente escuelas con características similares, pero esto produciría serias limitaciones en cuanto a la capacidad de agrupamiento de las escuelas para análisis posteriores.

Una técnica más apropiada para comparar escuelas, especialmente utilizada cuando se trata de la rendición de cuentas (accountability), conocida como "valor añadido", consiste en el uso de una o varias técnicas estadísticas para ajustar los resultados sobre la base de las características de entrada más relevantes de los alumnos. El valor añadido sería la medida del incremento del rendimiento de un estudiante, producida por el efecto de la escuela, una vez eliminada la influencia de las características de entrada (background) del mismo. Por tanto, las escuelas más eficaces serían las que consiguieran que más estudiantes superaran lo más posible la puntuación predicha de los alumnos a partir de sus características de entrada. En este sentido, podría darse el caso de una escuela que parece conseguir excelentes resultados y cuenta inicialmente con alumnos muy brillantes y motivados, pero que, en realidad, una vez eliminados los efectos de esas variables de entrada, no aporta nada o casi nada al progreso de los alumnos (ya de por sí brillantes), y viceversa.

De este modo, como se indica en un trabajo de la OCDE (1995), muchos países han manifestado su interés en las medidas del "valor añadido" para evaluar hasta qué punto la actuación de la escuela mejora a lo largo del tiempo y de qué modo esta mejora contribuye al progreso académico de los alumnos.

Esta técnica, no obstante, tiene unas exigencias que, en muchos casos, son difíciles de cumplir. Para poder controlar las características de entrada de los alumnos, necesitamos obtener medidas fiables de las mismas, cuando ingresan los alumnos en el centro y cuando lo abandonan. El mismo problema afecta a la medición del rendimiento como indicador del producto. A nivel internacional, son excepcionales los países que recogen estos datos de forma sistemática. Podríamos destacar a Francia dentro de nuestro entorno más próximo. Otro problema que impide el cálculo del valor añadido se produce en regiones o distritos con gran movilidad estudiantil, como sucede en los grandes distritos urbanos de los Estados Unidos, con una movilidad escolar de hasta el 50% anual. Desde organismos públicos, otras dificultades relacionadas con el uso de esta técnica para comparar escuelas son:

• Se podría dar el mensaje erróneo a padres y profesores que es legítimo esperar menos rendimiento de los niños menos privilegiados.
• La inmensa mayoría de las escuelas, después de grandes gastos y análisis, quedarían en un rango medio, con pocas diferencias entre ellas.
• Los padres están todavía lejos de elegir una escuela por su gran valor añadido con niños difíciles, en vez de otra más mediocre con niños motivados procedentes de familias acomodadas.

¿Cómo conseguir, entonces, aislar el "efecto de la escuela" eliminando el efecto del resto de variables intervinientes? Se han aplicado distintos modelos estadísticos para resolver este problema: análisis de regresión múltiple, correlación canónica, análisis de series temporales, modelos lineales jerárquicos y análisis causal, entre los más importantes. El primero de ellos, la regresión múltiple, es uno de los más sencillos de aplicar e interpretar, destacando su robustez y la posibilidad de combinar variables continuas y categóricas. La correlación canónica establece relaciones entre variables dependientes e independientes, pero no permite diferenciar los pesos de las variables por niveles de importancia. El análisis de series temporales exige, al menos, tres años de datos longitudinales. Los modelos lineales jerárquicos y el análisis causal son más indicados cuando se busca la explicación de los efectos de la escuela, aunque son más problemáticos respecto a los grados de libertad.

Webster et al. (1994) realizaron un estudio en el distrito escolar de Dallas (Texas, Estados Unidos) para estimar el "valor añadido", utilizando modelos de regresión múltiple. En el estudio se controlaron importantes variables de background como raza, sexo, nivel de inglés y situación respecto del almuerzo en el centro (gratis o reducido), cuyos residuos de regresión fueron utilizados como predictores . Los resultados del estudio son significativos. Los investigadores compararon el ranking en el que el Estado de Texas había situado a las escuelas por medio del TAAS (Texas Assessment of Academic Skills) con el ranking en el que quedaron las escuelas después de calcular el "valor añadido" de las mismas. En los grados 3 a 6 las divergencias eran muy notorias. Baste como ejemplo que la escuela que ocupaba el primer lugar en "valor añadido", ocupaba el puesto 20 en el TAAS, y el segundo ocupaba el puesto 94. En los grados 7 a 12 las divergencias disminuyen, debido probablemente, como afirman los autores, a que la escuela media no difiere tanto demográficamente como la elemental.

Pese al avance que se está produciendo en estos estudios, es muy limitada la utilización de modelos causales que, de una forma integradora, hagan referencia a la eficacia de la escuela. El desarrollo de la teoría y la práctica sobre escuelas eficaces debe dirigirse en esta dirección para conseguir partir de hipótesis validadas. En tal sentido, Scheerens (1996) concluye que sobre la base del conocimiento de eficacia de la escuela, no existe un modelo causal especificado de resultados educativos como "valor añadido"... no hay suficiente evidencia para afirmaciones tales como que un 10% del incremento del tiempo sobre la tarea llevará a un 2% de incremento en la media ajustada del rendimiento.

LA TEORÍA COMO BASE DE LA INVESTIGACIÓN

Una de las críticas más serias que ha recibido la investigación sobre escuelas eficaces se refiere al desarrollo ateorético en el que se ha mantenido durante años. Precisamente, la carencia de teorías y modelos suficientemente desarrollados y validados sobre centros eficaces supone una de las limitaciones más fuertes en la generabilidad de estas investigaciones. Scheerens y Creemers (1989) argumentan que gran parte de los problemas metodológicos y técnicos de la investigación se deben a la poca existencia de teoría que explique "por qué ciertas cosas funcionan en educación". Esta pregunta se repite a lo largo de las diversas revisiones bibliográficas sobre el tema, evidenciando la reducción que se ha hecho de la teoría al limitarla a resúmenes relativamente simples de relaciones empíricas. Webster et. al. (1994), en una crítica al discurso utilizado por el movimiento de escuelas de eficaces, indican que si se pretende avanzar en la investigación, antes que identificar nuevas técnicas para evaluar la eficacia de las escuelas, hay que resolver dos problemas muy complejos: mejorar la definición de eficacia y mejorar los modelos de evaluación, en clara referencia a la falta de acuerdo a la hora de definir operativamente la eficacia y a la debilidad técnica de los modelos utilizados.

Entre los avances más importantes que se están produciendo en el contexto de las escuelas eficaces en los últimos años, se encuentra la atención prestada a esta carencia teorética. Para superar tal déficit resulta ineludible mejorar los estudios empíricos que identifican variables relacionadas con el rendimiento (estudio de simples correlaciones) para pasar a modelos causales, entre otros, que permitan, además del contraste empírico, el desarrollo de la teoría. Esta preocupación ha dirigido la investigación en busca de modelos explicativos de la eficacia de los centros, especialmente desde finales de la década de los 70, cuando aparecen los primeros modelos teóricos (Brookover et. al., 1979); estos primeros modelos muestran una visión bastante parcializada de la eficacia, tratando de explicar relaciones entre algunos constructos como el liderazgo educativo, la estructura social del centro, el clima institucional, etc. y el rendimiento académico. En la década de los 80 continúa el desarrollo de modelos teóricos (Centra y Potter, 1980; Glasman y Biniaminov, 1981; Anderson, 1982; Bossert et al., 1982; Murphy, 1985; Fuentes, 1986), perfeccionándose y ampliándose poco a poco, hasta desembocar al final de esa década y en lo que llevamos de los 90 en los denominados modelos "integrados" de eficacia (Scheerens, 1989 y 1992; Strinfield y Slavin, 1992; Creemers, 1994). En ellos se trata de poner en relación todas las variables explicativas de la eficacia, hipotetizando sus relaciones causales. Scheerens, uno de los investigadores más preocupados por la formulación de modelos, indicaba que los modelos y teorías no ofrecen simplemente un listado de indicadores o variables que correlacionan positivamente con el producto educativo, sino que además son más explícitos en la explicación de la naturaleza de las relaciones entre las condiciones antecedentes y el rendimiento.

La variedad de modelos e indicadores elaborados para estudiar la eficacia muestra las diferentes percepciones y propósitos de sus creadores: Distintas unidades de análisis (micro, meso y macro-nivel), distinto alcance de los modelos (escuela primaria, secundaria o superior), diferentes indicadores para medir las mismas cosas, diferentes aproximaciones (input-output, proceso, organizativa, evaluativa, experiencial...), etc. Pese a las diferencias, en una revisión de la literatura, los modelos conceptuales coinciden en un conjunto de indicadores agrupados en cuatro grandes factores: Contexto, Input, Proceso y Producto, aunque varían en su centro de atención y en su amplitud.

Los modelos "integradores" de eficacia educativa citados anteriormente, que explicitan la dirección causa-efecto de las variables, partiendo de la evidencia empírica y proponiendo nuevas hipótesis explicativas de la eficacia, son los que actualmente aportan unos resultados más prometedores. Algún ejemplo de estos modelos lo presenta Scheerens (ver Figura 1) dentro del marco de los estudios internacionales de la OCDE (1992):

 

 

 

 

Figura 1: Modelo integrador de Scheerens (OCDE, 1992).

 

 

 

El modelo propuesto por Scheerens se denomina integrado porque intenta relacionar los resultados de la investigación procedentes de las diferentes disciplinas. En este modelo, la escuela no se percibe como una unidad cerrada, sino como un sistema en interacción, abierta con el ambiente.

Este tipo de modelos integrados suponen un avance importante no sólo en la definición teórica de los modelos, sino también en la mejora técnica para el análisis de datos. Así, los análisis actuales de eficacia se enmarcan en modelos multi-nivel (multi-level) que delimitan las relaciones en varios niveles diferenciados, como se muestra en la figura 2.




Figura 2: Modelo multinivel.

Si bien este esquema integrado va ganando consistencia, las variables utilizadas para medir cada uno de los factores no siempre coinciden, y menos aún sus definiciones operativas, aunque hay algunas que por su repetida y evidente relación con el rendimiento aparecen en casi todos los estudios.

En nuestro país, se han presentado también varios intentos de modelos integrados (Fuentes, 1986; De la Orden, 1993; De Miguel 1994). Así, De Miguel presenta un interesante trabajo adaptado al modelo anteriormente citado. De forma esquemática, el marco teórico que agrupa los factores objeto de evaluación en el centro educativo se resume así:

Un modelo integrado, para considerarse como tal, debe tener una estructura multinivel, seguir el principio general según el cual las características de más alto nivel son consideradas como facilitadoras de las de más bajo nivel y basarse en hallazgos substantivos de la investigación.

MEDIDA DE LAS VARIABLES IMPLICADAS EN LOS ESTUDIOS DE EFICACIA

Algunas críticas surgidas frente al movimiento de escuelas eficaces (que nació fundamentalmente para dar respuesta a las desigualdades educativas de los grupos marginados de los Estados Unidos) emergen de lagunas relacionadas con la medida de variables:

En primer lugar, hay que mencionar el sentido restringido con el que se ha definido el "producto educativo". Normalmente sólo se ha tenido en cuenta el rendimiento de los alumnos obtenido a través de tests referidos a la norma. No se encuentra en la literatura referencia práctica a otros productos como satisfacción de padres y estudiantes, cumplimiento de objetivos, adquisición de valores, etc.

Segundo, la investigación estuvo limitada en sus comienzos a poblaciones urbanas con grandes cantidades de población joven desaventajada, lo que significa un problema realmente importante para la generalizabilidad de los resultados.

Tercero, la mayoría de las investigaciones que intentan asociar los efectos de la escuela con el rendimiento de los estudiantes se han limitado a estudios correlacionales, pero no han establecido causalidad.

La cuestión de la medida de variables implicadas en la eficacia de centros está muy relacionada con el desarrollo de los modelos teóricos de partida. Así, en un primer momento, la investigación relacionó medidas input con el rendimiento de los estudiantes. En esta fase se comprobó que las variables de background (cociente intelectual, nivel socio-económico, raza, etc.) o variables de entrada de los sujetos explicaban un alto porcentaje de la varianza del rendimiento académico (output), lo que llevó a las primeras conclusiones pesimistas sobre el papel del profesor y la escuela respecto al desarrollo intelectual de los alumnos. Sin embargo, este enfoque fue superado cuando desde el movimiento de escuelas eficaces se quisieron contrastar aquellos resultados, partiendo de hipótesis más positivas respecto del profesor y la escuela. De esta forma, las variables input, más que para probar de nuevo su relación con el rendimiento, se utilizaron como variables predictoras del mismo, de modo que se pudiera medir el efecto de la escuela a partir del rendimiento esperado de las variables de background. Así, cuando las medias en rendimiento de los alumnos superaban ampliamente las medias predichas, se hablaba de escuelas eficaces, y cuando estaban por debajo, de escuelas ineficaces. Fueron los comienzos de la concepción de eficacia como "valor añadido".

En la década de los 80 la investigación dio un giro importante, al desviar su atención de las variables de entrada para fijarla en las variables de proceso. Este paso suponía centrar el énfasis del estudio en las variables maleables del proceso educativo, frente a las características inmodificables de los estudiantes, como el estatus socio-económico. El énfasis en las variables de proceso situaba al profesor en una posición completamente distinta: ahora era el responsable de una instrucción de calidad que posibilitara mejorar el rendimiento de los estudiantes. La investigación obtuvo importantes variables que correlacionaban con el rendimiento y explicaban parte de su varianza. Sobradamente conocidas son la enseñanza estructurada, presión sobre el rendimiento, oportunidad para aprender, altas expectativas, control frecuente del progreso, etc., muchas de ellas propias del mastery learning o aprendizaje para el dominio.También se han estudiado como variables de proceso las propias de nivel de centro, pensadas como facilitadoras de los procesos a nivel de aula. En esta línea se incluyeron variables como liderazgo educativo, orientación hacia el rendimiento, clima de centro, etc. con distinta confirmación empírica. Pero, como dice Scheerens (1996), a pesar de la plausibilidad a nivel superficial, todavía no hay evidencia empírica para la hipótesis de que condiciones de más alto nivel facilitan condiciones de más bajo nivel al producir resultados superiores. Es decir, si se desea mejorar el rendimiento de los alumnos por medio de variables de proceso a nivel de aula, supuestamente estas variables de proceso se verán reforzadas si a nivel de centro o escuela se pone un énfasis explícito en la consecución de dichas variables. Por ejemplo, si el clima seguro y ordenado en el aula es una característica de proceso que mejora el rendimiento, se espera que es más fácil conseguir este clima si desde estructuras superiores (jefe de etapa, equipo directivo, inspectores...) se manifiesta su consecución como un objetivo explícito para todos.

En cuanto a la medida de producto se refiere, la eficacia se ha relacionado siempre con el rendimiento académico, medido a través de tests estandarizados o tests referidos a la norma en las áreas básicas de aprendizaje: lectura, lengua y matemáticas. Entender la eficacia institucional sólo en función del rendimiento académico se nos antoja, a todas luces, una visión restrictiva del producto educativo. La escasa atención prestada a las medidas de producto en los estudios cuantitativos de eficacia tiene mayores consecuencias que las que en un principio se pueden predecir en relación con el impacto que tiene sobre el estudiante, la clase y la escuela. Los tests utilizados para medir el producto mencionados anteriormente evalúan, en su mayoría, habilidades académicas generales y rasgos cognitivos más que productos específicos de aprendizaje propios de la instrucción en clase (Hill y Rowe, 1996), por lo que no son sensibles a lo que ha sido enseñado en ese momento en el aula y, en consecuencia, el efecto de la clase y la escuela sobre el aprendizaje tiende a minimizarse. Por el contrario, este tipo de pruebas suele correlacionar con el rendimiento previo y con las variables de entrada del estudiante.

Las críticas a este respecto no se hicieron esperar, aunque los meta-análisis más importantes constatan que el rendimiento de los alumnos sigue siendo casi la única variable tenida en cuenta como producto (Fraser et al., 1987; Wang, Haertel y Walberg, 1993). Como respuesta a las críticas suscitadas por su medida, existe un creciente interés en desarrollar modos más "auténticos" de evaluación de tareas que no dependan de los formatos clásicos de tests y exámenes tradicionales.

Se hace necesario, por tanto, avanzar en una concepción más amplia de producto que se traduzca igualmente en medidas más diversificadas del mismo. Webster et al. (1994) indican esta necesidad de ampliar los indicadores de producto, citando como otros posibles los siguientes: ratios de asistencia de alumnos y profesores, ratios de abandono y finalización de la enseñanza, actuación de los estudiantes en el nivel escolar posterior, satisfacción de padres y estudiantes, porcentaje de alumnos que completan cursos avanzados y objetivos individuales de la escuela. También podríamos tener en cuenta algunos indicadores no citados por estos autores como grado de consecución de valores propuestos por el centro y satisfacción de profesores, entre otros.

En definitiva, debemos tener en cuenta que la elección de los indicadores que medirán el producto va a determinar significativamente las conclusiones que se puedan hacer sobre la eficacia o ineficacia de una escuela. Las diferentes medidas de productos de aprendizaje no son igualmente sensibles a los diversos factores que afectan al estudiante, a la clase y a la escuela. En la investigación sobre eficacia no se puede asumir que la eficacia puede ser descrita adecuadamente por cualquier clase de medida.

NUEVOS PLANTEAMIENTOS METODOLÓGICOS: ANÁLISIS DE DATOS MULTINIVEL Y ANÁLISIS CAUSAL

El uso de técnicas de regresión ha sido común desde los inicios de la investigación sobre eficacia, aunque con el tiempo ha experimentado algunos cambios en su aplicación. Del uso de técnicas de regresión simple o múltiple a partir de distintos predictores, se introduce la aplicación al cálculo de los residuales de regresión, tomando como base características individuales de los sujetos o medias de las escuelas ponderadas y no ponderadas. El uso de las puntuaciones residuales se realiza como medida de la eficacia de la escuela a través de la diferencia entre la puntuación predicha a partir de las características individuales del sujeto (nivel socioeconómico, nivel cultural de los padres, rendimiento previo, etc) y la puntuación obtenida realmente por el mismo. Tiene la ventaja de que evita los sesgos que se producen en la estimación de los efectos de los tratamientos cuando los grupos no son equivalentes, aunque es evidente que no se realiza un ajuste total para todas las diferencias entre las escuelas. Para Castejón (1994) la técnica de residuales sigue siendo en la actualidad el procedimiento más adecuado para la identificación de escuelas eficaces, estableciendo cuatro formas de llevar a cabo los análisis de datos y de regresión: por una parte un análisis a nivel de escuela (modelo entre escuelas) o a nivel de individuos (modelo dentro de la escuela); por otra, el análisis puede ser "ponderado" o "no ponderado" según el número de sujetos pertenecientes a cada escuela. En el análisis empírico que realiza para comparar cada uno de los cuatro índices de eficacia y examinar la consistencia entre dichos índices, concluye poniendo de manifiesto la existencia de centros cuyo rendimiento supera el predicho y, por tanto, muestran un efecto significativo, aunque moderado, de la escuela, coincidiendo con los resultados obtenidos por otros autores, y, por otra parte, el alto nivel de consistencia y concordancia entre los índices resultantes.

Una de las técnicas de análisis considerada en la actualidad por investigadores educativos y sociales como la más adecuada para el estudio de la temática que nos ocupa, es el análisis de datos multinivel o modelos lineales jerárquicos. Se deriva del análisis de regresión y representa un nivel superior de desarrollo de esta técnica. La mayoría de los estudios recientemente publicados la han utilizado. Sin duda permite una mayor correspondencia entre la complejidad de los modelos y la investigación empírica. Su fundamentación teórica se apoya en el carácter jerárquico o multinivel de los datos relativos a productos educativos o de eficacia escolar : los datos a nivel de individuos (estudiantes) están anidados dentro de clases y éstas, a su vez, dentro de escuelas o centros. Como ya apuntaba Burstein (1980) la clave para el progreso metodológico de estudios de eficacia escolar y de clase sobre los productos de aprendizaje depende del desarrollo de modelos y métodos para el análisis de datos multinivel. Se sustituye la aproximación tradicional del uso de medidas agregadas a nivel de profesor y de centro, como variables explicativas en modelos de regresión de un sólo nivel para estimar los efectos de las medidas promedio sobre los productos de aprendizaje del estudiante. Estos análisis presentan problemas de validez de conclusión estadística tales como : sesgos de agregación, hetrogeneidad no detectada de regresión entre subunidades, estimaciones sesgadas de parámetros y de sus errores típicos y problemas relacionados con el cumplimiento de supuestos de independencia exigidos por modelos de un nivel.

Los resultados obtenidos de un análisis de datos multinivel nos permiten, entre otros objetivos, probar si hay variación significativa entre escuelas, derivar una medida escolar para evaluar hasta que punto dicho centro difiere del grupo de centros, considerado como un conjunto, y cuantificar la magnitud de la relación entre varios inputs y el output.

Para resolver los problemas analíticos que conlleva esta técnica se han desarrollado distintos paquetes de programas que permiten analizar datos multinivel: GENMOD ( Hermalin y Anderson, 1989); HLM-3L (Bryk, Raudenbush y Congdon, 1992; VARCL (Longford, 1986, 1987) y MLn (Rasbash, Goldstein y Woodhouse, 1995). Este último permite analizar cualquier número de niveles anidados. En general, estos métodos suelen utilizar como procedimiento para la estimación de parámetros el algoritmo bayesiano en vez de procedimientos ordinarios de mínimos cuadrados, en un modelo lineal de regresión jerárquica.

No existen muchas investigaciones que hayan utilizado esta técnica, dada su corta trayectoria. La mayoría de las investigaciones han utilizado modelos de dos niveles donde la estructura analítica de los datos ha sido : estudiantes (nivel 1) anidados dentro de escuelas (nivel 2), aunque existe alguna de tres niveles, cuyos resultados ponen de manifiesto que el aprendizaje del estudiante depende sobre todo de la clase en la que está integrado. Así, en una revisión realizada por Reynolds y Packer (1992), concluyen que contrariamente a lo que se venía creyendo acerca de que la influencia de la escuela no procedía del profesor o la clase, la mayoría de los estudios que han utilizado modelos multinivel muestran cómo la mayor parte de la variación entre escuelas se debe a la variación entre clases y cómo la influencia de la escuela se reduce a un bajo nivel. A pesar de esta afirmación, las investigaciones son escasas y, en algunos casos, contradictorias, posibilitando interpretaciones diversas. Limitaciones o deficiencias en el muestreo pueden ser causas subyacentes a los resultados. Es evidente la necesidad de incrementar el número de investigaciones bien diseñadas que permitan extraer conclusiones más claras y donde la magnitud del efecto permita afirmaciones más concluyentes acerca de los efectos de estudiantes, clases y escuelas sobre el aprendizaje. En esta línea se manifiestan Hill y Rowe (1996) quienes apuntan posibles causas por las que distintos estudios pueden generar distintos resultados, e identifica puntos claves en el diseño de estudios para investigar la importancia relativa de los efectos de las clases y las escuelas. Entre ellos señala cuestiones tales como tamaño de la muestra ( se precisan muestras grandes que permitan la estimación simultánea de los efectos de la escuela, clase/profesor y del alumno), medidas del producto ( problemas de medida de productos con tests estandarizados) y naturaleza de las variables sobre las que se realizan los ajustes estadísticos (características psico-sociales o rendimiento previo o ambas conjuntamente), que pueden conllevar a significar diferentes cosas en términos de eficacia educativa.

Como ya subrayamos anteriormente, en la investigación sobre eficacia escolar se ha suscitado desde hace bastantes años un gran interés por el desarrollo de modelos teóricos que permita buscar explicaciones coherentes de los distintos productos educativos, a fin de identificar las causas de la eficacia escolar. Distintos autores han planteado modelos teóricos de carácter bien diverso para superar los estudios anteriores en que se consideraban varias variables predictoras de productos, todas ellas en el mismo nivel. Aunque han surgido numerosos modelos, pocos han sido objeto de estudio empírico. La complejidad de los mismos ha hecho que dispongamos de pocos resultados a pesar de que técnicamente sea posible realizar el análisis de los datos. El hecho de que muchos de los estudios tuvieran carácter correlacional y la falta de investigación experimental han impedido la interpretación de relaciones causales entre las variables relacionadas, de donde se deberían derivar los procesos de reforma de los centros. Aunque se asume teóricamente que las características escolares son las causas y los niveles de rendimiento los resultados o productos, en algunos casos podría ser verdad precisamente lo contrario. En este intento, las técnicas de análisis causal, pueden permitir una aproximación idónea para este objetivo. No obstante, es obvia la necesidad previa de elaboración del modelo teórico que permita discernir, desde la teoría, las variables que son causa y las que son efecto, pero tal como afirma Creemers y Reynolds (1989) los modelos comprehensivos de eficacia escolar no han alcanzado un nivel de sofisticación suficiente para establecer con claridad el orden de influencia de las variables, en el sentido de qué variables actualmente preceden a otras causalmente. Resulta difícil en algunos casos mantener desde la teoría relaciones unidireccionales entre algunas variables, probablemente una y otra puedan actuar como causa y efecto en una relación recíproca. Es evidente que la cuestión básica sobre qué interpretaciones causales se pueden realizar entre características escolares y rendimiento no tienen, por el momento, respuesta satisfactoria.

Los estudios planteados a través de modelos son, en su mayoría, parciales, centrándose en aspectos de tipo organizativo o vinculados a enseñanza. Efectivamente algunos investigadores han aplicado técnicas de análisis causal para probar alguno de estos modelos, pero su carácter parcial y no comprehensivo limitan y dificultan la interpretación. Sin embargo, parece evidente las aportaciones que esta técnica puede ofrecer a la investigación sobre eficacia, determinando las variables causa y efecto, las magnitudes de los efectos de unas variables sobre otras, la importancia mediadora que pueden ejercer algunas de ellas, pudiendo manifestar una influencia indirecta superior al posible efecto directo sobre el producto final, etc. Una aproximación a la investigación fundamental de eficacia escolar, que podría ser prometedora, es la formalización de modelos conceptuales y exploración de los mismos por medio de técnicas de simulación y de sistemas expertos. Dichas aproximaciones podrían vincular los complejos modelos conceptuales de eficacia escolar y la investigación empírica (Scheerens, 1992).

DESARROLLO DE PROGRAMAS DE REFORMA DE LOS CENTROS EDUCATIVOS, BASADOS EN LOS ESTUDIOS DE EFICACIA ESCOLAR

En la década de los ochenta algunos programas de mejora de centros educativos se apoyaron en la todavía incipiente investigación sobre eficacia escolar y tomaron como principios básicos de acción las variables que sistemáticamente parecían tener una cierta influencia en productos educativos, especialmente en rendimiento académico. En algunos casos, la implantación se ha apoyado en un modelo comprehensivo y han adoptado reformas en profundidad tomando en consideración todos los indicadores de eficacia escolar En otros casos, las pretensiones han sido más modestas y se han centrado en algno de ellos como el liderazgo, el clima del centro, etc. No obstante, Reynolds et. al. (1993) consideran escasa la relación entre la investigación sobre eficacia y la acción orientada a la mejora. También Scheerens (1996) afirma que todavía hay un largo camino que recorrer para dar sentido al conocimiento de la investigación de la eficacia escolar y así obtener una imagen de su utilidad para la mejora del centro. Sin embargo, el movimiento está experimentando un notable desarrollo, especialmente en Estados Unidos, donde hay numerosos procesos y programas amparados desde distintos organismos. Cabe citar el programa de "Éxito para todos" llevado a cabo por Slavin, R. y colaboradores (1990) en la Universidad Johns Hopkins, el "Consorcio de Aprendizaje" de Fullan y colaboradores en la Universidad de Toronto (1991), de Levin y su equipo en Stanford, del Centro Nacional para el Liderazgo de la Universidad de Vanderbit, el programa del Centro Nacional para la Investigación y Desarrollo de Escuelas Eficaces de la Universidad de Wisconsin, etc. Recientemente algunas agencias de acreditación han estado analizando formas de motivar el cambio, integrando los indicadores de escuelas eficaces entre los requisitos de acreditación para escuelas elementales y secundarias, tal es el caso de la Agencia de Educación de Texas. Al mismo tiempo otros estados y asociaciones de acreditación están poniendo en marcha programas, relacionando la acreditación con conceptos de escuelas eficaces. La raíz de estas iniciativas está en la necesidad sentida de incorporar a los procesos de acreditación otros elementos que no sean exclusivamente inputs educativos, especialmente los productos, entendidos como el incremento en el nivel de ejecución del estudiante.

En los últimos veinte años se ha aumentado considerablemente el trabajo sobre escuelas eficaces para mejorar los centros. Ésta ha sido una de las principales consecuencias del movimiento que se inició, probablemente, sin que éste fuera el objetivo prioritario. Para Murphy (1992) la reforma educativa a través del modelo de escuelas eficaces ha establecido un esquema que está siendo un componente necesario de cualquier intento de reforma, especialmente cuando se trata de mejorar la educación de aquellos estudiantes que han sido peor atendidos por los centros educativos en el pasado. En cualquier caso, el movimiento de escuelas eficaces ha contribuído fundamentalmente a sentar los principios en la literatura de renovación escolar. No obstante, como señalaba Lezotte (1985), la investigación de escuelas eficaces proporcionó un planteamiento dirigido a lograr un lugar más deseable para las escuelas, pero dio pocas pistas de cómo caminar hacia ese objetivo.

Pero cabría preguntarse, ¿cuáles han sido las principales aportaciones y consecuencias del movimiento de escuelas eficaces desde la perspectiva de la renovación de los centros?. Es evidente que a primera vista la respuesta parece obvia: los resultados relativos a las variables que se nos presentan sistemáticamente como relacionadas con los productos educativos y, en consecuencia, explican la mayor cantidad de varianza. En este sentido, podemos destacar los ya famosos doce factores clave que sistematiza Mortimore et al. (1988). Se debe hacer constar que estas características básicas o indicadores de eficacia se han considerado como un medio para un fin, que es el aprendizaje del estudiante. Por otra parte, es necesario tener en cuenta que factores que pueden ayudar a conseguir altos y equitativos niveles de rendimiento del estudiante en un sistema normalizado de escolarización pueden no ser los mismos que funcionarían de la misma manera en otro contexto (Murphy, 1991;Creemers, 1992 y W. van de Grift, 1990). Ello nos lleva a replantearnos hasta qué punto las reformas deben precisar de una versatibilidad, flexibilidad y diferenciación que permita adecuarse al contexto específico del centro, bien a nivel del país, distrito, comunidad o centro. A pesar de esta doble consideración, es innegable la importancia del descubrimiento de los factores que están claramente relacionados con eficacia. Un aspecto importante, estrechamente vinculado con los factores de eficacia y que ya algunos han tenido en cuenta al implantar procesos de reforma, es que " la correlación no significa necesariamente causación". En consecuencia, las relaciones encontradas en la investigación no deben necesariamente interpretarse como variables determinantes de eficacia, ya que ésta pueda ser el resultado de procesos, acciones y características inespecíficas que pueden llevan a un alto nivel de rendimiento. Por otra parte, cada factor debería llevar a un conjunto de prácticas fuertemente interrelacionadas, ya que los esfuerzos centrados en un área pueden probablemente conducir al fracaso de la reforma (AASA, 1992). Evidentemente, determinados elementos de mejora tales como, por ejemplo, el énfasis en el liderazgo pueden conllevar transformaciones importantes en las estructuras organizativas y de gobierno del centro. Con lo que de uno de los resultados de la investigación sobre eficacia se derivarán consecuencias importantes en los procesos de cambio.

En segundo lugar, el movimiento de escuelas eficaces ha aportado un cambio en los principios de la acción escolar, especialmente en la concepción general del aprendizaje del estudiante. Los programas de reforma se apoyan en un principio básico: Todos los estudiantes pueden aprender. Aunque el aforismo parece obvio, tiene implicaciones importantes para la acción escolar. Supone un cambio fundamental: la escuela se presenta como un servicio para todos los alumnos, donde se aleja la división subyacente de los alumnos, admitiendo previamente el fracaso de parte del grupo. Se abandona la idea de que algunos estudiantes son incapaces de obtener altos niveles de rendimiento. Se vuelve a resaltar el énfasis en la finalidad básica instructiva de la escuela y es probablemente en los aspectos relacionados con enseñanza-aprendizaje (curriculum, instrucción y evaluación) donde el movimiento de reforma deje su mayor impacto. Sin embargo, el movimiento de escuelas eficaces, que introduce estrategias fundamentales para crear las condiciones dirigidas a incrementar el aprendizaje de los escolares, no aborda ni desarrolla un esquema alternativo al modelo conductual, fracasa en la articulación de nuevos modelos de aprendizaje que puedan modificar y trasformar el aprendizaje y enseñanza en el proceso de implantación de planes de reestructuración escolar apoyados en los factores de eficacia, de tal forma que los cambios hacia la mejora puedan incrementar su efecto (Murphy, 1992). No obstante las nuevas aportaciones de la psicología cognitiva, del constructivismo, una pedagogía centrada en el alumno que construye su propio conocimiento, de la función del profesor, más como un profesional que como un técnico, con una función más allá que la de un mero trasmisor, los cambios en los supuestos acerca de la inteligencia y del conocimiento, como una creación humana más que una recepción, el aprendizaje significativo, el énfasis en aprender a aprender y en la habilidad para utilizar el conocimiento, etc. son elementos que no quedan ajenos a los procesos de cambio de las escuelas, dado su énfasis en los procesos de enseñanza-aprendizaje.

Los procesos de eficacia implican la exigencia de crear las condiciones dentro de los centros para prestar un servicio al estudiante, de forma que alcance niveles de rendimiento y de dominio de estrategias necesarias para continuar en niveles superiores. Al mismo tiempo las escuelas eficaces resaltan la necesidad de centrar su atención en el aprendizaje del estudiante, constituyendo un indicador de la calidad de los centros. El éxito se define no en valores absolutos sino como el valor añadido que los estudiantes logran a través de los procesos educativos. Precisamente una de las principales aportaciones se centra en la distribución equitativa de los principales productos de la escuela, evitado las diferencias entre subpoblaciones por razón de sexo, nivel socioeconómico, etc.

En tercer lugar, el movimiento de reforma considera la escuela como un todo orgánico y la principal unidad de cambio. Efectivamente las escuelas más eficaces aparecen como las que están más relacionadas y unidas, tanto estructural como culturalmente. Funcionan mejor que aquéllas que presentan distintos subsistemas con sus funciones correspondientes. Este es uno de sus principios más relevantes. Asimismo, consideran a los padres como parte de la comunidad educativa que debe participar en la vida del centro. Se producen mejores resultados cuando padres, profesores y directivos camina en una misma dirección y se plantean objetivos comunes.

Por último, desde el punto de vista de la gestión y gobierno de los centros, los reformadores proponen sistemas jerárquicos, de distribución de poderes, dominados por profesionales. Resaltan uno de los resultados más consistentes de la investigación sobre eficacia, como es el reconocimiento del liderazgo escolar como motor que puede permitir y estimular los cambios, especialmente cuanto se trata del liderazgo en el área de enseñanza-aprendizaje.

Para ilustrar el movimiento de reforma, derivado de las escuelas eficaces, hemos creído conveniente referirnos a un estudio realizado por el Centro Nacional para la Investigación y Desarrollo de Escuelas Eficaces, una unidad del Centro de Wisconsin para la Investigación Educativa de la Universidad del mismo nombre (Taylor, B.O.1990). En 1988 el Centro decidió realizar un estudio de casos de centros educativos correspondientes a dieciséis distritos que habían trabajado continuadamente durante un cierto tiempo con el modelo de Escuelas Eficaces. Para ello, se envió una encuesta en formato común al personal de cada centro y otra al centro de recursos educativos con el que el personal de cada centro estaba trabajando. Once de estos distritos y un centro de recursos educativos aceptaron presentar la experiencia de su caso en una forma común y elevaron unos informes con sus observaciones personales, donde se puede observar el carácter comprehensivo del modelo y la capacidad del mismo para adaptarse a la cultura y normas de cada escuela y distrito. La recogida de esta información tenía un carácter fundamentalmente pragmático. En ellos se pone de manifiesto muchas de las prácticas comunes.

El "modelo o proceso de Escuelas Eficaces " es un esquema para la reforma de las escuelas basada en los estudios, tanto de investigaciones empíricas como de estudios de casos de escuelas del país, que han tenido éxito en enseñar el curriculum relacionado con el desarrollo de estrategias básicas (lectura, comunicación escrita y oral, estrategias de cálculo, resolución de problemas, estrategias de pensamiento de orden superior y estrategias sociales) a todos los estudiantes. Queremos significar cómo insistentemente a estos sistemas de cambio se les denomina procesos para diferenciarlos de programas, en razón a la propia naturaleza evolutiva de los mismos, si bien dentro de aquellos se pueden implicar varios programas.

En este modelo la escuela se considera una unidad de mejora. Cada centro utiliza los conceptos y elementos de los procesos de Escuelas Eficaces para desarrollar e implementar un plan de mejora que se mantenga al menos durante tres o cinco años. Para medir la eficacia se han considerado dos criterios: calidad y equidad. El primero está relacionada con estándares de alto nivel de rendimiento. Tener un estándar de equidad significa que el alto rendimiento no varíe a través de los subconjuntos de la población de estudiantes de las escuelas en función del sexo, raza, nivel socioeconómico, etc. Para el éxito del modelo son dos los elementos que se consideran básicos: 1º. La escuela debe establecer y desarrollar una misión escolar, 2º. La escuela debe estar dispuesta a aceptar el programa de "Escuelas Eficaces" como un plan comprehensivo. Este plan conlleva, entre otros, estos principios vinculados a la investigación sobre eficacia: Misión establecida y desarrollada, liderazgo instructivo, un clima escolar dirigido al aprendizaje, altas expectativas para estudiantes y profesorado, medidas de productos del estudiante y planificación de mejora, apoyada en los datos. Además se introdujeron componentes tales como consideraciones de tiempo de tarea, tiempo activo de aprendizaje y presión académica. También se incluyeron elementos referidos a enseñanza eficaz, claramente complementaria de las escuelas eficaces.

El modelo parte del principio de que todos los estudiantes pueden aprender y, por tanto, se debe estructurar la escuela, la política del distrito y los procedimientos de tal forma que el profesorado se vea apoyado en su trabajo diario de enseñanza. El modelo se centra en torno a sistemas de feedback organizativo tales como sistemas de control académico del estudiante y de "accountability" de la escuela. El profesorado y el director forman un equipo de toma de decisiones que suele incluir también a padres y personal de apoyo.

El programa se aplicó en numerosos distritos a lo largo de la década de los ochenta y otros se fueron añadiendo a finales de la misma década, adaptándose el modelo a la cultura y normas de cada escuela y distrito, tal como permite el diseño del mismo. Algunos elementos comunes del modelo comprehensivo, tal como se deduce de los informes que elevaron al Centro de Investigación los distintos centros, son (Sudlow, 1990):

1. Las escuelas y distritos que intentaron inicialmente aplicar la Investigación de Escuelas Eficaces fueron conscientes de que podían mejorar en sus procedimientos instructivos y programas educativos, especialmente para atender a estudiantes de alto riesgo
2. La "accountability" fue estimulada a distintos niveles y altamente valorada para el cambio.
3. Los principales responsables de la puesta en marcha del plan de mejora escolar reconocieron que cambios moderadamente positivos o ajustes en técnicas de enseñanza no son la respuesta. Son necesarios pero no suficientes para generar el cambio.
4. Los responsables educativos que vieron una necesidad de cambio estaban muy interesados en comprobar como se iniciaba el proceso de mejora de la Investigación de Escuelas Eficaces.
5. En la planificación de las reformas se consideró adecuado establecer vías de comunicación sobre el desarrollo del profesorado.
6. Encontrar tiempo para reunirse, planificar y supervisar la implementación de los procesos de Escuelas Eficaces es una de las tareas prácticas más difíciles de emprender.
7. El cambio planificado eficaz requiere un sistema central que controle el progreso del estudiante e informe a los profesores y directivos adecuadamente en tiempo y forma.
8. En el proceso, los profesores y personal implicado necesitan alinear el curriculum y desarrollar tests con referencia criterial que midan el nivel de dominio.
9. Calidad y equidad deben ser definidos y sus medidas especificadas.
10. Los indicadores derivados de las escuelas eficaces son un medio para un fin y no un fin en sí mismos.
11. El liderazgo del supervisor, directivos, profesores y consultores externos es una parte esencial del proceso de reforma y renovación escolar.

Entre los distritos escolares que implantaron uno de estos procesos encontramos el de Spencerport (New York) que inicia su puesta en marcha en 1982-83. Este proyecto se consideró único, ya que este distrito era muy diferente de los lugares en que se había desarrollado la investigación sobre eficacia y la puesta en marcha de los proyectos de reforma escolar. El hecho de que investigaciones diferentes realizadas en E.E.U.U. e Inglaterra condujeran a resultados similares hizo que los responsables del centro consideraran adecuado integrarse en un programa de mejora basado en elementos no controvertidos de "buenas escuelas". Fueron Sudlow y Clement, Jr., quienes se animaron a poner en marcha este proyecto, apoyándose también en los resultados de los modelos que ya funcionaban en Connecticut, Wisconsin, California y Michigan. Con el asesoramiento directo de Edmond y Lezotte pusieron en marcha el plan en 1982-83. Una vez concluido el plan, sirvió de modelo para otros que se implantaron posteriormente en distritos rurales, suburbanos, urbanos, etc. Una característica importante del plan "maestro" fue el establecimiento de unos principios básicos en los que se apoyaba el proyecto, donde, como podemos observar, se recogen los principios básicos en los que se fundamentan los procesos de Escuelas Eficaces (Sudlow, 1990):

1. Potencialmente todos los alumnos son educables, cuando la educación se define como la adquisición del alumno de estrategias básicas.
2. La investigación concluye que los efectos escolares son más poderosos que los familiares, aunque esto no signifique que la familia no tenga influencia en la adquisición de estrategias académicas del alumno.
3. El objetivo anual de educación es hacer que cada estudiante adquiera al menos el estándar mínimo del nivel educativo correspondiente, de manera que pueda continuar con éxito en el nivel siguiente.
4. Hay una correlación positiva entre rendimiento académico del estudiante y expectativas del profesorado.
5. El énfasis sobre el aprendizaje o el rendimiento académico es el primer objetivo de la educación pública.
6. Los profesores y directivos pueden marcar y marcan una diferencia clave en la calidad de la educación que recibe cada alumno.
7. Un centro educativo es un complejo sistema social con un conjunto de normas, creencias y modelos de conducta que pueden facilitar o dificultar el aprendizaje.
8. La planificación en equipo, cooperativa, colegial, de apoyo, no coercitiva, especialmente a nivel de ejecución, y acompañada por apoyo del personal de la administración del distrito, es la aproximación clave para la mejora.
9. El director tiene un papel clave en establecer el clima de su centro.
10. El cambio es un proceso, una serie de eventos relacionados, no un único evento.
11. El cambio ideal es la colaboración propia y del equipo de todos los participantes.
12. En muchas formas, las escuelas en este distrito son eficaces. El cambio es hacerlas más eficaces.
13. Este proyecto afecta a todo el personal del centro.
14. Puesto que el clima del centro depende sobre todo de sus ocupantes, el centro como un todo es la unidad estratégica para el cambio planificado. Para lograr el cambio, se prestará atención a la cultura de las escuelas; centrarse en la conducta de profesores individualmente considerados o estudiantes no es suficiente.
15. Centrarse en la Investigación de Escuelas Eficaces puede necesitar un reajuste de otras prioridades dentro del centro.

Lezotte y Bancroft ya en 1985 valoraron como un éxito la experiencia de Spencerport y afirmaron que este éxito muestra cómo los principios de la Investigación sobre Escuelas Eficaces pueden ser aplicados en contextos diferentes. Para ellos, el programa permite al profesorado y a los investigadores comprobar la versatilidad y adaptabilidad del modelo a una gran diversidad de tipos de escuelas. La elaboración de buenos programas validados y flexibles representa por sí misma una garantía para otros centros que, a pesar de las diferencias y necesidad de adaptación a la cultura respectiva del centro, pueden permitir avanzar en este proceso de innegable interés educativo, ya que es, en último término, la razón última de la investigación sobre eficacia. El camino está ahí. Se presenta una gran reto para un futuro inmediato.

Conviene subrayar que los procesos de escuelas eficaces no terminan con la puesta en marcha de la renovación escolar. No es algo que tiene fin. Es un proceso continuo que implica sucesivos ajustes para contribuir a un objetivo de permanente mejora y, como cualquier actividad humana, en constante revisión y con nuevos objetivos a alcanzar. Por ello, uno de los pilares básicos de estos procesos es la evaluación, que adquiere matices especiales en este caso. No se pueden esperar resultados inmediatos e incluso, en el caso de que se produjeran, deben ser evaluados en la estabilidad del cambio, de ahí la necesidad de estudios longitudinales a través de varios años, de tres a cinco apuntan algunos, para que muestren sus resultados, positivos o negativos, con cierta consistencia.

Sin embargo, tal como señala Scheerens (1991) pocos programas de mejora han sido evaluados rigurosamente. Aunque algunos han mostrado efectos positivos, es necesario destacar que los programas de mejora implican además importantes y profundos cambios en el funcionamiento de las escuelas, además de las correspondientes derivaciones de los estudios de eficacia tal como muestran alguna de las experiencias en este campo. A pesar de tal afirmación, en estos últimos años se han iniciado estudios de investigación de los procesos de reforma desde aproximaciones metodológicas que permiten probar la estabilidad de los cambios a través de diseños longitudinales y cuasi-longitudinales que posibilitan el seguimiento de una cohorte de alumnos sin necesariamente tener que esperar los cinco años completos del tiempo real por el que pasan en el sistema. Algunos investigadores han recogido datos de una segunda cohorte y mantienen la posición de extender la recogida de datos a una tercera (Gray, J. y otros, 1995). Se observan tendencias distintas: desde aquellos que se centran más en los niveles de cualquier cambio, hasta los que enfocan sus trabajos en la línea de estabilidad temporal de los cambios, con un mínimo recomendado de tres años. Precisamente el problema del tiempo exigido por estos estudios para realizar la investigación es una de las razones de que se haya realizado tan escaso número. Evidentemente éste es un problema tradicional en la investigación educativa , en general, a pesar que algunos objetivos, como es el caso, requieran de este tipo de diseños. Por otra parte, algunas investigaciones, tras encontrar resultados positivos en la evaluación del primer año e intentar replicar el estudio en un segundo, se han encontrado una falta de estabilidad de resultados, afectando claramente a la validez de la investigación, debida probablemente a aproximaciones conceptuales inadecuadas.

Para Gray y otros (1995) los factores a tener en cuenta para realizar estudios de cambio en rendimiento de las escuelas son los siguientes:

* medidas de productos y rendimiento anterior de cada uno de los alumnos;
* datos sobre un mínimo de tres cohortes y preferentemente más;
* análisis estadístico multinivel y
* una orientación dirigida al examen de los datos de cambios sistemáticos en el rendimiento de las escuelas a lo largo del tiempo.

También son dignos de mención otros trabajos de los últimos años que, aunque no cumplan todas las exigencias señaladas anteriormente, se han realizado con varias cohortes de alumnos, generalmente en centros de educación primaria o secundaria de países como Estados Unidos, Inglaterra, Alemania y Holanda ( Mandeville, 1988; Willms y Raudenbush,1989; Nuttall et al., 1989; Sime y Gray, 1990; Roeleveld, de Jong y Koopman, 1990; Bosker y Guldemond, 1991; Blok y Hoeksma, 1993; Teddlie y Stringfield, 1993) . En cualquier caso, se abre una nueva perspectiva de investigación que precisará de un mayor desarrollo y seguimiento de los alumnos a lo largo de un período superior a los tres años.

A modo de conclusión, podemos afirmar que los procesos de implementación de procesos de reforma representan uno de los principales avances en el desarrollo del movimiento de escuelas eficaces que experimentará, con toda probabilidad, un gran auge y desarrollo en los próximos años, si tenemos en cuenta la situación en el momento actual. Algunos de los elementos que precisarán una mayor atención y que serán objetivo en un futuro próximo son, a nuestro juicio,:

1) Incremento en los procesos de puesta en marcha de planes de reforma, generalizándose a un mayor número de centros en los países que ya han iniciado estos planes y a otros países en los que no han entrado dentro de este movimiento.
2) Extensión al nivel de educación superior.
3) Mayor interacción entre profesores, educadores o prácticos de la educación e investigadores.
4) Realización de investigaciones conjuntas desde la doble perspectiva de la investigación sobre eficacia institucional y efectos de los planes de reforma.
5) Énfasis en los procesos de enseñanza destinados a alumnos con ciertos niveles de riesgo.
6) Planes de entrenamiento de líderes y de formación de profesores, adecuados a los nuevos enfoques de la función del profesor y de los procesos de enseñanza aprendizaje, como un elemento esencial para llevar a cabo las reformas con cierta garantía de éxito.
7) Mayor utilización y desarrollo de nuevos diseños y de las nuevas alternativas metodológicas, como el análisis multinivel.
8) Incremento del uso de los diseños longitudinales para el estudio de la estabilidad de los cambios producidos como consecuencia de la implantación de las reformas correspondientes.
9) Introducción de cambios dentro de los planes de mejora que afectarán a otros elementos del centro, no derivados necesariamente de la investigación sobre eficacia. Estos cambios pueden afectar, entre otros, a aspectos organizativos y de dirección y a una mayor colaboración de padres, profesores y dirección, como elementos básicos para el éxito de las reformas.
10) Determinación de las causas que determinan el efecto positivo ( o negativo) de los procesos de mejora de los centros.

REFERENCIAS BIBLIOGRÁFICAS

ANDERSON, C. S. (1982). The search for school climate. A review of the research. Review of Educational Research, 52, (3), 368-420.

AMERICAN ASSOCIATION OF SCHOOL ADMINISTRATORS (1992). An Effective Schools Primer. Arlington: A.A.S.A.

BLOK, H. y HOEKSMA,J.B. (1993). The stability of school effects over time: an analysis based on the final test of primary education. Tijdschrift voor Onderwijsresearch, 18 (6), 331-342.

BOSKER, R.J. y GULDEMOND, H. (1991). Interdependency of performance indicators: an empirical study in a categorical school system. En S. Raudenbush y J.D. Willms (Eds.), Schools, Classrooms and Pupils. New York: Academic Press.

BOSSERT, S., DWYER, D., ROWAN, B. y LEE, G. (1982). The instructional management role of the principal. Educational Administration Quarterly,18 (3), 34-64.

BROOKOVER, W.B., BEADY, C., FLOOD, P. SCHWITZER, J. y WISENBAKER, J. (1979). School social systems and student achievement: Schools can make a difference. Nueva York: Praeger Publ.

BRYK, A.S., y RAUDENBUSH, S.W. (1992). Hierarchical linear models: Applications and data analysis methods. Newbury Park, CA:Sage.

BURSTEIN, L.(1980). The analysis of multilevel data in educational research. En D. C. Berliner (Ed.) Review of Reseach in Education, (8), 158-233. Washington, D.C.: American Educational Research Association.

CASTEJÓN COSTA, J.L. (1994). Estabilidad de diversos índices de eficacia de centros educativos. Revista de Investigación Educativa, (24), 45-60.

CENTRA, J. A. y POTTER, D. A. (1980). School and teachers effects: an interrelational model. Review of Educational Research, 58(2), 273-291.

COLEMAN, J. S. et. al. (1966). Equality of educational opportunity. U. S. Department of H. E. W., Office of Education, Washington, D. C.

CREEMERS, B.P.M. (1992). Effectiveness and improvement:The case of the Netherlands. En D. Reynolds y P. Cuttance, School Effectiveness. Research, Policy and Practice. Londres: Cassell, pp. 48-70.

CREEMERS, B. P. M. (1994). The effective classroom. Londres: Cassell.

CREEMERS, B. P. M. y REEZIGT, J. (1996). School Level Conditions Affecting the Effectiveness of Instruction, School Effectiveness and School Improvement, 7 (3), 197-228.

CREEMERS, B. P. M. y REYNOLDS, D. (1996). Issues and Implications of International Effectiveness Research, International Journal of Educational Research.

DE LA ORDEN, A. (1993). La escuela en la perspectiva del producto educativo. Reflexiones sobre evaluación de centros docentes, Bordón 45 (3), 263-270.

DE MIGUEL, M. (1994). Evaluación para la Calidad de los Institutos de Educación Secundaria. Madrid: Escuela Española.

FRASER, B.J., WALBERG, H.J., WELCH, W.W., y HATTIE, J. A. (1987). Synthesis of Educational Productivity Research. Special Issue of theInternational Journal of Educational Research, 11 (2).

FUENTES, A. (1988). Procesos funcionales y eficacia de la escuela. Un modelo causal. Madrid: Universidad Complutense.

FULLAN, M.G. (1991).The new meaning of Educational Change (2nd ed.). Nueva York: Teachers College Press.

GLASMAN, N. S., y BINIAMINOV, J. (1981). Input-output analysis of schools, Review of Educational Research, 51 (4), 509-539.

GRAY, J., JESSON, D. GOLDSTEIN, H. HEDGER, K. y RASBASH, J. (1995). A Multi-Level Analysis of School Improvement: Changes in Schools' Performance over Time, School Effectiveness and School Improvement, 6(2), 97-114.

HERMALIN,B. y ANDERSON, A.F. (1989). GENMOD: A general model program for analysing multilevel data structures. Michigan: Population Studies Centre, University of Michigan.

HILL.P.W. y ROWE,K.J. (1996). Multilevel Modelling in School Effectiveness Research, School Effectiveness and School Improvement, 7(1), 1-34.

JENCKS, C. S. et. al. (1972). Inequality: a reassessment of the effect of family and schooling in America. Nueva York: Basic Books.

LEVINE, D.U. y LEZOTTE, L.W. (1990). Unussually Effective Schools. Madison, Wisc.: National Center for Effective Schools.

LEZOTTE, L.W. (1989). Base School Improvement on What We Know About Effective Schools, The American School Board Journal, (August), 18-20.

LEZOTTE, L.W. y BANCROFT, B.A. (1985). School Improvement Base on Effective Schools Research: A Promising Approach for Economically Disadvantaged and Minority Students. Albany, N.Y.: Effective Schools Consortia Network. New York State Department of Education.

LONGFORD, N.T. (1986). VARCL: Interactive software for variance component analysis, The Professional Statistician, (5), 28-32.

LONGFORD, N.T. (1987). A fast scoring algorithm for maximum likelihood estimation in unbalanced mixed models with nested effects. Biometrika, (74), 817-827.

MANDEVILLE, G.K. (1988). School effectiveness indicators revisited: cross-year stability, Journal of Educational Measurement, (25), 349-366.

MORTIMORE, P., SAMMONS, P., STOLL, L., LEWIS, D. y ECOB, R. (1988). School Matters. Berkeley: University of California Press.

MURPHY, J., HALLINGER, P. y MESA, R. P. (1985). School effectiveness: Checking progress and assumptions and developing a role for state and federal goverment, Teachers College Record, 86 (4), 615-641.

MURPHY, J. (1991). School restructuring schooling: Capturing and assessing the phenomena. Nueva York: Teachers College Press.

MURPHY, J. (1992). School Effectiveness and School Reestructuring: Contributions to Educational Improvement, School Effectiveness and School Improvement, 3 (2), 90-109.

NUTTAL,D., GOLDSTEIN,H., PROSSER,R. y RASBASH, J. (1989). Differential school effectiveness, International Journal of Educational Research, (13), 769-776.

OECD (1992). The OECD International Education Indicators. A Framework for Analysis. Head of Publication Service, París.

OECD (1995). Schools under scrutiny. Head of Publication Service, París.

PROSSER, R., RASBASH, J., y GOLDSTEIN, H. (1993). MLn - Software for three-level analysis, (versión 2.3). Multilevel Models Project, Institute of Education, The University of London.

RASBASH, J., GOLDSTEIN, H., y WOODHOUSE, G. (1995). MLn - Software for n-level analysis, (versión 1). Multilevel Models Project, Institute of Education, The University of London

REYNOLDS, D. y CUTTANCE, P. (1992). School Effectiveness, Research, Policy and Practice. Londres: Cassell.

REYNOLDS, D. y PACKER, A. (1992). School effectiveness and school improvement in the 1990' s. En D. Reynolds y P. Cuttance (Eds.), School effectiveness: Research, Policy and Practice.Londres: Cassell , pp. 171-187.

REYNOLDS, D. HOPKINS, D., y STOLL, L. (1993). Linking School effectiveness knowlege and school improvement practices: towards a synergy. School Effectiveness and School Improvement, (4), 34-58.

ROELEVENLD, J., de JONG, U., y KOOPMAN, P. (1990). Stabiliteit van schooleffecten. Tijdschrift voor Onderwijsresearch, 15 (5), 301-316.

SCHEERENS,J. y CREEMERS, B.P.M. (1989). Conceptualizing School Effectiveness, International Journal of Educational Research. 13 (7), 691-706.

SCHEERENS, J. (1991). Process indicators of school functioning: A selection based on the research literature on school effectiveness, Studies in Educational Evaluation, (17), 371-403.

SCHEERENS, J. (1992). Effective Schooling. Research, Theory and Practice, Londres: Cassell.

SCHEERENS, J. (1996). ¿Puede la base del conocimiento de la eficacia docente guiar la dirección de centros?. En Dirección participativa y evaluación de centros. II Congreso Internacional sobre Dirección de Centros Docentes". Bilbao: Ed. Mensajero, pp. 779-805.

SILVER, H. (1994). Good Schools; judgements and their stories, Londres: Cassell.

SIME, N., y GRAY, J. (1991). Struggling for improvement some estimates of the contribution of school effects over time. Ponencia presentada a la Annual Conference of the British Educational Research Association.

SLAVIN, R.E., MADDEN, N.A., KARWEST, N.L. , LIVERMON, B.J. y DOLAN, L. (1990). Success for all: First year outcomes of a comprehensive plan for reforming urban education. American Educational Research Journal, 27 (2), 255-278.

STRINGFIELD, S.C. y SLAVIN, R.E. (1992). A hierarchical longitudinal model for elementary school effects. En B. P. M. Creemers y G. J. Reezigt (Eds.), Evaluation of Effectiveness. ICO-Publication 2.

SUDLOW, R.E. (1990). Implementing Effective Schools Research in Spencerport, N.Y. En B. O. Taylor, Case Studies in Effective Schools Research, Madison, Wisconsin, National Center for Effective Schools Research and Development, University of Wisconsin.

TAYLOR, B.O. (Ed..) (1990) Case studies in Effective Schools Research. Madison, Wisconsin: National Center for Effective Schools Research and Development, University of Wisconsin.

TEDDLIE, C. y STRINGFIELD, S. (1993). Schools Make a Difference: Lessons learned From a Ten Year Study of School Effects. Nueva York: Teachers College Press.

VAN DE GRIFT, W. (1990). Educational Leadership and Academic Achievement in Elementary Education, School Effectiveness and School Improvement, 1 (3), 26-40.

WANG, M. C., HAERTEL, G.D., y WALBERG, H. J. (1993). Toward a knowledge base for school learning, Review of Educational Research, 63 (3), 249-294.

WEBSTER, W. J., MENDRO, R. L. y ALMAGUER, T. O. (1994). Effectiveness Indices: A "Value Added" approach to measuring school effect, Studies in Educational Evaluation, 20, 113-145.

WILLMS, J. D., y RAUDENBUSH, S. (1989). A longitudinal hierarchical linear model for estimating school effects and their stability, Journal of Educational Measurement, (26), 290-320.

TO KNOW MORE / PARA SABER MÁS

This article has been cited in... / Este artículo ha sido citado en...

Volver al índice general

Volver al índice del Vol. 3 Nº 1