ANTECEDENTES

  Las instituciones públicas de educación superior enfrentan actualmente el reto de mejorar su calidad académica con recursos cada vez más escasos, y a la vez, hacer frente a las demandas de los nuevos contextos sociales y económicos de una sociedad globalizada. La Universidad de Costa Rica no es ajena a esta problemática, existe una fuerte preocupación por mejorar los procesos y productos tanto a nivel académico como administrativo, y por maximizar el uso de los recursos disponibles.

Aunque no en forma exclusiva, el bajo rendimiento académico es uno de los determinantes del abandono escolar. Incluso, cuando no se presenta el abandono escolar, el bajo rendimiento y la repetición de cursos también provocan dificultades para la institución y para la población estudiantil. La administración universitaria está consciente de esta problemática.

Debido a que se hace un esfuerzo por analizar simultáneamente dimensiones individuales y dimensiones del ambiente o contexto del estudiante, se propuso la utilización de los modelos multinivel o de niveles múltiples (una técnica estadística relativamente nueva) para el análisis de la relación entre rendimiento académico y las dimensiones de interés. 

OBJETIVO 

            Estudiar la relación entre un indicador de rendimiento académico (calificación final en cursos) y un conjunto de factores institucionales, pedagógicos, psicosociales y sociodemográficos, en una muestra aleatoria de la población estudiantil que llevó cursos de segundo y tercer año de carrera en la Universidad de Costa Rica, en el año 2001. 

REFERENTES TEÓRICOS

El estudio del rendimiento académico y el abandono escolar ha sido una preocupación constante en el campo de la investigación educativa. Cada año se publican, a nivel internacional, gran cantidad de artículos y reportes en relación con este tema. Por ejemplo, las revistas American Educational Research Journal y Educational Researcher de la Asociación Americana de Investigación Educativa (AERA, por sus siglas en inglés) publican regularmente resultados de investigaciones que tratan de explicar el desempeño escolar en educación primaria, secundaria y superior.

A lo largo de los años, parece que ha ocurrido un cambio en el enfoque de estos estudios y actualmente, el énfasis se concentra en encontrar relaciones causales entre el desempeño académico y variables, que puedan ser objeto de intervenciones programáticas (por ejemplo, tamaño de los grupos, uso de materiales didácticos o estrategias pedagógicas).

Si se desea estudiar factores asociados al rendimiento académico que puedan interpretarse de acuerdo con una teoría educativa, se debe también hacer un esfuerzo por identificar y definir variables que puedan ser manipuladas, controladas o modificadas ya sea por las mismas instituciones de enseñanza, o por el sistema educativo. Este tipo de investigación es clave, si se pretende proveer a los tomadores de decisiones de las herramientas necesarias para implementar cambios a nivel institucional o programático, que produzcan, efectivamente, los impactos deseados.

Por ejemplo, un resultado generalmente aceptado es que existe una asociación significativa entre el nivel socioeconómico del estudiantado y su desempeño académico. Sin embargo, a nivel de una intervención, es muy difícil concebir que una institución educativa pueda hacer algo para cambiar la primera condición. Siempre es importante la medición de este tipo de relaciones, con el propósito de explicar científicamente el fenómeno, pero es poco lo que se puede recomendar a partir de tales resultados de investigación. Por el contrario, si se encuentra una relación significativa entre la metodología empleada por el docente y la docente y el rendimiento, es relativamente más sencillo sugerir, por ejemplo, una política que promueva el uso de aquellas estrategias metodológicas que estén asociadas a mejores rendimientos.

Para el caso específico que nos ocupa -desempeño académico en la Universidad de Costa Rica- se propuso, de acuerdo con la discusión anterior, la medición de factores asociados en cuatro grandes dimensiones de variables: institucionales, pedagógicas, psicosociales y sociodemográficas. Los factores institucionales y pedagógicos son los más importantes, desde el punto de vista de generar insumos para la toma de decisiones de política académica.

Algunos fundamentos teóricos que sustentaron la investigación se describen a continuación. 

Concepto de rendimiento académico 

Delimitar el concepto y ámbito de aplicación del término “rendimiento académico” no ha sido tarea fácil, dado el carácter complejo y multidimensional que da cuerpo a esta variable del área educativa. 

El concepto de rendimiento académico que mejor enmarca esta investigación, considera como base el propuesto por Tournon (1984: 24), el cual indica que es un resultado del aprendizaje, suscitado por la intervención pedagógica del profesor o la profesora, y producido en el alumno. No es el producto analítico de una única aptitud, sino más bien el resultado sintético de una suma (nunca bien conocida) de elementos que actúan en, y desde la persona que aprende, tales como factores institucionales, pedagógicos, psicosociales y sociodemográficos.  

Indicadores de rendimiento académico 

El tema de los indicadores de rendimiento académico plantea varias interrogantes, entre ellas: ¿cómo se puede construir una medida objetiva y fiable de todo lo que encierra el concepto de rendimiento académico?, ¿existe realmente una medida cuantitativa y/o cualitativa del rendimiento de los y las estudiantes?, ¿qué tipo de evaluación puede resultar más válida que las demás?. 

Encontrar la medida válida de rendimiento académico es un reto, porque convergen distintas variables y formas de cálculo que dependen del objetivo de las materias o de cada profesor. 

Los indicadores más utilizados para el rendimiento académico han sido las calificaciones y las pruebas objetivas o tests de rendimiento creados “ad hoc”. (Page, 1990: 24).  

Tradicionalmente, el rendimiento académico se expresa en una calificación cuantitativa y/o cualitativa, una nota que, si es consistente y válida, será el reflejo de un determinado aprendizaje, o si se quiere, del logro de los objetivos preestablecidos (Tournon, 1984: 24). 

Así, las calificaciones constituyen en sí mismas el criterio social y legal del rendimiento académico de un alumno o una alumna en el ámbito institucional. La forma más directa de establecerlas es a través de exámenes o pruebas de medición, que pueden presentar defectos de elaboración, porque la forma de evaluar la decide el (la) profesor(a), en ocasiones con criterios subjetivos, por lo que se imposibilita la comparación dentro del mismo centro educativo y con otros centros educativos. (Page, 1990: 25). 

Por lo tanto, hay que tener presente que las calificaciones poseen un valor relativo como medida de rendimiento, ya que no existe un criterio estandarizado para todos los centros educativos, todos los cursos y todo el cuerpo docente.  

En el estudio que se describe aquí se utilizó la calificación final de los y las estudiantes en cursos específicos de carrera. Aunque se reconocen sus limitaciones, se considera que, dentro de los mecanismos para medir el rendimiento académico, las calificaciones son indicadores que funcionan para establecer grados de logro académico.  

Delimitación de los factores del estudio

           Para el caso específico del desempeño académico en la Universidad de Costa Rica, se propuso el estudio de variables asociadas, agrupándolas en cuatro grandes factores: institucional, pedagógico, psicosocial y sociodemográfico. Estas dimensiones se definieron con base en los referentes teóricos, aunado al criterio y experiencia de las investigadoras.

Factores institucionales

Los factores institucionales pueden definirse como características estructurales y funcionales que difieren en cada institución, y su grado de influencia confiere a la Universidad peculiaridades propias (Latiesa, 1992: 48).  

Específicamente, en este caso, dentro de los factores institucionales se incluyen variables tales como los horarios de los cursos, los tamaños de los grupos, número de libros en la biblioteca del centro educativo, aspectos relacionados con la carrera que sigue el (la) estudiante y el ambiente institucional, que influyen en el rendimiento académico del estudiantado.

Factores pedagógicos

La función del profesor influye en gran medida en el rendimiento que obtienen sus alumnos(as). Su capacidad para comunicarse, las relaciones que establece con el alumno(a) y las actitudes que adopta hacia él, juegan un papel determinante tanto en el comportamiento como en el aprendizaje del (la) estudiante (Marín, 1969. En: Page, 1990: 91).

Así, los planes, programas, organización, métodos, insumos, sólo se materializan, fundamentalmente, con el accionar del (la) docente o del equipo docente. Cualquier intento de aplicación de un plan está destinado al fracaso, si se programa a espaldas de los (las) docentes,  puesto que estos constituyen, después del estudiantado, uno de los elementos más importantes y cruciales de un sistema educativo.

            Investigaciones realizadas como las de Brophy, J.E (1980) y Mc Kinney, C.W (1982), muestran que el interés o entusiasmo del (la) profesor(a) tiene un efecto positivo en el rendimiento de los (las) estudiantes, cuando estos son personas jóvenes adultas. (Page, 1990: 95)

Otros autores consideran que el rendimiento mejora en las universidades, donde los alumnos(as) consideran que los profesores y las profesoras son accesibles, interesados(as) en la enseñanza y conciben a sus estudiantes integralmente como personas (Centra, 1970. En: Latiesa, 1992: 48). 

En este factor se incluyen las diferentes estrategias de enseñanza utilizadas por el grupo docente, los métodos de evaluación y materiales didácticos. Sin embargo, existe controversia entre algunas investigaciones que señalan que hay interacciones entre los métodos didácticos y el rendimiento académico, y otras que no lo consideran. A pesar de lo anterior, se creyó importante incluir este aspecto, porque la metodología didáctica engloba las tareas de definición, construcción y validación de procedimientos, que se siguen con el propósito de cubrir los objetivos de un curso y desarrollar sus contenidos (Page, 1990: 101).

Factores psicosociales

Esta sección se desarrolla aquí tomando como referencia las ideas de Page (1990).  

Los factores psicosociales consideran las conexiones que se dan entre la persona y la sociedad, ya que es evidente que ejercen una clara influencia sobre los hombres y las mujeres. 

En esta dimensión se incluyen variables que miden ciertos rasgos de personalidad que podrían estar asociados al rendimiento, como la motivación, la ansiedad, la autoestima en contextos académicos y la percepción que el (la) estudiante tiene del “clima académico”, considerando el conocimiento y el grado de entusiasmo que percibe del profesor o la profesora. 

Muchos estudios ponen de manifiesto la asociación significativa entre la motivación y el rendimiento. Dos variables íntimamente ligadas a la motivación son el interés del alumnado y su nivel de aspiraciones. Esto significa que, en la medida en que un(a) alumno(a) muestra más interés por lo que realiza y sus aspiraciones se ajustan a sus posibilidades, estará más motivado(a) y esto redundará en un mejor aprovechamiento académico.  

Por otro lado, el nivel de ansiedad y otras características personales del (la) estudiante, podrían ser facilitadores o inhibidores del rendimiento. La conclusión más importante de algunas investigaciones es que no se puede considerar la ansiedad como un predictor del rendimiento, sino que modifica el valor predictivo de otras variables como la inteligencia y la motivación.  

También, se deben considerar aspectos relacionados con el autoconcepto que surge de la interrelación de tres instancias: autoimagen (visión que la persona tiene de sí en un momento particular), imagen social (lo que la persona cree que los demás piensan de ella) e imagen ideal (cómo le gustaría ser). La discrepancia entre cómo es y cómo le gustaría ser, determina el grado de autoaceptación de una persona, aspecto importante, debido a que existe una relación entre el autoconcepto y el rendimiento.

            La aptitud intelectual es una variable de considerable peso en el rendimiento académico. La evidencia aportada por varias investigaciones, corrobora la tesis aceptada mayoritariamente por estudiosos en el tema, en el sentido de que existe una asociación significativa y moderada entre aptitudes y rendimiento.  

Factores sociodemográficos

Estos consideran las principales variables clasificatorias, para el estudio de comportamientos diferenciales en diversos temas de investigación social. 

En este caso en particular, se consideraron variables como el sexo del (la) estudiante, el nivel económico del grupo familiar, el tipo de colegio donde terminó la educación secundaria y el nivel educativo de los padres y madres de familia. 

El motivo principal para considerar la variable sexo en la población bajo estudio, es que proporciona información relevante para diversos análisis demográficos, sociales y económicos. Además, históricamente existía la creencia de que los hombres superaban a las mujeres en inteligencia y que el rendimiento académico de estas era inferior, al no tener las mismas capacidades que les permitieran acceder a estudios superiores. Sin embargo, en la actualidad, algunas investigaciones manifiestan que las posibles diferencias en el rendimiento de hombres y mujeres se deben a otros elementos tales como las distintas pautas de socialización y el refuerzo de aptitudes diferenciales por sexo (Page, 1990: 133). Son las pautas sociales, propias de cada cultura, las que contribuyen a generar un rol sexual distinto y  repercuten en las aspiraciones educativas de las personas. No obstante, también existe evidencia de que hay rasgos innatos diferenciales entre hombres y mujeres, que igualmente explican la variabilidad entre géneros.  

Otras variables fueron consideradas debido a que muchos autores han investigado la influencia que ejerce el medio socioeconómico y sociocultural en el futuro académico y profesional de la población estudiantil.  

De acuerdo con Bandura, los padres y madres con una elevada posición socioeconómica pueden funcionar como efectivos modelos de aprendizaje social para sus hijos, en lo que respecta a conductas académicas relevantes; además, se sienten más preparados para ayudar a sus hijos que quienes tienen una posición socioeconómica menos favorecida (Bandura, 1982. en Page, 1990: 52). 

            También es importante tomar en cuenta el entorno sociocultural, en cuanto al capital cultural de la persona. Este término se refiere a la competencia que tiene la persona, lo cual le permite lograr acceso a la educación, a empleo y movilidad social. Los elementos sociales y culturales de la vida familiar facilitan el desarrollo intelectual de la persona y pueden ser considerados como una forma de capital cultural.  

METODOLOGÍA 

Se realizaron encuestas a alumnos(as) y profesores(as) en cursos seleccionados de segundo y tercer año de carrera en la Universidad de Costa Rica. Se analizó una muestra de 848 alumnos(as), distribuida por áreas académicas. Se usó un muestreo aleatorio estratificado de conglomerados completos, tomando los grupos como conglomerados y las áreas académicas como estratos. Así, la muestra fue representativa por áreas académicas. 

En cada uno de los grupos seleccionados también se administró un instrumento al profesor(a), de tal manera que la muestra de profesores(as) fue de 55. Es importante mencionar que los grupos seleccionados debían tener como mínimo, 10 estudiantes.  

Los instrumentos se diseñaron tratando de medir las cuatro grandes dimensiones de interés: factores institucionales, pedagógicos, psicosociales y sociodemográficos. Como parte de la medición de los factores pedagógicos, se administró a los (las) estudiantes una escala de valoración del desempeño del (la) profesor(a), construida y utilizada previamente para la evaluación docente, por el Centro de Evaluación Académica de la Universidad de Costa Rica.

A nivel del análisis estadístico para este componente de rendimiento, se aplicaron modelos de regresión multinivel o de niveles múltiples para el estudio de la relación entre el rendimiento académico y las variables y constructos de interés. Estos modelos son más poderosos  que los modelos clásicos de regresión múltiple, utilizados tradicionalmente para analizar este tipo de relaciones.  

La gran ventaja de los modelos de niveles múltiples consiste en que, a diferencia de la regresión clásica, permiten incorporar en un mismo modelo (en una misma ecuación) variables independientes pertenecientes a diferentes niveles de agregación. En nuestro caso tenemos variables individuales del (la) estudiante (primer nivel) y variables del (la) profesor(a) y el curso (segundo nivel).  

Aunque el análisis de regresión múltiple “clásico” o “de un nivel” ha sido usado tradicionalmente para los llamados “estudios de factores asociados”, éste posee una clara limitación cuando los datos presentan una estructura multinivel, por ejemplo, si hay variables independientes que se miden a nivel individual del estudiante y también variables independientes que se miden en un conglomerado o grupo de estudiantes, tales como características de su centro educativo, de sus profesores, etc. Si las variables independientes están medidas en diferentes niveles de agregación, el supuesto de muestreo simple al azar para hacer inferencia estadística, se viola al utilizar el modelo clásico de regresión. Los errores no son independientes, sino que existe una correlación intraclase provocada por la conglomeración de los individuos (en cursos, en centros educativos, etc). Los errores estándar de estimación de los coeficientes de regresión serán, en realidad, mayores a los que mostrará la ecuación de regresión clásica, es decir aquella que no hace el ajuste por la conglomeración. En otras palabras habrá una sub-estimación de los errores estándar si el modelo de regresión ignora el efecto de la conglomeración. Por tanto, la significancia estadística de los coeficientes tenderá a estar sobre-estimada. Es decir, habrá mayores posibilidades de detectar un resultado como significativo cuando en realidad no lo es. 

            Por el contrario, como se dijo anteriormente, cuando se usa un modelo de regresión multinivel (o de niveles múltiples) se logran estimaciones correctas de los errores estándar y la significancia estadística de los coeficientes. De tal forma, se pueden analizar simultáneamente y de manera correcta, los efectos de las variables en los diferentes niveles de agregación. Esta característica hace que estos modelos resulten poderosos para la explicación de muchos fenómenos del comportamiento en las Ciencias Sociales.  

Debe enfatizarse que la interpretación sustantiva de los coeficientes de regresión y otras medidas descriptivas, son idénticas para los modelos clásicos y multinivel. Lo que cambia, como se dijo antes, son las estimaciones de los errores estándar de los coeficientes de la regresión, así como todas las probabilidades asociadas en las pruebas de inferencia estadística.

Estos modelos son relativamente nuevos. Los primeros trabajos nos refieren a Goldstein (1987) y a sus estudios de efectividad escolar y tienen su justificación en términos de ciertas limitaciones de los modelos de regresión clásicos para ser aplicados a este tipo de estudios.

Se recomienda al lector interesado recurrir a los siguientes textos para profundizar más en el estudio de los modelos multinivel: Raudenbush & Bryk (2002); Kreft & De Leeuw (1998) y Snijders & Bosker (1999). 

En este estudio se definió al rendimiento académico como la variable dependiente, a ser explicada por factores intrínsecos del sujeto, como habilidad intelectual, satisfacción con la carrera y aspectos familiares, así como por factores del (la) profesor(a) y del curso, entre los que se pueden incluir las características académicas del (la) profesor(a) (años de experiencia, grado académico), y del curso (tamaño del grupo, porcentaje de exámenes en la evaluación, etc). La escogencia específica de las variables a considerar fue sustentada por los referentes teóricos. 

Esta investigación puede clasificarse, entonces, como un estudio transversal exploratorio-correlacional, aunque eventualmente podría convertirse en longitudinal, dado que se identificaron individualmente los (las) estudiantes y profesores(as) participantes.  

En nuestro caso específico, la variable dependiente es el indicador de rendimiento académico (Nota en el curso) y las variables independientes son los indicadores que representan las dimensiones institucionales, pedagógicas, psicosociales y sociodemográficas que fueron medidas en las encuestas a alumnos(as) y profesores(as). 

Se trata de un modelo de dos niveles. El primero se refiere a todas las variables que son medidas a nivel del estudiante, el segundo incluye variables del profesor y del curso. La estimación del modelo se realizó simultáneamente para los dos niveles. Dado que se trata de un enfoque exploratorio no había una justificación teórica de peso para introducir jerárquicamente las variables de uno u otro nivel.  

Seguidamente se presenta la descripción de las variables utilizadas en el análisis, mientras que en el Cuadro 1 se muestran los resultados obtenidos.  

Variable dependiente (medida en el primer nivel): 

Nota: Nota del Estudiante en el Curso Específico, su rango va de 5 a 10. Se ubica en el primer nivel.

 Variables independientes del primer nivel (estudiante):  

• Sexoest: Sexo del (la) estudiante, 1= mujer, 0= hombre.
• Edadest: Edad del estudiante en años cumplidos.
• Colegiod: Colegio de procedencia del estudiante, 1= público, 0 = privado.
• Indsocio: Indice socioeconómico del estudiante, su rango va 0 a 7, valores altos indican mayor nivel socioeconómico. Se compone de 7 ítems que interrogan al estudiante acerca de la tenencia en su hogar de ciertos bienes y servicios. La pregunta es la siguiente:

Marque con una X con cuáles de los siguientes aparatos o servicios dispone su grupo familiar directo

1.      Servicio de televisión por cable o satélite

2.      Agua caliente en toda la casa       

3.      Vehículo (no de trabajo)  

4.      Computadora      

5.      Acceso a internet (desde la casa)   

6.      Teléfono celular   

7.      Asociación con algún club privado

8.      Ninguno de los anteriores          

• Trabaja: Condición laboral, 1= trabaja, 0= no trabaja.
• Horastra: Número de horas promedio que el estudiante trabaja por semana, se asigna 0 si dijo que no trabajaba.
• Asiscur: Asistencia al curso, 1 = si el estudiante dice que asiste regularmente a lecciones en el curso,  0 = en otro caso.
• Escala: puntuación del estudiante en una Escala de Inteligencia Emocional en contextos académicos, su rango va de 16 a 80. Se compone de 16 ítems tipo Likert, el valor de la medida de confiabilidad, Alpha de Cronbach, fue igual a 0.82. Valores altos indican mayor inteligencia emocional. Se presentan seguidamente ejemplos de algunos ítems:

• Pienso que voy a salir mal en los exámenes aunque estudie
• Puedo calcular bien el tiempo necesario para realizar mis tareas
• Me doy cuenta cuáles temas o materias me son difíciles o fáciles de estudiar
• Al ir a buscar el resultado de un curso, me cuesta dominar la ansiedad

• Comprendo fácilmente lo que los profesores quieren de mí en los cursos

• Mejprom: Mejor promedio de admisión del estudiante. El Promedio de Admisión es una medida compuesta que considera dos variables, ambas con el mismo peso: las calificaciones promedio del estudiante en los dos últimos años de secundaria y la puntuación en una prueba de admisión estandarizada que mide habilidades intelectuales en contextos verbales y matemáticos. Se toma el mejor Promedio de Admisión si el estudiante ha realizado la prueba más de una vez, su rango va de 200 a 800 puntos.
• Indsatis: Indice de satisfacción del estudiante con diferentes aspectos de la carrera, su rango va de  6 a 30 puntos. Valores altos representan mayor satisfacción.
• Indprof2: Indice generado a partir de un instrumento estandarizado que se aplica a los estudiantes para valorar a su profesor(a). Esta es una escala de 27 ítems desarrollada y utilizada por el Centro de Evaluación Académica de la Universidad de Costa Rica. Su rango va de 27 a 135. Valores altos implican una mejor calificación al docente por parte del estudiante. 
• artes: 1 = si la carrera del estudiante pertenece al área académica de Artes, 0 = en otro caso. El grupo de referencia son los que pertenecen al área de Salud.  
• letras: 1 = si la carrera del estudiante pertenece al área académica de Letras, 0 = en otro caso. El grupo de referencia son los que pertenecen al área de Salud.  
• Ingenier: 1 = si la carrera del estudiante pertenece al área académica de Ingeniería, 0 = en otro caso. El grupo de referencia son los que pertenecen al área de Salud.  
• Educaci: 1 = si la carrera del estudiante pertenece al área académica de Educación, 0 = en otro caso. El grupo de referencia son los que pertenecen al área de Salud.  
• Ciensoci: 1 = si la carrera del estudiante pertenece al área académica de la Facultad de Ciencias Sociales, 0 = en otro caso. El grupo de referencia son los que pertenecen al área de Salud.
• Cienec: 1 = si la carrera del estudiante pertenece al área académica de Ciencias Económicas, 0 = en otro caso. El grupo de referencia son los que pertenecen al área de Salud.
• Cienagro: 1 = si la carrera del estudiante pertenece al área académica de Ciencias Agroalimentarias, 0 = en otro caso. El grupo de referencia son los que pertenecen al área de Salud.
• Cienbas: 1 = si la carrera del estudiante pertenece al área académica de Ciencias Básicas, 0 = en otro caso. El grupo de referencia son los que pertenecen al área de Salud.

Variables independientes del segundo nivel (profesor y curso):  §      

• Sexoprof: Sexo del profesor(a), 1= mujer, 0= hombre.
• Edadprof: Edad del profesor(a) en años cumplidos.
• Grado: Variable dummy que identifica a los docentes cuyo grado más alto es Licenciatura, 1 si el título más alto del profesor(a) es Licenciatura, 0 en otro caso, el grupo de referencia son los que poseen Doctorado.
• Maestria: Variable dummy que identifica a los docentes cuyo grado más alto es Maestría, 1 si el título más alto del profesor(a) es Maestría,  0 en otro caso, el grupo de referencia son los que poseen Doctorado.
• Regimen: Categoría en Régimen Académico del docente, 1 si el profesor(a) está en Régimen Académico, o sea si posee un nombramiento permanente y en propiedad, 0 en otro caso.
• Nombrami: Tipo de nombramiento del docente, 1 si el profesor está nombrado tiempo completo en la Universidad de Costa Rica, 0 en otro caso.
• Annosexp: Número de años de experiencia docente en la Universidad de Costa Rica.
• Inve_acc: Participación en proyectos de investigación o acción social, 1 si el profesor(a) participa en proyectos de investigación y/o acción social, 0 en otro caso.
• Didactic: Curso de didáctica universitaria, 1 = si el docente afirma haber llevado o estar llevando el curso de didáctica universitaria, 0 en otro caso. El curso de didáctica universitaria es obligatorio para todos los profesores que aspiran a lograr un nombramiento permanente en la Universidad, pero también lo pueden llevar los profesores interinos. 
• Indprof1: Índice de satisfacción general del profesor(a) con su docencia en la UCR, su rango va de 0 a 1. Estos valores porcentuales representan el cociente del número de puntos obtenidos en la escala entre el valor máximo de puntos posibles. Se trata de 10 ítems tipo Likert. Algunos ejemplos de los elementos evaluados se muestran a continuación:

Apoyo administrativo

Calidad académica de los estudiantes

Infraestructura

Calidad de los materiales de apoyo

Oportunidades de desarrollo académico

• Dioantes: 1 si ha impartido este curso anteriormente, 0 si no lo ha impartido antes.
• Modalida: 1 curso individual, 0 curso colegiado (es decir con más de un docente)
• Periodo: 1 = si el curso es diurno, 0 = si el curso es nocturno
• Numestu: Número de estudiantes en el grupo (tamaño del grupo)
• Porasist: Porcentaje de estudiantes, que según el profesor, asisten regularmente al curso
• Porcexa: Porcentaje de la evaluación del curso que corresponde a exámenes 
• Interpro: 1 si el docente manifiesta que el curso le representa mayor interés que otras actividades profesionales, 0 en otro caso
• Biencon: 1 = si el profesor(a) manifiesta que los estudiantes tienen, en general, muy buenos o buenos conocimientos previos, 0 = otro caso. El grupo de referencia está constituido por aquellos profesores que manifiestan que los conocimientos previos de sus estudiantes son deficientes. 
• Regcon: 1 = si el profesor(a) manifiesta que los estudiantes tienen, en general, regulares conocimientos previos, 0 = otro caso. El grupo de referencia está constituido por aquellos profesores que manifiestan que los conocimientos previos de sus estudiantes son deficientes. 
• Interest: 1 = si el profesor(a) afirma que los estudiantes tienen un alto grado de interés en el curso, 0 en otro caso. 
• Siaplica: 1 = Si el profesor(a) afirma aplicar medidas de remediación en el curso, 0 en otro caso.
• Deccurso: 1 = si el profesor(a) indica que tomó parte en la decisión de impartir ese curso específico, 0 en otro caso. 
• Indprofc: Indice de satisfacción del profesor(a) con el curso. Se trata de 6 preguntas tipo Likert que incluyen aspectos de contenidos del curso, horario, calidad de los estudiantes, tamaño del grupo, aula de clases y recursos didácticos. El rango va de 6 a 30.
• Indproft: Indice de no asistencia (inasistencia) a actividades de actualización de enseñanza y evaluación de aprendizajes. Valores altos implican alta inasistencia. Interrogan acerca de la frecuencia con que asisten a:

• Cursos o talleres sobre contenidos sustantivos de su disciplina académica

• Uso de herramientas informáticas

• Talleres o actividades sobre la enseñanza de su disciplina

• Talleres o actividades sobre evaluación de los aprendizajes

• Metodolo: 1 si el docente dice que la mitad o más de su tiempo en el aula lo dedica solamente a la clase magistral, 0 en otro caso.

De esta manera, con el modelo de regresión se busca identificar cuál es el poder explicativo de este conjunto de variables en la predicción del rendimiento académico. 

En nuestro estudio, para llevar a cabo estos análisis, se utilizó el paquete estadístico STATA.

 RESULTADOS

 A continuación se presenta el Cuadro 1, que da cuenta de los principales hallazgos de la investigación. Debe indicarse que el valor B en el cuadro es el coeficiente de regresión no estandarizado, que está dado en las mismas unidades de medida que la variable dependiente. El coeficiente Beta, por el contrario, está libre del efecto de las unidades de medida, de hecho es el coeficiente de correlación parcial entre la respectiva variable independiente y la variable dependiente. Por esta razón, los valores Beta pueden compararse directamente entre sí para establecer la importancia relativa, en la predicción, de cada variable independiente. Utilizamos como “regla de dedo” el criterio de juzgar importante, a nivel práctico, un valor de Beta igual o mayor a 0.10 en valor absoluto. Debe notarse que importancia práctica no es lo mismo que significancia estadística. La importancia práctica está asociada al grado en que un resultado se juzga como relevante desde el punto de vista del investigador, considerando el problema y su contexto. La significancia estadística se refiere al grado en que los resultados de la muestra se pueden generalizar hacia toda la población. 

 Cuadro 1 - Resultados para el Modelo de Regresión Multinivel con Nota del (la) Estudiante en el Curso Específico como variable dependiente (R= 0.719, R²=51,7%) 

 *: un asterisco indica que la variable independiente presenta una y sólo una de las dos condiciones: un valor de beta igual o mayor a 0,10 (a partir del cual se considera relevante para la predicción a nivel descriptivo) o un valor de p menor a 0,05 indicando que el coeficiente asociado a la respectiva variable dependiente, es estadísticamente significativo (es decir, se puede generalizar a toda la población) 

**: dos asteriscos indican que la variable independiente presenta las dos condiciones: un valor de beta igual o mayor a 0,10 (a partir del cual se considera relevante para la predicción a nivel descriptivo) y un valor de p menor a 0,05 indicando que el coeficiente asociado a la respectiva variable dependiente, es estadísticamente significativo (es decir, se puede generalizar a toda la población)  

La prueba de análisis de varianza general para el modelo de regresión arrojó un valor de F igual a 15.37 con una significancia de 0.000. 

El valor de la variancia explicada para este modelo de regresión es considerable, puesto que un 51,7% de la variabilidad en la nota del curso específico puede explicarse por el conjunto de variables independientes incluidas en el modelo.  

A nivel del estudiante, la puntuación en la Escala de Inteligencia Emocional en contextos académicos y el Promedio de Admisión forman parte del grupo de variables con mayores niveles de asociación.  

Por otra parte, la puntuación otorgada por el (la) estudiante al (la) docente, según el instrumento psicométrico de evaluación docente del Centro de Evaluación Académica de la UCR, presenta también una relación directa y significativa con la nota en el curso. Es decir, cuando se aísla el impacto sobre la variable dependiente de las otras variables independientes en el modelo, se tiene que, a mayor calificación otorgada al (a la) docente, mayor nota obtenida por el (la) estudiante. 

A nivel del profesor, la edad del (la) docente, variable métrica, tiene una relación inversa con la nota final en el curso, de manera que los (las) estudiantes de profesores(as)  de mayor edad tienden a obtener, en promedio, notas más bajas que los (las) estudiantes de profesores(as) más jóvenes. Recuérdese asimismo que ésta es una relación que se detecta aun cuando se han controlado otras variables sociodemográficas y de condición académica del (la) docente en el modelo de regresión.  

Un resultado por demás curioso y hasta cierto punto sorprendente, es que los (las) estudiantes de profesores(as) que dicen haber llevado o estar llevando el Curso de Didáctica Universitaria, obtienen notas, que son en promedio, más bajas que aquellos(as) estudiantes de profesores(as) que manifiestan no haberlo llevado aún, aislando el efecto de las otras variables independientes en el modelo. 

Otro resultado interesante lo presenta el índice de satisfacción general del (la) profesor(a) con su docencia en la UCR, pues a mayor puntuación en el índice menor es la nota obtenida por el (la) estudiante en el curso. 

Además, se encontró que, en promedio, los (las) estudiantes de profesores(as) que manifestaron participar de la decisión de impartir el curso, tienen calificaciones más altas que los (las) estudiantes de profesores(as) que indicaron no tomar parte en esa decisión. 

Otro resultado del análisis indicó que hay una relación de importancia práctica y estadísticamente significativa entre la nota del (la) estudiante y un índice de inasistencia a actividades de actualización como talleres de enseñanza y evaluación de aprendizajes. Es decir, cuanto mayor sea el índice de inasistencia (no asistencia) a este tipo de actividades por parte del docente, aislando la influencia de las otras variables en el modelo, menor es la nota obtenida por el (la) estudiante. 

Y adentrándonos en el tema de la pedagogía, uno de los hallazgos de mayor relevancia, se refiere a la relación entre la metodología empleada por el (la) docente y la nota obtenida por el (la) estudiante, manteniendo constantes las otras variables en el modelo. En promedio, los (las) estudiantes de profesores(as) que dijeron emplear la exposición magistral un 50% o más del tiempo de clase, tienen 0.41 puntos menos en sus notas finales que los (las) estudiantes de profesores(as) que dijeron emplear otro tipo de técnicas, como exposición magistral con diálogo, discusión grupal, exposiciones de estudiantes, trabajo en equipo, etc., un 50% o más del tiempo de clase. 

En cuanto a las variables del curso, se concluye que, en promedio y aislando la influencia de las otras variables en el modelo, los (las) estudiantes que llevan cursos de modalidad individual (un solo docente) tienen notas más altas que aquellos que llevan cursos colegiados (con más de un profesor(a)). 

Un hallazgo que llama también poderosamente la atención es el hecho de que alumnos(as) en grupos más grandes tienen, en promedio, notas más altas en el curso específico, que alumnos(as) de grupos más pequeños, controlando el efecto de las otras variables en el modelo. 

Para establecer el poder explicativo de las variables en cada nivel, se realizó un análisis de componentes de variancia. Como lo muestra el Cuadro 1, las variables del estudiante (primer nivel) solo explican alrededor de un 9% de la variabilidad en la nota del curso, mientras que las del profesor y el curso (segundo nivel) explican conjuntamente más del 40% de la variabilidad en el rendimiento. Es también claro, a partir de este análisis sobre fuentes de variabilidad, que las variables asociadas al profesor(a) tienen una mayor influencia en el rendimiento que las variables del estudiante o del curso.

DISCUSIÓN 

A continuación se discuten brevemente aquellas variables que presentan mayor evidencia de asociación con la nota del curso, dado que poseen valores de beta mayores o iguales a 0.10 y a la vez, son estadísticamente significativas.  

Los resultados de la puntuación en la Escala de Inteligencia Emocional en contextos académicos y el Promedio de Admisión hacen patente que el rendimiento académico no solo depende de la capacidad intelectual de la persona, sino también de ciertas destrezas emocionales para manejarse a sí misma y a su entorno.  

En cuanto a la calificación otorgada al docente por el estudiante, el “efecto espejo” hallado no es tan fácil de explicar, puesto que el (la) estudiante calificó al (la) docente mucho tiempo antes de que recibiera su nota final en el curso. Una hipótesis sería que los estudiantes pueden estimar la nota que obtendrán en el curso antes de que éste finalice y esto condiciona su valoración del desempeño del profesor(a).    

Con respecto a la edad del docente, hay varias conjeturas que se podrían generar para explicar al menos parcialmente este resultado. Podríamos decir, por ejemplo, que quizá los (las) profesores más jóvenes generan más empatía con sus alumnos(as), que estos se sienten más cómodos y se pueden comunicar más fácilmente con profesores(as) de edades menores, controlando el efecto de las otras variables independientes en el modelo. Por supuesto, todas estas explicaciones quedan aquí sencillamente como posibilidades o hipótesis que habría luego que demostrar. Sin embargo, la detección de este fenómeno es ya de por sí interesante y digna de ser tomada en cuenta por aquellos involucrados(as) con políticas académicas.  

El resultado en cuanto al curso de Didáctica Universitaria debe ser estudiado con mayor profundidad, quizá con el uso de técnicas cualitativas, porque no parece razonable creer que realmente pueda inferirse que el Curso de Didáctica tiene un efecto “negativo” en las notas de los (las) estudiantes de los profesores(as) que lo cursan. Posiblemente se trata de un fenómeno de “variables enmascaradas”, en donde existe una variable que afecta tanto a la variable independiente bajo análisis como a la variable dependiente, y que no ha sido considerada y medida en el modelo. De ahí que ese efecto enmascarado se “recoja” de manera espuria en el coeficiente de regresión de la variable independiente analizada.  

En lo que toca al índice de satisfacción general del (la) profesor(a) con su docencia en la Universidad, al igual que en el caso anterior, podría tratarse aquí de un efecto enmascarado provocado por terceras variables no medidas en el modelo. Por ejemplo, podría ser que los profesores(as) menos satisfechos(as) con la Universidad sean aquellos(as) que están, más comprometidos(as) académica y laboralmente con ella, controlando el efecto de las otras variables en el modelo. Precisamente por esta razón podrían tener altas expectativas que se reflejarían en una menor satisfacción.  

En cuanto al hallazgo de que mejores rendimientos están asociados a grupos más grandes de estudiantes, creemos definitivamente que se debe a un efecto enmascarado, pues este resultado va en contra de muchos preceptos pedagógicos, que desde hace largo tiempo han hablado de los beneficios en rendimiento asociados al trabajo docente con grupos pequeños. De hecho, un ex Rector de la Universidad de Costa Rica sugirió que ese posible efecto enmascarado, no medido ni considerado en el modelo de regresión, podía ser el tipo de examen que se administra en grupos grandes, pues en ese contexto los (las) profesores(as) tienden a confeccionar exámenes de escogencia única, que son más fáciles de calificar, pero que, a juicio del ex Rector, suelen ser también más fáciles de responder, ya que, por azar, se puede obtener cierto número de respuestas correctas.  

Considerando ahora los exámenes, un resultado que sí parece confirmar la intuición es el obtenido en términos de la relación entre porcentaje de exámenes en el curso y nota del (la) estudiante. A muchos docentes universitarios nos suena lógico pensar que, a medida que aumenta el porcentaje de exámenes en la evaluación del curso, disminuye la nota del (la) estudiante, controlando el efecto de las otras variables en el modelo. De nuevo es un elemento que debe llamar a la reflexión a las autoridades académicas de la Universidad. 

Los siguientes hallazgos envían señales a las autoridades universitarias sobre la necesidad de llevar a cabo modificaciones en la normativa y en los procesos académico-administrativos con el objeto de implementar acciones que mejoren el rendimiento académico estudiantil:  

• Mejores rendimientos en estudiantes de profesores que han participado de la decisión de impartir el curso.  

• Menores rendimientos en estudiantes de profesores que  no asisten a actividades de actualización docente. 

• Mejores rendimientos en estudiantes de profesores que utilizan técnicas participativas. Estos datos apoyan la tesis constructivista de la pedagogía, en el sentido de que una clase más participativa, un involucramiento y protagonismo mayor de los (las) estudiantes, está asociado a mayor rendimiento académico. 

De los hallazgos en torno al mayor poder explicativo de las variables del segundo nivel (profesor y curso) se derivan consecuencias importantes para las acciones de política académica universitaria, pues evidencia que gran parte de las soluciones a los problemas del bajo rendimiento académico están, efectivamente, en manos de la Universidad.   

Como reflexión final, podemos indicar que los resultados derivados de esta investigación dan un sustento directo a la toma de decisiones, y permiten fundamentar, con evidencia científica, gestiones dirigidas a favorecer el rendimiento académico estudiantil.   

BIBLIOGRAFÍA  

Aglietto, M.T., Faradori, A.D. & Zanazzi. J.L. (1997). Un estudio de las condiciones iniciales de los alumnos para la predicción del rendimiento académico. Revista científica de la Universidad Blas Pascal, vol. 9,  pp.22-24.  Recuperado el 19 de octubre del 2004. http://www.ubp.edu.ar/material/investigacion/r9-completa.pdf

Aguilar, H. M. (2004). El Mundo del Trabajo Académico: ¿Valores, méritos o privilegios? Un debate sobre la Universidad de Costa Rica. Tesis doctoral. San José, Costa Rica: Universidad de Costa Rica. Programa Latinoamericano de Doctorado en Educación. 

Alvarado, R.; Arce, R; Gómez, B; Mendiera, M; & Torres, E. (2000). Modelos de ecuaciones estructurales: desarrollo de una aplicación para el estudio de los determinantes del tipo de método anticonceptivo utilizado en Costa Rica. Memoria del Seminario de Graduación para optar por el grado de Licenciatura en Estadística. San José, Costa Rica: Universidad de Costa Rica, Escuela de Estadística. 

Álvarez, R. V.; García, J. E. & Gil, F. J. (1999). La calidad de la enseñanza universitaria desde la perspectiva de los profesores mejor valorados por los alumnos. Revista Educación, 319, 273-290. Madrid, España: Ministerio de Educación. 

Andrade R. X.; Navarro S. O. & Yock, C. I. (1999). Construcción y Validación de una Prueba para Medir Inteligencia Emocional. Tesis para optar por el grado de Licenciatura en Estadística. San José, Costa Rica: Universidad de Costa Rica, Escuela de Estadística. 

Beirute, L. (1972). Rendimiento académico por escuelas y departamentos en la Universidad de Costa Rica. San José, Costa Rica: Universidad de Costa Rica, Instituto de Investigaciones Psicológicas.   

Brenes, I. Aspectos relacionados con el rendimiento académico de los estudiantes que ingresaron a las  instituciones de educación superior universitaria estatal en 1990. Consejo Nacional de Rectores, noviembre 2002. Recuperado el 5 de julio del 2003. http://www.conare.ac.cr/estudios/rac/rac.htm

Brown, R. (1998). The Post-Dearing Agenda for Quality and Standards in Higher Education. Londres, Inglaterra: University of London. Institute of Education Publications.  

Brown, S. & Glasner, A. (1999). Assessment Matters in Higher Education: Choosing and Using Diverse Approaches. Londres, Inglaterra: The Society for Research into Higher Education & Open University Press.  

Campos V., R. (2000). Caracterización de una excelente práctica docente universitaria. Tesis doctoral. San José, Costa Rica: Universidad de Costa Rica, Programa Latinoamericano de Doctorado en Educación. 

Corella, M.I. (1996). Aplicación de un modelo de análisis de trayectoria para explicar el rendimiento académico. Revista de Educación. (20) 2. San José, Costa Rica: Universidad de Costa Rica. 

Cubero, Z.R. (1999). Estudio de rendimiento académico de la cohorte de estudiantes que ingresaron a la Universidad de Costa Rica en 1990. Reporte de investigación. San José, Costa Rica: Universidad de Costa Rica, Escuela de Estadística.  

Diamantopoulos, A. & Siguaw, J. (2000). Introducing LISREL. Londres, Inglaterra: SAGE Publications. 

Dillon, W. & Goldstein, M. (1984). Multivariate analysis: methods and applications. New Jersey: Lawrence Erlbaum Associates. 

Fournier, M. (1984). Algunos indicadores estadísticos del rendimiento académico. Serie Monográfica Actualidades en Psicología. San José, Costa Rica: Universidad de Costa Rica, Instituto de Investigaciones Psicológicas. 

Goldstein, H. (1987). Multilevel Models in Educational and Social Research. New York: Oxford University Press.

Haig, J. (1998). El profesor como factor determinante del rendimiento académico. Recuperado el 20 de octubre del 20004 http://www.argiroporis.com.ar/secciones/educacion.htm 

Kreft, I. & De Leeuw, J. (1998). Introducing Multilevel Modeling. Londres, Inglaterra: Sage Publications.

Latiesa, M. (1992). La deserción universitaria, desarrollo de la escolaridad en la enseñanza superior. Éxitos y fracasos. Madrid, España: Centro de Investigaciones Sociológicas. 

Loder, C. (1990). Quality Assurance and Accountability in Higher Education. Londres, Inglaterra: University of London, Institute of Education Publications. 

Marchesi, A. & Martín, E. (1999). Calidad de la Enseñanza en tiempos de cambio. Madrid, España: Alianza Editorial. 

Marín, M. & Infante, E. (2000). El fracaso académico en la Universidad: aspectos motivacionales e intereses profesionales. Revista latinoamericana de psicología. (32) 3. España: Universidad de Sevilla. 

Marsh, H.W. & Seeshing, Y. (1997). Coursework selection: Relations to academic self-concept and achievement. American Educational Research Journal. (34) 4. Washington D.C.: American Educational Research Association.

Montero, E. (2001). Educación e ingreso como predictores de la esperanza de vida: Evidencias de un análisis de regresión aplicado a indicadores de desarrollo humano. Revista de Ciencias Sociales de la Universidad de Costa Rica: “Individuo y orden social”, 94 (diciembre 2001). 

Montero, E. & Villalobos, J. (2001). Factores institucionales, pedagógicos, psicosociales y sociodemográficos asociados al rendimiento académico en la UCR. Propuesta de Investigación. San José, Costa Rica: Universidad de Costa Rica, Instituto de Investigaciones Psicológicas.  

Montero, E. & Villalobos, J. (2002). Factores institucionales, pedagógicos, psicosociales y sociodemográficos asociados al rendimiento académico en la UCR. Segundo informe parcial del proyecto de investigación. San José, Costa Rica: Universidad de Costa Rica, Instituto de Investigaciones Psicológicas.  

Montero, E. & Villalobos, J. (2002). Resultados de interés para la toma de decisiones: Proyecto de factores institucionales, pedagógicos, psicosociales y sociodemográficos asociados al rendimiento académico en la UCR. Folleto de divulgación. San José, Costa Rica: Universidad de Costa Rica, Instituto de Investigaciones Psicológicas. 

Otero, L. (1973). Satisfacción académica en estudiantes de rendimiento alto, medio y bajo. Serie Monográfica Actualidades en Psicología. San José, Costa Rica: Universidad de Costa Rica, Instituto de Investigaciones Psicológicas. 

Otero, L. (1977). Nivel de aspiraciones y rendimiento académico en la Universidad de Costa Rica. Serie Monográfica Actualidades en Psicología. San José, Costa Rica: Universidad de Costa Rica, Instituto de Investigaciones Psicológicas. 

Otero, L. (1983). Deserción e indicadores de rendimiento académico en la Universidad de Costa Rica. Serie Monográfica Actualidades en Psicología. San José, Costa Rica: Universidad de Costa Rica, Instituto de Investigaciones Psicológicas. 

Otero, L. (1983). Deserción universitaria: Algunos factores asociados a su prevalencia. Serie Monográfica Actualidades en Psicología. San José, Costa Rica: Universidad de Costa Rica, Instituto de Investigaciones Psicológicas.

Otero, L. (1986) “Ansiedad, percepción y rendimiento académico en la Universidad de Costa Rica”, Revista Actualidades en Psicología, Vol. 2 Nº 3. Universidad de Costa Rica, San José, Costa Rica. 

Page, M.; Moreal, B; Calleja, J.A; Cerdan, J; Echevarria, M.J; Garcia, C; Garivia, J.L; Gómez, C; Jiménez, S.C; López, B; Martín-Javato, L; Mínguez, A.L; Sánchez, A & Trillo, C. (1990). Hacia un modelo causal del rendimiento académico. Madrid, España: Centro de Publicaciones del Ministerio de Educación y Ciencia (CIDE).  

Payne, K.J. & Biddle, B.J. (1999). Poor school funding, child poverty and Mathematics achievement. Educational Researcher. (28) 6. Washington D.C.: American Educational Research Association.  

Pedhazur E., J. (1982). Multiple Regression in Behavioral Research: Explanation and Prediction. Fort Worth Texas: Harcourt Brace College Publishers. 

Pérez, A. ; Robledo, L; Ramón, J.M. & Sánchez, J.M. (2001). Análisis exploratorio de las variables que condicionan el rendimiento  académico.  Universidad Pablo de Olavide. Recuperado el 19 de octubre del 2004. http://www.personal.us.es

Pérez, M. & González, B. (1998). Sistema de experto aplicado al rendimiento académico en la Enseñanza Superior. Revista cubana de educación superior, (18) 3. Cuba. 

Phillips, M. (1997). What makes Schools Effective? A comparison of the relationships of communitarian climate and academic climate to Mathematics achievement and attendance during Middle School. American Educational Research Journal. (34) 4. Washington D.C.: American Educational Research Association.

Ramsdem, P. (1992). Learning to Teach in Higher Education. Nueva York: Routledge. 

Raudenbush, SW. & Bryk, A.S. (2002). Hierarchical Linear Models: Applications and Data Analysis Methods. (Second Edition). Londres, Inglaterra: Sage Publications.  

Roderick, M. & Camburn, E. (1999). Risk and recovery from course failure. American Educational Research Journal. (36) 2. Washington D.C.: American Educational Research Association.  

Sammons, P. & Hillman, J. & Mortimore, P. (1995). Key Characteristics of Effective Schools: A Review of School Effectiveness Research. Londres, Inglaterra: University of London, Institute of Education Publications.  

Snijders, T.A.B. & Bosker, R.J. (1999). Multilevel Analysis: An Introduction to Basic and Advanced Multilevel Modeling. Londres, Inglaterra: Sage Publications.

Solano, W. E, (1999). Estudio y análisis de algunos indicadores de productividad académica en las escuelas de Ingeniería Mecánica y de Ingeniería Eléctrica. (Informes I y II). San José, Costa Rica: Universidad de Costa Rica, Facultad de Ingeniería. 

Tournon, J. (1984). Factores del rendimiento académico en la universidad. España: Ediciones Universidad de Navarra, S.A.  

White J.& Barber, M. (1997). Perspectives on School Effectiveness and School Improvement. Londres, Inglaterra: University of London. Institute of Education Publications.