1. Introducción A mediados de la década de los veinte, se inicia en Estados Unidos la investigación sobre la evaluación de la calidad docente del profesorado universitario al aplicar cuestionarios a los alumnos. Desde entonces, esta metodología evaluativa ha sido ampliamente utilizada e investigada en los ámbitos universitarios nacionales e internacionales (Apodaka 2002; Cohen 1980; Feldman 1996; Fernández 1992; Marsh 1987 ;Tejedor 1988; Villa 1993)
En España, la evaluación del profesorado se inicia a mediados de los ochenta con la aplicación de la Ley de Reforma Universitaria (L.R.U). Existen divergencias considerables en la periodicidad, en los contenidos, en el tipo de informes elaborados y en los métodos de evaluación. A pesar de éstas, podría afirmarse, que el procedimiento de evaluación docente más utilizado es el que recoge las opiniones de los alumnos sobre la eficacia docente a través de encuestas. Según González Valverde (1999) este planteamiento evaluativo ha sido superado en la década de los 90. Ésta se ha caracterizado, tanto en la Comunidad Económica Europea en general como en España en particular, por el inicio del cambio de los modelos de evaluación de la docencia, sustituyendo los modelos personales de evaluación por modelos de evaluación de carácter más institucional, en los que el objeto de análisis no es tanto el profesor, como la titulación o el departamento implicado. Es decir, que el modelo que impulsó la LRU está siendo sustituido por un modelo de evaluación del profesorado como colectivo que participa en la enseñanza de una titulación, sin individualizar ni sus aciertos ni sus errores. Los modelos evaluativos institucionales actualmente en expansión (como es el caso del Modelo Europeo para la Gestión de la Calidad Total propuesto por la European Foundation for Quality Management (EFQM)) ponen el énfasis en la satisfacción de las necesidades y demandas de los “clientes” y “usuarios”. En estos modelos la responsabilidad no depende sólo del profesor sino de un conjunto de agentes que condicionan sus procesos de enseñanza, como las instalaciones, la organización académica, los recursos, programas, métodos,… etc. que son compartidos por los alumnos y que condicionan su rendimiento y su nivel de satisfacción. Desde esta perspectiva, creemos que el sistema de encuestas de evaluación docente debería adaptarse a las características mencionadas anteriormente. Esta adaptación pasaría por incorporar, en el estudio de la satisfacción del alumno con el profesor propuesta por los modelos actuales, el contexto organizativo como un elemento objeto de estudio. Y éste es el enfoque que se utiliza en este artículo. 2. Objetivo El objetivo de este trabajo es comprobar si afecta al conocimiento del grado de satisfacción de los alumnos con la docencia recibida y en qué forma, el hecho de que se incorpore a su estudio la influencia de ciertas variables de tipo contextual que forman parte de dichas evaluaciones. Las variables contextuales que se incluyen en el análisis están relacionadas con determinadas estructuras académicas de carácter organizativo. Estas estructuras son de tipo jerárquico o anidado y aportan información sobre datos como el tipo de estudios que el alumno realiza o la clase en la que el alumno está matriculado. 3. Metodología general Para poder incluir en el estudio de la satisfacción los agrupamientos organizativos se utilizan los modelos jerárquicos lineales. Los modelos jerárquicos lineales o modelos multinivel permiten comprobar cómo afecta a las variables medidas en el nivel inferior de la jerarquía (en este caso el grado de satisfacción el alumno) la existencia de variables contextuales de nivel superior (en este caso la pertenencia a una determinada facultad- escuela superior o clase). El estudio parte de la hipótesis de que el nivel de satisfacción docente de los alumnos puede verse afectado, no sólo por el efecto del profesor sino por otros condicionantes (como la pertenencia a una determinada facultad, por ejemplo) y que éstos deben tenerse en cuenta cuando se realiza su estimación. Para obtener el nivel de satisfacción del alumnado se utilizan los cuestionarios de evaluación docente de una universidad privada de Madrid, la Universidad Antonio de Nebrija El instrumento utilizado es una escala de elección múltiple (de 1 a 7) que contiene 20 ítems. Estos ítems están relacionados con la eficacia docente del profesor y con la satisfacción general del alumno. El cuestionario es validado previamente obteniéndose unos índices de fiabilidad y validez aceptables. Se incluyen en este estudio sólo las respuestas dadas por los alumnos al ítem criterio (por ser éste el que mide la satisfacción general del alumno con su profesor). Los datos de la muestra pertenecen a las evaluaciones semestrales realizadas por los alumnos, de forma anónima, durante dos cursos académicos: el curso 97-98 y el curso 98-99. Aunque los datos que se muestran en las tablas están repartidos en cuatro periodos, no es el objetivo de este trabajo realizar un estudio longitudinal sobre la satisfacción del alumno. El procedimiento de evaluación tal y como está diseñado no permite realizar medidas repetidas estables (ni de los alumnos, ni de los profesores) deseables para este tipo de diseños. En los cuadros siguientes se describen las poblaciones de alumnos y profesores evaluados. TABLA 1: Población de alumnos encuestados
TABLA 2: Población de profesores evaluados
TABLA 3: Distribución de clases
El objetivo de este trabajo es comprobar si los agrupamientos naturales en los datos (originados por la organización académica) producen variaciones en el nivel de satisfacción de un alumno, o si las diferencias encontradas, se deben únicamente al profesor. Los alumnos están agrupados en diversas facultades, escuelas, cursos, y clases. Sirviéndonos de esta estructura académica se pretende detectar:
El interés por el estudio de los efectos grupales que intervienen y condicionan la relación profesor alumno dentro del aula, nos lleva a la búsqueda de una estrategia metodológica alternativa bajo la cual sea posible expresar mejor las relaciones entre las agrupaciones intervinientes, y realizar un contraste posterior con las técnicas estadísticas utilizadas tradicionalmente. Las técnicas estadísticas tradicionales que modelizan los efectos de los agrupamientos en los datos han sido superadas por los Modelos Jerárquicos lineales. Los modelos Jerárquicos lineales son capaces de realizar estimaciones mucho más eficientes con datos agrupados, debido a que modelizan matemáticamente las relaciones entre los niveles y porque ofrecen un potente software de cálculo para la estimación de sus componentes. Para más información sobre los modelos jerárquicos lineales puede consultarse a Bryk y Raudenbush (2002) y Snijders (1999). 3.1. Naturaleza de los datos a estudiar Los datos que se presentan están agrupados jerárquicamente en tres niveles. En un primer nivel se encuentran los alumnos encuestados. De estos alumnos conocemos el grado de satisfacción con la docencia recibida y datos del contexto académico. En un segundo nivel se dispone de datos relacionados con el curso en el que el alumno está matriculado, su clase y la asignatura (o profesor) que está valorando. Dadas las características de la Universidad (de reciente creación y tamaño pequeño) se tienen que realizar las siguientes consideraciones: a) Respecto al curso : Los alumnos están anidados en clases, que a su vez están anidadas en cursos. En la práctica en algunos cursos sólo tenemos datos de una clase. Los datos por curso, por lo tanto, no son suficientes (en nuestro caso) para determinar otro nivel de agrupamiento. Por este motivo, se elimina del estudio el agrupamiento por curso y se establece como segundo nivel el agrupamiento por “clase”. b) Respecto a los profesores: Los profesores están anidados en clases. Los alumnos de una clase evalúan a todos los profesores de las asignaturas de su plan de estudios, asignándose a cada una de las combinaciones distintas un código del profesor que no se repetirá. Por último, las unidades de segundo nivel “clases” están a su vez anidadas en facultades o escuelas superiores. Las facultades por tanto constituyen las unidades de tercer nivel. 3.2. Descripción de los modelos El procedimiento tiene dos etapas. Primero rrealizando un análisis de varianza tradicional, con el programa estadístico OPENSTAT, se comprueba las diferencias en el grado de satisfacción del alumno en cada uno de los agrupamientos de los datos. En la segunda etapa se comprueban las diferencias en el grado de satisfacción con modelos jerárquicos lineales. Los resultados obtenidos en cada uno de los niveles objeto de estudio y su posterior contraste se describen a continuación. Nivel Facultad a) Se inicia el estudio calculando un ANOVA de un solo factor. Se utiliza como variable dependiente la satisfacción con el profesor y se analiza la variabilidad en el nivel Facultad. La tabla que aparece a continuación muestra los resultados obtenidos. La primera columna de la tabla indica el curso académico y el cuatrimestre evaluado, la segunda columna indica la fuente de variación estudiada y el resto los cálculos necesarios para llegar a la estimación del valor F.
* La prueba de ANOVA muestra diferencias significativas Se puede afirmar que la pertenencia a una facultad o escuela de alguna manera condiciona el grado de satisfacción del alumno. b) A continuación se comprueba el grado de satisfacción del alumno en las distintas facultades a través de la utilización de los modelos jerárquicos lineales. Para su obtención se elabora un primer modelo que mide la influencia de la pertenencia a una facultad en la satisfacción del alumno. Se describe a continuación el Modelo denominado “Facultades”: Modelo “Facultades”El modelo trabaja con dos niveles de agrupamientos en los datos. El primer nivel identifica al alumno por un código, y el nivel 2 ó nivel facultad identifica el tipo de estudios realizado por el alumno La variable dependiente en este modelo es la variable satisfacción y la estructura corresponde a la de un modelo nulo. La formulación del modelo es la siguiente:
Ecuación en el nivel 1
Donde: Yij.- Es la satisfacción del alumno i de la facultad j b0j- Es la media de satisfacción en la facultad j e0ij- Es el residuo correspondiente al alumno i de la facultad j
Ecuación en el nivel 2
b0j- Es la media de satisfacción de la facultad j b00 - Es la media de satisfacción general u0j- Es el efecto especifico de la facultad j La Tabla 5 resume los interceptos obtenidos y sus errores asociados. TABLA 5: Resumen del modelo de análisis de satisfacción docente por facultades
Los parámetros fijos resultan todos significativos en un nivel de significación del 0,05. Es decir que existen diferencias significativas entre los alumnos a la hora de valorar la satisfacción con la docencia. Los intervalos de confianza de la variable satisfacción son: 5,292 ± 1,96*0,0186 (5,255 5,328 ) 5,298 ± 1,96*0,210 ( 4,886 5,709 ) 5,084 ± 1,96*0,102 ( 4,884 5,283) 5,308 ± 1,96*0,307 ( 4,706 5,909) Las varianzas asociadas al nivel facultad no resultan significativas. No se puede afirmar que la pertenencia a una determinada facultad condicione el grado de satisfacción con la docencia recibida. A continuación se calcula el coeficiente de correlación intraclase:
Este coeficiente permite medir la proporción de varianza explicada por las diferencia entre las facultades. La tabla 6 muestra en porcentajes estas diferencias. TABLA 6: Proporción de varianza explicada por la pertenencia a una facultad
Los porcentajes de varianza explicada son débiles variando entre un 2% y un 14%. Con los resultados obtenidos no se puede afirmar que la pertenencia a una facultad influya significativamente en la satisfacción de un alumno con el profesor. Nivel Clases a) A continuación se calcula el ANOVA de un solo factor utilizando como variable dependiente la satisfacción con el profesor y analizando la variabilidad en el nivel Clase. Se intenta comprobar con este modelo la influencia de este anidamiento en el grado de satisfacción.La Tabla 7 muestra este análisis:
* La prueba de ANOVA muestra diferencias significativas Se puede así rechazar la hipótesis nula. Pudiéndose afirmar que hay diferencias en el grado de satisfacción del alumno entre las distintas clases. Modelo “Clases”b) Para comprobar el grado de satisfacción del alumno en las distintas clases a través de la utilización de los modelos jerárquicos lineales, se elabora un segundo modelo. Éste mide la influencia de la pertenencia a una clase en la satisfacción del alumno. En el modelo denominado Clases la variable dependiente satisfacción del alumno se mantiene sustituyéndose el nivel Facultad, por el nivel Clase. El objetivo de este modelo es analizar la influencia de la jerarquía o anidamiento por clases. La Tabla 8 recoge los resultados obtenidos. TABLA 8: Resumen del modelo de análisis de satisfacción docente por clases
El intercepto resulta significativo al nivel del 0,05. Las varianzas asociadas a los dos niveles son significativas en ambos casos. Para comprobar el grado de influencia en la varianza se calcula el coeficiente de correlación intraclase obteniéndose los resultados que aparecen en la Tabla 9. TABLA 9: Varianza explicada por el modelo de análisis de satisfacción docente por clases
Los resultados obtenidos nos permiten afirmar que el agrupamiento por clases afecta a la satisfacción del alumno en mayor medida que la pertenencia a una facultad. Los porcentajes de varianza obtenidos, entre 4% y 24%, son superiores a los obtenidos en el agrupamiento por Facultad pero tampoco reflejan una gran influencia. Lo que se intenta, con el último modelo que describimos a continuación, es comprobar qué ocurre con el efecto del agrupamiento por clase cuando se considera el hecho de que los alumnos de una misma clase comparten profesor, y ésto introduce un nuevo nivel de agrupamiento. Nivel Profesores a) Los resultados obtenidos cuando el ANOVA se realiza entre PROFESORES aparecen en la Tabla 10.
* La prueba de ANOVA muestra diferencias significativas También en este caso se rechaza la hipótesis nula de no diferencias entre los profesores. b) El nuevo modelo mantiene la variable dependiente, la variable satisfacción, pero introduce un nivel más en el estudio. Se trabaja con tres agrupamientos en los datos: agrupamientos por clase, profesor y alumno. No se incluye en el modelo el nivel de agrupamiento Facultad por no haber resultado significativa su influencia en el primer modelo. Sí se respeta por el mismo motivo el agrupamiento por Clases. El modelo se diseña para conocer si produce algún efecto la inclusión del profesor dentro de los agrupamientos por clases. En el nivel máximo de la jerarquía o nivel 3 se introducen los agrupamientos por clase, en el nivel dos los distintos profesores de cada clase, y en el nivel 1 los alumnos. De este modelo se obtuvieron un intercepto y tres varianzas: una varianza en el nivel clase, una varianza en el nivel profesor y una varianza en el nivel alumno. El intercepto y las varianzas asociadas a los niveles aparecen en la Tabla 11. TABLA 11: Resumen del modelo de análisis de satisfacción docente introduciendo como nivel el agrupamiento por profesor
El intercepto b00,o media de satisfacción con la clase, resulta significativo al nivel de significación del 5%. No ocurre igual con las varianzas. Al introducir el efecto profesor en el modelo, las varianzas asociadas al clima de clase nok, dejan de ser significativas. Siguieron siendo significativas las varianzas a nivel profesor mojk y a nivel alumno eoijk. Los coeficientes de correlación intraclase se comparan en la Tabla 12. TABLA 12: Comparación de las varianzas del modelo de análisis de satisfacción centrados en la clase con las del modelo de análisis que incluye el profesor
La proporción de varianza explicada por la clase es mínima, siendo superiores las varianzas explicadas cuando se introduce el efecto del profesor. 3.3 Síntesis de Resultados Los resultados obtenidos nos permiten afirmar que sí afecta al conocimiento del grado de satisfacción del alumno la consideración en su estudio de los agrupamientos organizativos y la posible ausencia de independencia entre los datos debida a estos. Los análisis de varianza realizados, reflejan diferencias significativas en el grado de satisfacción del alumno entre las distintas facultades, clases y profesores. Los modelos jerárquicos lineales sin embargo no muestran estos mismos hallazgos. No se detectan diferencias significativas entre facultades. Se detectan diferencias significativas entre las distintas clases que dejan de ser significativas cuando se introducen en el modelo los agrupamientos por profesor. El efecto de la influencia del profesor en el nivel de satisfacción del alumno sí se ha mantenido en ambas propuestas metodológicas. El estudio de una determinada titulación o la pertenencia a un grupo específico pasa a un segundo plano cuando se contrasta con la influencia ejercida por la docencia del profesor. 4. Conclusiones El objetivo de este trabajo es conocer si la variabilidad existente en la satisfacción con la docencia recibida se ve afectada por la consideración metodológica de determinados factores contextuales presentes en este proceso de evaluación. Para ello se analizan los resultados obtenidos bajo el prisma de los modelos de análisis de varianza de efectos aleatorios y de los modelos jerárquicos lineales. Las formulaciones de los modelos y las hipótesis sobre el error cometido lógicamente son muy distintas en ambos diseños. En el caso del análisis de varianza las observaciones y los errores se suponen independientes. El análisis se centra en comprobar qué influencia tienen los distintos factores en la variabilidad de la variable satisfacción dentro del nivel y entre niveles. En el caso de los modelos jerárquicos lineales se considera que las observaciones y los errores, debido al agrupamiento de los datos, pueden ser interdependientes. Se contrasta la distribución de la varianza entre los niveles, la distribución de los errores diferenciada por niveles y la proporción de variabilidad atribuible a éstos. Los resultados de cada uno de ellos, sintetizados en el apartado anterior, nos llevan a conclusiones de muy distinta índole. Desde considerar importante el efecto de la facultad o el tipo de carrera estudiada, hasta no considerarla en absoluto. Las conclusiones, aparentemente contradictorias entre los dos diseños utilizados, no nos hacen descartar la opción de seguir considerando el contexto cuando se analiza el nivel de satisfacción del alumno con la docencia recibida. Lo que nos hace pensar que habrá que observarlo desde otra perspectiva. Los resultados obtenidos con los modelos jerárquicos lineales, más idóneos cuando se trabaja con datos agrupados en jerarquías o niveles, nos hace afirmar que la relación entre los factores ambientales y organizativos estudiados y la variable satisfacción debe verse moderada adecuadamente por variables de tipo contextual, porque si no se hace así, la relación podría enmascararse. En el caso que nos ocupa, creemos que lo que debe hacerse es profundizar sobre el tipo de relaciones existentes entre el nivel de satisfacción de un alumno y los factores contextuales que afectan a esa relación. Los factores contextuales escogidos no han sido relevantes en el conocimiento de la satisfacción del alumno con la docencia recibida. Este hecho no impide que en futuras evaluaciones individualizadas del alumno se consideren otras variables de carácter organizativo y contextual. Estas deberán tener un efecto más directo sobre la docencia de una asignatura, de un departamento y de un profesor, como son la ratio profesor-alumno, el número de horas de clases, los recursos disponibles o el horario de tutorías entre otras. A la vista de los resultados obtenidos, sustituir el análisis individualizado de la docencia de cada profesor por un modelo de evaluación colectivo departamental, como postulan los nuevos modelos de evaluación institucional, nos parece arriesgado. Habría que profundizar en el conocimiento de estos factores colectivos de carácter contextual y en su influencia en la variable estudiada. Especialmente si el objetivo es que la información obtenida de las encuestas sea utilizada en el establecimiento de procesos de mejora dentro de un sistema de “Gestión de Calidad”. De esta forma, el análisis de la satisfacción cumpliría no sólo una función diagnóstica necesaria, sino también una función formativa más acorde con los actuales modelos de Gestión de la Calidad. REFERENCIAS BIBLIOGRÁFICAS Aparicio, J. J., San Martín, R. y Tejedor, F. J. (1982). La enseñanza universitaria vista por los alumnos: Un estudio para la evaluación de los profesores en la enseñanza superior. Madrid: I.C.E. Universidad Autónoma. Apodaka, P. y Rodríguez, M. (1999). La opinión de los alumnos en la evaluación de la calidad docente: Posibilidades,limitaciones y estructura dimensional de sus indicadores. En Vidal , J. (Coords.)(1999) Indicadores en la universidad: Información y decisiones. Madrid: Consejo de Universidades.MEC ApodaKa, P. (2001). Calidad y evaluación de la educación superior: Situación actual y prospectiva. Revista de Investigación Educativa, 19: 2, 367-382. ApodaKa, P. y Grad, H.(2002).Análisis dimensional de las opiniones de los alumnos universitarios sobre sus profesores: comparación entre técnicas paramétricas y no-paramétricas. Revista de Investigación educativa, 20:2. Bosker, R. y Snijders, T. (1999). Multilevel Analysis: An Introduction to basic and advanced multilevel modeling. London: Sage. Bryk, S. y Raudenbush, W. (1992). Hierarchical Linear Models. Ca: Sage. Bruce, A. J. (1985, Abril). A Comparison of Three Teaching Evaluation Instruments. Ponencia presentada en la Convención of the Southwestern Psychological Association. Cohen, P. A. (1980). Effectiveness of student-rating feedback for improving college instruction: A meta-analysis of findings. Research in Higher Education, 13, 312-341. Cruse, D. (1987). Student evaluations and the university proffesor. Higher Education, 15:6, 723-737. Feldman, K. A. (1996). Identifying exemplary teaching: Using data from course and teacher evaluation. New Directions for Teaching and Learning, 65 ,41-50. Fernández Sánchez, J. y Mateo, M. (1992). Student evaluation of university teaching quality: Analysis of questionnaire for a sample of university students in Spain. Educational And Psychological Measurement, 52, 675-684. Goldstein, H.(1986). Multilevel mixed linear model analysis using iterative generalized least squares. Biometrika , 73, 43-56. Goldstein, H. (2003). Multilevel Statistical Models. Third Edition. London: Arnold. González Sanmamed, M.(2001).Evaluación, formación, e innovación en la universidad: el triángulo estratégico de la calidad. Revista de Investigación Educativa,19: 2, 649-658. González Valverde, P. y Grande Quejigo, F. ( 1999). Experiencia en la evaluación de la universidad. El caso del profesorado. Revista Interuniversitaria de Formación del Profesorado, 34, 61-67. Hox, J.J. (2002). Multilevel Analysis, Techniques and applications. London:Lawrence Erlbaum . Leyland, A.H. y Goldstein, H. (2001). Multilevel Modelling of health statistics. New York: Wiley.
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
format
