Introducción
La
Universidad de Guadalajara ha demostrado su permanente preocupación por adaptarse a las tendencias que van marcando el
destino de las universidades públicas
de México; también ha manifestado
ser una organización educativa que avanza al ritmo que exige
el proceso mismo de modernización de su entorno y de la comunidad
universitaria. Ello ha sido posible gracias al impulso y
fortalecimiento de procesos internos de evaluación y de regulares
ejercicios de autoevaluación institucional.
A
raíz de su última reforma académica, a principios de los noventa,
los esfuerzos por medir sus niveles de calidad se han multiplicado
utilizando diversos mecanismos valorativos, evidenciando que las
actividades evaluativas se han convertido en una acción regular y
un elemento de gran utilidad para la toma de decisiones en la vida
de esta institución. La realización de las tareas mencionadas ha
permitido avanzar significativamente en el logro de la calidad de
los servicios que esta casa de estudios brinda a la comunidad y a
sus integrantes, sin embargo se empiezan a observar algunos efectos
no deseados en el funcionamiento universitario que pueden asociarse
con el sentido que han tomado las acciones evaluativas efectuadas en
su interior.
Se
puede mencionar, por ejemplo, que los resultados de las evaluaciones
institucionales son presentados de manera aislada, sin establecer
correlaciones entre las áreas evaluadas, lo que aumenta el riesgo
de ofrecer visiones sesgadas, incompletas e inclusive erróneas del
funcionamiento universitario.
Ante
esta situación, para nada deseable, surgió la inquietud de
proponer ejercicios evaluativos que eviten la distorsión analítica,
que reduzcan al mínimo procesos de simulación y que no produzcan
tensiones infructuosas entre los miembros de la comunidad.
Entonces,
se asume como conveniente un sistema de evaluación institucional
basado en indicadores que aporten datos significativos sobre
aspectos particulares y que, relacionados con otros indicadores,
puedan proporcionar una visión integrada de las funciones
sustantivas que se realizan en cada una de las instancias operativas
de la universidad, particularmente de las académicas.
Mediante
la utilización de este sistema integrado de indicadores se podrían
obtener resultados de mayor precisión que hiciesen posible sugerir
acciones tendientes a mejorar la productividad de un departamento
académico; mejoría que no se encontraría referida solamente al
aspecto compensatorio o financiero que premie a unos cuantos, sino más
bien que detecte aquellos elementos de las actividades académicas
sustanciales que requieran ser fortalecidos y aumenten su
productividad no en términos de cantidad sino, sobre todo, de
calidad, con la intención de que se realicen sus trabajos como lo
establece la figura departamental prefigurada en sus documentos
normativos y planes de desarrollo; es decir, por núcleos de
especialización disciplinar que integren armoniosamente las
funciones sustantivas universitarias y no por centros especializados
en una actividad académica dispersa.
Darle
este rasgo definitorio de integralidad a la evaluación que se
realiza regularmente en la Universidad de Guadalajara (UdeG), fue lo
que inspiró el interés por recuperar muchos de los datos que
existen de los diferentes procesos evaluativos universitarios ya sea
mediante el análisis de los reportes de actividades académicas,
informes de las rectorías de algunos centros universitarios y de la
rectoría general de la misma universidad, así como la opinión de
autoridades académicas departamentales, para con todo ello
conformar una propuesta instrumental susceptible de ser empleada por
los departamentos y que permitiese emitir juicios valorativos de la
profundidad, eficacia, efectividad y pertinencia de su acción de
forma totalizadora y correlacionada.
El
trabajo aquí presentado ofrece los resultados de los esfuerzos
realizados para alcanzar este objetivo, proceso que permitió
aportar una herramienta útil para la evaluación de los
departamentos con un enfoque distinto al que prevalece en la mayoría
de las universidades e instituciones de educación superior, cuyas
evaluaciones se ubican en la perspectiva productivista del trabajo
académico exigiendo resultados sin relacionarlos con aquellos
factores que en alguna medida intervienen para obtenerlos con una
mayor calidad.
La
Evaluación en las Instituciones de Educación Superior en México
Es
preciso reconocer que la historia de la evaluación de la educación
superior en México lleva ya poco más de tres décadas de
desarrollo, ya que desde los años setenta la Asociación Nacional
de Universidades e Instituciones de Educación Superior (ANUIES)
realizó los primeros ejercicios de autoevaluación en este país
para elaborar diagnósticos, pronósticos de demanda y crecimiento
de programas específicos de desarrollo institucional (ANUIES, 1997,
p. 4).
A
raíz de esto ANUIES desarrolló en 1984 un esfuerzo de
sistematización de la metodología de evaluación para la educación
superior, mediante la utilización de criterios y procedimientos
generales en este nivel educativo (Casillas, 1995, p. 41).
El
espacio dedicado a los procesos de evaluación se fue abriendo más
y como consecuencia de los trabajos realizados, en 1989 la
Coordinación Nacional para la Planeación de la Educación Superior
(CONPES) aprobó la instalación de la Comisión Nacional de
Evaluación de la Educación Superior (CONAEVA), con el propósito
de impulsar el proceso de evaluación a nivel nacional mediante la
formulación de criterios y directrices generales para proponer políticas
y acciones tendientes a mejorar la educación superior.
En
esta apertura surgieron las siguientes instancias: en 1990 el Fondo
para Modernizar la Educación Superior (FOMES), cuya operación de
recursos permitió subsanar en parte los rezagos de la inversión en
la infraestructura y equipamiento acumuladas durante la década
anterior en las instituciones; en 1991 se establecieron los Comités
Interinstitucionales para la Evaluación de la Educación Superior (CIEES),
cuyo principal propósito es la evaluación de la calidad de los
programas, especialmente los de formación de profesionales en el
nivel de licenciatura y de las funciones de administración
institucional y de difusión de la cultura a través de nueve comités
establecidos por áreas de conocimientos, integrados por pares académicos
de distintas universidades; por último, en 1992 se constituyó la
Federación de Instituciones Particulares Mexicanas de Educación
Superior (FIMPES), como una agrupación que desarrolló criterios
propios de evaluación institucional para sus agremiados.
Se
puede asegurar entonces, que en el nivel de educación superior en México
los organismos mencionados han sido las principales instancias con
programas empleados para el seguimiento del esfuerzo de la evaluación;
y han establecido indicadores de funcionamiento institucional y parámetros
que orientan el comportamiento esperado de las instituciones
principalmente por el interés de obtener la acreditación y el
financiamiento, hecho este que ha marcado las tendencias generales
de la evaluación en las instituciones educativas del nivel
superior.
Por
otra parte, cada institución establece distintos procesos y
mecanismos para el ingreso, promoción y permanencia de su personal
académico, así como el acceso a estímulos económicos, con lo que
se propiciará una mayor participación de los cuerpos colegiados en
su diseño, operación y evaluación como lo señala el Programa de
Desarrollo Educativo 1995-2000 (ANUIES, 1997, p. 6)
En
la Universidad de Guadalajara, además de los programas de evaluación
al personal académico que se mencionan más adelante, se han
llevado a cabo diversos procesos de evaluación, de los cuales vale
la pena mencionar dos: el programa denominado Evaluar
para Mejorar, promovido a finales de 1998 por la Vicerrectoría
de la propia universidad, en el que se pretendía evaluar a los
departamentos y planes de estudio en su primera fase mediante la
conducción de los colegios departamentales y los comités
consultivos de las coordinaciones de cada plan de estudios; para el
año 2000 se habían llevado a cabo algunos talleres y el equipo de
trabajo se encontraba en la etapa de definición de los indicadores.
El
segundo programa es el que se conoce como Autoestudio,
creado en el Plan Institucional de Desarrollo 1995-2000 de la propia
universidad, “motivado por las nuevas formas del binomio evaluación-financiamiento,
que necesaria e inevitablemente cobrarán vigencia en nuestro país”
(UdeG, 1996a, p. 140). Entonces se construyó un modelo basado en
estándares considerando las áreas de desarrollo institucional:
atención a la demanda estudiantil; distribución de la matrícula;
eficiencia de la docencia; programas de docencia; personal académico;
investigación; difusión de la cultura y extensión de los
servicios; apoyo académico; apoyo administrativo; financiamiento y
vinculación. Los resultados de esta evaluación se dieron a conocer
en 1998.
La
evaluación de los académicos
En
cuanto a la evaluación del personal académico, a partir de 1986 se
puso en marcha como uno de los proyectos del Programa de la Carrera
Docente del Personal Académico (instrumentado desde 1972), incluyéndolo
dentro del Proyecto Nacional de Formación del Personal Académico y
que se convertiría en 1993 en un instrumento de la política de la
educación superior con la creación del Programa Nacional de
Superación del Personal Académico conocido como SUPERA.
Además,
el Consejo Nacional para la Ciencia y la Tecnología (CONACYT), el
Sistema Nacional de Investigadores (SNI) y algunas fundaciones y
empresas que invierten fondos en investigación, son organismos que
se han encargado de implementar algunos criterios de evaluación
para medir el desempeño de los académicos, ya que para otorgar
becas y estímulos solicitan ciertos requisitos que se fueron
estableciendo como indicadores para la evaluación de la producción
académica.
Los académicos en la Universidad de Guadalajara
La
evaluación del desempeño del personal académico de la UdeG, en lo
que se refiere a las actividades de investigación, extensión y
docencia inició de una manera sistematizada con el mismo proceso de
reforma universitaria desde 1990, año en el que se dieron a conocer
los criterios para llevar a cabo una homologación del personal académico
mediante la documentación probatoria de las actividades realizadas.
Posteriormente
se implementaron diversos programas de deshomologación por medio
del otorgamiento de estímulos económicos. Estos programas han
implicado un proceso de evaluación importante del desempeño académico
al interior de la institución, ya que invadió la esfera de
producción individual de los académicos, modificando como lo señala
Luis Montaño “significativamente, en la mayoría de los casos, la
naturaleza y el contenido del trabajo, así como la organización y
el comportamiento de los académicos” (Montaño, 1993, pp.14-15).
Uno
de los efectos provocados por este tipo de evaluaciones es la
elaboración individualizada de productos académicos, “bajo el
discurso de la excelencia en las que se representan las
desigualdades intelectuales, culturales y sociales” (Rodríguez,
1999, p. 18).
En
el discurso de la excelencia se demanda mayor productividad académica
y a su vez, la distribución de recursos también es un factor
importante, aunque como dice Eduardo Ibarra:
En
la distribución de recursos a la ciencia existe la creencia de que
son las ciencias ‘duras’ las que requieren de fuertes
inversiones en infraestructura, mientras las mal llamadas ciencias
‘blandas’ se bastan a sí mismas sólo con lápiz y papel.
(Ibarra, 1998b, p.376)
Método
Este estudio se llevó a cabo durante el periodo que
comprende de marzo del 2000 a marzo del 2001, y los datos que aquí
se incluyen corresponden a la producción académica de tres
departamentos de la UdeG reportados durante 1997, 1998 y 1999. El
trabajo que se presenta recupera información suficiente para llevar
a la práctica un proceso de evaluación de manera integrada.
Con
la primer información de tipo documental, basada en lecturas tanto
de la UdeG como de los procesos de evaluación prevalecientes en su
interior, fue posible plantear el problema que se refiere a la
productividad académica dentro del modelo departamental existente
en la institución. Derivado de la investigación inicial se constató
que no existe evaluación específica sobre la productividad académica
a nivel departamental en esa universidad; por lo que se
establecieron los objetivos de investigación, se desarrollaron las
preguntas que orientarían este estudio, así como la justificación
del proyecto y su viabilidad.
Objetivo general
El
objetivo general fue indagar comparativamente cuáles son los
elementos decisivos de la productividad académica en tres
departamentos de la Universidad de Guadalajara. Por lo que es
pertinente precisar que la productividad académica se considera
como “la integración de resultados derivados de la producción
proporcional del personal académico de un departamento, en sus
actividades de investigación, docencia y extensión, en relación
con las normas establecidas para la evaluación” (Martínez, 2001,
p. 43).
Después de construir el
marco teórico, se estableció como trabajo principal una evaluación
de tipo descriptiva, comparativa, correlacional y valorativa, lo que
ayudó en la definición del modelo que debía adoptarse.
Tomando como principio
fundamental que toda evaluación se basa en la aplicación de un
modelo, ya que es el modelo el que dirige el enfoque conceptual de
los términos utilizados, se tomaron los conceptos básicos y el
procedimiento del modelo de evaluación comparativa mediante la
utilización de indicadores, propuesto por Michael Scriven (1991),
por lo que dicho procedimiento se expresa desde la implementación
del diseño o plan de evaluación a realizar.
La naturaleza de los datos
cuantitativos y cualitativos obtenidos en este estudio, permitió
también realizar ejercicios estadísticos que a su vez facilitaron
la interpretación y el análisis de los resultados, orientados
hacia el enjuiciamiento valorativo del cual surgieron las
recomendaciones para la toma de decisiones con la principal
finalidad de mejorar la productividad académica.
La
estrategia operativa y metodológica se divide en cuatro fases que
consisten básicamente en la definición de la situación a evaluar; la recopilación de información y
aplicación de los indicadores; la
sistematización de datos e interpretación de los resultados;
y finalmente, mediante el análisis de la información, la
emisión de juicios por parte de los evaluadores para terminar en
recomendaciones.
Representatividad
de la muestra
Debido
al carácter comparativo de esta evaluación, la representatividad
de la muestra elegida se basó principalmente en que los
departamentos analizados tuvieran características similares.
Considerando que en la Universidad de Guadalajara operan trece
centros universitarios, siete regionales y seis temáticos en la
zona metropolitana de Guadalajara, se juzgó conveniente incluir en
este estudio tres departamentos que pertenecieran a distintos
centros universitarios para evitar algunos sesgos o repeticiones
sobre todo en la operatividad y la dinámica de la productividad
académica.
Se
estimó la conveniencia de que los departamentos analizados tuvieran
factores esenciales en común, básicamente que reportaran la
producción de investigaciones, participación en la docencia y
llevar a cabo actividades de extensión y difusión del
conocimiento. Se incluyeron dos temáticos metropolitanos
(Departamentos A y B) y uno regional (Departamento C).
Los
criterios básicos de integración de la muestra fueron la
representatividad departamental, significatividad departamental,
cobertura disciplinar y viabilidad de acceso informativo.
Áreas y Criterios de Evaluación
Las
áreas o ámbitos de la evaluación fueron las funciones
sustantivas: docencia, investigación y extensión; los criterios de
análisis de los indicadores fueron: efectividad, eficacia,
eficiencia, suficiencia y actualización.
La
efectividad se refiere a la pertinencia o funcionalidad, entendida
como la coherencia del proyecto institucional y de sus programas con
las necesidades y características del área de influencia de la
institución. Se mide el impacto social o institucional.
La
eficacia es entendida como criterio de relación o correspondencia
entre los fines, objetivos y metas con los logros concretos de
ejecución. Se refiere a la coherencia entre las actividades
desarrolladas por el departamento y sus académicos para cumplir sus
fines y los objetivos de cada uno de sus programas.
La
eficiencia es el nivel óptimo de funcionalidad y congruencia para
posibilitar la concreción de metas con calidad. Se refiere a la
coherencia entre recursos invertidos, esfuerzos desplegados y tiempo
empleado para el logro de los objetivos.
La
suficiencia, para efectos de este estudio se refiere a la capacidad
para cubrir las necesidades de insumos financieros y materiales, así
como otros requerimientos planteados para el desarrollo de las
actividades académicas.
La
actualización es entendida como el nivel de vigencia y renovación
de conocimientos disciplinares y pedagógicos, de contenidos programáticos,
de interés y de reemplazo.
Indicadores
Tomando
como base la determinación de dichas áreas y criterios, se
instrumentó el Sistema de Indicadores por Áreas y Criterios de
Evaluación cuyos componentes se desglosan en la Tabla 1, por cada
dimensión y criterio analizados.
Tabla 1
Indicadores
por Áreas y Criterios de Evaluación
Para el área
de la investigación
|
Efectividad
|
Eficacia
|
Eficiencia
|
Suficiencia
|
Actualización
|
|
1:Interés de la sociedad por la investigación realizada en el
departamento.
2:Contribuciones innovadoras al campo disciplinar.
3:Distinciones a la investigación
|
4:Evaluación interna en la investigación
5:Desarrollo en equipo de los trabajos de investigación
|
6: Eficiencia en la obtención del financiamiento para realizar
investigaciones
7: Equipo de cómputo adecuado para la realización de actividades académicas
8:Espacios adecuados para la realización de actividades académicas
|
9:Financiamiento (interno y externo) suficiente para realizar
investigaciones
10:Suficiencia del equipo de cómputo destinado a la realización de
actividades académicas
11:Espacios suficientes para la realización de actividades académicas
|
No se incluyeron indicadores con este criterio para el área de la
investigación
|
Para el área
de la extensión
|
Efectividad
|
Eficacia
|
Eficiencia
|
Suficiencia
|
Actualización
|
|
No se incluyeron
indicadores con este criterio para el área de la extensión
|
12:Membresía a sociedades y asociaciones científicas vinculadas al
campo disciplinar
13: Desarrollo de actividades editoriales
14: Capítulos de libros publicados anualmente
15: Libros publicados anualmente
16: Trabajos presentados en reuniones científicas o eventos académicos
especializados
|
17: Eficiencia de los mecanismos de apoyo para la participación de
académicos en eventos científicos
|
18: Suficiencia de apoyos otorgados para la participación de académicos
en eventos científicos
|
19: Suscripciones vigentes a revistas científicas
|
Para
el área de la docencia
|
Efectividad
|
Eficacia
|
Eficiencia
|
Suficiencia
|
Actualización
|
|
20: Programas docentes exitosos
21: Elaboración de material didáctico
|
22: Tesis dirigidas por nivel
|
No se incluyeron indicadores con este criterio para
el área de la docencia
|
23: Acervo bibliográfico suficiente
|
24: Asistencia a cursos de actualización docente
(pedagógica y didáctica)
25: Asistencia a cursos de actualización disciplinar
26: Diseños o actualizaciones de planes y programas
docentes
27: Acervo bibliográfico actualizado
|
Se
entiende por indicadores aquellos “datos cuya característica
principal es la síntesis de un aspecto particular cuantitativo o
cualitativo de un objeto de estudio y que correlacionados con otros
nos proporciona una visión integrada de una situación a evaluar”
(Martínez Castro, 2001, p. 39)
Descripción de Indicadores
Los
indicadores que conforman el sistema propuesto en este trabajo de
evaluación, son los siguientes:
AREA:
Investigación
Criterio:
Efectividad
Indicador
1:
Interés de la sociedad por
la investigación realizada en el departamento.
Descripción:
Se refiere a la respuesta que tanto la comunidad del entorno del
departamento, como la comunidad científica tienen respecto a las
actividades y los avances logrados por el departamento. Habrá
proyectos cuya relevancia pueda considerarse significativa en términos
de cobertura local, regional, nacional e internacional en distintos
niveles.
Variables
que participan:
1.1.
Número de proyectos de investigación realizados por el
departamento
1.2.
Número de notas laudatorias emitidas por la comunidad u
organismos públicos o privados, nacionales o extranjeros que se
hayan emitido respecto al trabajo del departamento; o número de artículos
periodísticos o notas televisivas o radiofónicas en las que se
presentaron aspectos de cada uno de los proyectos realizados en el
departamento.
1.3.
Número de convenios con organismos públicos o privados,
para la realización de programas o proyectos en los que interviene
el personal académico del departamento.
Elementos
cualitativos:
1.4.
Valoración del nivel de relevancia de la investigación para
la sociedad.
1.5.
Ámbitos de relevancia de la investigación en el nivel local
o regional, nacional e internacional.
Identificación:
Número
de convenios, solicitudes y notas laudatorias emitidas por la
comunidad u organismos públicos o privados, nacionales o
extranjeros que se hayan emitido respecto a cada uno de los
proyectos de investigación del departamento en los últimos tres años.
Estándar
deseable:
Al
menos una nota o solicitud de información respecto a los proyectos
emitida por cada año o la existencia al menos un convenio de
colaboración en programas o proyectos realizados por personal académico
del departamento por año.
Indicador
2: Contribuciones innovadoras al campo disciplinar
Descripción:
Habrá de obtenerse el grado de significatividad e innovación que
poseen las contribuciones derivadas de la investigación dentro del
campo que abarca la disciplina del conocimiento de su departamento.
Variables
que participan:
2.1.
Número de proyectos asociados a temáticas consideradas de
frontera.
Elementos
cualitativos:
2.2.
Contribuciones teóricas o metodológicas al campo
disciplinar
2.3.
Valoración del nivel de significatividad en la innovación
de las contribuciones derivadas de la investigación.
Identificación:
Existencia
y valoración de las contribuciones teóricas o metodológicas
significativas que se hayan realizado respecto a cada uno de los
proyectos de investigación del departamento en los últimos tres años.
Estándar
deseable:
Al
menos contar con dos proyectos vigentes asociados a temáticas de
frontera y cuya valoración resulte razonablemente significativa a
las contribuciones innovadoras derivadas de los mismos.
Indicador
3: Distinciones a la investigación
Descripción:
Se
consideran las distinciones otorgadas por organismos externos, tanto
a los investigadores adscritos al departamento como a nivel
departamental.
Variables
que participan:
1.1.
Número de proyectos de investigación realizados por el
departamento
3.1.
Número de distinciones otorgadas a la investigación por
organismos externos.
Identificación:
Número
de distinciones que se hayan emitido respecto a cada uno de los
proyectos de investigación del departamento en los últimos tres años.
Estándar
deseable:
Al
menos una distinción otorgada a la investigación que realizan los
académicos, por cada departamento en cada año.
Criterio:
Eficacia
Indicador
4:
Evaluación interna en la
investigación
Descripción:
Acciones de evaluación de las actividades de investigación que se
efectúan al interior del departamento con la finalidad de mejorar
la calidad de los productos de los proyectos de investigaciones que
ahí se realizan.
Variables
que participan:
4.1.
Número de ejercicios de evaluación realizados en el último
año destinados a valorar la actividad investigadora.
4.2.
Periodicidad de los ejercicios de evaluación realizados para
valorar la actividad investigadora por año.
Identificación:
Número
de ejercicios de evaluación de proyectos realizados por cada
departamento en el último año.
Estándar
deseable:
Al
menos una acción evaluativa destinada a valorar la actividad
investigadora por año.
Indicador
5: Desarrollo en equipo de los trabajos de investigación.
Descripción:
Se refiere al volumen de actividades de investigación que resultan
de trabajos grupales, sean estos disciplinarios o
interdisciplinarios. Pueden considerarse equipos de trabajo entre
varios investigadores, en combinación con asociados e incluso con
el apoyo de asistentes. También se considera trabajo en equipo de
investigación cuando se desarrollan proyectos de tipo departamental
en los que interviene personal académico de diversas categorías,
cuando se organizan comités conjuntos de desarrollo de proyectos, o
cuando se forman equipos multidisciplinarios para realizar
investigación.
Variables
que participan:
1.1.
Número de proyectos de investigación realizados por el
departamento
5.1.
Número de proyectos diseñados y/o realizados por un equipo
de investigación
Elementos
cualitativos:
5.2.
Desarrollo de trabajos de investigación en equipo
5.3.
Formación de equipos multidisciplinarios para realizar la
investigación
Identificación:
Proporción
de proyectos de investigación del departamento desarrollados en
equipo en los últimos tres años.
Estándar
deseable:
Al
menos un proyecto de investigación desarrollado en equipo por cada
departamento en cada año.
Criterio:
Eficiencia
Indicador
6: Eficiencia en la obtención del financiamiento para realizar
investigaciones
Descripción:
Se refiere al nivel de gestión para la obtención de recursos económicos
que se ingresan al departamento de acuerdo a las necesidades
financieras de los proyectos que realiza, respecto al tiempo
empleado para el logro de dicha obtención de recursos de fuentes
financieras internas y externas.
Variables
que participan:
1.1.
Número de proyectos de investigación realizados por el
departamento
6.1.
Número de proyectos de investigación financiados por
fuentes internas en los últimos tres años.
6.2.
Número de proyectos de investigación financiados por
fuentes externas en los últimos tres años
6.3.
Fuentes de financiamiento externas del departamento
Elementos
cualitativos:
6.4.
Apreciación del nivel de eficiencia de ambas fuentes de
financiamiento respecto a la obtención de recursos financieros de
apoyo a la investigación en ambas fuentes, por parte de alguno de
los grupos de interés involucrados.
Identificación:
Proporción
de proyectos que han conseguido financiamiento mediante fuentes
internas y externas
Estándar
deseable:
Valoración
eficiente en términos de tiempo para la obtención de recursos
provenientes tanto de fuentes de financiamiento internas como
externas en apoyo a la investigación.
Indicador
7: Equipo de cómputo adecuado para la realización de actividades
académicas
Descripción:
Se refiere a las condiciones de adecuación en las que se encuentra
el equipo de cómputo en relación con las necesidades planteadas
por los proyectos que realiza el departamento.
Variables
que participan:
7.1.
Número de colaboradores académicos del departamento.
7.2.
Número de equipos de cómputo que tiene el departamento para
uso académico
Elementos
cualitativos:
7.3.
Valoración respecto a la adecuación del equipo de cómputo
que utiliza el personal académico.
Identificación:
Proporción
y valoración del equipo de cómputo utilizado por el personal académico
Estándar
deseable:
Valoración
del equipo de cómputo como adecuado para la realización de
actividades académicas.
Indicador
8: Espacios adecuados para la realización de actividades académicas
Descripción:
Condiciones de los espacios de trabajo que posee el departamento
para el desempeño de sus actividades académicas.
Variables
que participan:
8.1.
Número de cubículos destinados al trabajo académico
Elementos
cualitativos:
8.2.
Valoración de la adecuación de las instalaciones del
departamento que son destinadas al trabajo académico.
Identificación:
Proporción
de los espacios destinados al trabajo académico
Estándar
deseable:
Espacios
calificados como adecuados para la realización de actividades académicas.
Criterio:
Suficiencia
Indicador
9: Financiamiento (interno y externo) suficiente para realizar
investigaciones
Descripción:
Esta referido a la cantidad de recursos que se ingresan al
departamento de acuerdo a las necesidades financieras de los
proyectos que realiza.
Variables
que participan:
6.1.
Número de proyectos de investigación financiados por
fuentes internas
6.2.
Número de proyectos de investigación financiados por
fuentes externas
9.1.
Monto de los recursos obtenidos para el financiamiento de los
proyectos de investigación provenientes de fuentes internas en los
últimos tres años.
9.2.
Monto de los recursos obtenidos para el financiamiento de los
proyectos de investigación provenientes de fuentes externas en los
últimos tres años.
Elementos
cualitativos:
9.3.
Valoración del nivel de suficiencia respecto a la obtención
de recursos financieros de apoyo a la investigación en ambas
fuentes.
Identificación:
Proporción
por proyecto de los recursos que ingresaron para financiamiento de
la investigación durante los últimos tres años y nivel de
suficiencia de dichos recursos.
Estándar
deseable:
Calificación
como suficiente por parte de alguno de los grupos de investigación
involucrados.
Indicador
10: Suficiencia del equipo de cómputo destinado a la realización
de actividades académicas.
Descripción:
Se refiere a la relación equipos/académicos existente para la
realización de actividades académicas.
Variables
que participan:
7.1.
Número de colaboradores académicos del departamento.
7.2.
Número de equipos de cómputo que tiene el departamento para
uso académico
Elementos
cualitativos:
10.1.
Valoración respecto al nivel de suficiencia del equipo de cómputo
utilizado por el personal académico.
Identificación:
Proporción
y valoración de la suficiencia del equipo de cómputo utilizado por
el personal académico.
Estándar
deseable:
Al
menos un equipo de cómputo por académico cuya valoración se
considere como suficiente
Indicador
11: Espacios suficientes para la realización de actividades académicas
Descripción:
Nivel de suficiencia de los espacios de trabajo que posee el
departamento para el desempeño de sus actividades académicas.
Variables
que participan:
7.1.
Número de colaboradores académicos del departamento.
8.1.
Número de cubículos destinados al trabajo académico
Identificación:
Proporción
del espacio destinado al trabajo académico.
Estándar
deseable:
Al
menos un cubículo por académico
AREA: Extensión
Criterio:
Eficacia
Indicador
12: Membresía a sociedades y asociaciones científicas vinculadas
al campo disciplinar
Descripción:
Se refiere a la cantidad y tipo de adscripción que tiene el
departamento (o sus miembros) a sociedades y asociaciones
disciplinares.
Variables
que participan:
7.1.
Número de colaboradores académicos del departamento.
12.1.
Número de asociaciones a las que se encuentra afiliado el
personal académico del departamento.
Identificación:
Proporción
de membresías a sociedades científicas o académicas.
Estándar
deseable:
Al
menos una membresía a sociedades científicas o académicas por
cada académico del departamento.
Indicador
13: Desarrollo de actividades editoriales
Descripción:
Se refiere al volumen y caracterización del destino de las
publicaciones periódicas, manuales, reportes técnicos de
investigación, o ensayos que se generan por los integrantes del
departamento.
Variables
que participan:
7.1.
Número de colaboradores académicos del departamento.
13.1.
Número de artículos elaborados para difusión científica
por cada uno de los académicos del departamento.
13.2.
Número de artículos elaborados para divulgación científica
por cada uno de los académicos del departamento.
13.3.
Número de manuales, reportes técnicos o ensayos de
distribución interna elaborados por cada académico del
departamento.
Identificación:
Proporción
de actividades editoriales por académico en los últimos tres años
Estándar
deseable:
Al
menos la realización de una actividad editorial por académico por
año.
Indicador
14: Capítulos de libros publicados anualmente
Descripción:
Es la proporción anual de capítulos de textos o tratados que
escriben los académicos adscritos al departamento.
Variables
que participan:
7.1.
Número de colaboradores académicos del departamento.
14.1.
Número de capítulos elaborados por cada académico
Identificación:
Proporción
de capítulos de libros elaborados por los académicos del
departamento en los últimos tres años.
Estándar
deseable:
Al
menos la elaboración de un capítulo de libro por año elaborado
por cada académico del departamento.
Indicador
15: Libros publicados anualmente
Descripción:
Se refiere a la producción especializada de textos que corresponden
al campo disciplinar del departamento que se publican anualmente.
Variables
que participan:
15.1.
Número total de libros publicados por el departamento en los
últimos tres años
Identificación:
Promedio
de libros publicados por el departamento anualmente
Estándar
deseable:
Al
menos la publicación de un libro por año en cada departamento
Indicador
16: Trabajos presentados en reuniones científicas o eventos académicos
especializados.
Descripción:
Presentación anual de ponencias y/o conferencia por parte de los
integrantes del departamento en eventos especializados de análisis
o difusión científica locales o regionales, nacionales e
internacionales.
Variables
que participan:
7.1.
Número de colaboradores académicos del departamento.
16.1.
Número de ponencias y/o conferencias que presentó el
personal académico del departamento en foros locales o regionales
en los últimos tres años.
16.2.
Número de ponencias y/o conferencias que presentó el
personal académico del departamento en foros nacionales en los últimos
tres años.
16.3.
Número de ponencias y/o conferencias que presentó el
personal académico del departamento en foros internacionales en los
últimos tres años.
Identificación:
Proporción
anual por académico de presentaciones en foros académicos
especializados locales, regionales, nacionales e internacionales.
Estándar
deseable:
Al
menos una presentación anual en foros académicos ya sea locales,
regionales y nacionales y una presentación en foros
internacionales, por cada académico.
Criterio:
Eficiencia
Indicador
17: Eficiencia de los mecanismos de apoyo para la participación de
académicos en eventos científicos.
Descripción:
Se refiere al nivel de gestión para la obtención de apoyos
otorgados al personal académico para su participación en eventos
científicos.
Variables
que participan:
7.1.
Número de colaboradores académicos del departamento.
16.1.
Número de ponencias y/o conferencias que presentó el
personal académico del departamento en foros locales o regionales
en los últimos tres años.
16.2.
Número de ponencias y/o conferencias que presentó el
personal académico del departamento en foros nacionales en los últimos
tres años.
16.3.
Número de ponencias y/o conferencias que presentó el
personal académico del departamento en foros internacionales en los
últimos tres años.
Elementos
cualitativos:
17.1.
Valoración en términos de eficiencia para el otorgamiento
de recursos de apoyo para la participación académica en eventos
científicos.
Identificación:
Valoración
del nivel de eficiencia en la gestión para la obtención de apoyos
otorgados al personal académico para su participación en eventos
científicos.
Estándar
deseable:
Calificación
de la gestión como eficiente para la obtención de recursos de
apoyo a la participación de académicos en eventos científicos.
Criterio:
Suficiencia
Indicador
18: Suficiencia de apoyos otorgados para la participación de académicos
en eventos científicos.
Descripción:
Valoración de la suficiencia en términos financieros de los apoyos
otorgados al personal académico para su participación en eventos
científicos.
Variables
que participan:
7.1.
Número de colaboradores académicos del departamento.
16.1.
Número de ponencias y/o conferencias que presentó el
personal académico del departamento en foros locales o regionales
en los últimos tres años.
16.2.
Número de ponencias y/o conferencias que presentó el
personal académico del departamento en foros nacionales en los últimos
tres años.
16.3.
Número de ponencias y/o conferencias que presentó el
personal académico del departamento en foros internacionales en los
últimos tres años.
Elementos
cualitativos:
18.1.
Valoración en términos de suficiencia financiera respecto
al apoyo otorgado para la participación de académicos en eventos
científicos
Identificación:
Valoración
del nivel de suficiencia en la obtención de apoyos financieros
otorgados al personal académico para su participación en eventos
científicos.
Estándar
deseable:
Calificación
del financiamiento como suficiente para apoyar la participación de
académicos en eventos científicos.
Criterio:
Actualización
Indicador
19: Suscripciones vigentes a revistas científicas
Descripción:
Se refiere al total de revistas científicas vigentes a las que se
encuentra suscrito el departamento, como parte del servicio de
actualización de conocimientos del campo disciplinar en los ámbitos
nacional e internacional.
Variables
que participan:
19.1.
Número total de suscripciones a revistas periódicas que
tiene vigentes el departamento
19.2.
Número de suscripciones vigentes a nivel nacional
19.3.
Número de suscripciones vigentes a nivel internacional
Identificación:
Vigencia
en la suscripción del departamento con revistas científicas por su
origen nacional e internacional.
Estándar
deseable:
Suscripción
al menos de una revista científica de origen nacional y dos
internacionales por departamento.
AREA: Docencia
Criterio: Efectividad
Indicador
20: Programas docentes exitosos
Descripción:
Se referirá esta información a la proporción de los planes de
estudio que ofrece el departamento y que cuenten por lo menos con
una de las siguientes características
ü
Alta
demanda (número
superior en más del 3% de aspirantes rechazados en solicitudes de
ingreso, con relación a la capacidad instalada)
ü
Reconocimiento
de instancias oficiales como programa de calidad comprobable
ü
Proporción
adecuada de titulados respecto a egresados, según la normatividad
existente en cada programa docente.
ü
Proporción
adecuada de egresados trabajando en el área de formación, según
la normatividad existente en cada programa docente.
Variables
que participan:
20.1.
Número de programas académicos formativos que ofrece el
departamento.
20.2.
Niveles académicos que atiende el departamento.
20.3.
Número de programas que tienen al menos una de las características
señaladas.
Identificación:
Número
de programas docentes considerados exitosos
Estándar
deseable:
Ofrecer
al menos un programa docente exitoso por departamento.
Indicador
21: Elaboración de material didáctico
Descripción:
Es la diversidad y cantidad de material didáctico diseñado y
elaborado por los académicos del departamento.
Variables
que participan:
7.1.
Número de colaboradores académicos del departamento.
21.1.
Número
total de materiales didácticos elaborados por académicos del
departamento
21.2.
Clasificación
del material didáctico que se elaboró en el departamento durante 3
años.
Identificación:
Proporción
anual de materiales didácticos elaborados por el departamento.
Estándar
deseable:
Elaboración
anual de al menos dos materiales didácticos de cualquier tipo, por
académico.
Criterio:
Eficacia
Indicador
22: Tesis dirigidas por nivel
Descripción:
Será
la proporción de tesis dirigidas por el personal académico del
departamento según los niveles de estudios que estuviesen
atendiendo.
Variables
que participan:
7.1.
Número de colaboradores académicos del departamento.
22.1.
Número total de tesis dirigidas por académicos del
departamento en los últimos tres años.
Identificación:
Proporción
anual de tesis dirigidas por el personal académico del departamento
y concluidas en los últimos tres años.
Estándar
deseable:
Al
menos una tesis dirigida anualmente por cada uno de los integrantes
del personal académico del departamento.
Criterio:
Suficiencia
Indicador
23: Acervo bibliográfico suficiente
Descripción:
Se trata de indagar si el personal académico cuenta con el
suficiente acervo bibliográfico que necesita para realizar sus
actividades de investigación y docencia.
Variables
que participan:
27.1.
Número total de títulos que ofrece el departamento a sus
académicos en su centro de información o biblioteca.
Elementos
cualitativos:
23.1.
Valoración de la suficiencia del acervo bibliográfico del
departamento.
Identificación:
Nivel
de suficiencia del acervo bibliográfico del departamento para la
realización de actividades de investigación y docencia.
Estándar
deseable:
Obtener
el nivel de “suficiente” en la valoración del acervo bibliográfico
del departamento para la realización de actividades de investigación
y docencia.
Criterio:
Actualización
Indicador
24: Asistencia a cursos de actualización docente (pedagógica y didáctica)
Descripción:
Cantidad promedio de cursos de actualización pedagógica a los que
anualmente asiste el personal académico del departamento.
Variables
que participan:
7.1.
Número de colaboradores académicos del departamento.
24.1.
Número total de cursos de actualización pedagógica que
tomaron los académicos del departamento en los últimos tres años
24.2.
Títulos de los cursos de actualización pedagógica que
tomaron los académicos del departamento en los últimos tres años.
Identificación:
Promedio
anual de cursos de actualización pedagógica que tomaron los académicos
del departamento.
Estándar
deseable:
Al
menos la asistencia a un curso anual de actualización pedagógica
por académico.
Indicador
25: Asistencia a cursos de actualización disciplinar
Descripción:
Cantidad promedio de cursos de actualización disciplinar a los que
asiste el personal académico durante un año.
Variables
que participan:
7.1.
Número de colaboradores académicos del departamento.
25.1.
Número total de cursos de actualización disciplinar que
tomaron los académicos del departamento en los últimos tres años.
25.2.
Títulos de los cursos de actualización que tomaron los académicos
del departamento en los últimos tres años.
Identificación:
Promedio
anual de cursos de actualización disciplinar que tomaron los académicos
del departamento.
Estándar
deseable:
Al
menos la asistencia a un curso anual de actualización disciplinar
por académico.
Indicador
26: Diseños o actualizaciones de planes y programas docentes
Descripción:
Proporción de planes y programas de estudio que ofrece el
departamento, diseñados o actualizados durante el último trienio.
Variables
que participan:
7.1.
Número de colaboradores académicos del departamento.
26.1.
Número de planes de estudio y programas del departamento que
fueron diseñados o modificados por el departamento en el último
trienio.
Identificación:
Proporción
anual de diseños y actualizaciones de planes de estudio
Estándar
deseable:
Al
menos una acción de diseño o actualización de un plan o programa
de estudios por académico anualmente
Indicador
27: Acervo bibliográfico actualizado
Descripción:
Se trata de indagar si el personal académico cuenta en términos de
actualidad con el acervo bibliográfico que necesita para realizar
sus actividades de investigación y docencia.
Variables
que participan:
27.1.
Número total de títulos que ofrece el departamento a sus
académicos en su centro de información o biblioteca.
Elementos
cualitativos:
27.2.
Valoración del acervo bibliográfico del departamento en
cuanto a su obsolescencia o actualidad.
Identificación:
Nivel
de actualidad del acervo bibliográfico del departamento para la
realización de actividades de investigación y docencia.
Estándar
deseable:
Juicio
de “actualizado” en la valoración del acervo bibliográfico del
departamento
Es importante mencionar que la mayoría de los indicadores propuestos en
este sistema de valoración de la productividad académica ya
existen, aunque es una práctica común presentar los datos de
manera individual, no como sistemas o conjuntos integradores. Por lo
que al extraer aquellos datos para ser analizados de manera
integrada y comparativa, la interpretación en conjunto cobra
sentido y coherencia proporcionando una panorámica distinta.
A cada uno de los indicadores incluidos se le dio un tratamiento que
consistió en la revisión, análisis, replanteamiento, pertinencia,
prueba de sensibilidad, incorporación de su estándar normativo, y
por último, su aplicación, como se explica a continuación:
La
revisión
se basó en un reconocimiento de criterios e indicadores que se han
utilizado en otros programas o proyectos relacionados con la
producción de los académicos, en sus diversas dimensiones de
evaluación, tal es el caso de ANUIES, SNI, UdeG y CONACYT, en México,
mencionados en párrafos anteriores; así como el Proyecto Nadeau
(Proyecto de Validación Institucional e Internacional sobre
Criterios e Indicadores de Calidad en la Educación Superior, que
consiste en la continuación del proyecto pan-canadiense iniciado y
dirigido por Nadeau en 1993, que implicó a 80 universidades
canadienses y 250 colegios comunitarios de ese país, permitiendo la
identificación de 111 criterios generales y 1447 indicadores de
calidad y excelencia para estudiantes, profesores, administradores,
programas de estudio, servicios institucionales internos y del
contexto institucional externo).
El
análisis
se fundamentó en determinar cuáles de esos indicadores podrían
incluirse o descartarse principalmente por la claridad, viabilidad,
confiabilidad y validez de cada indicador.
El
replanteamiento y la pertinencia estribaron en ir acotando
los indicadores en consideración a su pertinencia y
significatividad.
Con el listado preliminar de indicadores se realizó una prueba
de sensibilidad que consistió en presentar en su conjunto los
indicadores a tres académicos con experiencia en las áreas de
investigación, extensión y docencia, que pudiesen responder de
manera rápida, confiable y sincera sobre la congruencia de dichos
indicadores, en el sentido de indagar si la productividad académica
departamental podría ser valorada a través de los indicadores
propuestos para tal efecto.
En cuanto a la incorporación de
su estándar normativo, se refiere a la descripción del estándar
que ayuda al reconocimiento de que la expresión fáctica de los
indicadores será considerada como la correcta, completa o
tendencialmente satisfactoria para cada uno de ellos (Coronado,
1999, p. 8).
Dicha incorporación es el resultado de un análisis basado en diversos
cuestionamientos que se hicieron como parte de este trabajo a un
grupo de investigadores de la propia Universidad de Guadalajara con
experiencias similares en la producción académica y a partir de ahí
se establecieron los mínimos para cada variable. Los estándares
incorporados fueron aceptados por los académicos entrevistados, ya
que los consideraron como requerimientos mínimos para el desempeño
de las actividades de cada área.
Después de pasar la prueba de sensibilidad, los indicadores fueron aplicados, integrando documentos como
informes de actividades de cada departamento; informes de
actividades presentadas por los rectores de los respectivos centros
universitarios; listados del personal académico adscritos a cada
departamento; líneas y proyectos de investigación; oferta de
cursos; organigramas departamentales; documentos de información
general, como folletos o páginas electrónicas de cada
departamento, listados del personal promocionado por la UdeG y la página
web de la propia universidad.
Como actividad previa al trabajo de campo se elaboró una guía de
cuestionario dirigido a los jefes de los tres departamentos que
conforman este estudio y cuya información complementó el análisis
de los datos cualitativos considerados importantes sobre aspectos
que no fueron encontrados documentalmente.
Para sistematizar esta información se utilizó el análisis intra e
interdepartamental, esto significa que se establecieron
comparaciones al interior de cada departamento y después entre los
departamentos.
Resultados
Caracterización Departamental
Se realizó un primer acercamiento comparativo (Caracterización
Departamental) que permitió conocer con mayor precisión los
aspectos académicos (descriptores) más relevantes de cada uno de
los departamentos.
Dichos descriptores fueron:
Ÿ
Planta académica = número de integrantes de la planta
académica incluidos los investigadores y técnicos académicos en
sus categorías de titulares, asociados y asistentes.
Ÿ
Grado Académico Promedio (GAP) = se refiere al nivel
de estudios terminados del personal académico en promedio por
departamento.
Ÿ
Miembros del Sistema Nacional de Investigadores = número
de investigadores pertenecientes al SNI
Ÿ
Promedio de promoción académica = número de niveles
ascendidos del personal académico en el Programa de Estímulos Académicos
(PROESA) y en el Programa de Actualización Académica (PROACTUAL),
en promedio por departamento.
Ÿ
Personal que obtiene estímulos en los programas académicos
de la UdeG = número de académicos que obtienen estímulos económicos
del Programa de Retención y Estímulos a Grupos de Liderazgo Académico
(PRYEGLA), del programa de estímulos a docentes y del programa de
estímulos a la productividad académica.
Ÿ
Grupos de Liderazgo = número de grupos pertenecientes
al Programa de Retención y Estímulos a Grupos de Liderazgo Académico
(PRYEGLA) adscritos al departamento
Ÿ
Proyectos de investigación realizados entre 1997 y
1999
Ÿ
Estructura organizativa departamental = unidades,
coordinaciones o laboratorios que forman el departamento. Así como
la interacción entre dichas coordinaciones.
Ÿ
Programas docentes que se ofrecen = en los distintos
niveles de licenciatura, maestría y doctorado.
Ÿ
Actividades de difusión = son eventos que se ofrecen
periódicamente por parte del departamento.
Según los resultados de la caracterización
departamental, los tres departamentos:
Cuentan con académicos miembros del Sistema Nacional
de Investigadores; participan en programas de promoción académica;
participan en el Programa de Grupos de Liderazgo Académico; la
proporción del personal académico que se beneficia con los
programas de estímulos implementados por la propia universidad en
estos tres departamentos rebasó el 35%, dato cercano que coincide
con la política de distribución en el ámbito nacional de estímulos
que establece un 30% de beneficiados en las instituciones
educativas.
Desarrollan proyectos de investigación individuales y colectivos; la
estructura organizativa obedece a la propuesta de modelo
departamental implementada para la Red, ya que la figura máxima de
toma de decisiones al interior de un departamento es el Colegio
Departamental, presidida por el jefe de cada departamento y la
existencia de unidades, coordinaciones, laboratorios o academias.
En cuanto a sus actividades de difusión y/o extensión los tres
departamentos reportan llevar a cabo periódicamente ciertos
eventos, como son los seminarios en el ámbito internacional y
actividades de apoyo técnico de carácter permanente en el ámbito
local y regional.
Planta Académica es el dato utilizado para integrar los resultados de la
producción proporcional del personal académico en cada
departamento
Aplicación del Sistema de Indicadores
En
la Gráfica 1 se puede observar comparativamente la valoración
realizada a los tres departamentos por áreas y con respecto a los
estándares mínimos establecidos.
Gráfica
1
Valoración
comparativa de las áreas analizadas en los tres departamentos
Departamento A
En
términos generales el Departamento A llegó casi a los estándares
mínimos establecidos en este estudio para poder detectar su nivel
de productividad académica, pues sumando los resultados finales
integrados en cada área, obtuvo un total de 228 puntos, cuyo
promedio corresponde al 93.82% respecto al promedio general de 243
puntos.
La
investigación constituye el área fuerte del departamento, ya que
de sus once indicadores, cuatro rebasan los estándares, cuatro más
están en el nivel de los estándares y sólo tres indicadores se
ubican por debajo de los estándares mínimos establecidos.
En
la extensión, de sus ocho indicadores, dos rebasan los estándares,
uno está en el nivel de los estándares y cinco se ubican por
debajo de los estándares mínimos establecidos para esta área.
Con
respecto a la docencia, de sus ocho indicadores, uno rebasa el estándar,
tres están en el nivel y cuatro se ubican por debajo de los estándares
mínimos establecidos para el área de docencia.
Departamento
B
La
productividad académica del Departamento B se puede medir en un
88.88% considerando los estándares establecidos en este estudio, ya
que la suma de los resultados finales que integran cada área fue de
216 puntos, respecto al promedio general de 243 puntos.
De
las tres áreas analizadas, la investigación constituye según los
resultados de este estudio el área mayormente fortalecida, ya que
de sus once indicadores, dos rebasaron los estándares, cinco más
se encuentran en el nivel mínimo de los estándares y cuatro
indicadores se ubican por debajo de los estándares mínimos
establecidos.
La
prioridad otorgada a la investigación se relaciona con la información
proveniente de la Caracterización Departamental, en la que se
establece que el Departamento B cuenta con una planta académica
cuyo Grado Académico Promedio es de Pasantes de Maestría, de los
cuales el 17% son miembros del Sistema Nacional de Investigadores.
El
posicionamiento de los indicadores de las áreas de extensión y
docencia, se ubican de manera similar ya que de los ocho indicadores
que conforman cada una de estas áreas, uno rebasó el estándar,
uno se encuentra en el nivel mínimo de los estándares y seis
indicadores se sitúan por debajo de los estándares mínimos
establecidos, en cada una de ellas.
Departamento
C
El
Departamento C demuestra su liderazgo en las actividades de
investigación rebasando por dos puntos el mínimo establecido en
los estándares que conforman esa área en este estudio. Pero
sumando los resultados finales integrados por cada área, obtuvo un
total de 175 puntos, cuyo promedio corresponde al 72.01% respecto al
promedio general de 243 puntos.
La
investigación constituye el área fuerte del departamento, ya que
de sus once indicadores, seis rebasaron los estándares
establecidos, tres se sitúan en el nivel mínimo y solamente dos
indicadores se ubicaron por debajo de los estándares mínimos
planteados. Esta prioridad otorgada a la investigación se relaciona
con la información proveniente de la Caracterización Departamental
en la que se establece que el Departamento C cuenta con una planta
académica cuyo Grado Académico Promedio es de Pasantes de Maestría,
de los cuales el 6% son miembros del Sistema Nacional de
Investigadores.
El
posicionamiento de los indicadores de las áreas de extensión y
docencia, se ubican de manera similar ya que de los ocho indicadores
que conforman cada una de estas áreas, ninguno rebasó el estándar,
solamente uno se encuentra en el nivel mínimo de los estándares y
siete indicadores se sitúan por debajo de los estándares mínimos
planteados, en cada una de ellas.
Para
el caso de la docencia, este departamento en comparación con los
otros dos, contó con el porcentaje más alto de académicos que
reciben estímulos al desempeño docente 23%, lo que podría
significar que los niveles correspondientes a esta área deberían
ser más altos.
Integración
de resultados por áreas y criterios
Efectividad
en la investigación
Medir el interés de la sociedad por la investigación
realizada en el departamento es un proceso bastante complejo, pero
al realizar el cruce de indicadores resulta interesante detectar la
congruencia entre los mismos. Los tres departamentos demuestran la
existencia de convenios con otros organismos, comprueban que se
emitieron notas laudatorias por parte de la comunidad, o por parte
de organismos públicos o privados, nacionales y extranjeros.
La autovaloración expresada por los
jefes de departamento les concede niveles importantes de significación
a las investigaciones y las contribuciones que de ellas se derivan,
en los ámbitos regionales, nacionales e internacionales.
Además, la existencia de distinciones otorgadas a la
investigación por organismos externos a la propia universidad en
los tres departamentos es un elemento importante de congruencia con
la efectividad de la investigación a nivel departamental.
Por esto con los resultados obtenidos de los
indicadores en esta área, queda demostrado que la investigación en
los tres departamentos analizados puede considerarse efectiva.
Eficacia de la investigación
Los ejercicios de evaluación interna de actividades de
investigación realizados por lo menos una vez anualmente se asocian
con el desarrollo de trabajos de investigación en equipo, ya que
dos departamentos manifestaron realizar dichos ejercicios
evaluativos, y los tres departamentos cuentan con equipos de
investigación. Por lo que se puede afirmar que sí son eficaces las
investigaciones que se llevan a cabo en los departamentos
analizados.
Eficiencia de la investigación
Los tres departamentos manifestaron que cuentan con
equipo de cómputo y espacios físicos adecuados para realizar las
labores académicas. Aunque por otro lado, también coincidieron los
tres departamentos en considerar deficiente el nivel de gestión
para obtener recursos financieros de apoyo a la investigación.
Con base en lo anterior, se puede entonces afirmar que
la eficiencia de la investigación se relaciona con el aspecto de la
obtención de recursos financieros, en cuanto a la gestión de los
mismos.
Suficiencia de la investigación
El promedio de apoyos tanto internos como externos para
los proyectos de investigación fue considerado insuficiente en dos
departamentos. Este tipo de apoyo financiero cubre los
requerimientos básicos, como son sustancias y materiales, en
ocasiones se considera el pago de honorarios para asistentes,
adquisición de bibliografía, y pagos de viáticos en los casos en
que se necesita salir de la ciudad o del país con fines de
investigación.
De acuerdo con los resultados obtenidos para este
criterio, se puede establecer la correlación entre insuficiencia de
espacios para la realización de las actividades académicas y la
insuficiencia de financiamiento para los proyectos, aunque los tres
departamentos cuentan con suficiente equipo de cómputo. Por lo que
se puede afirmar que no es suficiente la capacidad de recursos
disponibles para la investigación en los departamentos analizados.
En resumen, el área de la investigación
según la evaluación realizada e integrando los resultados de los
tres departamentos es efectiva y eficaz lo que puede considerarse
como los puntos fuertes dentro del área; y los puntos débiles son
la deficiencia, así como la insuficiencia de recursos financieros
de apoyo a la investigación.
Eficacia en la Extensión
La membresía a sociedades y asociaciones científicas
vinculadas al campo disciplinar implica la presencia del
departamento mediante su personal académico en la presentación de
resultados de trabajos de investigación principalmente. Uno de los
departamentos analizados demuestra tener vinculación al campo
disciplinar por pertenecer a diversas asociaciones de su competencia
profesional.
En cuanto al desarrollo de actividades editoriales que
podría ser la elaboración de artículos de difusión científica,
artículos de divulgación científica, o manuales, reportes técnicos
o ensayos producidos por los académicos del departamento, solamente
uno de estos tres departamentos alcanzó el estándar propuesto.
En lo referente a la elaboración de capítulos ninguno
de los tres alcanzó el estándar. La producción especializada de
libros en cambio, sí rebasó el estándar en dos departamentos. La
presentación anual de ponencias y/o conferencias por parte de los
académicos en eventos especializados de análisis o difusión científica
fue apenas alcanzada por un departamento (que coincidentemente es el
que tiene mayor número de miembros inscritos a sociedades científicas),
los otros dos quedaron muy por debajo del estándar.
La correlación entre estos indicadores permite lanzar
la afirmación de que la extensión en los tres departamentos no es
eficaz.
Eficiencia en la extensión
Solamente uno de los departamentos valora como
eficiente el otorgamiento de recursos para la participación de académicos
en eventos especializados, se
puede afirmar que no hay eficiencia en la extensión de los
departamentos analizados.
Suficiencia en la extensión
Se consideró aquí la capacidad para cubrir las
necesidades de insumos financieros planteados para la realización
de actividades propias de la extensión. Desafortunadamente los tres
departamentos coincidieron en considerar que es insuficiente el
apoyo que se otorga a sus académicos para que puedan participar en
eventos científicos.
Actualización en la extensión
Aún cuando uno de los departamentos cuenta con
suscripciones a revistas científicas nacionales e internacionales,
no se puede afirmar en términos generales que exista
actualización en la extensión de los departamentos.
En resumen, se interpreta que el área de la extensión
según la evaluación realizada e integrando los resultados de los
tres departamentos no es eficaz, no es eficiente, no es suficiente y
no cuenta con los elementos de actualización requeridos.
Efectividad en la docencia
A nivel departamental cobra relevancia ofrecer al menos
un programa docente exitoso y en los resultados obtenidos de este análisis
dos departamentos cumplieron con el estándar deseable, el tercer
departamento tiene planeado ofrecer en el corto plazo un programa de
posgrado.
Otro factor importante para detectar la efectividad en
la docencia lo constituye la elaboración de materiales didácticos
y las proporciones que resultaron de este análisis no llegaron ni
al 0.10 cuando se estableció que al menos dicha proporción fuese
de 1 material didáctico elaborado por cada académico del
departamento.
Es difícil interpretar que por el sólo hecho de
contar con programas docentes exitosos se considere efectiva la
docencia cuando resultó nula la elaboración de materiales didácticos.
Eficacia en la docencia
Aunque sólo se considera un indicador para establecer
cierta relación de eficacia en la docencia, los tres departamentos
que se incluyeron en este estudio obtuvieron un resultado muy por
debajo del estándar en la dirección de tesis.
Actualización en la Docencia
El personal académico no reporta en sus informes la
asistencia mínima esperada a un curso disciplinar y a un curso de
actualización docente (pedagógica y didáctica) por año en
ninguno de los tres departamentos. Las proporciones resultantes
apenas si llegan en uno de los casos al 0.57 en los cursos de
actualización disciplinar.
La preparación y actualización de nuestros profesores
en cuestiones pedagógicas y didácticas no rebasó siquiera el
0.10, proporción bastante baja.
En cuanto a la actualización de planes y programas
docentes sólo un departamento logró apenas llegar al estándar mínimo
de una acción de este tipo.
Y en lo que se refiere al acervo bibliográfico que
necesitan o requieren para realizar sus actividades de investigación
y docencia se consideró que sí esta actualizado en los tres
departamentos.
Considerando que el personal no se actualiza en el ámbito
disciplinar ni pedagógico, y que no actualizaron los planes de
estudios se interpreta que no hay actualización en la docencia de
estos tres departamentos aún cuando cuentan con el acervo bibliográfico
actualizado.
Suficiencia en la docencia
Aun cuando el acervo fue considerado como actual por
los tres departamentos, sólo se valoró como suficiente en uno de
ellos, precisamente el que cuenta con su propio centro de
documentación, por lo que se interpreta que es insuficiente el
apoyo a la docencia en este sentido.
En resumen, se interpreta que el área de la docencia
según la evaluación realizada e integrando los resultados de los
tres departamentos no es efectiva, no es eficaz, no hay actualización
en los docentes, no hay suficiencia de apoyos para la docencia.
Conclusiones
Mediante la aplicación del sistema integrado de indicadores que se
propone en este trabajo de evaluación se confirma la posibilidad de
valorar así como de establecer comparaciones valorativas de
productividad de significación relevante a nivel departamental en
una institución de educación superior.
Se confirmó también el hecho de que si los datos obtenidos en cualquier
evaluación son vistos aisladamente, su valor no se aprecia con toda
claridad, pero al correlacionarlos y analizarlos de manera
entrelazada nos permite establecer comparaciones y dimensionar la
información resultante desde una panorámica distinta.
Haber demostrado la posibilidad de una evaluación con la modalidad
integral resulta relevante en tanto se considera que las
universidades podrán seguir impulsando y fortaleciendo los procesos
de evaluación internos con un enfoque distinto al que prevalece en
algunas instituciones de educación superior, y mediante la detección
de los niveles de productividad académica prevalecientes, sería
posible conocer los elementos de las funciones sustantivas que
requieren ser fortalecidos para aumentar su calidad. Por lo que el
sistema puede emplearse para detectar áreas de oportunidad.
En el caso de esta evaluación la situación actual de la productividad
académica en los departamentos deja de ser sólo una presuposición
y se convierten en hechos verificables y analizables. Sirve este
modelo de evaluación comparativa para detectar la producción por
áreas y emitir juicios de valor respecto a la interacción de los
indicadores y sus variables por cada área y criterio considerado.
Se sugiere analizar más a fondo
la conceptualización que se tiene de la productividad académica de
tal forma que se considere como la integración de los resultados en
relación con las normas establecidas para tal efecto, normas que
por sí mismas implican la producción equilibrada de actividades de
las tres áreas que conforman las funciones sustantivas
universitarias: investigación, extensión y docencia.
Que las universidades logren
rebasar el concepto de evaluación en términos sólo de medición,
sanción o control de tal forma que en la práctica se proporcionen
elementos de mejora en la toma de decisiones, derivados de las
evaluaciones que se realizan al personal académico.
Se considera pertinente ahondar
la indagación respecto al impacto de los ejercicios de evaluación,
probar sistemas de indicadores, impulsar áreas detectadas como
deficitarias, incluir indicadores de mayor complejidad y hacer de
los indicadores guías de acción.
Se constató que los
instrumentos metodológicos utilizados resultaron adecuados para
lograr una aproximación a los resultados de la modernización
universitaria bajo el discurso de la excelencia académica, vista
desde el ángulo de la productividad de su personal académico.
Una característica importante
de los indicadores que se proponen es que por sí mismos integran
diversas variables que conforman un aspecto importante de la
productividad académica, por lo que se puede partir de cada uno de
ellos para realizar estudios posteriores más específicos. Cada
indicador nos da una ramificación de posibilidades para realizar análisis
más profundos. Lo que significa que si se tiene un interés
particular por ampliar la información de algunos indicadores, es
posible convertirlos en nuevos ámbitos de la evaluación, sin
olvidar la consideración de la viabilidad de acceso informativo
como un aspecto que bien puede ser un obstáculo de particular
relevancia.
Bibliografía
Casillas
Muñoz, Ma. de Lourdes (1995).
Los procesos de Planeación y Evaluación. Temas de hoy en la
Educación Superior. No. 10. México: ANUIES.
Consejo
Nacional para la Ciencia y la Tecnología (1999). Formato para el
ingreso de programas docentes al Padrón de Excelencia de CONACYT. México.
Coordinación
Nacional para la Planeación de la Educación Superior (1990).
"Manual para la Planeación de la Educación Superior". México:
SEP-ANUIES. 193-211
Coronado
Ramírez, Gerardo (1999). Los
Indicadores como Guías para la Gestión Administrativa en las
Instituciones Educativas. Mimeo. Abril de 1999. México.
Ibarra
Colado, Eduardo (1998a). "Prólogo: La Universidad y uno
mismo". En: Ibarra Colado, Eduardo (coordinador). La
Universidad ante el espejo de la Excelencia. México: Universidad
Autónoma Metropolitana. Unidad Iztapalapa. División de Ciencias
Sociales y Humanidades. Segunda Edición. (XXXVIII-LIII).
Ibarra
Colado, Eduardo (1998b)
“El nuevo Conacyt y la Evaluación. Rasgos de la política de
ciencia y tecnología (1988-1992)”. En: Ibarra Colado, Eduardo
(coordinador) La Universidad ante el espejo de la excelencia.
Enjuegos organizacionales. México: Universidad Autónoma
Metropolitana. Unidad Iztapalapa. División de Ciencias Sociales y
Humanidades. Segunda Edición. 349-392
Ibarra
Colado, Eduardo (1998c) “Los Hechos de la Modernización. Tesis básicas
y primeras acciones (1988-1992)”. En: Ibarra Colado, Eduardo
(coordinador) La Universidad ante el espejo de la excelencia.
Enjuegos organizacionales. México: Universidad Autónoma
Metropolitana. Unidad Iztapalapa. División de Ciencias Sociales y
Humanidades. Segunda Edición.393-443
Ibarra
Colado, Eduardo. (1999). “La universidad en México hoy:
ordenamiento institucional, profesionalización académica y
reinvención de subjetividades”. En: Rosario Muñoz, Víctor
Manuel (coordinador). La Universidad en México retos y
transformaciones. México: Universidad de Guadalajara. 29-56.
Joint Committee on Standards for Educational Evaluation.
(1981) Standards for evaluations of educational programs, projects,
and material. Nueva York: Mc Graw-Hill.
Llarena
de Thierry, Rocío (1992). "Impacto de la Planeación en el
Desarrollo de la Educación Superior". En: Fernández Alfredo y
Santini, Laura. Dos décadas de planeación de Educación Superior.
México: ANUIES. 53-99.
Martínez
Castro, María Estela (2001). Evaluación integral de la
productividad académica en tres departamentos de la Universidad de
Guadalajara. Tesis de Maestría en Educación. México: Universidad
del Valle de Atemajac.
Martínez
Castro, María Estela (1996). Memoria Histórica del Centro de
Estudios de la Información y la Comunicación CEIC/Departamento de
Estudios de la Comunicación Social DECS. 1986-1996. 40 páginas. Inédito
Martínez
Castro, María Estela (1996). Memoria de Investigación del
Departamento de Estudios de la Comunicación Social 1986-1996. 68 páginas.
Inédito
Martínez
Rizo, Felipe (1996). La Calidad de la Educación en Aguascalientes.
Diseño de un Sistema de Monitoreo México: Universidad Autónoma de
Aguascalientes. Instituto de Educación de Aguascalientes.
Martínez
Rizo, Felipe (1998). "La planeación y la evaluación de la
educación", en Latapí Sarre, Pablo (coordinador): Un siglo de
educación en México. Biblioteca Mexicana. (I). México: Fondo de
Cultura Económica.
Montaño
Hirose, Luis (1993)
“De la Metáfora al Poder”. En: Ibarra Colado, Eduardo
(coordinador) La Universidad ante el espejo de la excelencia.
Enjuegos organizacionales. México: Universidad Autónoma
Metropolitana. U. Iztapalapa. División de Ciencias Sociales y
Humanidades. 2-17
OECD,
Organisation for Economic Co-operation and Development (1993)
Education at a Glance. OECD Indicators. Paris: Centre for
Educational Research and Innovation.
OECD,
Organisation for Economic Co-operation and Development (1994) Making
Education Count. Developing and Using International Indicators. París:
Centre for Educational Research and Innovation.
Rodríguez
Romero, M. Mar (1999) Las comunidades discursivas y el cambio
educativo. Serie de Actualización Administrativa No. 12. PROCALDES.
Universidad de Guadalajara. México.
Ruiz,
José María (1999)
Cómo hacer una Evaluación de Centros Educativos. Tercera edición.
Narcea Ediciones. Madrid.
Scriven, Michael (1991). Evaluation thesaurus. Fourth
Edition. Sage Publications International Educational and
Professional Publisher.
SNI
(1999).
Reglamento del Sistema Nacional de Investigadores. Convocatoria de
promoción 1999.
Stufflebeam, Daniel L./ Shinkfield Anthony J. (1995). Evaluación
sistemática. Guía teórica y práctica. Temas de educación. 3a.
Reimpresión. Barcelona: Paidós/M.E.C.
Topete
Barrera, Carlos. (1997) Alternativas de cambio para el futuro
desarrollo de la Educación Superior a inicio del siglo XXI. Tesis
para obtener el grado de Doctor en Pedagogía. Universidad Nacional
Autónoma de México. México, D.F. (Mimeo)
Topete
Barrera, Carlos. (s/f). Indicadores y Estrategias para el
mejoramiento de la Calidad en la Educación Superior. Conferencia. México:
PROCALDES/Universidad de Guadalajara.
Zorrilla
Fierro, Margarita Ma. (1995). Valoración de Resultados de la
Formación Universitaria. Un Elemento de la Nueva Cultura de la
Evaluación en las IES. México: Universidad Autónoma de
Aguascalientes/Programa Interinstitucional de Investigaciones sobre
Educación Superior. Primera Edición.
:
Referencias electrónicas
ANUIES.
(1997) La Evaluación y Acreditación de la Educación Superior en México.
Revista de la Educación
Superior de la ANUIES. n. 101 ene-mzo, México. http://www.anuies.mx/anuies/revsup/index.html (Consultado en
abril de 2000)
Díaz
Barriga, Angel (1993) “La Evaluación Universitaria en el Contexto
del Pensamiento Neoliberal”. En: Revista de la Educación Superior
de la ANUIES No. 88. Octubre-Diciembre. México. http://www.anuies.mx/anuies/revsup/index.html (Consultado en
febrero de 2000)
Gago
Huguet, Antonio y Ricardo Mercado del Collado (1995) “La Evaluación
en la Educación Superior Mexicana”. En: Revista de la Educación
Superior de la ANUIES No. 96 Octubre-Diciembre. México. http://www.anuies.mx/anuies/revsup/index.html (Consultado en
abril de 2000)
Martínez
Rizo, Felipe. (s/f). "Es en verdad buena la eficiencia de su
institución? En busca de alternativas de evaluación, a propósito
de la propuesta de Alexander Astin". En: Revista de la Educación
Superior de la ANUIES, http://www.anuies.mx/anuies/revsup/index.html (Consultado en
enero de 2000)
Mejía
Montenegro, Jaime (1994). “La Evaluación Cualitativa de la
Educación Superior Mexicana, ¿una perspectiva aplazada?. En:
Revista de la Educación Superior de la ANUIES No. 89. Enero-Marzo.
México. http://www.anuies.mx/anuies/revsup/index.html (Consultado en
febrero de 2000)
Scriven, Michael (April 2000). Product Evaluation Checklist. En: The
Evaluation Center. http://www.wmich.edu/evalctr/checklists/productevaluation.htm (Consultado en mayo de 2000)
Scriven, Michael (s/f) Practical Program Evaluation. En:
http:// www.wmich.edu
(Consultado en mayo de 2000)
Scriven, Michael (June 2000). The Logic and Methodology of Checklists. En:
http://www.wmich.edu (Consultado en julio de 2000)
Scriven, Michael (July 2000). Key Evaluation Checklist (KEC). Primarily
for project/program/organization evaluation). En: http://www.wmich.edu
(Consultado en julio de 2000)
Stufflebeam,
Daniel L. (November 2000) “The Ten Commandments, Constitutional
Amendments, and Other Evaluation Checklists”. Conferencia presentada en Evaluation 2000. Annual Meeting of the American
Evaluation Association. Honolulu, Hawaii. November 4, 2000. Disponible en la dirección: www.wmich.edu/evalctr/checklists/checklistpaperAEA.pdf
(Consultado en diciembre de 2000)
Tomadas
de listados que valoran programas, como el Formato para ingreso
de programas docentes al Padrón de Excelencia de CONACYT y los
Indicadores y Estrategias para el mejoramiento de la Calidad en
la Educación Superior de Carlos Topete.
Este indicador existe en la Universidad de
Guadalajara desde 1998 en el proceso de Autoestudio que realizó
la misma institución de acuerdo a la siguiente fórmula: grado
obtenido por el personal académico, cada grado tiene un valor,
los valores obtenidos se suman y ese puntaje se promedia entre
el número de académicos del departamento. El resultado
corresponde a uno de los valores asignados a cada grado y en ese
nivel se ubica a cada departamento. Por ejemplo el grado 7
equivale a nivel de maestría o estudiantes de doctorado. Se
puede consultar en: Martínez, Estela (2001). P. 151
| 
format