INTRODUCCIÓN
El IES Francesc de B. Moll es un centro público de enseñanza secundaria, situado en Palma de Mallorca, en el que se cursan estudios de Formación Profesional. Desde el año 2001 estamos implantando un sistema de gestión de calidad en la formación profesional que integra el conocimiento pedagógico, especialmente los referentes al movimiento de mejora de la escuela, escuelas eficaces y escuelas que aprenden (Báez,1994; Escudero,2001; Fernández y González,1997; Muñoz-Repiso, 2000; Santos- Guerra, 2000; Senge,1992) con el modelo EFQM de excelencia para entornos educativos (SAREKA,2000) y la norma ISO 9000:2000 de aseguramiento de la calidad (ISO 9001:2000, Van den Berghe,1998).
Como
consecuencia del proceso de implantación del sistema de gestión de calidad, nos hemos
encontrado con muchos problemas que vamos resolviendo poco a poco, pero sin duda, los más
relevantes por su importancia en orientar nuestras actividades y para hacer posible la
toma de decisiones fundamentadas han sido: ¨ La concreción del concepto de calidad educativa, de forma que dejase de ser un concepto amplio y vago y en ocasiones tan solo válido para el mundo de la empresa (Colom,1988; De la Orden,1988; De la Orden,1997; Deming,1998; Escudero,2001; Varios,1981; Weinberg, 2000) , y se convirtiesen en una serie de características que podamos utilizar como criterios generales de orientación de nuestras actuaciones y de decisión sobre si el trabajo que realizamos es de mayor o menor calidad (Intxausti,2000). Esta problemática se abordó a través de un grupo de trabajo o mejora y se publicaron las conclusiones (Andrés,2003). No obstante, la necesidad de unos criterios generales que nos orienten se ha
de complementar con el segundo gran problema al que nos enfrentamos, la definición del
panel de indicadores de calidad, sobre todo si deseamos tener información que
retroalimente nuestros criterios de decisión y nos indique si vamos en el buen camino o
no. ¨ El establecimiento de los indicadores específicos que nos permitan establecer un enfoque preventivo y colaborativo de la gestión de la calidad, monitorizando y haciendo un seguimiento de las características de calidad establecidas para nuestro centro, desde una perspectiva global o integrada del funcionamiento de la institución. La revisión de la bibliografía sobre el tema nos aporta una enorme cantidad de información que se refiere básicamente a indicadores generales del sistema educativo que permiten la evaluación del conjunto de un sistema educativo, pero que son aplicables solo en parte a la autoevaluación y control de un sistema de calidad a nivel de centro educativo, o son estudios centrados en la evaluación un aspecto concreto del funcionamiento de un centro educativo, o son estudios centrados en un modelo de evaluación educativa diferente o son formulaciones muy poco concretas que admiten múltiples interpretaciones (GIL,1999; INCE, 2000; NCES,1991; Oakes,1989; Seyfried (1998); Arancibia, 2005 ;Van den Berghe,1997; Vargas, 2003; Yorke,1987;). Así pues, de la bibliografía pueden recogerse las orientaciones generales de los aspectos a seguir y algunos indicadores más o menos generales, pero no se contemplan todos los indicadores que se necesitan para la toma de decisiones en un centro educativo. Al mismo tiempo, no hemos identificado indicadores que nos permitan obtener información sobre la eficiencia de nuestro centro tratando de eliminar las causas externos o no controlables que influyen en los resultados finales (enfoque del valor añadido) En este artículo trataremos de desarrollar, desde una perspectiva práctica, la propuesta que hemos elaborado tras la revisión de la bibliografía y el análisis de los problemas prácticos a los que nos enfrentamos . Esta, pretende tanto un ejercicio de adaptación y síntesis de lo descrito en la bibliografía, como una cierta innovación respecto a los planteamientos habituales en los centros de secundaria, en una apuesta por buscar un sistema coherente de recogida de información para la toma de decisiones. Hemos tratado de tomar lo que nos ha parecido más útil y adaptable a la realidad de nuestro centro de la tradición pedagógica en evaluación educativa, de las virtudes de la gestión de procesos de la norma ISO, de las ventajas de la autoevaluación utilizando el marco integrador de un modelo de excelencia como EFQM, y hemos rellenado los huecos creando algunos indicadores o tasas. Todo ello, desde una fundamentación teórica integradora que contempla el paradigma de mejora de la escuela que integre el enfoque entrada-proceso–producto (Castejón,1993; Escudero,1997; Murillo,1999) y el enfoque de clima institucional y de relaciones institucionales internas (De Miguel,1989), tratando con ello de contextualizar el sistema ISO de gestión por procesos y los criterios de autoevaluación EFQM en un contexto educativo con finalidades diferenciadas con el mundo de la empresa. Tratamos en esta propuesta de utilizar las bondades de la ISO y el modelo EFQM concretando un sistema de recogida de información mediante indicadores orientado a la toma de decisiones para la mejora de la calidad en la escuela, considerando esta como un instrumento de anclaje en la realidad de los modelos de organización colaborativos, que nos aleje de los posibles peligros del discurso seductor de la calidad (Gairin, 2002). 2.- Funciones de los indicadores en la medición y control En nuestra opinión las
funciones que debe de cumplir el panel de indicadores de calidad en la formación
profesional son: 1.- Proveer información válida y específica sobre el desarrollo de los procesos y sobre los resultados obtenidos en un determinado centro. Estos indicadores dependen del sistema de gestión utilizado por cada centro. No obstante, deberían incluir de forma obligatoria los estandarizados para la comparación con otros centros en el ámbito autonómico, nacional, e internacional 2.-
Permitir el análisis y la emisión de juicios sobre parte o todo el sistema de gestión
de calidad. 3.-
Aportar información para el establecimiento de planes de mejora (Van den Berghe,1997) 4.-
Aportar información para valorar la evolución del funcionamiento del centro a lo largo
del tiempo (Van den Berghe,1997). 5.-
Proveer información comparable entre Centros a nivel Autonómico, Nacional e
Internacional. Esta función nos obligaría a disponer de una serie de indicadores, más o
menos generales normalizados o estandarizados para establecer estadísticas a nivel
general y para la comparación intercentros. 3.-
¿ Qué indicadores utilizamos?
La cantidad de información que genera la actividad de un centro de secundaria de tamaño intermedio es
enorme. Así pues, es necesario seleccionar o minimizar la información necesaria para la
autoevaluación y control del proceso de enseñanza/aprendizaje y del resto de los
procesos de apoyo del centro. Pero, ¿cómo establecemos esa selección para que la información recogida sea realmente útil para la toma de decisiones?. Hemos optado por utilizar las características de calidad y las funciones que han de cumplir los indicadores como heurísticos que nos permitan la selección (fig.1).
Fig. 1: Selección de indicadores
De acuerdo con nuestra metodología de análisis hemos distinguido dos grandes
tipos de indicadores de acuerdo con el área de sobre la que nos aportan información: 1. Indicadores del
proceso clave: enseñanza/aprendizaje. 2. Indicadores
sobre procesos de apoyo (indicadores de gestión y de los procesos complementarios o de
apoyo al proceso de E/A clásico). Por cuestiones de espacio, en
este artículo nos centraremos sobre el primer grupo. 4.-
Indicadores de calidad relativos a nuestro servicio clave: la E/A
El panel global de indicadores de nuestro sistema relativo a nuestro servicio clave
contempla indicadores de entrada, de proceso y
de resultados que nos permitirán valorar el grado de calidad de nuestro servicio.
4.1.- Indicadores desde una perspectiva clásica
del proceso de E/A
Tabla 1: Indicadores del proceso
E/A Esta organización de los
indicadores se ha establecido para acomodar el sistema a
una estructura lógica de recogida de información orientada a la toma de
decisiones y con la intención de aplicar el concepto de valoración de la eficacia en
función al valor añadido (Fernández y Galán, 1997) adaptada a la valoración
interna del centro. Como indicadores de
entrada/proceso/salida hemos seleccionado aquellos que nos han parecido más relevantes
para valorar los factores de entrada y salida relativos: 1. Al alumno
(asistencia, esfuerzo o motivación, capacidad o nivel de formación previas, rendimiento
de la formación) 2. A los profesores
(utilidad de los aprendizajes, esfuerzo de adaptación a impartir el máximo de contenidos
establecidos) 3. A la
satisfacción de los clientes (alumnos, empresas y sociedad) 4. A algunos
factores claves de la organización de gran relevancia para el buen funcionamiento del
proceso de E/A (tiempos y medios disponibles,
grado de planificación didáctica, información a los alumnos y/o familias y empresas,
clima en el aula, seguimiento de los órganos didácticos de la labor de los profesores)
que nos permitan ajustar los resultados a las posibilidades reales del centro. Creemos que con estos indicadores se
consigue una síntesis de los factores contemplados como importantes en diferentes
paradigmas de investigación educativa: paradigma mediacional centrado en el alumno,
paradigma mediacional mediado en el profesor y paradigma ecológico (Pérez Gómez,1985) y
por los movimientos de mejora de la escuela (Muñoz-Repiso, 2000). 4.2.- Indicadores de valor añadido o de
adaptación a los nuevos retos de la formación profesional. Adicionalmente, se definen una serie
de indicadores de valor añadido o mejora que nos permitirán valorar las necesidades de
mejora en determinados aspectos del servicio educativo en formación profesional que
indican nuestra adaptación a necesidades educativas que no estando reglamentadas
específicamente, se consideran como una tendencia hacia la mejora de la educación en la
FP al indicarnos nuestro grado de acomodación a
las necesidades educativas generales emergentes en los puestos de trabajo. Indicadores de mejora o valor añadido
en el Proceso de E/A: · Uso de nuevas tecnologías de la información (NTI) · Prevención de riesgos · Capacidad de trabajo en entornos con sistemas de
gestión de calidad · Capacidad de trabajo en entornos con sistemas de
protección medioambiental · Expectativa de trabajo al finalizar el ciclo
formativo · % en paro tras 1 año de finalizar los estudios 5.-
Definición de los indicadores clásicos del
proceso de enseñanza /aprendizaje
5.1.- Criterios para la definición de
los indicadores:
El establecimiento de los criterios que
hemos establecido para nuestros indicadores tiene como finalidad evitar la ambigüedad y
la aparición errores que se producen al usarlos para interpretar o analizar las
situaciones que pretenden describir. El error más importante es que en muchas ocasiones se producen interpretaciones
diferentes al analizar los mismos datos diferentes personas. Así pues,
para reducir la variabilidad en su interpretación y uso consideramos que han de cumplir
los siguientes criterios: 1.- Los indicadores usados han de estar bien
definidos, indicando claramente el significado o información que se pretende obtener
con su uso. Es decir, ha de indicarse que característica o variable se pretende
medir. 2.- Los indicadores han de ser específicos, es
decir, nos ha de permitir emitir un juicio de valor, en términos de mayor o menor
calidad, sobre una parte del sistema de gestión de calidad y solo sobre él. No ha de
presentar factores externos a nuestro sistema que influyan en su valor. En el caso
de tener que utilizar indicadores en los que influyan factores externos, estos han de
estar perfectamente caracterizados para que los juicios que emitamos contemplen esta
situación. Por
ejemplo: La tasa bruta de aprobados de un curso nos aporta información sobre el número
de alumnos/as que han superado los criterios de evaluación mínimos establecidos en ese
curso, pero no nos da información sobre la
mayor o menor calidad del profesorado, ni del alumnado, ni del proceso de enseñanza
aprendizaje en general de ese curso, pues hay factores o variables distintos a los
anteriores que inciden en él (como la no existencia de conocimientos previos o capacidad
cognitiva necesarias en el alumnado para adquirir las capacidades establecidas en el
tiempo estipulado, la no idoneidad de la capacitación del profesorado en esa área de
conocimiento concreta, una tasa alumnos/profesor inadecuada, la falta de recursos
materiales necesarios para adquirir las capacidades), etc. 3.- Los indicadores han de ser válidos. Para
nosotros un indicador es válido cuando inequívocamente correlaciona positivamente o
negativamente con la característica que queremos medir con él. Han de estar asociados a una
característica de calidad de forma inequívoca y explícita, de forma que aporten
información relevante e inequívoca. 4.- Los indicadores han de ser útiles o relevantes.
Los indicadores han de aportar información sobre los aspectos del sistema que pretendemos
caracterizar y han de estar dirigidos a valorar nuestros objetivos o criterios de calidad.
Adicionalmente,
serán indicadores útiles todos aquellos que se utilizan en el sistema general de evaluación del sistema
educativo en su conjunto, en el ámbito autonómico, nacional o internacional. 5.- Los indicadores han de ser precisos. En
nuestro sistema de gestión de calidad un indicador es preciso cuando siempre que lo
utilizamos para emitir un juicio nos aporta la misma información y nos conduce a las misma conclusiones
(repetitibilidad), con independencia de la persona que utilice el indicador. 6.- Los
indicadores han de tener perdurabilidad. Han de ser perdurables en el tiempo
para que puedan ser utilizados para observar su evolución a lo largo del tiempo. 7.- Los
indicadores han de ser viables. El
sistema de indicadores ha de poder obtenerse de forma efectiva con los recursos de que se
dispone. El costo de su obtención ha de ser asumible. 8.- Los indicadores han de ser comprensivos, es decir, el conjunto de
todo el panel de indicadores nos ha de proveer de información integral sobre todas las
partes del sistema de gestión de calidad. 5.2.- Indicadores clásicos del Proceso de
Enseñanza/ Aprendizaje: A.1.- Indicadores de Entrada:
Estos indicadores nos ofrecen información sobre algunas variables propias de los
alumnos/as necesarias para que el proceso de aprendizaje se pueda desarrollar con unas
mínimas posibilidades de éxito, así como algunas variables externas que tienen
importancia para el desarrollo del proceso de enseñanza/aprendizaje y que no son
directamente controlables por nuestra institución, aunque influyen en nuestros procesos y
resultados. La utilidad de estos indicadores está relacionada con la posibilidad de una
mejor interpretación causa-efecto de los resultados obtenidos en nuestra institución al
contemplar en el análisis todos los factores que influyen y no solo los factores
controlables por nuestra institución. 1.- Porcentaje de Asistencia del alumnado: Este indicador
está relacionado con el concepto oportunidad para el aprendizaje que correlaciona con el
rendimiento académico. Porcentaje de
asistencia de alumnado = nº de alumnos/as que no han faltado más del 20% de las
horas lectivas/ nº de alumnos/as x 100 Este indicador puede utilizarse también de forma individualizada. Porcentaje asistencia alumno: nº de horas
asistidas/ nº de horas del curso x 100
Los valores de este indicador oscilan entre 0 y 100. Los valores de calidad de este indicador se deben establecer mediante benchmarking dadas las diferencias en las características del alumnado en diferentes familias o módulos profesionales o en diferentes regímenes de escolarización (nocturno...): No obstante, en ausencia de datos más significativos podríamos considerar como un valor de calidad inicial puntuaciones de 85. Los datos de este indicador se
obtendrá de los registros de asistencia de los alumnos y de los listados de alumnos
matriculados. 2.- Esfuerzo y capacidad necesaria del alumno/a: Es un indicador cualitativo que se
valorará con un SI o un NO en la lista de alumnos conformes. Es un indicador de la calidad de la
educación en los niveles educativos previos al nivel en el que nos encontramos si es un
curso de entrada en nuestra institución o un indicador indirecto de la calidad del curso
anterior de nuestra institución. Podría ser usado para verificar la exactitud o validez
de nuestro sistema de gestión de calidad de los cursos ya realizados o pasados. Este indicador se obtendrá de los
informes del profesorado realizados en las sesiones de seguimiento previo a la evaluación
final del alumno/a. Este indicador nos sirve para definir
la conformidad del alumno/a junto con el
porcentaje de asistencia. Porcentaje conformidad de alumnos de un curso =
nº de alumnos con % asistencia ³ 80% horas lectivas y valorados SÍ en esfuerzo y capacidad/ nº alumnos del
curso. La conformidad del alumno nos permite
valorar la tasa de aprobados en función de las características del alumno y ajustar la
valoración de la eficacia y eficiencia de nuestro sistema a las variables dependientes
del sistema de calidad, excluyendo las externas. Así pues ajustando el nº de aprobados a
los alumnos conformes, en vez al nº total de alumnos (en la tasa neta de aprobados) se
obtiene una valoración mejor de la eficacia de nuestra institución.
Los datos para establecer la conformidad del alumno provienen de los indicadores
relacionados y de las listas de alumnos matriculados por curso. 3.- Conformidad del nº de alumnos: Se obtiene a
partir del informe de valoración del departamento didáctico al comienzo de cada curso
académico. Es un indicador de la calidad de la planificación general del sistema
educativo para un determinado ciclo formativo. Se
calcula mediante la siguiente fórmula: Tasa de conformidad del nº de alumnos = nº alumnos matriculados/nº máximo de alumnos estipulado en las especificaciones de cada curso de la oferta educativa. Sus valores oscilan entre 0 para
la ausencia total de alumnos matriculados hasta n. El valor de equivalencia es 1 (nº
matriculados = alumnos estipulados). Este indicador es una variable externa
a los centros educativos en la enseñanza pública, puesto que el número de alumnos/as
matriculados no depende de la gestión interna completamente, sino que son asignados de
por la Administración educativa de acuerdo a criterios de necesidad y no siempre se
permite matricular solo al número de alumnos estipulado como máximo de acuerdo a los
recursos disponibles. Nos permite obtener información sobre
la ratio alumno/profesor individualizada por módulos o materias, y puesto que esta
variable es importante la eficacia o
eficiencia en el porcentaje de contenidos impartidos, nos permite ajustar los resultados
institucionales en nuestra eficiencia para impartir los contenidos planificados
previamente. Se obtiene de los datos aportados en las especificaciones de los cursos y en las listas de alumnos matriculados por cursos. 4.- Tasa de los recursos materiales: Es un indicador de la calidad de
los DCBs y de la planificación general del sistema educativo para un determinado ciclo
formativo. Si se ha dispuesto de recursos suficientes en la Institución en los años
previos puede ser utilizado como indicador del funcionamiento o actividad de los
departamentos didácticos. Se obtiene a partir del informe de
valoración del departamento didáctico al comienzo de cada curso académico. Se calcula mediante la siguiente fórmula: Tasa de conformidad de recursos = recursos existentes/recursos necesarios Recursos necesarios = 100. Son los
definidos en la programación correspondiente aprobada por el departamento Recursos existentes = se le
asignará un valor entre 0 y 100 en función al porcentaje de temario que se puede
impartir con los recursos existentes al número de alumnos/as matriculados/as. Sus valores oscilan entre 0 para la
ausencia total de recursos hasta 1 para cuando hay todos los recursos necesarios. Este indicador es, normalmente, una
variable externa en la enseñanza pública pues los recursos no dependen de la gestión
interna y del porcentaje de inversión de beneficios de la institución, sino que son
asignados de por la Administración educativa de acuerdo a criterios de disponibilidad y
no siempre cubren las necesidades establecidas en la planificación del centro. Es un
indicador utilizado en el cálculo de la tasa de contenidos impartidos en cada curso. Nos permite obtener información sobre
la ratio recursos materiales/curso individualizada por módulos o materias y ajustar la valoración de la eficacia o eficiencia
del sistema en cuanto a la impartición de
los contenidos planificados previamente. Se obtiene de los datos aportados en las programaciones y en los inventarios de cada módulo/ciclo formativo. 5.- Tasa de profesores: Es un indicador de
entrada que nos permite valorar si existen los recursos humanos necesarios para impartir
adecuadamente el curso. Es un indicador de la calidad de los DCBs y de la planificación
general del sistema educativo para un determinado ciclo formativo. Es complementario con
el indicador “conformidad en el nº de alumnos”
Se calcula mediante la siguiente fórmula: tasa de
profesores = profesores disponibles/ profesores necesarios Los profesores necesarios se
obtiene de las especificaciones que realizan los departamentos didácticos
correspondientes teniendo en cuenta las características o idiosincrasia de las materias a
impartir (mas o menos relación teoría/práctica, tiempo de dedicación individualizada a
los alumnos, etc.). Sus valores oscilan entre 0 para la
ausencia total de profesores hasta 1 para cuando hay todos los profesores necesarios.
Es un indicador utilizado en el cálculo de la tasa de contenidos impartidos en
cada curso. Se obtiene de los datos aportados en las especificaciones de los cursos y de los registros de personal 6.- Tasa de tiempo: Es un indicador de entrada
que nos permite valorar si se dispone del tiempo necesario para impartir adecuadamente el
curso. Es un indicador de la calidad de los DCBs y de la planificación general del
sistema educativo.
Se calcula mediante la siguiente fórmula: tasa de tiempo
= nº de horas disponibles/ nº de horas necesarias para impartir los mínimos del los
DCBs. El nº de horas
necesarias se obtiene de las especificaciones que realizan los departamentos didácticos
correspondientes, teniendo en cuenta las características o idiosincrasia de las materias
a impartir (mas o menos relación teoría/práctica, tiempo de dedicación individualizada
a los alumnos, etc.). Los valores de calidad de este indicador se deben establecer mediante benchmarking dadas las diferencias en las características del alumnado y contenidos en las diferentes familias o módulos, no obstante, en ausencia de datos más significativos, se podría considerar como un valor de calidad inicial puntuaciones de 120, es decir el nº de horas disponibles deberías ser al menos un 20% mayor a las necesarias para impartir los mínimos, considerando que los contenidos mínimos en formación profesional suelen ser muy abultados. Se obtiene de los datos aportados en las especificaciones de los cursos. A.2.-
Indicadores de Salida o de Rendimiento:
7.- Porcentaje
de aprobados: Es un indicador de
rendimiento global del sistema educativo, pues su resultado
varia en función a un gran número de variables externas e internas a la
institución educativa
Se calcula mediante la siguiente fórmula: Porcentaje
de aprobados
= nº de alumnos con
calificación ³ 5 / nº de alumnos matriculados x 100
Los valores de este indicador oscilan entre 0 y 100.
Su interpretación debe circunscribirse a la valoración global del sistema ya que
no nos permite atribuir su incremento o descenso a la calidad del profesorado, o la del
alumnado, o la del procedimiento, o a la falta de recursos en los diferentes niveles del
sistema educativo, o a carencias o mala calidad en niveles inferiores del nivel educativo
en el que nos encontremos, etc.
No nos aporta una buena información sobre la eficiencia de nuestra institución,
con independencia de factores externos, por ello, además de este indicador conviene
utilizar un indicador de ajuste como la tasa neta de aprobados. Se obtiene de los datos aportados en la hoja de registro global del proceso de enseñanza aprendizaje. 8.- Tasa neta de aprobados: Es un indicador que
nos indica el rendimiento de los alumnos con la corrección necesaria para eliminar el
posible fracaso del proceso de enseñanza aprendizaje por falta de esfuerzo o capacidad
del alumnado. Por tanto, es un indicador más exacto de la labor docente y de la calidad
del proceso de E/A de nuestra institución. Su cálculo se realiza mediante la siguiente
fórmula: Tasa neta de alumnos aprobados = nº de alumnos/as aprobados/ nº de alumnos calificados positivamente en esfuerzo y capacidad y que han asistido al 80% de las horas lectivas Sus valores oscilan de 1 cuando
todos los alumnos que se han esforzado y tienen capacidad han aprobado a 0 cuando no ha
aprobado ningún alumno/a. Los valores de calidad se deben establecer mediante benchmarking, no obstante en ausencia de datos más significativos, se podría considerar como un valor de calidad inicial puntuaciones > 0,85 (85% de aprobados) Se obtiene de los datos aportados en la hoja de registro global del proceso de enseñanza aprendizaje. 9.- Porcentaje de contenidos impartidos: Es un indicador global
de resultados dependiente de la labor docente, de la tasa alumno/profesor existente en un
curso, de los recursos didácticos disponibles y de la cantidad de tiempo disponible.
Se calcula mediante la siguiente fórmula: Porcentaje
contenidos = contenidos impartidos/total contenidos programados x 100
Su valor oscila entre 0 y 100
Su interpretación debe circunscribirse a la valoración global del sistema
educativo, y no nos aporta una buena información sobre la eficiencia de nuestra
institución, con independencia de factores externos, por ello, además de este indicador
conviene utilizar un indicador de ajuste como la tasa neta de contenidos impartidos. Los valores de calidad se deben establecer mediante la tasa de contenidos Se obtiene de los datos aportados en las programaciones y de las memorias de final de
curso de cada módulo profesional. 10.- Tasa de contenidos impartidos: Es un
indicador que nos indica el rendimiento del proceso de E/A interno (alumnos/profesores), con la corrección necesaria para eliminar el
posible fracaso del proceso de enseñanza aprendizaje por falta de profesores suficientes
o exceso de alumnos, la falta de recursos materiales para realizar los contenidos en el
tiempo impartido o la falta de tiempo por fallos en los diseños curriculares base.
Se calcula mediante la siguiente fórmula: tasa de contenidos = 100 (totalidad de contenidos a impartir) x tasa de profesores x tasa de recursos x tasa de tiempo
Su valor oscila desde 100 cuando se disponen de todos los recursos y tiempo
necesarios a 0 si no se imparte ningún contenido.
Se debe de interpretar como los contenidos que se pueden desarrollar de forma real,
teniendo en cuenta la relación alumno/profesor, el tiempo disponible y los recursos del
sistema. Nos permite, por tanto, medir la eficiencia real del sistema en cuanto a
impartición de contenidos. El valor de este indicador definiría el objetivo mínimo del
% de contenidos impartidos. Se obtiene de los datos aportados en las memorias de final de curso y de los otros
indicadores 11.- Utilidad de los contenidos: Es un indicador que nos refleja la opinión de los alumnos/as y de
las empresas con la utilidad del currículum
impartidos en la institución. Sirve para
valorar el ajuste de la institución con las expectativas y necesidades de los alumnos, de
las empresas y de la sociedad. Se calcula mediante la siguiente
fórmula: utilidad de contenidos = å (puntuaciones de alumnos /nº de alumnos en
encuesta de FCT)+ å (puntuaciones de empresas / nº de empresas) en
encuesta a tutores de empresa Las puntuaciones oscilan entre 0 y 20 puntos. Los valores de calidad se deben establecer mediante benchmarking, no obstante en ausencia de datos más significativos, se podría considerar como un valor de calidad inicial puntuaciones ³ 12 Se obtiene de los datos aportados en la encuesta al profesor tutor de la empresa en el módulo de formación en centros de trabajo (FCT) y de la encuesta de los alumnos tras la FCT. 12.- Satisfacción de los alumnos/as: Es un
indicador que nos refleja la opinión de los
alumnos/as con la institución y el proceso de enseñanza. Sirve para valorar el ajuste de
la institución con las expectativas de los alumnos. Se calcula con
los resultados directos de la encuesta de alumnos al final del ciclo formativo
En su interpretación se ha de tener en cuenta que siendo ideal obtener una
puntuación máxima, dependiendo de que las expectativas del alumno coincidan más o menos
con las expectativas de empresas y sociedad, se pueden tener niveles altos de calidad con
valores entre 6-7 en una escala de 10, dada la necesidad de la institución de orientar su
actividad a satisfacer las necesidades de todos sus clientes a un tiempo, y los intereses
pueden ser no coincidentes. Posiblemente el sistema adecuado para establecer los niveles
de calidad de este indicador es el benchmarking. 13.- Satisfacción de las empresas: Es un
indicador que nos refleja la opinión de las
empresas con la actividad observada de nuestra institución y con la formación de sus
futuros trabajadores. Sirve para valorar el ajuste de la institución con las expectativas
de las empresas, sean estas las que sean. Se
calcula con los resultados directos de la encuesta del tutor de empresa al final de la FCT
En su interpretación se ha de tener en cuenta que siendo ideal obtener una
puntuación máxima, dependiendo de que las expectativas de la empresa coincidan más o
menos con las expectativas de alumnos/as y sociedad, se pueden tener niveles altos de
calidad con valores entre 6-7 en una escala de 10, dada la necesidad de la institución de
orientar su actividad a satisfacer las necesidades de todos sus clientes a un tiempo.
Posiblemente el sistema adecuado para establecer los niveles de calidad de este indicador
es el benchmarking. 14.- Satisfacción de la sociedad: Es un
indicador que nos permite valorar el grado de
ajuste de las expectativas de la sociedad en general con la actividad de nuestra
institución. Esta visión un tanto restringida de la sociedad se complementa con el grado
de satisfacción de las empresas para obtener una visión un poco más general de la satisfacción social con el centro. Se obtiene con los datos directos sobre el grado de cumplimiento de las prescripciones de los DCBs en las programaciones del centro, registradas en la hoja de registro global de seguimiento de las programaciones. Los Diseños Curriculares
base en nuestro sistema son mínimos y prescriptivos por tanto el nivel de consecución ha
de ser del 100%. A.3.-
Indicadores de variables del proceso E/A:
15.- Planificación = Porcentaje de programaciones entregadas en plazo y conformes
con las especificaciones: Es un indicador que nos permite valorar el grado de planificación del proceso de E/A en nuestra
institución. Se calcula mediante la siguiente
fórmula: Porcentaje de programaciones en plazo y conformes =
nº de programaciones en plazo y conformes entregadas/ nº de módulos de la oferta
educativa x 100 Los valores
oscilan entre 0 y 100. Los valores de calidad se deben establecer mediante benchmarking,
no obstante en ausencia de datos más significativos, se podría considerar como un valor de calidad inicial puntuaciones > 90. Se obtiene de los datos aportados en la hoja de registro del proceso de programación 16.- Grado de información a los clientes: Es un
indicador que nos permite valorar la
adecuación de la información aportada por nuestra
institución a nuestros clientes. Se calcula mediante la siguiente
fórmula: Grado de
información = (satisfacción de los alumnos con el material aportado + satisfacción de
la empresa con la comunicación con el tutor de empresa/2)x10 Los valores oscilan entre 0 y 100. Los valores de calidad se deben establecer mediante benchmarking, no obstante en ausencia de datos más significativos, se podría considerar un valor de calidad inicial puntuaciones > 65. Se obtiene de los datos aportados en las encuestas de alumnos y empresas tras la FCT. 17.- Clima en el proceso de E/A: Es un indicador que nos permite valorar la satisfacción de los
alumnos con la relación entre alumno-profesor y alumno-alumno durante el proceso de
enseñanza aprendizaje. Se calcula mediante la siguiente
fórmula: Clima en el
proceso de E/A= (media de la satisfacción de los alumnos con las relaciones
alumno-profesor + media de la satisfacción de los alumnos con las
relaciones alumno-alumno ) Las puntuaciones oscilan entre 0 y 20 puntos. Los valores de calidad se deben establecer mediante benchmarking, no obstante en ausencia de datos más significativos, se podría considerar un valor de calidad inicial puntuaciones ³ 12. Se obtiene de los datos aportados en la encuesta de los alumnos al final del
curso 18.- Seguimiento: Es un indicador que nos permite valorar el grado de seguimiento de
las actividades de E/A. Se calcula mediante la siguiente
fórmula: Seguimiento = nº
de evaluaciones de los alumnos + nº de reuniones de seguimiento de la programación Los valores de calidad se deben establecer mediante benchmarking, no obstante en ausencia de datos más significativos, se podría considerar como un valor de calidad inicial entre 6 y 9. Valores inferiores a 6 se consideran niveles malos resultados y valores superiores a 12 niveles excelentes. Estos valores se han de corregir en los módulos de los cursos con la FCT en el último trimestre Se obtiene de los datos aportados en la hoja de registro global del proceso de programación. 19.- Conformidad del profesorado: Es un
indicador compuesto para valorar la labor docente de forma individual o colectiva. La conformidad del profesorado
es un indicador cualitativo que se informará como Sí
cuando se cumplen al mismo tiempo los criterios de calidad establecidos por benchmarking.
No obstante en ausencia de estos se podían considerar criterios iniciales en un
determinado módulo los siguientes:
La tasa neta de aprobados ³ 80%. La satisfacción del alumno con el
curso ³ 6 El % individual de cumplimiento de la
programación es = tasa de contenidos La conformidad del conjunto del
profesorado de la institución se calcula: Porcentaje
de profesorado conforme= (nº profesores conformes/ nº total de profesores)
x100 20.- Porcentaje
de asistencia del profesorado: Es un
indicador que nos permite valorar la
oportunidad para el aprendizaje, desde una perspectiva grupal que se ha dado en nuestra
institución en un determinado módulo/curso.
Este indicador junto
con el % de asistencia de un alumno individual nos permite valorar la oportunidad de
aprendizaje de forma individualizada si es necesario.
Se calcula mediante la siguiente fórmula: Porcentaje
de asistencia profesorado = (Nº de días lectivos asistidos / Nº de días
lectivos del curso o periodo a considerar)x 100 Sus valores oscilan entre 0 y 100 Los valores de calidad se deben
establecer mediante benchmarking, no obstante en ausencia de datos más significativos, se
podría considerar como un valor de calidad inicial que
el % de asistencia el profesorado, incluyendo las horas de suplencias, sea >85% de las
horas lectivas.
Los datos se obtienen de las hojas de registro de asistencia del profesorado. 5.3.- Indicadores de valor añadido o de
adaptación a los nuevos retos de la formación profesional. 21.- Uso de las nuevas tecnologías de la
información (NTI): Es un indicador que nos permite valorar el grado de implantación
de las NTI en la oferta educativa del centro y por tanto del grado de adaptación de los
curricula a las nuevas necesidades de los puestos de trabajo y de la vida cotidiana.
Se calcula mediante la siguiente fórmula: Uso NTI= S(Nº ordenadores por aula / Nº
alumnos por aula)+ S((Nº de horas programadas en NTI por
módulo / Nº horas del módulo)/Nº de módulos) Este indicador
fluctúa en una escala del 0 al 2. Los rangos que indican
calidad se han de determinar para cada ciclo formativo, pues aunque una relación
adecuada en la ratio ordenadores/alumnos puede
ser entre 0,4-0,5. La calidad en el segundo apartado depende mucho de los contenidos y nº
de horas de los distintos módulos, y evidentemente no es lo mismo la relación ideal en
un ciclo formativo de administración y gestión que en uno de automoción y por tanto
deberían ser establecidos por benchmarking.
Los datos se obtienen de los inventarios, de los listados de alumnos, de las programaciones de aula y de las memorias de
fin de curso. 22.- Prevención de riesgos Es
un indicador que nos permite valorar el grado
de implantación de la promoción y capacitación para la prevención de riesgos y la
seguridad en el trabajo en la oferta educativa del centro y por tanto del grado de
adaptación de los curricula a las nuevas necesidades de los puestos de trabajo y de la
vida cotidiana.
Se calcula mediante la siguiente fórmula:
å( nº de
horas programadas de este tema/ nº horas módulo)/nº de módulos Este indicador fluctúa en una escala
del 0 al 1. Los rangos que indican calidad se
han de determinar para cada ciclo formativo, en función de la siniestralidad real y los
peligros potenciales en el puesto de trabajo. En la cuantificación de este
indicador es muy relevante el currículum oculto, pues en muchos módulos prácticos se
puede estar tratando este tema de forma implícita mientras se desarrollan otros y no
haber constancia de su programación. Convendría que en las programaciones de aula se explicite y se cuantifique este curriculum
oculto, con objeto de hacer más exacto el indicador. Posiblemente una ratio de 0,05 (
90h. en un ciclo de 1800 h.)podría ser un
objetivo inicial de calidad.
Los datos se obtienen de las de las programaciones de aula y memorias. 23.-
Capacidad de trabajo en entornos con sistemas de gestión de Gestión de calidad: Es
un indicador que nos permite valorar el grado
de implantación de la promoción y capacitación para trabajo en entornos de gestión de
calidad en la oferta educativa del centro y por tanto del grado de adaptación de los
curricula a las nuevas necesidades de los puestos de trabajo y de la vida cotidiana. Se calcula mediante la siguiente fórmula:
å( nº de
horas programadas de este tema/ nº horas módulo)/nº de módulos Este indicador fluctúa en una escala
del 0 al 1. Los rangos que indican calidad se
han de determinar para cada ciclo formativo, en de las características de los puestos de
trabajo. En la cuantificación de este
indicador es muy relevante el currículum oculto, pues en muchos módulos prácticos se
puede estar tratando este tema de forma implícita mientras se desarrollan otros y no
haber constancia de su programación. Convendría que en las programaciones de aula se explicite y se cuantifique este curriculum
oculto o la existencia de sistemas de gestión de calidad adaptados a la metodología de
trabajo práctico en el aula, con objeto de
hacer más exacto el indicador. Posiblemente una ratio de 0,03-0,04 (54-72 h. en un ciclo de 1800 h.) podría ser un objetivo
inicial de calidad.
Los datos se obtienen de las de las programaciones de aula y memorias. 24.-
Capacidad de trabajo en entornos con sistemas de gestión de Protección medioambiental
Es un indicador que nos permite
valorar el grado de implantación de la promoción y capacitación para la protección del
medio ambiente desde en el puesto de trabajo, en la oferta educativa del centro y por
tanto del grado de adaptación de los curricula a las nuevas necesidades de los puestos de
trabajo y de la vida cotidiana. Se calcula mediante la siguiente fórmula:
å( nº de
horas programadas de este tema/ nº horas módulo)/nº de módulos En la cuantificación de este
indicador es muy relevante el currículum oculto, pues en muchos módulos prácticos se
puede estar tratando este tema de forma implícita mientras se desarrollan otros y no
haber constancia de su programación. Convendría que en las programaciones de aula se explicite y se cuantifique este curriculum
oculto o la existencia de sistemas de gestión medioambiental y de evaluación de riesgos
adaptados a la metodología de trabajo práctico en el aula, con objeto de hacer más
exacto el indicador. Posiblemente una ratio de 0,02-0,03 ( 36-54 h. en un ciclo de 1800 h.) podría ser un objetivo
inicial de calidad.
Los datos se obtienen de las programaciones
de aula y memorias. 25.- Expectativa de trabajo al finalizar el ciclo
formativo Es un indicador que nos
permite aproximarnos a la relación entre la oferta educativa y las necesidades laborales
en el sector, sobre todo cuando consideramos exclusivamente las ofertas o expectativas de
trabajo en las empresas que han realizado la FCT.
Se calcula mediante la siguiente fórmula: Expectativa de Trabajo=
nº de alumnos con expectativas de trabajo basadas en propuestas de una empresa/ total de
alumnos
Los valores de este indicador oscilan entre 0 cuando ningún alumno ha recibido
propuestas de trabajo y 1 cuando todos las han recibido Los datos sobre expectativas
de trabajo se obtienen de la encuesta de alumnos tras la FCT 26.- Porcentaje de alumnos en paro tras 1 año de finalizar los estudios Es un indicador que nos
permite aproximarnos a la relación entre la oferta educativa del sistema y las
necesidades laborales en el entorno próximo.
Se calcula mediante la siguiente fórmula: Porcentaje
paro al año= nº de alumnos en paro/ nº alumnos titulados
el año anterior Los valores del
indicador oscilan entre 1 cuando todos los alumnos están en paro y 0 cuando ninguno está
en paro. Los valores de calidad de este indicador son difíciles de establecer ya que el benchmarking no se adapta bien a las necesidades de los entornos próximos, salvo en aquellos ciclos que están implantados en más de 3 centros distintos en un entorno geográfico y socio-laboral próximo. No obstante en ausencia de datos más
significativos, se podría considerar un valor de calidad inicial de ajuste con la demanda
laboral, valores inferiores a 0,3. 6.- Conclusiones:
Los indicadores utilizados para gestionar la mejora de la calidad educativa en la
formación profesional son un elemento clave de la gestión de la misma, que delimitan la
entrada de información para la toma de decisiones, así pues, en gran medida la calidad
de las decisiones dependen de que los indicadores realicen bien su función.
Los indicadores del proceso de E/A han de proveer información válida y
específica que nos permita detectar los factores o actividades que estamos realizando de
forma inmejorable , diferenciándolos de los factores o actividades que han de ser objeto
de mejora: Por ello, desde nuestro punto de vista, los indicadores han de medir todas las
variables relevantes del proceso de enseñanza/aprendizaje con objeto de obtener
información diferencial que nos pernita tomar decisiones, y al mismo tiempo, han de
proveer información que discrimine si los factores limitantes de la calidad en nuestro
sistema son variables internas del Centro
educativo y ,por tanto, susceptibles de acciones directas por parte de los gestores del
Centro, o son variables externas, no dependientes de las posibilidades de gestión del
Centro y, por tanto, ameritan acciones en ámbitos diferentes al de Centro educativo.
El análisis que realizamos sobre la calidad de algunos factores relevantes para la
concepción de calidad como la satisfacción de los alumnos, profesores, u otro personal
del centro, las expectativas de trabajo al finalizar los estudios, o el porcentaje de alumnos en paro tras un año de la finalización
de los estudios, no presentan una escala de calibración establecida que nos permita establecer si los valores
obtenidos son buenos, malos, mejorables o inmejorables. Por lo tanto, para una toma de
decisioenes adecuada en este tipo de indicadores, necesitaríamos establecer dicha escala
de calibración mediante la existencia de un sistema de intercomparación entre centros de
características similares en las variables externas, y poder establecer juicios más
objetivos sobre el grado de calidad o la adecuación de nuestros objetivos en estos
aspectos.
El uso de indicadores globales, dependientes en buena medida de factores externos a
la gestión del centro, requieren que se realicen tasas de ajuste que delimiten la
información del indicador a los factores internos, si pretendemos que la valoración de los resultados de dicho
indicador sean aplicables a la gestión interna del Centro, y se eviten estrategias
de
fuga de responsabilidades al atribuir siempre a los factores externos los malos resultados
y a los factores internos los buenos resultados. Proponemos una batería de indicadores para la gestión de la calidad del proceso de enseñanza/aprendizaje en la formación profesional que, en nuestra opinión, permite obtener información diferencial sobre los factores más relevantes del proceso y al mismo tiempo, nos ofrece información sobre variables de adaptación a las necesidades formativas de la FP en un futuro próximo, que posibilite la harmonización de la información entre diferentes centros educativos y la generación de una red de centros que colaborando en las tareas de gestión de calidad nos permita la intercomparación de resultados y un mejor análisis de aquellos indicadores que presentan resultados de más difícil interpretación. REFERENCIASAndrés, M. A.;
Alemany, F.; Cárcamo, M. L.; Lafuente, M; Martorell, F. ;
Seguí, M.; Vich, P.;, Aguado, C.; Carpintero, R.; Castillo,
M., Llinás, F., Pérez, Julia; San Martín, M. M.. (2003). La concepción de calidad
educativa en el IES Francesc B. Moll. III Congreso Internacional Virtual de Educación.
CIVE 2003. 1-11 Abril. ISBN:84-7632-822-2. Baéz de la Fe, B. F.
(1994). El
movimiento de las escuelas eficaces. Implicaciones para la innovación
educativa. Revista Iberoamericana de Educación nº4. Consultado
el 16-06-2005 en http://www.campus-oei.org/oeivirt/rie04a04.htm
Castejón, J. L., Navas,
L. y Sampascual, G. (1993).
Investigación sobre la eficacia de centros de enseñanza secundaria. Un modelo de
identificación y funcionamiento. Revista de Educación, (301), 221-244. Colom, A. J. (1988). Calidad de la
educación desde la teoría pedagógica y la historia. Bordón, 40 (2), 163-175. De la Orden Hoz,
A.; Asensio Muñoz, I.; Carballo Santaolalla, R.; Fernández Díaz,M. J.;
Aurora Fuentes V.; García Ramos,J.M. Guardia González, S.; Navarro Castillo M. (1997): Desarrollo y validación de un modelo de calidad
universitaria como base para su evaluación. R
evista ELectrónica de Investigación y EValuación Educativa, Volumen 3, Número 1_2. Consultado el 16-06-2005 en http://www.uv.es/RELIEVE/v3n1/RELIEVEv3n1_2.htm De la Orden Hoz, A. (1988). La calidad de la educación. Bordón, 40 (2), 149-161. De Miguel, M. (1989). Modelos de
investigación sobre organizaciones educativas. Revista
de Investigación Educativa, 7 (13), 21-56. Deming, W.
E. (1998). La nueva economía para la
industria, el gobierno y la educación. Madrid. Ed Diaz de
Santos. págs: 4-5. Escudero, T. (1997). Enfoques
modélicos y estrategias en la evaluación de centros educativos. RELIEVE, vol.
3, n. 1. Consultado el 16-06-2005 en http://www.uv.es/RELIEVE/v3n1/RELIEVEv3n1_1.htm Escudero, J.M. (2001). La escuela como
una organización que aprende: Una contribución a la renovación y mejora de la
educación, u otra distracción. Organización y Gestión Educativa, Núm. 1,
19-20, 29-33. Fernández Díaz, M.J. y
González Galán A.(1997). Desarrollo y situación actual de los estudios de eficacia escolar. RELIEVE
(3)1-3 Consultado el 16-06-2005 en http://www.uv.es/RELIEVE/v3n1/RELIEVEv3n1_3.htm Gairín, Joaquín (2002). La qualitat de l'educació: els perills d'un discurs seductor. VIII
Jornades de Direcció Escolar 4 i 25 de maig de 2002. Fòrun Europeu d'administradors de
l'educació a Catalunya. Consultado el 16-06-2005 en : http://feaec.pangea.org/cat/VIIIJornades.htm Gil, F. (1999). Indicadores OCDE sobre
entorno y procesos: Perspectiva española en el marco del
Proyecto de Indicadores de los sistemas educativos de la OCDE. Madrid: INCE. . Consultado el 16-06-2005 en : http://www.ince.mec.es/ind-ocde/index.htm
INCE
(2000).
Sistema estatal de indicadores de la educación 2000. Madrid : Centro de Publicaciones del
Ministerio de Educación y Cultura. Consultado el 16-06-2005 en : http://www.ince.mec.es/pub/ind2000.pdf Intxausti, K.; Elaola,
J.M.;
Larrañaga, J.M. y Mujika, I.(2000). Nuestro viaje a la calidad. Ed. Díaz Santos. Pag:117.
Madrid. 2000 ISO 9001:2000 (2000). Norma Internacional. Sistemas de gestión de calidad Requisitos. Ginebra: Secretaría central de ISO en . Muñoz-Repiso, M.; Murillo, F.J.; Barrio, R.; Brioso, M.J.; Hernández, M.L.;Perez-Albo,M.J (2000). La mejora de la eficacia escolar. Centro de investigación y documentación educativa. Madrid. Edita C.I.D.E. ISBN: 84-369-3350 -8 Murillo, F.J. (1999). Los Modelos Jerárquicos Lineales aplicados a la Investigación sobre Eficacia Escolar. Revista de Investigación Educativa, 17(2), 453-460. National
Council on Educational Statistics (1991). Educations
counts: An indicator system to monitor the nations's educational health.
Washington, D.C.: U.S. Department of Education, Oakes, J.
(1989). What educational indicators? The case for assessing school context. Educational Evaluation and Policy Analysis, 11
(2), 181-199. Pérez Gómez; A. (1985). Paradigmas
contemporáneos de investigación educativa. En: J. Gimeno Sacristán y A. Pérez
Gómez, La enseñanza: su teoría y su práctica.Madrid:
Ed Akal.
Págs: 95-138. Santos Guerra, M.A.
(2000).
La escuela que aprende. Madrid: Morata. SAREKA (2000). Modelo EFQM de
excelencia para centros educativos: Panel de indicadores y encuestas. Consultado el 28-11-2003 en : http://www.euskadi.net/agencia/sareka/docs/panel6_c.PDF
Arancibia . V. (2005). Los sistemas de medición y evaluación de la calidad en educación. Laboratorio Iberoamericano de evaluación de la calidad en educación. Consultado el 16-06-2005 en: http://www.unesco.cl/medios/biblioteca/documentos/2sistemas_medicion_evaluacion.pdf Senge, P. (1992). La quinta
disciplina. El arte y la práctica de la organización abierta al aprendizaje. Barcelona.
Granica. Seyfried
Erwin (1998). Evaluation of Quality Aspects in Vocational Training Programmes. CEDEFOP
– European Centre forthe Development of Vocational Training. Consultado
el 16-06-2005 en: http://www2.trainingvillage.gr/etv/publication/download/panorama/1711_en.pdf Van
den Berghe, W. (1997). The use of quality indicators in vocational
education and training. CEDEFOP
European Centre for the development of vocational training. Luxemburgo. Consultado el 16-06-2005 en: http://www.ilo.org/public/spanish/region/ampro/cinterfor/temas/calidad/doc/indicat.pdf
Van den Berghe,
W. (1998).
Aplicación de las normas ISO 9000 a la enseñanza y la formación. Revista Europea de la
Formación Profesional, CEDEFOP, No. 15, septiembre-diciembre 1998. Consultado el 16-06-2005 en : http://www.ilo.org/public/spanish/region/ampro/cinterfor/temas/calidad/doc/aplic.pdf Vargas,
F.(2003). La
gestión de la calidad en la formación profesional: El uso de estándares y sus
diferentes aplicaciones. Documento de referencia N°2 de la XXXVI Reunión de la Comisión
Técnica de Cinterfor/OIT. Guatemala. Consultado el 16-06-2005 en: http://www.ilo.org/public/spanish/region/ampro/cinterfor/rct/36rct/doc_ref/doc2/index.htm Varios (1981). La calidad de la educación. Madrid: C.S.I.C. Yorke, D.
(1987). Indicators of institutional achievement: some theoretical and empirical
considerations. Higher
Education, 16 (1), 3-20 Weinberg,
Pedro Daniel (2000). Seminario "La gestión de calidad en la formación profesional.
Lima, Perú, 15 a 17 de noviembre de 2000. Sesión inaugural. Consultado el 16-06-2005 en :
http://www.ilo.org/public/spanish/region/ampro/cinterfor/temas/calidad/eventos/ges_cal/weinb.htm
|
|||||||||||||||||||||||||||||||||||||||||||||||||
format