La actual situación socioeconómica mundial y el panorama tan amplio y complejo que presenta la Formación Ocupacional como pilar para la reactivación económica afectan a la manera de llevar a cabo su evaluación. Diversos autores (Gelpi, 1987; De Miguel, 2000) destacan que la evaluación es fundamentalmente un hecho social, cultural y no solamente técnico y metodológico. Flor Cabrera (2000) afirma que la evaluación ha pasado a ser una actividad realmente compleja pero, a su vez, un instrumento poderoso que vela por la calidad de las acciones educativas. La evaluación de la formación también constituye un instrumento al servicio de la calidad. 

En este escenario se han identificado un conjunto de factores (Perales, 2000) que describen características propias de la evaluación en este ámbito, dentro de la pluralidad de enfoques y propuestas evaluativas existentes. Entre estos cabe destacar los siguientes.  

1- La evaluación de la Formación Ocupacional ha recibido escasa atención desde el campo teórico e investigador, aunque en los últimos años ha surgido un importante número de grupos de trabajo sobre la temática que ofrecen propuestas interesantes.

2- El dinamismo que caracteriza este tipo de formación conlleva una falta de la estabilidad necesaria para atender adecuadamente los procesos evaluativos.

3- Su vinculación a la política activa de empleo le confiere un rol y unos objetivos evaluativos específicos, no exclusivamente educativos.

4- Es un ámbito de estudio altamente complejo, debido a la diversidad de programas que aglutina con el objetivo de poder adaptarse a una amplia variedad de colectivos y audiencias implicadas, lo que puede llevar, en ocasiones, a planteamientos de evaluación con enfoques incluso encontrados. 

Teniendo en cuenta estas características que inciden sobre el campo de la formación ocupacional, se pueden clasificar e identificar diferentes tipologías de evaluación de estos programas. 

A)    Evaluaciones que establecen como referencia la unidad (persona, empresa, sociedad de institución formativa, etc…) sobre la que se producen los efectos de la formación (Jornet y otros, 2001).

B)    Evaluaciones que establecen como criterio un determinado modo de operativizar el concepto de calidad (calidad del programa, servicio, etc…) (Perales, 2000).

C)    Evaluaciones que toman como referencia una serie de criterios específicos (objeto de evaluación, finalidad de la evaluación y control) a los planes de formación ocupacional (Jornet, González Such y Pérez Carbonell, 1996; Jornet, 2000; Perales, 2000). 

   El estudio que se describe en este artículo se enmarca dentro de la segunda tipología propuesta, al tomar como criterio de evaluación la Calidad del Servicio, operativizado mediante la percepción y satisfacción que los usuarios tienen de la adecuación y desarrollo tanto teórico como práctico del programa formativo. 

   En el contexto nacional son variadas las iniciativas que buscan, de forma directa o combinada con otras funciones de la evaluación, el análisis de la percepción de los usuarios como objeto de estudio, lo que constituye uno de los objetivos habituales en la evaluación de programas de Formación Ocupacional. En relación a este enfoque, y sin ánimo de ser excluyentes, destacamos en el contexto nacional, las propuestas de evaluación de Tejada (1992), el Modelo de Evaluación de la Formación Ocupacional en la Comunidad Valenciana (Modelo EFO, 1996), el Modelo de Evaluación del País Vasco (EGAILAN, 1999), así como el Sistema de Evaluación de la Formación para el Empleo de la Comunidad Autónoma de Andalucía. La diferencia en los planteamientos evaluativos y la falta de disponibilidad pública de los datos no ha permitido realizar una comparación entre  los resultados de las diferentes iniciativas existentes.  

   En el caso de Asturias la evaluación de la calidad desde la perspectiva de los usuarios se inserta dentro de un modelo de evaluación más amplio que combina tres enfoques (análisis del contexto, calidad del servicio y calidad del programa), tal como se refleja en la Figura 1.

 Figura 1: Modelo Global de Evaluación y Mejora de la Formación para el Empleo en Asturias

 

    El trabajo del que damos cuenta en este estudio se inserta dentro del enfoque de la Calidad del Servicio, evaluando el desarrollo del programa a través de la satisfacción del alumnado que ha participado en las acciones formativas.

Objetivos del estudio

   En el año 2000 el Principado de Asturias, a través de la Consejería de Trabajo y Promoción de Empleo, asume las funciones y servicios relativos a la gestión de la Formación Profesional para el Empleo[iii]. Este traspaso de competencias a la Comunidad Autónoma planteó la necesidad de evaluar de manera sistemática la Formación Profesional para el Empleo que hasta entonces había sido gestionada y supervisada de forma centralizada desde Madrid por el antiguo Instituto Nacional de Empleo (INEM), y cuya evaluación se limitaba a algunos aspectos generales que se abordaban conjuntamente en el resto del territorio español.

    A estos efectos, ese mismo año 2000 se estableció un Convenio Marco de Colaboración entre el Gobierno del Principado de Asturias y el Grupo de Investigación “Canella”[iv] de la Universidad de Oviedo, para llevar a cabo un proyecto dirigido a la evaluación de la Formación Profesional para el Empleo, según el modelo establecido (Figura 1), con el fin de mejorar la calidad de este tipo de formación. Entre sus objetivos se encuentran: 

1.     La Acreditación de los Centros/Entidades Colaboradoras del Plan FPE.

2.     La evaluación de la Satisfacción de los Participantes en los cursos del Plan FPE[v].

3.     La evaluación de la Inserción Laboral del alumnado formado en los cursos del Plan FPE. 

El propósito de este convenio es proporcionar al Gobierno del Principado de Asturias una información actualizada y fiable sobre la calidad de los Centros/Entidades que colaboran con el Plan FPE y de las acciones desarrolladas a través de este programa, de forma que pueda ser utilizada a la hora de planificar una oferta formativa de calidad y para tomar decisiones que contribuyan a optimizarla. 

La investigación que se describe en este trabajo tiene como finalidad evaluar el grado de satisfacción de los participantes en las acciones formativas dirigidas prioritariamente a personas desempleadas, en base a los siguientes objetivos específicos: 

-    Estimar la calidad de las acciones formativas en sus distintos aspectos (pedagógicos, organizativos, docentes, etc.), a través de la valoración que realiza el alumnado sobre la formación recibida.

-    Efectuar un análisis comparado de los resultados obtenidos a lo largo de los años objeto de estudio (2002-2008), con el fin de conocer la evolución de este tipo de formación a través del tiempo.

-    Proporcionar a todas las audiencias implicadas (directores, centros, formadores y técnicos) y, especialmente a la Administración, información relevante acerca de cómo son valorados los distintos aspectos de los procesos formativos. 

Metodología

 Diseño 

   Desde el punto de vista metodológico, la investigación realizada constituye un estudio de observación basado en encuestas, dado que ha sido la utilización de cuestionarios el sistema utilizado para recabar la información necesaria. El diseño realizado puede ser tipificado como preordenado, selectivo y de medidas repetidas. Es preordenado en la medida que han sido planificadas con detalle previamente todas las fases y elementos del proceso investigador. Es selectivo porque  la estrategia metodológica utilizada para recabar la información permite detectar la variabilidad existente entre los sujetos y determinar las diferencias entre grupos. Finalmente, se considera de medidas repetidas dado que la evaluación se ha realizado siete veces -con los mismos parámetros pero con distintas poblaciones­- entre los años 2002 y 2008. La replicación de este diseño a la largo de varios años y la amplitud de las muestras utilizadas -como se hace constar posteriormente- constituyen dos fortalezas claras del estudio que aportan consistencia a la investigación realizada y validez a los resultados obtenidos. 

  Instrumentos/variables 

   La evaluación de la satisfacción, se efectuó mediante un cuestionario semiestructurado dirigido al alumnado de las acciones formativas del Subsistema de Formación Profesional para Empleo. Para su diseño se organizaron varias sesiones de trabajo en grupo con personal experto en el ámbito de la formación ocupacional, con la finalidad de discutir y establecer la estructura y contenido del instrumento a utilizar. En estas sesiones participaron representantes de los diferentes sectores implicados: administración, entidades colaboradoras y personal de las áreas de formación. Este sistema de consulta a expertos y las revisiones efectuadas anualmente permitieron dotar al cuestionario de un alto grado validez en relación con el objeto de la encuesta. Dada la extensión del instrumento diseñado se anexa en este trabajo (Anexo I). A continuación se expone de forma resumida la estructura resultante. 

Tabla 1. Estructura del Cuestionario

    Igualmente hemos analizado la fiabilidad y validez métrica del instrumento implementado, mediante el coeficiente Alfa de Cronbach y análisis factoriales. En referencia a la fiabilidad, las puntuaciones del Alfa de Cronbach obtenidas cada año oscilan entre 0,942 y 0,956 lo que nos permite afirmar que el instrumento tiene una muy buena consistencia interna. Para la validez del constructo hemos realizado análisis de componentes principales con rotación varimax, eliminando de la matriz de componentes resultante aquellos valores que presentan un nivel de saturación menor de 0,35, sobre las muestras correspondientes a los años 2004 y 2008. De estos análisis hemos obtenido matrices similares en ambas muestras, tanto en la varianza explicada como en el número y tipología de los factores extraídos. No obstante se observa una mejora significativa de la varianza entre el año 2004 (61,290) y el 2008 (63,813) y un rango diferente entre los factores 2 y 3, probablemente debido a los cambios introducidos en la mejora del cuestionario.    

   En ambos análisis (2004 y 2008) el mayor peso de la explicación se asocia a la satisfacción del alumnado relacionada con la calidad del profesorado y las actividades docentes (dimensiones C y D del cuestionario – Tabla 1). En segundo lugar aparecen otros dos factores con menor peso relacionados con la utilidad de las acciones formativas para el acceso al empleo y las cuestiones organizativas de los cursos, que se estructuran a partir de variables integradas en las dimensiones E, F y B del cuestionario. En resumen, a la vista de los datos obtenidos en estos análisis se puede concluir que la validez del constructo del cuestionario es alta, dada la similitud entre la estructura dimensional del mismo y las matrices factoriales obtenidas.

   Procedimiento/Aplicación 

   En la figura adjunta se representan los diferentes agentes implicados en el proceso metodológico seguido para la evaluación de la satisfacción del alumnado en las acciones formativas destinadas a trabajadores/as desempleados/as del Subsistema de Formación Profesional para el Empleo, así como los flujos de información que se establecen entre ellos. 

Figura 2. Agentes implicados en la evaluación y flujos de información que se establecen entre ellos

    La Dirección General de Formación Profesional realiza una convocatoria anual de acciones formativas en la que las Entidades Colaboradoras pueden participar en régimen de concurrencia competitiva en base a unos criterios de valoración. Una vez baremadas las solicitudes se resuelve y publica la convocatoria asignando las acciones formativas a las Entidades con mejores puntuaciones en el baremo establecido. Las Entidades inician la formación y es el personal técnico de la administración (Áreas de Formación) el que se encarga del seguimiento de las acciones, visitándolas para verificar su correcto desarrollo. En la fase final de la formación el personal técnico encargado del seguimiento implementa el cuestionario, que conoce previamente al haber participado en su elaboración. Una vez cumplimentado por el alumnado se remite al Equipo de Investigación Canella para su tratamiento y análisis mediante procedimientos metodológicamente diferenciados en función de la información recabada. 

   En el caso de los ítems de tipo cuantitativo se procedió a su lectura mecanizada mediante una lectora óptica, para realizar los análisis descriptivos y diferenciales con posterioridad. Para las cuestiones abiertas incluidas en el cuestionario se realizó un vaciado de la información cualitativa, organizada en función de dimensiones y categorías establecidas a posteriori. En la tabla 2 se recogen las frecuencias y porcentajes de los numerosos registros obtenidos.  

Tabla 2. Dimensiones, categorías y frecuencias del, análisis cualitativo

DIMENSIONES	CATEGORÍAS	REGISTRO DE FRECUENCIAS	PORCENTAJE
1.      CONVOCATORIA Y ACCESO AL PLAN DE FORMACIÓN	1.1.   Subvención del transporte.	498	3,07%
	1.2.   Selección homogénea de los alumnos.	690	4,26%
	1.3.   Falta de diversidad en la oferta formativa.	374	2,31%
	1.4.   Recibir remuneración al realizar los cursos.	212	1,31%
	1.5.   Sugerencias dirigidas a las Oficinas de Empleo	235	1,45%
2.      CONDICIONES ESPACIALES Y RECURSOS	2.1.   Condiciones físicas del aula y otros espacios.	1.086	6,70%
	2.2.   Falta de recursos materiales.	1.805	11,14%
3.      PROGRAMACIÓN, CONTENIDOS Y ORGANIZACIÓN DE LOS CURSOS	3.1.   Adecuación entre teoría y práctica.	643	3,97%
	3.2.   Duración del curso y conciliación vida familiar.	2.604	16,07%
	3.3.   Estructura de los contenidos.	1.124	6,94%
	3.4.   Organización del curso.	1.533	9,46%
4.      PARTICIPACIÓN Y CLIMA	4.1.   Clima de aprendizaje percibido.	370	2,28%
	4.2.   Profesorado.	1.332	8,22%
	4.3.   Gestión de las prácticas.	1.623	10,02%
	4.4.   Visitas y salidas al exterior.	315	1,94%
5.      RESULTADOS DE FORMACIÓN	5.1.   Influencia en la situación laboral.	737	4,55%
	5.2.   Sugerencias en relación a la homologación del título.	82	0,51%
	5.3.   Satisfacción general con la experiencia formativa.	938	5,79%
TOTALES		16201	100,00%

 Participantes 

   El estudio realizado pretende abarcar la población total de alumnos participantes en las acciones formativas ofertados por el Principado de Asturias dirigidas prioritariamente a personas desempleadas durante el período comprendido entre enero de 2002 y diciembre de 2008. El total de participantes asciende a 87.298[vi]. El objetivo inicial del estudio fue llegar al total del alumnado formado anualmente, aunque por razones propias de la dispersión de las acciones formativas no siempre fue posible alcanzar este objetivo, pero sí obtener cifras de muestreo altamente representativas en relación a las diferentes variables analizadas (edad, sexo, área geográfica, familia profesional y especialidad formativa). El total de sujetos entrevistados en este período ha sido de 49.485 lo que supone un 56,69%. En la tabla 3 se especifican los datos de la población y muestra a lo largo de los años. 

Tabla 3. Población y muestra del estudio

    Analizada la muestra en función de las variables sexo y edad, se observa un predominio de participación femenina (56,03%) sobre los hombres (41,47%), igualmente destaca el intervalo de edad entre 25 y 34 años (39,06%) como la categoría dominante en la edad de los encuestados. En la figura 3 se especifican estos datos dicotomizados en función de la edad y el sexo.

Figura 3. Distribución de la muestra por edad y sexo

    Atendiendo a la titulación académica que posee el alumnado participante en las acciones formativas podemos destacar que el mayor porcentaje corresponde a quienes han finalizado el Graduado Escolar/EGB/ESO/Bachiller Elemental (20,80%). Otro porcentaje significativo lo conforman aquellos que tienen Bachillerato (16,60%). En tercer lugar, están los que han obtenido un Ciclo Formativo de Grado Superior (15,52%) y a continuación los que han cursado una Diplomatura Universitaria (12,10%), tal como refleja la figura 4. 

Figura 4. Distribución de la muestra por titulación académica y sexo

   Al cruzar nivel de titulación y sexo, observamos que las mujeres son mayoría en las titulaciones de grado medio y superior, mientras que los hombres predominan en los niveles formativos inferiores, con cifras más elevadas en Graduado Escolar/ EGB/ESO/Bachiller Elemental, en Certificado de Estudios Primarios, en los Estudios Primarios Incompletos, en los Programas de Garantía Social y entre quienes se encuentran Sin escolarizar.

   Del análisis de las respuestas de otras cuestiones incorporadas al cuestionario cabe señalar que el 43,63% del alumnado ya había participado en otras acciones formativas dirigidas a trabajadores desempleados en los últimos 5 años, la mayor parte de ellos en acciones del propio Plan FIP. Igualmente constatamos que el 16,44% del alumnado ha recibido otro tipo de formación simultáneamente. En todo caso la elección de la acción formativa ha tenido carácter preferente en un 84,47% de los casos.  

   Las dos razones fundamentales que expresan los participantes para matricularse en los curso son ampliar conocimientos profesionales (8,71) y facilitar su inserción en el mercado laboral (8,44). A continuación aparecen otras razones con menos peso, tal como consta en la tabla 4. 

Tabla 4. Razones para matricularse en la acción formativa

 Resultados

   En este apartado se muestran los resultados obtenidos del análisis de la información recabada. Para su exposición hemos seguido la estructura dimensional del cuestionario, estableciendo una correspondencia entre las dimensiones utilizadas en el análisis de los datos cuantitativos y cualitativos, como refleja la tabla adjunta.  

Tabla 5. Correspondencia entre dimensiones cuantitativas y cualitativas

  Satisfacción de los participantes: datos globales.

 A. En cuanto a la planificación y gestión del curso, el alumnado ha opinado que ésta ha sido adecuada, con una puntuación media en la dimensión de 7,87. Al observar cada uno de los ítems por separado, el que ha alcanzado una mayor puntuación se refiere a las Medidas de seguridad con las que se han desarrollado los cursos, siendo el Horario y la duración del curso los menos satisfactorios. 

Tabla 6. Planificación y Gestión del Curso

   En la información cualitativa, las observaciones relacionadas con esta dimensión (n=2009) en las que hace más hincapié el alumnado que participó en las acciones formativas guardan relación con la Selección homogénea del alumnado (34,35%) y con la Subvención del transporte (24,79%).

  A continuación se incluyen, a modo de ejemplo, algunos de los comentarios más representativos de estas categorías:

“La prueba de selección que nos hicieron para participar en el curso me pareció adecuada, pero además deberían de evaluar también criterios como la vocación, el interés y la voluntad para trabajar.” 

“…La selección de alumnos debe “refinarse” para escoger a las personas interesadas y con nivel similar…” 

“Está muy bien que nos paguen el transporte pero, además, deberíamos de cobrar una beca mensual de formación, ya que todos los alumnos estamos en paro”. 

“Deberían pagar antes el dinero de los billetes del transporte, ya que muchas veces (casi siempre), el pago se efectúa con 2 meses de retraso.” 

   Una de las cuestiones que adquieren especial relevancia dentro de esta dimensión es la realización de prácticas en empresas, a las que los participantes conceden una gran importancia (67,92%). Sin embargo, comprobamos que el interés expresado por el alumnado no siempre se corresponde con lo que realmente se hace, pues a pesar de que un 67,92% demanda prácticas en empresas, sólo el 27,50% afirma que ha realizado o tiene previsto realizar prácticas en empresas relacionadas con el curso. 

   Igualmente se constata que un elevado porcentaje de alumnado formado afirma no haber recibido información en relación con las prácticas (34,38%) y que la mayor parte de ellas (73,98%) no han tenido anteriormente ningún contacto de trabajo en el ámbito de la especialidad formativa elegida.  

   En lo que se refiere a la evolución a lo largo de los años de esta dimensión, vemos que las puntuaciones más altas son las alcanzadas en el período comprendido entre los años 2004-2007. Sin embargo, centrándonos en los datos referidos al año 2008, se observa que las puntuaciones obtenidas no logran superar a las alcanzadas en el año 2007, manteniendo una clara tendencia a la baja, excepto en los ítems relativos a las Medidas de seguridad con las que se han desarrollado los cursos y a la Explicación de los objetivos y organización del curso al inicio del mismo, que obtienen valores superiores[vii]. En la figura 5 se muestra la evolución de las puntuaciones analizadas. 

Figura 5. Evolución de las puntuaciones de la dimensión "Planificación de la formación"

 B. Los recursos materiales y humanos (figura 6) reciben una valoración bastante positiva (8,25). Las puntuaciones más elevadas de esta categoría tienen relación con la competencia del profesorado, tanto desde el punto de vista teórico como práctico. 

Figura 6. Recursos materiales y humanos 

   La información cualitativa relativa a esta dimensión registra un número elevado de frecuencias (n=2891), la mayor parte de las cuales hacen referencia a la falta de recursos materiales (62,44%), tal como se refleja en las siguientes frases representativas: 

“Mayor dotación de material para realizar las prácticas, ya que es insuficiente”  

“El material informático debería estar actualizado y en condiciones para ser utilizado” 

   Si comparamos las valoraciones obtenidas a lo largo de los años objeto de estudio en la dimensión “Recursos materiales y humanos” nos encontramos ante dos extremos. Por un lado, los ítems referentes a la Experiencia profesional del profesorado, la Actitud del/a director/a ante los problemas y las Condiciones físicas del aula y del centro han obtenido las mejores puntuaciones en el año 2002; mientras que los ítems que valoran al Profesorado de teoría y práctica alcanzan las mejores puntuaciones en el 2007. A la vista de la comparativa, se observa que los resultados para esta dimensión en el año 2008 han descendido de manera generalizada respecto a los años anteriores. 

   Hay que tener en cuenta el hecho de que, de nuevo, nos encontramos ante ítems que no han podido ser comparados con los dos primeros años debido a las modificaciones introducidas en el cuestionario. Y es que, si en el 2002 y 2003 se valoraba el Dominio del profesorado en las materias que enseñaba, desde el 2004 se valora al profesorado de teoría y práctica por separado. La evolución de los datos se representa en la figura 7. 

Figura 7. Evolución de las puntuaciones de la dimensión "Recursos materiales y humanos" 

C. El bloque más amplio del cuestionario se refiere a la metodología y clima de aprendizaje, cuyas puntuaciones medias se recogen en la tabla 7.

Tabla 7. Metodología y Clima de Aprendizaje

   Como se puede observar, la variable mejor valorada se refiere a la relación con el profesorado (8,91). Asimismo, la aclaración de dudas por parte del profesor y la relación con los compañeros, alcanzan puntuaciones igualmente altas, 8,71 y 8,61 respectivamente. Por el contrario, la puntuación más baja se refiere a la realización de actuaciones externas durante el curso para ampliar la formación de los participantes, mediante visitas a empresas, exposiciones, ferias, etc. con una media de 4,57. Esta variable obtiene la puntuación más baja de todas las que constituyen el cuestionario. 

  En la información cualitativa de esta dimensión (n=9.544), destacan claramente las observaciones relacionadas con la Duración del Curso (27,28%), y con la Gestión de las prácticas (17,01%). A continuación se incluyen algunas de las observaciones más representativas:  

“Que se informe a los alumnos de que pueden hacer prácticas, y de los trámites que tienen que realizar para ello, además, deberían facilitarnos empresas para hacer las prácticas y no que las tengamos que buscar nosotros”. 

“Dar mayor salida laboral a los cursos con prácticas en empresas.” 

“Buen profesorado, muy implicado en su labor” 

“Se necesitaría un mayor control de la calidad del profesorado, ya que dominan muy bien la parte docente pero no la temática concreta del curso, no son especialistas en el tema que imparten y eso se nota…” 

   Respecto a los procedimientos de evaluación de los cursos por parte del personal docente, el 33,92% de los/as alumnos/as han manifestado que la evaluación se llevó a cabo mediante la realización de prácticas reales. Asimismo, la realización de exámenes escritos como vía de evaluación ha sido apuntada por un alto número de participantes (30,98%). Por el contrario, el procedimiento menos utilizado es la entrevista con los profesores (2,71%), seguido por la autoevaluación (4,75%) y las fichas de seguimiento individual (6,69%). Un 3,45% manifiestan no haber sido evaluados.  

Tabla 8. Evaluación del aprendizaje por parte del personal docente

   Atendiendo al análisis comparado (2002-2008), se observa que la mayor parte de las puntuaciones en esta dimensión han ido descendiendo con respecto al 2002. Si en el primer año el Alumnado se sentía más motivado e interesado, la valoración del 2008 ha descendido ligeramente de 8,88 a 8,20, aunque continua siendo notablemente positiva. Lo mismo sucede, entre otros, con el Nivel de participación del alumnado en el grupo, el cual desciende de 8,24 a 8,00. Es lógico suponer que ambos ítems puedan estar relacionados.

   Este descenso en las puntuaciones merece una reflexión sobre cada uno de los ítems valorados, pues es sabido que el aprendizaje del alumnado y la motivación e interés   mostrado hacia los contenidos son factores que están influenciados por el tipo de dinámicas empleadas por el profesorado y por el clima establecido en el aula entre profesorado-alumnado y el propio alumnado.

    Debido a los cambios realizados en el cuestionario, no se han podido comparar los ítems relacionados con el Interés mostrado por el alumnado en el curso y el Desigual nivel de conocimientos entre los participantes. La evolución de los datos se representa en la figura 8. 

Figura 8. Evolución de las puntuaciones de la dimensión "Metodología y clima de aprendizaje”

 D. Valoración global de la formación recibida. 

Además de los aspectos diferenciales que se han tenido en cuenta al valorar cada una de las dimensiones analizadas en el estudio, se ha pedido al alumnado que realizara una valoración general de la acción formativa, cuyos resultados refleja la tabla 9. 

Tabla 9. Valoración general de las acciones formativas

    Como se puede observar, aunque la valoración global de las acciones es buena, llama la atención que el ítem que hace referencia a las ayudas u orientaciones por parte de los centros en cuanto a la inserción laboral, obtenga una media ligeramente inferior a los otros ítems, lo que influye sensiblemente en la media global de la dimensión. Esto significa que el alumnado no sólo espera adquirir conocimientos teóricos y prácticos en torno a una determinada materia, sino que también quiere recibir orientación para, una vez finalizada la acción formativa, efectuar una búsqueda activa de empleo.  

   A partir de 2005, con el objetivo de contrastar la valoración general de manera más precisa, se ha construido el Índice Global de Satisfacción, con la media de las puntuaciones de todos los ítems del cuestionario, excluyendo el que hace referencia a la Puntuación Global del curso. Este índice es de 7,78, lo cual evidencia que no existen diferencias significativas, con la puntuación global de esta dimensión (7,84).

   En cuanto al análisis de la información cualitativa (n=1.717), las observaciones en las que hace más hincapié el alumnado guardan relación con la Satisfacción general con la experiencia formativa (53,39%) y con la Influencia en la situación laboral (41,95%), como muestran las siguientes observaciones representativas:

“En general creo que el curso ha sido positivo en todos los aspectos. Personalmente, he quedado muy contenta” 

“La formación recibida ha sido excepcional. Gracias a la profesionalidad del centro y del profesorado, el aprendizaje ha sido un proceso ameno, con un resultado muy satisfactorio y beneficioso para el alumno.” 

“Creo que ha sido un curso muy útil a nivel formativo, pero no me facilitará el acceso al mercado laboral, pues no está homologado“ 

“Que el curso me ha parecido interesante y bien aprovechado, pero con respecto a perspectivas de trabajo lo veo bastante mal”  

  Otra forma de valoración global de las acciones formativas, ha sido a través de las estimaciones del impacto emitidas por los participantes. En el gráfico adjunto (figura 9) se especifican estas estimaciones a los largo de los años. Como se puede observar, el aspecto mejor considerado por parte del alumnado ha sido la expectativa en la Mejora de su formación general; de forma que se valora no sólo la obtención de una cualificación profesional en una especialidad concreta, sino también la adquisición de conocimientos generales. 

Figura 9. Evolución de las puntuaciones de la dimensión "Impacto Previsto"  

    Por último realizamos el análisis diacrónico sobre la valoración general de las acciones formativas, cuyos datos se exponen en la tabla 10. Si comparamos las puntuaciones alcanzadas desde el 2002 al 2008, vemos que hasta el 2007 han mejorado progresivamente en lo que se refiere al Interés que ha suscitado el curso y a la Puntuación global que se le otorga al mismo. Sin embargo, en el año 2008 se ha producido un descenso generalizado, tanto para estos dos ítems como para el relacionado con el Apoyo de la inserción profesional por parte del Centro. En éste se obtuvo la mejor puntuación en el 2002, produciéndose a partir de este año fluctuaciones en las puntuaciones, para llegar finalmente en el año 2008 a la puntuación más baja. Dada la tendencia a la baja en las valoraciones sería importante que los centros/entidades que imparten este tipo de formación mejoraran este aspecto porque, a pesar de que entre los beneficios previstos por el alumnado se halla el de mejorar su formación general, la cualificación profesional y lograr la inserción laboral, adolece de una adecuada orientación laboral donde se les asesore para acceder al mercado.  

 Tabla 10. Valoración general de las acciones formativas (2002 a 2008)

  Resultados por Familias profesionales[ix]

   Las acciones formativas se estructuran en función de las Familias Profesionales que aglutinan los diferentes sectores de la actividad productiva. En la tabla 11 se reflejan las Familias con mayores y menores índices de satisfacción cada año.

Tabla 11. Familias Profesionales con mayor y menor puntuación (2002-2008) 

   Las Familias Profesionales que a lo largo de los años obtienen una mayor puntuación son Transporte y Mantenimiento de Vehículos, Artes y Artesanías, Química y Sanidad. Las que han obtenido las puntuaciones más bajas son Energía y Agua e Información y Manifestaciones Artísticas.

   No obstante, estos resultados se deben de interpretar con cautela. Si realizamos dicho análisis de manera individual por cada año objeto de estudio nos podemos encontrar con familias que en un análisis global aparecen con elevada puntuación y, sin embargo, en un determinado año tienen una baja valoración, como es el caso de “Química[x]”.

Resultados por Especialidades Formativas

   Además de las Familias Profesionales, las acciones formativas se organizan por Especialidades que hacen referencia a actividades laborales específicas. El nivel de satisfacción en este caso permite detectar la valoración que hacen los alumnos de los cursos concretos programados para un determinado puesto laboral. En la tabla 12 se señalan las puntuaciones de las Especialidades Formativas más y menos valoradas en cada uno de los años objeto de estudio.

   A la hora de analizar los resultados por Especialidades Formativas se observa que no existe una correspondencia de las mismas (ni de las que obtuvieron mayor puntuación ni de las que la obtuvieron menor) a lo largo de los años objeto de estudio. Esto es debido a que, por un lado, el listado de especialidades formativas es muy amplio y, por otro, a que cada año se programan acciones formativas vinculadas a las competencias requeridas en el mercado laboral, lo que origina que tanto las especialidades como su puntuación varíen mucho de un año a otro.

Tabla 12. Especialidades Formativas con mayor y menor puntuación (2002-2008) 

SÍNTESIS Y VALORACIÓN FINAL

 Síntesis 

Exponemos una síntesis de los resultados obtenidos atendiendo a las principales dimensiones estudiadas. 

·       Perfil de los Participantes 

-    De la población total de alumnado participante en las acciones formativas dirigidas prioritariamente a personas desempleadas (N=87.298), se ha evaluado la satisfacción en el 56,68% (n=49.485). Dentro de esta población destaca una presencia mayoritaria de mujeres (56,03%), frente al 41,47% de hombres. 

-     El grupo de edad más representativo entre los participantes se encuentra en el intervalo de 25 a 34 años, tanto en mujeres como en hombres. Las titulaciones académicas más frecuentes son: Graduado Escolar/ EGB/ ESO/ Bachiller Elemental (20,80%), Bachillerato (16,60%), Ciclos Formativos de Grado Superior (15,52%) y Diplomatura Universitaria (12,10%).  

-    En el 84,47% de los casos la elección de la acción formativa ha tenido un carácter preferente. Las principales razones por las que el alumnado argumenta que ha seleccionado la acción formativa en la que participó han sido: ampliar sus conocimientos profesionales y facilitar su inserción en el mercado laboral. 

·       Resultados de Satisfacción 

A.     Planificación y Gestión del Curso 

-    Esta dimensión ha obtenido una puntuación media de 7,87. Dentro de la misma, la cuestión mejor valorada ha sido las medidas de seguridad con las que se ha desarrollado la enseñanza (8,57), siendo el horario y la duración del curso los menos satisfactorios (7,68 y 6,95 respectivamente). En cuanto a la información cualitativa, las sugerencias de los/as participantes se refieren, en su mayoría, con la selección homogénea de los alumnos (690) y con la subvención del transporte (498). 

-    El 67,92% (n= 33.608) del alumnado demanda la realización de prácticas en empresas, frente a un 27,05% (n= 13.387) que no está interesado en las mismas. Independientemente del posible interés por realizar prácticas, el 61,77% (n= 30,566) manifiesta que los centros les han aportado información sobre la posibilidad de realizarlas. 

-     Sólo el 21,59% (n= 10.683) del alumnado ha trabajado anteriormente en algún empleo relacionado con la especialidad en la que ha sido formado, frente a un 73,98% (n= 36.609) que no lo ha hecho. 

-    Las puntuaciones alcanzadas han sido mejores en los años 2004, 2006 y 2007. Sin embargo, si nos centramos en los datos referidos al año 2008, las puntuaciones obtenidas no logran superar a las del año 2007, manteniendo una clara tendencia a la baja. 

B.     Recursos Materiales y Humanos 

-    Esta ha sido la dimensión la mejor valorada de todas las que conforman el instrumento, recibiendo una puntuación media de 8,25. Dentro de la misma, el aspecto mejor valorado ha sido la experiencia profesional del profesorado (8,88), mientras que la peor valorada hace referencia a las condiciones físicas del aula y del centro (7,72). En el análisis de la información cualitativa relativa a esta dimensión destacan las aportaciones relativas a la falta de recursos materiales (1.805), solicitando material nuevo o valorando su estado. 

-     Ha obtenido las mejores puntuaciones en los años 2002 y 2007. No obstante, a la vista de la comparativa, se observa que los resultados para esta dimensión en el año 2008 han descendido de manera generalizada respecto a los años anteriores. 

C.    Metodología y Clima de Aprendizaje 

-    Esta dimensión ha obtenido una puntuación media de 7,85 y la cuestión mejor valorada dentro de la misma ha sido la buena relación con el profesorado (8,91). Sin embargo, la que ha alcanzado la menor puntuación es la relacionada con la realización de actuaciones externas (visitas a empresas, ferias, exposiciones, etc.) (4,57). En la información cualitativa, destacan las observaciones relacionadas con la gestión de las prácticas (1.623) y con el profesorado (1.332). 

-    En un 33,92% de los casos (n=26.025), la evaluación de los aprendizajes se ha llevado a cabo mediante la realización de prácticas reales, a lo cual le sigue la realización de exámenes escritos (30,98% - n=23.766). 

-     Se observa que la mayor parte de las puntuaciones han ido descendiendo con respecto al 2002. El único ítem que refleja una ligera mejora es el que valora si el profesorado ha aclarado las dudas, el cual ha aumentado de 8,32 a 8,67 en 2008. 

D.    Valoración General de la Formación 

-     El índice global de satisfacción (2005-08) ha alcanzado una puntuación media de 7,78. Si lo ponemos en relación con distintas variables obtenemos que las mujeres son las que realizan una valoración más positiva (7,93), frente a los hombres, que otorgan una puntuación media de 7,75. Por edades, es la población que tiene más de 55 años la que mejor valora las acciones (8,07), mientras que la que otorga una menor puntuación se encuentra en el intervalo comprendido entre 25 y 34 años (7,74). Por titulación académica, las personas que tienen Certificado de Estudios Primarios otorgan la mejor valoración con un 8,17, mientras que quienes realizaron una licenciatura universitaria ofrecen la puntuación más baja (7,48). 

-    Atendiendo a la valoración de la formación realizada por Áreas de Formación[xi] en Asturias, observamos que son las áreas más rurales las que otorgan una mayor puntuación: el Área Suroccidente (8,63), seguida del Área Oriente (8,17) y Noroccidente (8,06). Las puntuaciones medias más bajas han sido aportadas por las Áreas de Gijón y Oviedo, con 7,84 y 7,89 puntos, respectivamente.  

E.     Impacto Previsto 

-     El aspecto más destacado ha sido la mejora de la formación general complementaria, con una puntuación media de 8,14. La mejora de la orientación laboral ha sido el ítem que ha recibido la puntuación más baja (7,12). En cuanto al análisis de la información cualitativa, las observaciones en las que hace más hincapié el alumnado guardan relación con la satisfacción general con la experiencia formativa (938) y con la influencia en la situación laboral (737). 

   A título de resumen se incluye la tabla 13, que recoge la puntuación media obtenida en cada una de las dimensiones estudiadas: 

Tabla 13. Valoración media de las dimensiones del cuestionario

   Finalmente, atendiendo a la comparación sobre la Valoración General de las acciones formativas, se observa que las puntuaciones han mejorado progresivamente en los años comprendidos entre 2002 y 2007, produciéndose en el año 2008 un descenso generalizado de la valoración de las acciones formativas para los tres ítems evaluados. En relación al Impacto Previsto, debe considerarse que las mejores puntuaciones se han alcanzado en el 2007 en todos los ítems, mientras que las más bajas se obtuvieron en el año 2008. 

Valoración Final 

   Este artículo es una síntesis de la experiencia evaluativa desarrollada durante 10 años, experiencia que no ha podido ser objeto de análisis intermedios debido a los plazos y ritmos que año tras año ha ido marcando la Administración responsable del encargo, algo por otra parte habitual en las demandas de evaluación. Es ahora cuando podemos aportar un conjunto de reflexiones globales sobre el proceso vivido. 

• En esta fase final de recapitulación de todo el proceso evaluativo tenemos que destacar la utilidad de la evaluación para la toma de decisiones, ese punto débil de muchos programas evaluativos. Gracias a la información aportada, los responsables de la Administración han dispuesto de un sistema racional y transparente para su toma de decisiones. Concretamente, los resultados de evaluación recogidos en los sucesivos informes anuales han servido para orientar la asignación de los recursos a los diferentes centros, así como para planificar la correspondiente oferta formativa. Prueba de su utilidad es que la Administración ha ido renovando durante 10 años el convenio con la Universidad para la realización de la evaluación.

• El Plan de Evaluación establecido al comienzo del proceso y perfeccionado a lo largo de los años que ha durado la experiencia, ha proporcionado a los responsables de la Administración Autonómica un modelo global para la evaluación de la Formación Ocupacional. Aunque en este artículo nos hemos centrado en uno de los ámbitos de la evaluación de la formación, la satisfacción de los participantes, debe tenerse en cuenta que es sólo una parte de un modelo global, ya que incluye, además, la evaluación de los efectos de la formación en la inserción laboral a corto y medio plazo y la acreditación de los Centros y Entidades responsables. Estas tres líneas de evaluación han permitido obtener una imagen general y contextualizada de los procesos formativos, así como la creación de una amplia base de datos a disposición de la Administración.

• Ante las dificultades para acceder a una serie temporal de los resultados obtenidos en procesos similares de evaluación de la formación ocupacional aplicados en otras Comunidades Autónomas (Andalucía, Valencia, Euskadi), pues los datos no suelen estar a disposición pública, no ha sido posible contrastar nuestros resultados con los obtenidos en otros estudios similares. A falta de este contraste, que no descartamos definitivamente, acudimos a otros criterios que apoyan la consistencia de los datos presentados. Uno de ellos es la validación de los datos por saturación, que se manifiesta en la existencia de una gran estabilidad de la información a lo largo de los años y en la correspondencia entre los valores cuantitativos y cualitativos. También se han recogido algunos datos de satisfacción de directivos y profesorado de los centros de formación para completar la información procedente del alumnado. Por otra parte, la evaluación de la satisfacción de los cursos de formación ocupacional refleja tendencias similares a los procesos de evaluación realizados en otros ámbitos educativos (valoración positiva de la competencia docente, dificultades vinculadas a la gestión de la formación, reivindicación de una orientación más práctica de las enseñanzas, etc.).

• Otra consecuencia relevante de la evaluación sostenida a lo largo de estos años es la creación, en los centros participantes, de unas expectativas y cierta sensibilidad hacia el rendimiento de cuentas acerca de sus propios programas (gestión, desarrollo y efectos), instaurando en ellos unas rutinas que a la larga podrían cristalizar en una cultura institucional de evaluación y mejora permanente. En cualquier caso, la devolución periódica de información a los centros sobre sus resultados obtenidos y la comparación con el resto ha supuesto para ellos una oportunidad para iniciar procesos de revisión interna y mejora, implicando en su discusión a gestores y profesorado.

• Somos conscientes de que la evaluación de la “Calidad del Servicio” de un programa de formación para desempleados, entendida como las valoraciones emitidas por los usuarios sobre el desarrollo de las acciones formativas, no se constituye como un indicador de igual relevancia que la evaluación del impacto (inserción laboral). De cualquier forma, la información resultante en este proceso constituye un elemento clave dentro del Modelo Global de Evaluación de la Formación para el Empleo en Asturias, como ya hemos destacado con anterioridad, y ha servido claramente para mejorar el programa formativo.

• Finalmente destacamos otras aportaciones y efectos positivos derivados del proceso de evaluación, como son: el desarrollo de una instrumentación para la evaluación de la formación ocupacional que puede servir de referencia a futuros diseños; el incremento del protagonismo e influencia de los participantes en el programa en el funcionamiento de los centros formativos; y la rendición de cuentas a los distintos agentes sociales (sindicatos, empresarios, etc.) y a la sociedad en su conjunto acerca de la utilización y resultados de las políticas de Formación para el Empleo, poniendo a su disposición la información básica obtenida.

Referencias

Cabrera, F. A. (2000). Evaluación de la formación. Madrid: Síntesis.

Chiva, I. (2003). Evaluación de programas de formación ocupacional en colectivos con riesgo de exclusión social. Tesis Doctoral. Universitat de València. http://www.tesisenxarxa.net/TDX-1011106-111346/index_cs.html. (Consulta: 10/05/2010).

Chiva, I. (2006). Evaluación de los programas de formación ocupacional para el colectivo de mujeres. RELIEVE, v. 12, n. 1. http://www.uv.es/RELIEVE/v12n1/RELIEVEv12n1_3.htm. (Consulta: 01/06/2010).

De Miguel, M. (2000). Evaluación de Programas Sociales. Revista de Investigación Educativa, 18, 2, 289-317

De Miguel Díaz, M. y San Fabián Maroto, J.L. (2003). Evaluación de la calidad de los centros y los programas de formación para el empleo. Bordón, 55 (3), 447-459.

De Miguel Díaz, M., San Fabián Maroto, J.L., Belver Domínguez, J.L. (2009). Guía para la revisión interna y mejora de los Centros de de formación profesional y ocupacional. Bilbao: Mensajero S.A.U.

De Miguel Díaz, M., San Fabián Maroto, J.L., Belver Domínguez, J.L. (2003). Análisis de la Satisfacción de los alumnos participantes en las acciones formativas del plan FIP desarrolladas en el año 2002 (PROYECTO Evaluación de Centros Colaboradores del PNFIP y de los promotores de Empleo-Formación en Asturias). Oviedo: Universidad de Oviedo, Facultad de Ciencias de la Educación.

De Miguel Díaz, M., San Fabián Maroto, J.L., Belver Domínguez, J.L. (2004). Análisis de la Satisfacción de los alumnos participantes en las acciones formativas del plan FIP desarrolladas en el año 2003 (PROYECTO Evaluación de Centros Colaboradores del PNFIP y de los promotores de Empleo-Formación en Asturias). Oviedo: Universidad de Oviedo, Facultad de Ciencias de la Educación.

De Miguel Díaz, M., San Fabián Maroto, J.L., Belver Domínguez, J.L. (2005). Análisis de la Satisfacción de los alumnos participantes en las acciones formativas del plan FIP desarrolladas en el año 2004 (PROYECTO Evaluación de Centros Colaboradores del PNFIP y de los promotores de Empleo-Formación en Asturias). Oviedo: Universidad de Oviedo, Facultad de Ciencias de la Educación.

De Miguel Díaz, M., San Fabián Maroto, J.L., Belver Domínguez, J.L. (2006). Análisis de la Satisfacción de los alumnos participantes en las acciones formativas del plan FIP desarrolladas en el año 2005 (PROYECTO Evaluación de Centros Colaboradores del PNFIP y de los promotores de Empleo-Formación en Asturias). Oviedo: Universidad de Oviedo, Facultad de Ciencias de la Educación.

De Miguel Díaz, M., San Fabián Maroto, J.L., Belver Domínguez, J.L. (2007). Análisis de la Satisfacción de los alumnos participantes en las acciones formativas del plan FIP desarrolladas en el año 2006 (PROYECTO Realización de la evaluación de las medidas de formación ocupacional cofinanciadas por el Fondo Social Europeo). Oviedo: Universidad de Oviedo, Facultad de Ciencias de la Educación.

De Miguel Díaz, M., San Fabián Maroto, J.L., Belver Domínguez, J.L. (2008). Análisis de la Satisfacción de los alumnos participantes en las acciones formativas del plan FIP desarrolladas en el año 2007 (PROYECTO Realización de la evaluación de las medidas de formación ocupacional cofinanciadas por el Fondo Social Europeo). Oviedo: Universidad de Oviedo, Facultad de Ciencias de la Educación.

De Miguel Díaz, M., San Fabián Maroto, J.L., Belver Domínguez, J.L. (2009). Análisis de la Satisfacción de los alumnos participantes en las acciones formativas del plan FIP desarrolladas en el año 2008 (PROYECTO Realización de la evaluación de las medidas de formación ocupacional cofinanciadas por el Fondo Social Europeo). Oviedo: Universidad de Oviedo, Facultad de Ciencias de la Educación.

EGAILAN (1999). Manual de Evaluación de la formación ocupacional. País Vasco: EGAILAN.

Gelpi, E. (1987). Trabajo, Educación y Cultura. Valencia: Nau Llibres.

Jornet, J.M. (2000). Evaluación del Profesorado Universitario. Ponencia presentada en el Seminario de Evaluación Educativa de la Asociación Nacional de Inspectores de Enseñanza Secundaria.

Jornet, J.M.; Suárez, J.M.; González Such, J. y Pérez Carbonell, A. (1996). Evaluación de la actividad universitaria. En G. Quintas  (Ed.), Reforma y Evaluación de la Universidad. Valencia: Servei de Publicacions de la Universitat de València.

Jornet, J.M., Perales, M.J., Suárez, J.M., Pérez Carbonell, A., Chiva, I., Ramos, G., González Such, J., Villanueva, P. y Sánchez Delgado, P. (2001). La evaluación de programas de formación: tipos de planes y algunas cuestiones metodológicas. Revista de Investigación Educativa, 19, 589-597.

Perales, M.J. (2000). Enfoques de Evaluación de Formación Profesional y Continua. Estudio de Validación de un modelo. Tesis Doctoral. Universitat de València.

Tejada, J. (1992). La evaluación en la formación ocupacional. En A. Ferrández (Dir.), La formación ocupacional. Realidad y Perspectivas. Madrid: Diagrama.