1. INTRODUCCIÓN
Si revisamos la literatura existente en el campo de la evaluación podemos comprobar que existen distintas definiciones del concepto evaluación con aspectos comunes o con matizaciones diferenciales importantes. Sin embargo, si que hay un acuerdo común en entender que la evaluación es una de las actividades más necesarias en la planificación, diseño y gestión de la formación en las instituciones educativas y formativas, tanto en el ámbito formal como en el no formal (Jornet et al. 2000; Jiménez, 1999; Martínez Mut, 2003).
Desde nuestro punto de vista, es durante el diseño de un programa de formación donde la evaluación ofrece la máxima utilidad, puesto que permite comprobar la eficacia, eficiencia y funcionalidad con el objetivo de identificar los elementos a mejorar y, en definitiva, optimizar el programa de formación. La integración de la evaluación y la planificación como dos dimensiones de la gestión de la formación la convierte en una “función preventiva”, ya que por evaluación no sólo deberemos entender la comprobación del logro de los objetivos, con todas las funciones y objetivos que le podamos asignar, sino también la garantía del cumplimiento de los requisitos o criterios de calidad definidos para cada momento del programa (Martínez Mut, 2003). Desde esta
perspectiva, hemos
ido observando distintos modelos, sistemas y planes de evaluación que se
han ido desarrollando en el entorno de la teleformación y hemos comprobado que resultan tentativos y parciales,
caracterizándose – en la mayor parte de las ocasiones- por centrarse en
los elementos tecnológicos. Esto es, la referencia a la tecnología se
considera en los planes de evaluación por su atención a la calidad del
medio, del instrumento, y no a su integración pedagógica o al valor que
ésta tiene dentro del programa de formación. Es decir, el énfasis puede
variar hacia elementos organizacionales o hacia componentes específicos,
como es el caso de los materiales de formación, dejando la valoración
del contexto en el que se desarrolla el programa de formación sin atender
o reflejada en pocos elementos dentro de los planes de evaluación. En este trabajo se presentan distintos núcleos
de análisis que entendemos pueden constituir el punto inicial desde el
que abordar el desarrollo de una línea de investigación, que conduzca a
conocimientos metodológicos sólidos y que permita plantear las bases
para desarrollar un modelo o sistema de evaluación de programas de
teleformación centrado en todos los elementos que integran esta forma de
concebir la formación. 2. PLANTEAMIENTO DE
LA INVESTIGACIÓN Esta
investigación se organiza en torno a una experiencia evaluativa real[1]
desarrollada en 1999 por el Departamento MIDE[2]
-Universitat de València-, en colaboración con Studio 2000 (Empresa
dedicada a la teleformación), en el marco de las iniciativas ADAPT de la
Unión Europea[3].
Desde el punto de vista de la investigación
evaluativa, la información recabada a través de dicho Proyecto/
Experiencia permitió desarrollar estudios dirigidos a la definición de
elementos de diseño y modelización de planes de evaluación de programas
de teleformación. 3. OBJETIVO DE LA INVESTIGACIÓN El
objetivo principal del presente trabajo se sitúa en la aportación de
información que facilite la construcción de conocimiento en investigación
evaluativa para abordar los planes de evaluación de la teleformación en la empresa. 4.
ANÁLISIS Y RESULTADOS Con la idea de alcanzar el objetivo planteado
en la investigación se llevaron a cabo dos estudios empíricos, en los
cuales se desarrollaron objetivos específicos que nos permitieron
conseguir lo propuesto y que a continuación pasamos a comentar de manera
muy resumida. 4.1
Estudio Empírico I. Diseño y análisis
de viabilidad de estándares para la evaluación de la eficiencia/
funcionalidad del diseño de programas de teleformación. 4.1.1.
Objetivos del Estudio I El objetivo de este primer estudio es observar la
eficiencia/ funcionalidad didáctica que los recursos tecnológicos tienen
sobre distintos programas de formación continua y analizar cómo
funcionan para establecer criterios de evaluación, identificando qué
recursos son fundamentales en el diseño de programas de teleformación. De ahí que aportemos un sistema que facilite la
evaluación de los diseños de programas de teleformación teniendo en
cuenta la adecuación de la tecnología utilizada para el mejor ajuste
metodológico- didáctico de los programas. 4.1.2. Muestra Estudio I Este estudio de investigación evaluativa está
basado en el juicio de expertos, por lo que nos encontramos con una
muestra formada por un colectivo de siete jueces. Dichos jueces eran
especialistas en formación, con amplia experiencia como supervisores del
diseño y desarrollo del tipo de curso evaluado (tres expertos en Formación
Ocupacional y Continua; y cuatro gestores y técnicos de Formación en
grandes Entidades de Formación Ocupacional y Continua). 4.1.3.Variables
Estudio I La teoría y la práctica de los programas de formación
que son objeto de estudio[4]-
en total se partía de 366 programas de formación referidos a 16 Familias
Profesionales[5]-. A los jueces se les
aportó la siguiente descripción de cada programa de formación en forma
de cuadernillo de referencia establecidos por el INEM – ver tabla 1-: TABLA
1. Descripción de los elementos de referencia de cada Programa de Formación
aportada a los Jueces.
4.1.4.
Indicadores Estudio I Los
indicadores establecidos – ver tabla 2- se sustentaron sobre una
escala de valoración de 0 a 4, donde 0 indicaba la no
teleformabilidad y 4 cuando las posibilidades de teleformación eran muy
amplias[6].
TABLA 2. Relación de indicadores tenidos en cuenta en el estudio de Estándares
4.1.5
Metodología y Análisis Estudio I Desde el punto de vista metodológico, este estudio
se enmarca en procesos de investigación evaluativa, dirigido a recabar
información acerca del funcionamiento de estándares en el diseño y
desarrollo de planes de evaluación de programas de teleformación.
Se desarrollan cuatro análisis, los cuales entendemos
pueden constituir el punto inicial desde el que abordar el objetivo de
esta investigación: análisis
1. Diseño
de indicadores de relación entre recurso tecnológico utilizado y la metodología didáctica que requiere.
Los recursos tecnológicos, en este estudio, son considerados como
criterios internos al concepto de teleformabilidad de un programa de
formación siendo necesario conocer su aplicación y su
repercusión formativa. Es decir, se específica la
metodología didáctica que permite desarrollar la utilización de cada
uno de ellos para los distintos contenidos de formación y de esta manera
se establecen los indicadores necesarios para la determinación de estándares. Análisis
2.
Congruencia Inter-Jueces como consistencia de indicadores
y formulación de estándares.
El objetivo de este segundo análisis consistió en
valorar la congruencia en si misma, como elemento de referencia
acerca del valor del estándar para cada programa de formación y
seleccionar los indicadores de síntesis estadística para resumir la
información relativa a cada programa. Es decir, a partir de los
resultados del análisis Inter-Jueces - a través del coeficiente W de
Kendall- avalamos la
información dada por dichos jueces a través de la consistencia de sus
opiniones y observamos las discrepancias existentes entre ellos. Llegándose
a establecer un índice de concordancia
para el contenido teórico, el contenido práctico y para el global
de cada uno de los programas de formación de las distintas familias
profesionales analizadas[7]
. Análisis
3. Estructuración
de estándares. A
partir de los dos análisis anteriores, con este tercero se pretendió
establecer, para las distintas familias profesionales, un estándar basado
en la identificación de los recursos utilizados y su aprovechamiento en
relación con la metodología didáctica
que debe desarrollarse en cada programa de formación. Es decir, tratamos
de señalar estándares de referencia para evaluar la eficiencia/
funcionalidad didáctica[8]
de los diseños de programas de teleformación según las distintas
familias profesionales estudiadas, analizando como funcionan los
indicadores y detectando cuales utilizar para valorar la teleformabilidad
de programas de formación y a partir de ello deducir criterios de calidad
de dichos programas. Se
realiza un análisis descriptivo basado en Medianas cuyos datos hacen
referencia al conjunto de programas de formación obtenidos a partir del
análisis de concordancia Inter-Jueces. Análisis 4.
Diseño de un protocolo de aplicación de estándares.
Por último, con este análisis hemos tratado
de aportar información acerca del sistema de teleformación que facilite
la evaluación de los diseños de programas de teleformación, por lo que
ofrecemos una estructura de estándares que son utilizables desde el marco
de un Protocolo de Actuación para Evaluadores[9]
– ver Protocolo adjunto en Anexo -. 4.1.6.
Resultados Estudio I
Teniendo en cuenta el objetivo de este estudio y, por tanto, de los
análisis presentados anteriormente, obtenemos como resultado en primer
lugar una estructuración de estándares de referencia para evaluar la
eficiencia/ funcionalidad didáctica de los diseños de estos programas
según las distintas familias profesionales[10]
– ver algunos ejemplos en las tablas 3 y 4 -: TABLA 3.
Criterios de Referencia para la Familia Profesional Administración y
Oficinas
TABLA 4. Criterios de Referencia en la Familia Profesional Comercio
Asimismo, este estudio nos ha permitido conocer el
grado de eficiencia/ funcionalidad de cada uno de los recursos tecnológicos
en las distintas familias profesionales según el contenido teórico y práctico
– ver tablas ejemplos 5 y 6-: TABLA
5. Medianas obtenidas por Otras Páginas en Teoría y Práctica en todas
las Familias Profesionales (Escala de 0 a 1)
TABLA
6. Medianas obtenidas por la Videoconferencia en Teoría y Práctica en
todas las Familias Profesionales (Escala de 0 a 1)
Siguiendo con los resultados obtenidos también se
da a conocer la eficiencia/ funcionalidad didáctica de cada recurso
tecnológico tanto para los contenidos teóricos (T) como prácticos (P)
en todos los programas de formación
- ver tabla ejemplo 7 -: TABLA 7. Medianas de Recursos Tecnológicos
para los contenidos Teóricos y Prácticos en los Programas de Formación
de Administración y Oficinas (Escala 0-1)[11]
Por lo que a partir de todo ello y como
producto final hemos elaborado una guía de aplicación de estándares
donde el evaluador podría anticipar si el programa de formación está
bien solucionado desde la teleformación. O lo que es lo mismo, el
evaluador teniendo en cuenta los criterios de referencia puede detectar la
eficiencia/ funcionalidad de los programas de teleformación – ver
Anexo-. Aquí se ofrece una estructura de estándares que
son utilizables desde el marco de un Protocolo de Actuación para
Evaluadores. Protocolo que puede ser susceptible de un doble uso: por un
lado, para analizar la viabilidad del diseño deseado en teleformación y
por otro, para incorporar la evaluación a un programa de teleformación.
La estrategia de aplicación del Protocolo requiere que el evaluador
analice el diseño, y compruebe – a través de entrevistas con los
implicados- la adecuación de sus usos. Es decir, se sustenta sobre la
evaluación del diseño de teleformación, considerando su acción. Pero
esta propuesta, es inicial y tentativa y debería ser probada en otros
marcos en los que se pudiese valorar la homogeneidad de utilización de
los estándares a través de diferentes situaciones y por diversos
evaluadores como base de fiabilidad y validez del Protocolo – ver
Anexo-. 4.2.
Estudio Empírico II.
Estudio
de Validación de un Plan de Evaluación de Teleformación en la Empresa. Para la consecución del segundo estudio de
esta investigación, partimos del hecho de que la validación de cualquier
sistema de evaluación se basa en una acumulación de evidencias acerca de
la adecuación del funcionamiento del mismo, es decir, del conjunto de
estrategias para dotar de validez al proceso evaluativo (Jornet, Suárez y
Pérez Carbonell, 2000; Jornet, Suárez y Perales, 2000;
Perales, 2000). Estableciéndose
la validez como un aspecto multidimensional, aplicado y aplicable a
cualquier estrategia de acercamiento a la realidad, desde la investigación
básica, los instrumentos de recogida de información a la investigación
aplicada y la evaluación (Swanborn,
1996; Perales, 2000). Desde este punto de vista planteamos el siguiente
estudio, no obstante, en el sistema de evaluación desarrollado no se
realiza un proceso de validación de todo el plan de evaluación sino de
una parte de dicho plan: la toma de decisiones o conclusiones. 4.2.1. Objetivos del
Estudio II Con
este segundo estudio nos planteamos aportar una estructura global de
planificación y desarrollo de un proceso de evaluación de programas de
teleformación. Así como, aportar una valoración acerca de la validez de
la definición de indicadores y la utilización de diversas fuentes de
información en dicho proceso de evaluación para la toma de decisiones. 4.2.2. Muestra Estudio II Se
trata de un estudio de validación basado en las informaciones procedentes
de distintas fuentes (agentes claves). Tipos
de muestras: -
Programas de
Formación: 10 tipos de programas de
formación, aunque algunos de ellos tuvieron varias ediciones, por lo que
en total para este proyecto se evaluaron 15 programas. Todos tenían una
duración fija de 20 horas de aplicación, presentaban la misma estructura
y compartían plataforma de teleformación desarrollada ex profeso para la
experiencia – ver tabla 8-. Tabla
8. Listado de Acciones Formativas
-
Agentes y fuentes: ·
Profesores, Alumnos y
Coordinadores de Centros. ·
Equipo técnico también
denominado Comité de Expertos 1 o Comité Interno. Se denominó así a la
Entidad encargada de llevar a cabo la evaluación del proyecto. ·
Comité Externo, también
denominado Comité de Expertos 2. Conformado por expertos en Pedagogía,
Tecnología Educativa y Formación en Empresa. 4.2.3. Variables e Indicadores Estudio II Al
constituir un plan completo de evaluación, se integran variables e
indicadores tanto de entrada como de proceso y producto, asumibles en
diversas finalidades como eficacia, eficiencia y funcionalidad – ver
ejemplo en tabla 10-. Todo
ello sustentado en diversos tipos de instrumentos: -
Escala de valoración AMEE-13 (Comité de Expertos). -
Cuestionarios de evaluación de los programas
de formación y Guía de
entrevista (Alumnos). -
Autoinformes y Guía de entrevista (Profesores/
Tutores). -
Cuestionarios para Coordinadores de formación
(Centros). 4.2.4. Metodología y Análisis Estudio II Este estudio se enmarca en procesos de validación
como aproximación de investigación evaluativa
orientada a determinar el grado en que un plan de evaluación puede
dar respuestas al tipo de interrogantes que están a la base de su puesta
en marcha. El
énfasis en la necesidad de comprobar la validez y utilidad de los
diferentes elementos que forman parte de un plan de evaluación, así
como, la atención a las características del objeto de estudio, hace que
nos situemos en una aproximación basada en la complementariedad metodológica.
No obstante, hemos optado por aportar dos grandes bloques de análisis que
globalizan la finalidad última
del estudio. análisis 1.
Análisis de la evaluación como contexto de validación:
Justificación del plan de evaluación para programas de teleformación. Cualquier
proceso de evaluación debe ser considerado un proceso de investigación,
proceso que sigue unos pasos y atiende a unos componentes permanentes en
su sentido, aunque cambiantes en su especificación al objeto a evaluar. A
partir de este posicionamiento y con el objetivo de validar la estrategia
de toma de conclusiones del plan de evaluación basado en la triangulación
de información procedentes de distintas fuentes e instrumentos, nos
planteamos dichos componentes básicos que la evaluación de programas
debe atender (Jornet, Suárez, Belloch, 1998): ¿Qué se evalúa?, ¿Para qué
se evalúa?, ¿Quién orienta o encarga la Evaluación?, ¿Quién realiza
la Evaluación?, ¿Qué
audiencias están implicadas?, ¿Qué información se requiere?, ¿A quién
se le demanda información?, ¿Cómo se recoge la información?, ¿Cómo
se analiza y sintetiza la información?, ¿Quién tiene derecho de acceso
a la información?, ¿Cómo se elaboran los informes de Evaluación?. De esta manera, la definición del Plan de Evaluación
desarrollado para esta experiencia nos sirve de basa para proceder a
nuestro objetivo último, la validación de las conclusiones o toma de
decisiones llevadas a cabo por los agentes implicados en este proceso de
evaluación y que se desarrolla en el siguiente análisis. análisis 2.
Estrategia para la validación de las conclusiones /toma de
decisiones del Plan de Evaluación. Aunque
la validación deviene de una acumulación de evidencias, nos limitamos
aquí a aportar una evidencia inicial, de carácter global. Una estrategia
de carácter cualitativa, dirigida a la validación de las conclusiones o
toma de decisiones, tomando como punto de partida la triangulación de las
informaciones procedentes de fuentes e instrumentos diferenciados.
4.2.5. Resultados Estudio II Como resultado de estos dos análisis y
por consiguiente del segundo estudio, se plantea un sistema de
recogida de información a través de la triangulación de fuentes e
instrumentos teniendo en cuenta los siguientes elementos– ver tabla 9-: TABLA
9. Tabla resumen de variables,
dimensiones, unidades de análisis, fuentes e instrumentos que hemos
tenido en cuenta en el proceso de validación
De esta manera, se establece el diseño de un sistema de recogida
de información cruzada, sobre las distintas variables trabajadas en el
proyecto (entrada, proceso y producto) asumibles desde diversas
finalidades como eficacia, eficiencia y funcionalidad, a
partir de las cuales, en su conjunto, se refleja la calidad del
plan de evaluación. Por otro lado, nos encontramos con la información
aportada por cada fuente a través de los distintos instrumentos,
mostrando un esquema de información donde se añade la aportada por el
Comité Externo, ya que este actuaba como elemento de validación de la
información aportada por el Comité Interno – ver tabla 10 de ejemplo-: TABLA
10.- Esquema de información cruzada Triangulación de información, de
fuentes e instrumentos en las diferentes dimensiones y variables (tabla
ejemplo).
Para finalizar el proceso de validación se aporta
un análisis lógico de congruencias y discrepancias de las valoraciones
dadas por cada una de las fuentes sobre los puntos fuertes, débiles del
sistema evaluado y sobre los aspectos a mejorar del mismo, es decir, sobre
las conclusiones/ toma de decisiones aportadas en cada informe de evaluación
– ver tabla 11 de ejemplo-, analizándose a partir de ello, el grado de
concordancia existente a través de un análisis cualitativo, el cual
atiende a las dimensiones de evaluación y a la coincidencia entre
fuentes. TABLA 11. Concordancia
existente entre las valoraciones de las fuentes de información sobre los
puntos fuertes, débiles y aspectos a mejorar en el Visor del Profesor/
Tutor. (A= Alumno; P= Profesor; C=Coordinador; CI=Comité Interno;
CE=Comité Externo)
De todo ello y como producto final creemos haber
aportado en este segundo estudio una estructura global de planificación y
desarrollo de un proceso de evaluación de programas de teleformación
(Objetivo Análisis I) y de un proceso de valoración de la validez de la
definición de indicadores a partir de las conclusiones de diversas
fuentes de información en dicho proceso de evaluación (Objetivo Análisis
II), aunque en este artículo se haya presentado de una manera muy sucinta
debido al formato del mismo. 5. CONCLUSIONES GENERALES
A
partir de la investigación desarrollada podemos concluir de forma muy
general, y atendiendo a los resultados obtenidos en ambos estudios, que: ·
La elección de los recursos
tecnológicos para el diseño y desarrollo de los programas de formación
constituye uno de los puntos clave en un proyecto de teleformación. ·
Se han de considerar a los
recursos tecnológicos como criterios
internos al concepto de teleformabilidad de un programa de formación.
·
Se han de identificar
adecuadamente el rol que juega cada uno de los recursos en el proceso de
formación, su aplicación y su repercusión formativa. ·
Los indicadores para la evaluación
de los programas de teleformación han de girar alrededor de todos los
elementos que imponen los contenidos de formación, de la implementación
del programa y de las características específicas del medio. ·
Asimismo, se han de establecer estándares
de evaluación para los distintos contenidos formativos
teniendo en cuenta indicadores como el recurso tecnológico
utilizado y su aprovechamiento metodológico. ·
Se hace necesario un modelo
integrador de lo tecnológico con lo pedagógico para la evaluación de la
teleformación. Que globalice de forma adecuada todos los requerimientos y
necesidades que se plantean en la evaluación de este tipo de programas de
formación. En esta línea,
hemos propuesto la aplicación del modelo de De la Orden (1988, 1990,
1992, 1997), por su carácter sistémico y por que permite identificar de
forma clara los diversos componentes de un programa de formación – en
este caso de teleformación- con sus posibles efectos para orientar el análisis
de Planes. Es un modelo de calidad que intenta superar la consideración
aislada de las características específicas de los distintos componentes
(contexto, entrada, proceso, producto) y tratar de especificar los rasgos
comunes a todas ellas. Permite además elaborar indicadores para evaluar
la eficacia, eficiencia y funcionalidad de un programa con los diferentes
aspectos a tener en cuenta, hecho que le lleva a delimitar muy bien la
finalidad de la evaluación. ·
El Protocolo de Actuación para
Evaluadores que aquí proponemos – ver Anexo- se convierte en una
herramienta para abordar el diseño y desarrollo de Planes de Evaluación
en este ámbito planteada desde criterios de calidad, tanto a nivel político
(orientando el diseño y desarrollo de programas al permitir un análisis
adecuado de soluciones para diversos sectores profesionales), pasando por
las PYME (puesto que puede orientarles en el análisis y la toma de
decisiones acerca de la adecuación de las soluciones tecnológicas según
su sector profesional), hasta los proveedores de teleformación (como
ayuda para el análisis de programas de formación y directrices para el
establecimiento de inversiones) (Consecución del objetivo Estudio I). En conjunto con los dos
estudios empíricos se ha intentado comprobar a partir del desarrollo de
un conjunto de experiencias la viabilidad de un sistema de evaluación y/o
la necesidad de la creación de un plan de evaluación para programas de
teleformación, identificando indicadores relevantes que se han de tener
en cuenta a la hora de evaluar el diseño de este tipo de programas de
formación. Todo ello siendo conscientes
de que: ·
Los resultados obtenidos están
ligados a los recursos tecnológicos que fueron utilizados[13],
por lo que, se precisa una revisión continua de los recursos tecnológicos
que actualmente están en uso como mejora y ampliación de los resultados.
·
El valor global de esta
investigación reside en que se sitúa en la base de la construcción del
conocimiento evaluativo para este ámbito. REFERENCIAS BIBLIOGRÁFICAS
De la Orden, A. (1988). La calidad de la educación. Bordón, 42, 2, 149-161.
De la Orden, A. (1990). Evaluación de los efectos de los programas de intervención. Revista de Investigación Educativa, 8, 16, 61-76. De la Orden, A. (1992). Calidad y Evaluación de la Enseñanza Universitaria. Actas del Congreso Internacional de Universidades. Madrid: Universidad Complutense. De la Orden, A.; Asensio, I.; Carballo, R.; Fernández Díaz, J.; Fuentes, A.; García Ramos, J.M. y Guardia, S. (1997). Desarrollo y validación de un modelo de calidad universitaria como base para su evaluación. RELIEVE, 3, 1. Consultado en http://www.uv.es/relieve/v3n1/RELIEVEv3n1_2.htm el 10 de septiembre de 2005. Jiménez, B. (coord.) (1999). La evaluación de programas, centros y profesores. Madrid: Editorial Síntesis, S.A. Jornet, J.M.; Suárez, J.M. y Beloch, C. (1998). Metodología de evaluación de programas de formación profesional, ocupacional y continua. Leonardor project: Eurodialogue Evaluation. Valencia: Fundació Universitat-Empresa de València (ADEIT). Jornet, J.M.; Suárez, J.M. y Perales, M.J. (2000). La evaluación de la formación ocupacional y continua. Revista de Investigación Educativa, 18 (2), 521-538. Jornet, J.M.; Suárez, J.M. y Pérez Carbonell, A. (2000). La validez en la evaluación de programas. Revista de Investigación Educativa, 18 (2), 341-356. Martínez Mut, B. (2003). La formació a l'empresa. Enginyeria dels processos Educatius. Valencia: Editorial UPV. Merrill, M. D. y Twitchell D. G (1994). Instructional design theory. Englewood Cliffs (NJ): Educational
Tecnology Publications. Perales, M. J. (2000). Enfoques de evaluación de la formación ocupacional y
continua. Estudio de validación de un modelo. Valencia: Tesis doctoral.
Universitat de València. Swanborn, P. G. (1996). A common base for quality control criteria in
quantitative and qualitative research. Quality and
quantity, 30, 19-35. [1] Esta experiencia de evaluación es el denominado Proyecto TETRA (Telematics Training): proyecto de desarrollo y evaluación de programas de formación en las PYME mediante teleformación. La evaluación del proyecto integró dos vertientes: la evaluación de materiales y la evaluación de programas.
[2]
Concretamente por el Grupo
de Evaluación y Medición (GEM) y
la Unidad de Tecnología Educativa (UTE). [3] Estas iniciativas pretendían contribuir a la adaptación de los trabajadores a las transformaciones industriales y tecnológicas y mejorar el funcionamiento del mercado de trabajo ayudando a los trabajadores a adaptarse a las exigencias de la Nueva Sociedad de la Información. [4] Cada programa de formación hace referencia a una ocupación profesional. En cuanto a su estructura, las ocupaciones se enmarcaron en familias profesionales.
[5]
Administración y Oficinas, Artesanía, Cerámica, Comercio, Idiomas,
Industrias Gráficas, Industria Textil, Informática, Manufacturas
diversas, Montaje e Instalación, Seguros y Finanzas, Servicios a la
Comunidad y Personales, Servicios a las Empresas, Técnicas
Empresariales, Textil y Turismo y Hostelería.
[6]
(0)
No Teleformable (1) Teleformable/ No necesario: cuando las condiciones concretas permitían la
teleformabilidad pero esta se desaconsejaba, por diferentes razones de
estructura formativa. (2) Teleformable/ Necesario, Conveniencia Baja:
cuando
las posibilidades de teleformación eran reducidas bien por su
aplicabilidad – atendiendo a las diferentes herramientas tecnológicas
para la teleformación- o por razones de estructura formativa. (3) Teleformable/Necesario, Conveniencia Media:
cuando
las posibilidades de teleformación eran sustanciales, teniendo en
cuenta las diferentes herramientas tecnológicas para la teleformación
y las características de la estructura formativa avalaban su
aplicabilidad en una proporción sustancial del programa formativo o
de los módulos específicos en cuestión. (4) Teleformable/Necesario,
Conveniencia Alta: cuando las posibilidades de teleformación eran muy amplias, tomando en
cuenta las diferentes herramientas tecnológicas para la teleformación
y las características de la estructura formativa avalaban su
aplicabilidad en una proporción muy elevada
del programa formativo o de los módulos específicos en cuestión. [7] A partir de los siguientes niveles de clasificación de concordancia: 0-0.20: Muy baja; 0.21-0.40: Baja; 0.41-0.60: Media; 0.61-0.80: Alta; 0.81-1: Muy Alta. [8] Las definiciones de los criterios de calidad que nos han servido de base en todo el estudio son las establecidas por De la Orden en diferentes ocasiones (1988; 1990; 1992; 1997).
[9]
Esta propuesta, es inicial y tentativa y debería ser probada en otros
marcos, en el que se pudiese valorar la homogeneidad de utilización
de los estándares a través de diferentes situaciones y por diversos
evaluadores como base de fiabilidad y validez del Protocolo. [10] Escala de Interpretación del estándar de referencia: 0-0.20: Nada importante; 0.21-0.40: Poco importante; 0.41-0.60: Importante; 0.61-0.80: Muy importante; 0.81-1: Fundamental.
[11]
En estas tablas resúmenes aparecen sólo coloreados los Estándares
de Referencia descritos a continuación: §
Fundamental (0.81-1) representado por el color Violeta §
Muy Importante (0.61-0.80) representado por el color Azul Claro §
Importante (0.41-0.60) representado por el color Verde § Cuando la casilla no está representada con ningún color es debido a que el Estándar es poco o nada importante. [12] Valoración general extraída a partir de la simulación directa sobre el desarrollo de un Programa de Formación, en audiencias con Profesores y de la revisión del Informe del Comité Interno. [13] Páginas HTML, Otros tipos de Páginas (Java Perl o Script), Correo Electrónico, Grupos de Discusión, Recursos Cliente/ Servidor, Chat y Videoconferencia. Anexo: Protocolo de Evaluación
Presentación La Guía de Actuación para la Aplicación de Estándares es un instrumento que pretende recoger la información necesaria para que el Evaluador/a analice la eficiencia/ funcionalidad del Programa de Formación teniendo en cuenta la Tecnología y la Metodología Didáctica que ella nos permite desarrollar en el Programa. Todo ello en función del contenido del mismo. Es decir, esta Guía, nos permite describir, a la vista del Programa de Formación y del desarrollo metodológico del mismo, los Estándares para poder evaluar si el diseño del Programa de Formación es adecuado o no. Por este motivo en esta guía pretendemos recoger información de los contenidos, de los implicados y de los recursos tecnológicos utilizados. Para ello se hace necesario: 1.- Identificar el tipo de Programa de Formación según su contenido. 2.-Desarrollar Audiencias o Entrevistas con los implicados en el Diseño e Implementación del Programa de Formación. 3.-Identificar el funcionamiento de los Estándares en el desarrollo del Programa de Formación.
Forma de Aplicación (Ver apartados siguientes) 1.- IDENTIFICAR EL TIPO DE PROGRAMA DE FORMACIÓN SEGÚN SU CONTENIDO 1. 1.- Título del Programa de Formación:__________________________________ 1. 2.- Familia Profesional o sector profesional al que pertenece Recomendación: Identifique la Familia Profesional a la cual pertenece según la temática del programa; si no se halla el mismo programa, es recomendable utilizar el criterio de similitud de contenido. Intente, entonces, ubicarlo en la Familia Profesional más cercana a su contenido y tipo de competencias a desarrollar. Si su clasificación no es clara, tome como referencia las Familias Profesionales más similares (por ejemplo, si se tratara de un programa de Comercio Exterior, tome Administración y Oficinas, Servicios a la Empresas, Técnicas empresariales…). Ver Anexo I. Listado referencial de Programas de Formación trabajados en nuestro estudio y posteriormente especificar el nombre del Programa en la opción de "Otras".
1. 3.- Tipo de Contenidos
Recomendación: Teniendo en cuenta el número de horas totales del curso calcular la proporción de forma ponderada, de las horas Teóricas y la proporción de horas Prácticas que se establecen en el Programa de Formación. Proporción de horas Teóricas_____________
1.4.- Nivel de teleformabilidad de los Contenidos del Programa de Formación Recomendación: Una vez realizados los cálculos proporcionales de horas de dedicación a los Módulos, (ver Anexo II. Tablas relación existente entre la proporción de horas dedicadas a la Teoría y a la Práctica en los distintos Programas de Formación analizados y el nivel de teleformabilidad que alcanzan dichos contenido), anotar a continuación el grado de teleformabilidad del Programa, según los datos descrito en el Estudio Empírico. Grado o Nivel de teleformabilidad Global del Programa o del Programa con contenido similar________________________
2.- DESARROLLAR ENTREVISTAS CON LOS IMPLICADOS EN EL PROGRAMA DE FORMACIÓN El Objetivo de este apartado del proceso de Evaluación es conocer a partir de una/s Entrevista/s, programada y estructurada, con cada uno de los implicados en el diseño y desarrollo del Programa de Formación, cómo se han diseñado y aplicado los distintos Estándares en estos contenidos y cuál ha sido la funcionalidad didáctica de los mismos. Para ello es conveniente realizar Entrevista/s con:
Recomendación: El cómo y el cuándo de cada una de las Entrevistas vendrá determinado por las características de las Audiencias a la que va dirigida y los requisitos de la misma. 3.- IDENTIFICAR EL FUNCIONAMIENTO DE LOS ESTÁNDARES EN EL DESARROLLO DEL PROGRAMA DE FORMACIÓN El objetivo de este apartado del proceso de Evaluación es identificar los elementos tecnológicos diseñados para el Programa de Formación e identificar el uso de los mismos en el desarrollo de los Programas. Por lo que, para identificar el uso de los recursos tecnológicos hemos de evaluar la adecuación del uso de cada recurso en el Programa de Formación que estamos evaluando, así como establecer la importancia de los mismos según el estándar de referencia obtenido en el estudio empírico de referencia – ver apartado 3.1 y 3.2.- 3.1.- Identificación del USO de los Estándares
3.1.2. En segundo lugar, el Evaluador/a ha de valorar el nivel de adecuación/utilización de los distintos Recursos Tecnológicos utilizados, previamente diseñados para el funcionamiento del Programa, en el proceso de enseñanza- aprendizaje. La escala de valoración será la siguiente:
La puntuación más alta en la escala indica que el Recurso Tecnológico valorado propicia la metodología didáctica de la que parte en su grado máximo. Ver Anexo III. Metodología Didáctica de los Recursos Tecnológicos. Se ha de diferenciar dicha utilización teniendo en cuenta los módulos (teoría/ práctica) – rellenar tabla 1- (PUNTUACIÓN A).
3.1.3. Teniendo en cuenta la adecuación de la utilización de los Recursos Tecnológicos en el Programa de Formación y el contenido del mismo, se ha de recoger la información sobre los Estándares de Referencia Teóricos y Prácticos obtenidos en el Estudio Empírico para el Programa de Formación aquí evaluado. Obteniéndose un perfil de referencia ideal. Datos que se pueden obtener en el Anexo IV. Tablas de Estándares de Referencia hallados en este estudio según los distintos Contenidos.
4. Interpretación de las puntuaciones
. El resultado, en una escala de proporción (de 0 a 1), nos aporta información global de la adecuación tecnológica de los recursos teniendo en cuenta la eficiencia/funcionalidad del mismo, interpretable según la siguiente escala teórica:
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
format 