Referencia:

Reference:

Ramos, Genoveva (2005).  Elementos para el diseño de planes de evaluación de programas de teleformación en la empresa Revista ELectrónica de Investigación y EValuación Educativa, v. 11,  n. 2. http://www.uv.es/RELIEVE/v11n2/RELIEVEv11n2_5.htm.Consultado en (poner fecha).

 

Research / Investigación

 Hits:  Hit counter - Contador de visitas Visitas 

ELEMENTOS PARA EL DISEÑO DE PLANES DE EVALUACIÓN DE PROGRAMAS DE TELEFORMACIÓN EN LA EMPRESA

(Elements for evaluation plans design about e-learning programs in the company area)

In pdf format

por

En formatopdf

Article record

About the authors

Print this article

Genoveva. Ramos (Genoveva.Ramos@uv.es

Ficha del artículo

 Sobre los autores

Imprimir el artículo

 

Abstract

 From a broad research framework, this paper’s objective is to reflect on different ways to develop E-learning evaluation plans for companies whose employees are in continuous training.  Two empirical studies are presented that provide substantive references for identifying the standards, indicators and variables that can be considered for this type of evaluation plan. The results of different kinds of analyses have resulted in a guideline of standards usable in an Evaluation Protocol, and an outline to facilitate the planning and development of these kinds of evaluations.

Resumen

  Desde una perspectiva amplia, este artículo tiene como objetivo aportar elementos de reflexión y algunas soluciones en investigación evaluativa, a fin de abordar y orientar  los planes de evaluación de la teleformación en el ámbito de la formación continua en la empresa. Se presentan dos estudios empíricos que identifican estándares, indicadores y variables que puedan ser considerados en este tipo de planes de evaluación. Se propone una estructura de estándares utilizable en el marco de un Protocolo de Evaluación.

Keywords

E-learning, E-learning Evaluation Plans, E-learning Programs design. 

Descriptores

Teleformación, Planes de Evaluación de Teleformación, Diseño de Programas de Teleformación

 


1. INTRODUCCIÓN


Comentar este artículo


Artículos relacionados:

Rubio (2003). Enfoques y modelos de evaluación del e-learning.


Volumen 11, n. 2


Si revisamos la literatura existente en el campo de la evaluación podemos comprobar que existen distintas definiciones del concepto evaluación con aspectos comunes o con matizaciones diferenciales importantes. Sin embargo, si que hay un acuerdo común en entender que la evaluación es una de las actividades más necesarias en la planificación, diseño y gestión de la formación en las instituciones educativas y formativas, tanto en el ámbito formal como en el no formal (Jornet et al. 2000; Jiménez, 1999; Martínez Mut, 2003).

Desde nuestro punto de vista, es durante el diseño de un programa de formación donde la evaluación ofrece la máxima utilidad, puesto que permite comprobar la eficacia, eficiencia y funcionalidad con el objetivo de identificar los elementos a mejorar y, en definitiva, optimizar el programa de formación. La integración de la evaluación y la planificación como dos dimensiones de la gestión de la formación la convierte en una “función preventiva”, ya que por evaluación no sólo deberemos entender la comprobación del logro de los objetivos, con todas las funciones y objetivos que le podamos asignar, sino también la garantía del cumplimiento de los requisitos o criterios de calidad definidos para cada momento del programa (Martínez Mut, 2003). 

Desde esta perspectiva, hemos ido observando distintos modelos, sistemas y planes de evaluación que se han ido desarrollando en el entorno de la teleformación y hemos comprobado que resultan tentativos y parciales, caracterizándose – en la mayor parte de las ocasiones- por centrarse en los elementos tecnológicos. Esto es, la referencia a la tecnología se considera en los planes de evaluación por su atención a la calidad del medio, del instrumento, y no a su integración pedagógica o al valor que ésta tiene dentro del programa de formación. Es decir, el énfasis puede variar hacia elementos organizacionales o hacia componentes específicos, como es el caso de los materiales de formación, dejando la valoración del contexto en el que se desarrolla el programa de formación sin atender o reflejada en pocos elementos dentro de los planes de evaluación.

En este trabajo se presentan distintos núcleos de análisis que entendemos pueden constituir el punto inicial desde el que abordar el desarrollo de una línea de investigación, que conduzca a conocimientos metodológicos sólidos y que permita plantear las bases para desarrollar un modelo o sistema de evaluación de programas de teleformación centrado en todos los elementos que integran esta forma de concebir la formación.

2. PLANTEAMIENTO DE LA INVESTIGACIÓN

Esta investigación se organiza en torno a una experiencia evaluativa real[1] desarrollada en 1999 por el Departamento MIDE[2] -Universitat de València-, en colaboración con Studio 2000 (Empresa dedicada a la teleformación), en el marco de las iniciativas ADAPT de la Unión Europea[3].

Desde el punto de vista de la investigación evaluativa, la información recabada a través de dicho Proyecto/ Experiencia permitió desarrollar estudios dirigidos a la definición de elementos de diseño y modelización de planes de evaluación de programas de teleformación.

3. OBJETIVO DE LA INVESTIGACIÓN

El objetivo principal del presente trabajo se sitúa en la aportación de información que facilite la construcción de conocimiento en investigación evaluativa para abordar los planes de evaluación  de la teleformación en la empresa.

4.    ANÁLISIS Y RESULTADOS

Con la idea de alcanzar el objetivo planteado en la investigación se llevaron a cabo dos estudios empíricos, en los cuales se desarrollaron objetivos específicos que nos permitieron conseguir lo propuesto y que a continuación pasamos a comentar de manera muy resumida.

4.1  Estudio Empírico I. Diseño y análisis de viabilidad de estándares para la evaluación de la eficiencia/ funcionalidad del diseño de programas de teleformación.

4.1.1. Objetivos del Estudio I

El objetivo de este primer estudio es observar la eficiencia/ funcionalidad didáctica que los recursos tecnológicos tienen sobre distintos programas de formación continua y analizar cómo funcionan para establecer criterios de evaluación, identificando qué recursos son fundamentales en el diseño de programas de teleformación.

De ahí que aportemos un sistema que facilite la evaluación de los diseños de programas de teleformación teniendo en cuenta la adecuación de la tecnología utilizada para el mejor ajuste metodológico- didáctico de los programas.

4.1.2. Muestra Estudio I

Este estudio de investigación evaluativa está basado en el juicio de expertos, por lo que nos encontramos con una muestra formada por un colectivo de siete jueces. Dichos jueces eran especialistas en formación, con amplia experiencia como supervisores del diseño y desarrollo del tipo de curso evaluado (tres expertos en Formación Ocupacional y Continua; y cuatro gestores y técnicos de Formación en grandes Entidades de Formación Ocupacional y Continua).

4.1.3.Variables Estudio I

La teoría y la práctica de los programas de formación que son objeto de estudio[4]- en total se partía de 366 programas de formación referidos a 16 Familias Profesionales[5]-. A los jueces se les aportó la siguiente descripción de cada programa de formación en forma de cuadernillo de referencia establecidos por el INEM – ver tabla 1-:  

TABLA 1. Descripción de los elementos de referencia de cada Programa de Formación aportada a los Jueces.

DESCRIPCIÓN DE VARIABLES

a) Datos generales referentes al curso

Familia Profesional

Denominación del curso

Objetivo general

Requisitos del profesorado: nivel académico, experiencia profesional, nivel pedagógico.

Requisitos de acceso del alumno: Nivel de conocimientos generales, nivel profesional o técnico, condiciones físicas.

Número de alumnos

Relación secuencial de módulos o grupos de materias integrantes del curso

Duración en horas del tiempo docente

Instalaciones: aulas de clases teóricas, instalaciones prácticas.

Equipo y material: herramientas utillaje, material de consumo, materiales didácticos, elementos de protección.

Inclusión de Nuevas Tecnologías

b) Datos específicos de cada módulo integrante del curso

Denominación del módulo

Objetivo del módulo

Duración del tiempo docente del módulo

Contenido formativo del módulo: prácticas, conocimientos profesionales.

 

4.1.4. Indicadores Estudio I

Los indicadores establecidos – ver tabla 2- se sustentaron sobre una  escala de valoración de 0 a 4, donde 0 indicaba la no teleformabilidad y 4 cuando las posibilidades de teleformación eran muy amplias[6].       

TABLA 2. Relación de indicadores tenidos en cuenta en el estudio de Estándares

DESCRIPCIÓN DE INDICADORES

1. Metodología didáctica que permite desarrollar cada recurso tecnológico:

Páginas HTML

Otros tipos de Páginas (Java, Perl y Script)

Correo Electrónico

Grupos de Discusión

Recursos Cliente/ Servidor

Chat

Videoconferencia

Se hace necesario conocer la aplicación y su repercusión formativa, tomando como criterio a evaluar a cada uno de los recursos tecnológicos, diferenciando entre recursos de comunicación sincronía (Chat y Videoconferencia) y recursos de comunicación asíncrona (Páginas HTML, Otros tipos de Páginas, Correo Electrónico, Grupos de Discusión y Cliente/ Servidor).

2. Tipo de contenido del Programa: módulo teórico y módulo práctico

El tipo de contenidos de un Programa puede condicionar el grado de teleformabilidad de una Ocupación, teniendo en cuenta los módulos formativos  y  su duración.  Como criterios a evaluar, se tendrán en cuenta a los contenidos teóricos y prácticos, además de que:

- Se da una situación clara de no teleformabilidad en aquellos casos en los que no se pueda impartir el programa nada más que de manera presencial.

- En los casos en que sea susceptible de una formación a distancia se tratará de valorar si en el desarrollo de los contenidos del programa (teóricos y prácticos) es necesaria y/o produce un mayor beneficio la introducción de tecnologías para la teleformación.

3. Nivel de competencia que se espera que consigan los alumnos

Identificar si los recursos tecnológicos disponibles permiten cumplir con un desarrollo de programa de formación que pueda satisfacer los requerimientos de competencia planteados como objetivos del programa. Para ello, asumimos las categorías del Sistema de Clasificación del Rendimiento (del Sistema CDT –Teoría Componencial-) de Merrill (Merrill y Twitchell, 1994): conocimiento, comprensión, aplicación/ utilización. A partir de ellas podemos disponer de una graduación bastante simple y representativa de los niveles de competencia genéricos en la cual situar el nivel de logro alcanzado por los alumnos. Graduación que establecimos como una dimensión inversa del grado de teleformabilidad; de forma que los programas más susceptibles de aplicar este tipo de recursos serían aquellos en los que el nivel de competencia que se esperaba conseguir fuera menor.

4.necesidad de disponibilidad de los diferentes recursos tecnológicos para el desarrollo de Programas mediante Teleformación

Con respecto al Contenido Teórico y Práctico de un Programa la necesidad/ beneficio de aplicación de los recursos tecnológicos específicos; y con respecto al Conjunto de un Programa, la adecuación de la teleformabilidad para lograr el nivel de competencia requerido.

 

4.1.5 Metodología y Análisis Estudio I

Desde el punto de vista metodológico, este estudio se enmarca en procesos de investigación evaluativa, dirigido a recabar información acerca del funcionamiento de estándares en el diseño y desarrollo de planes de evaluación de programas de teleformación. Se desarrollan cuatro análisis, los cuales entendemos pueden constituir el punto inicial desde el que abordar el objetivo de esta investigación:

análisis 1. Diseño de indicadores de relación entre recurso tecnológico  utilizado y la metodología didáctica que requiere.  Los recursos tecnológicos, en este estudio, son considerados como criterios internos al concepto de teleformabilidad de un programa de formación siendo necesario conocer su aplicación y su repercusión formativa. Es decir, se específica la metodología didáctica que permite desarrollar la utilización de cada uno de ellos para los distintos contenidos de formación y de esta manera se establecen los indicadores necesarios para la determinación de estándares.

Análisis 2.  Congruencia Inter-Jueces como consistencia de indicadores y formulación de estándares.  El objetivo de este segundo análisis consistió en  valorar la congruencia en si misma, como elemento de referencia acerca del valor del estándar para cada programa de formación y seleccionar los indicadores de síntesis estadística para resumir la información relativa a cada programa. Es decir, a partir de los resultados del análisis Inter-Jueces - a través del coeficiente W de Kendall-  avalamos la información dada por dichos jueces a través de la consistencia de sus opiniones y observamos las discrepancias existentes entre ellos. Llegándose a establecer un índice de concordancia  para el contenido teórico, el contenido práctico y para el global de cada uno de los programas de formación de las distintas familias profesionales analizadas[7] .

Análisis 3. Estructuración de estándares.  A partir de los dos análisis anteriores, con este tercero se pretendió establecer, para las distintas familias profesionales, un estándar basado en la identificación de los recursos utilizados y su aprovechamiento en relación con la metodología  didáctica que debe desarrollarse en cada programa de formación. Es decir, tratamos de señalar estándares de referencia para evaluar la eficiencia/ funcionalidad didáctica[8] de los diseños de programas de teleformación según las distintas familias profesionales estudiadas, analizando como funcionan los indicadores y detectando cuales utilizar para valorar la teleformabilidad de programas de formación y a partir de ello deducir criterios de calidad de dichos programas.  Se realiza un análisis descriptivo basado en Medianas cuyos datos hacen referencia al conjunto de programas de formación obtenidos a partir del análisis de concordancia Inter-Jueces.

Análisis 4.  Diseño de un protocolo de aplicación de estándares.  Por último, con este análisis hemos tratado de aportar información acerca del sistema de teleformación que facilite la evaluación de los diseños de programas de teleformación, por lo que ofrecemos una estructura de estándares que son utilizables desde el marco de un Protocolo de Actuación para Evaluadores[9] – ver Protocolo adjunto en Anexo -.

4.1.6. Resultados Estudio I

             Teniendo en cuenta el objetivo de este estudio y, por tanto, de los análisis presentados anteriormente, obtenemos como resultado en primer lugar una estructuración de estándares de referencia para evaluar la eficiencia/ funcionalidad didáctica de los diseños de estos programas según las distintas familias profesionales[10] – ver algunos ejemplos en las tablas 3 y 4 -:  

TABLA 3. Criterios de Referencia para la Familia Profesional Administración y Oficinas

 

MÓDULOS TEÓRICOS

MÓDULOS PRÁCTICOS

RECURSO TECNOLÓGICO

CRITERIO DE REFERENCIA

RECURSO TECNOLÓGICO

CRITERIO DE REFERENCIA

Otras Páginas

Fundamental

Videoconferencia

Fundamental

Páginas HTML

Fundamental

Cliente/ Servidor

Muy importante

Correo Electrónico

Muy importante

Otras Páginas

Muy importante

Videoconferencia

Muy importante

Correo Electrónico

Importante

Chat

Importante

Chat

Importante

Grupos de discusión

Importante

Páginas HTML

Poco importante

Cliente/ Servidor

Importante

Grupos de discusión

Poco importante

 

TABLA 4. Criterios de Referencia en la Familia Profesional Comercio

 

MÓDULOS TEÓRICOS

MÓDULOS PRÁCTICOS

RECURSO TECNOLÓGICO

CRITERIO DE REFERENCIA

RECURSO TECNOLÓGICO

CRITERIO DE REFERENCIA

Páginas HTML

Fundamental

Videoconferencia

Fundamental

Otras Páginas

Muy importante

Cliente/ Servidor

Fundamental

Videoconferencia

Muy importante

Otras Páginas

Muy importante

Correo Electrónico

Muy importante

Chat

Importante

Cliente/ Servidor

Importante

Páginas HTML

Importante

Grupos de discusión

Importante

Correo Electrónico

Importante

Chat

Importante

Grupos de discusión

Poco importante

 

Asimismo, este estudio nos ha permitido conocer el grado de eficiencia/ funcionalidad de cada uno de los recursos tecnológicos en las distintas familias profesionales según el contenido teórico y práctico – ver tablas ejemplos 5 y 6-:  

TABLA 5. Medianas obtenidas por Otras Páginas en Teoría y Práctica en todas las Familias Profesionales (Escala de 0 a 1)

OTRAS PÁGINAS (JAVA, PERL O SCRIPT)

FAMILIA PROFESIONAL

TEORÍA

PRÁCTICA

ADMINISTRACIÓN Y OFICINAS

0.93

0.79

ARTESANÍA

0.85

0.64

CERÁMICA

0.48

0.04

COMERCIO

0.78

0.76

IDIOMAS

0.72

0.76

INDUSTRIA GRÁFICA

0.63

0.26

INDUSTRIA TEXTIL

0.79

0.50

INFORMÁTICA

0.92

0.90

MANUFACTURAS DIVERSAS

0.46

0.07

MONTAJE E INSTALACIÓN

0.64

0.22

SEGUROS Y FINANZAS

0.91

0.75

SERVICIOS A LA COMUNIDAD Y PERSONALES

0.64

0.23

SERVICIOS A LAS EMPRESAS

0.94

0.87

TÉCNICAS EMPRESARIALES

0.90

0.77

TEXTIL

0.75

0.32

TURISMO Y HOSTELERÍA

0.62

0.40

 

TABLA 6. Medianas obtenidas por la Videoconferencia en Teoría y Práctica en todas las Familias Profesionales (Escala de 0 a 1)

VIDEOCONFERENCIA

FAMILIA PROFESIONAL

TEORÍA

PRÁCTICA

ADMINISTRACIÓN Y OFICINAS

0.64

0.88

ARTESANÍA

0.78

0.73

CERÁMICA

0.53

0.30

COMERCIO

0.78

0.90

IDIOMAS

0.65

1.00

INDUSTRIA GRÁFICA

0.57

0.43

INDUSTRIA TEXTIL

0.68

0.41

INFORMÁTICA

0.73

0.84

MANUFACTURAS DIVERSAS

0.53

0.28

MONTAJE E INSTALACIÓN

0.64

0.43

SEGUROS Y FINANZAS

0.66

0.95

SERVICIOS A LA COMUNIDAD Y PERSONALES

0.72

0.60

SERVICIOS A LAS EMPRESAS

0.66

0.75

TÉCNICAS EMPRESARIALES

0.70

0.88

TEXTIL

0.68

0.21

TURISMO Y HOSTELERÍA

0.57

0.52

 

 

 

 

Siguiendo con los resultados obtenidos también se da a conocer la eficiencia/ funcionalidad didáctica de cada recurso tecnológico tanto para los contenidos teóricos (T) como prácticos (P) en todos los programas de formación  - ver tabla ejemplo 7 -:

TABLA 7. Medianas de Recursos Tecnológicos para los contenidos Teóricos y Prácticos en los Programas de Formación de Administración y Oficinas (Escala 0-1)[11]

Familia Profesional ADMINISTRACIÓN Y OFICINAS

PROGRAMAS DE FORMACIÓN

RECURSOS TECNOLÓGICOS

Html

Otras Páginas

e-Mail

Chat

Grupo Discusión

Video- Confer.

Cliente/ Servidor

T

P

T

P

T

P

T

P

T

P

T

P

T

P

Administración del plan de cuentas

,83

,38

1,00

1,00

,70

,69

,56

,50

,46

,46

,63

1,00

,52

1,00

Aplicaciones informáticas de gestión

,85

,48

,95

,95

,75

,75

,60

,55

,46

,35

,63

1,00

,47

,75

Hoja de cálculo

,80

,50

,95

1,00

,75

,75

,58

,50

,46

,38

,63

,88

,50

1,00

Mecanógrafo

,68

,18

,80

,50

,63

,23

,47

,18

,38

,18

,60

,63

,41

,55

Proceso de textos

,88

,50

,95

1,00

,79

,75

,63

,63

,58

,25

,63

1,00

,50

1,00

Secretaria de dirección

,81

,21

,90

,42

,79

,40

,67

,25

,68

,38

,72

,63

,47

,50

Secretariado

,81

,41

,95

,69

,75

,53

,59

,50

,56

,30

,68

1,00

,46

,75

 

Por lo que a partir de todo ello y como producto final hemos elaborado una guía de aplicación de estándares donde el evaluador podría anticipar si el programa de formación está bien solucionado desde la teleformación. O lo que es lo mismo, el evaluador teniendo en cuenta los criterios de referencia puede detectar la eficiencia/ funcionalidad de los programas de teleformación – ver Anexo-. Aquí se ofrece una estructura de estándares que son utilizables desde el marco de un Protocolo de Actuación para Evaluadores. Protocolo que puede ser susceptible de un doble uso: por un lado, para analizar la viabilidad del diseño deseado en teleformación y por otro, para incorporar la evaluación a un programa de teleformación. La estrategia de aplicación del Protocolo requiere que el evaluador analice el diseño, y compruebe – a través de entrevistas con los implicados- la adecuación de sus usos. Es decir, se sustenta sobre la evaluación del diseño de teleformación, considerando su acción. Pero esta propuesta, es inicial y tentativa y debería ser probada en otros marcos en los que se pudiese valorar la homogeneidad de utilización de los estándares a través de diferentes situaciones y por diversos evaluadores como base de fiabilidad y validez del Protocolo – ver Anexo-.  

4.2. Estudio Empírico II. Estudio de Validación de un Plan de Evaluación de Teleformación en la Empresa.

Para la consecución del segundo estudio de esta investigación, partimos del hecho de que la validación de cualquier sistema de evaluación se basa en una acumulación de evidencias acerca de la adecuación del funcionamiento del mismo, es decir, del conjunto de estrategias para dotar de validez al proceso evaluativo (Jornet, Suárez y Pérez Carbonell, 2000; Jornet, Suárez y Perales, 2000;  Perales, 2000).  Estableciéndose la validez como un aspecto multidimensional, aplicado y aplicable a cualquier estrategia de acercamiento a la realidad, desde la investigación básica, los instrumentos de recogida de información a la investigación aplicada y la evaluación  (Swanborn, 1996; Perales, 2000). Desde este punto de vista planteamos el siguiente estudio, no obstante, en el sistema de evaluación desarrollado no se realiza un proceso de validación de todo el plan de evaluación sino de una parte de dicho plan: la toma de decisiones o conclusiones.

4.2.1. Objetivos del  Estudio II

Con este segundo estudio nos planteamos aportar una estructura global de planificación y desarrollo de un proceso de evaluación de programas de teleformación. Así como, aportar una valoración acerca de la validez de la definición de indicadores y la utilización de diversas fuentes de información en dicho proceso de evaluación para la toma de decisiones.

4.2.2. Muestra Estudio II

Se trata de un estudio de validación basado en las informaciones procedentes de distintas fuentes (agentes claves).

Tipos de muestras:

-         Programas de Formación: 10 tipos de programas de formación, aunque algunos de ellos tuvieron varias ediciones, por lo que en total para este proyecto se evaluaron 15 programas. Todos tenían una duración fija de 20 horas de aplicación, presentaban la misma estructura y compartían plataforma de teleformación desarrollada ex profeso para la experiencia – ver tabla 8-.  

Tabla 8. Listado de Acciones Formativas

Programas de Formación o 

Acciones Formativas

Ediciones

Ofimática Avanzada

3

Ofimática Básica

2

Nóminas y Seguros Sociales

2

Calidad de Servicio al Cliente

2

Prevención Riesgos Laborales

1

Análisis Económico Financiero

1

Contabilidad

1

Comercio Exterior

1

Inglés Comercial

1

Técnicas de Ventas

1

Total

15

 

-         Agentes y fuentes:

·        Profesores, Alumnos y Coordinadores de Centros.

·        Equipo técnico también denominado Comité de Expertos 1 o Comité Interno. Se denominó así a la Entidad encargada de llevar a cabo la evaluación del proyecto.

·        Comité Externo, también denominado Comité de Expertos 2. Conformado por expertos en Pedagogía, Tecnología Educativa y Formación en Empresa.

4.2.3. Variables  e Indicadores Estudio II

Al constituir un plan completo de evaluación, se integran variables e indicadores tanto de entrada como de proceso y producto, asumibles en diversas finalidades como eficacia, eficiencia y funcionalidad – ver ejemplo en tabla 10-.  Todo ello sustentado en diversos tipos de instrumentos:

-         Escala de valoración  AMEE-13 (Comité de Expertos).

-         Cuestionarios de evaluación de los programas de formación  y Guía de entrevista (Alumnos).

-         Autoinformes y Guía de entrevista (Profesores/ Tutores).

-         Cuestionarios para Coordinadores de formación (Centros).  

4.2.4. Metodología y Análisis Estudio II

Este estudio se enmarca en procesos de validación como aproximación de investigación evaluativa  orientada a determinar el grado en que un plan de evaluación puede dar respuestas al tipo de interrogantes que están a la base de su puesta en marcha. El énfasis en la necesidad de comprobar la validez y utilidad de los diferentes elementos que forman parte de un plan de evaluación, así como, la atención a las características del objeto de estudio, hace que nos situemos en una aproximación basada en la complementariedad metodológica. No obstante, hemos optado por aportar dos grandes bloques de análisis que globalizan  la finalidad última del estudio.

análisis 1. Análisis de la evaluación como contexto de validación: Justificación del plan de evaluación para programas de teleformación.   Cualquier proceso de evaluación debe ser considerado un proceso de investigación, proceso que sigue unos pasos y atiende a unos componentes permanentes en su sentido, aunque cambiantes en su especificación al objeto a evaluar. A partir de este posicionamiento y con el objetivo de validar la estrategia de toma de conclusiones del plan de evaluación basado en la triangulación de información procedentes de distintas fuentes e instrumentos, nos planteamos dichos componentes básicos que la evaluación de programas debe atender (Jornet, Suárez, Belloch, 1998):

¿Qué se evalúa?, ¿Para qué se evalúa?, ¿Quién orienta o encarga la Evaluación?, ¿Quién realiza la  Evaluación?, ¿Qué audiencias están implicadas?, ¿Qué información se requiere?, ¿A quién se le demanda información?, ¿Cómo se recoge la información?, ¿Cómo se analiza y sintetiza la información?, ¿Quién tiene derecho de acceso a la información?, ¿Cómo se elaboran los informes de Evaluación?.

De esta manera, la definición del Plan de Evaluación desarrollado para esta experiencia nos sirve de basa para proceder a nuestro objetivo último, la validación de las conclusiones o toma de decisiones llevadas a cabo por los agentes implicados en este proceso de evaluación y que se desarrolla en el siguiente análisis.

análisis 2. Estrategia para la validación de las conclusiones /toma de decisiones del Plan de Evaluación.

Aunque la validación deviene de una acumulación de evidencias, nos limitamos aquí a aportar una evidencia inicial, de carácter global. Una estrategia de carácter cualitativa, dirigida a la validación de las conclusiones o toma de decisiones, tomando como punto de partida la triangulación de las informaciones procedentes de fuentes e instrumentos diferenciados.   

4.2.5. Resultados Estudio II

Como resultado de estos dos análisis y  por consiguiente del segundo estudio, se plantea un sistema de recogida de información a través de la triangulación de fuentes e instrumentos teniendo en cuenta los siguientes elementos– ver tabla 9-: 

TABLA 9. Tabla resumen de  variables, dimensiones, unidades de análisis, fuentes e instrumentos que hemos tenido en cuenta en el proceso de validación

Elementos del proceso de triangulación

Variables

Entrada

Proceso

Producto

Dimensiones

Incorporación al programa

Conocimientos anteriores acerca del contenido del programa

Participación anterior en programas de formación

Conocimientos previos en la utilización del ordenador

Valoración del visor del alumno

Valoración del visor del profesor

Valoración de la organización global de programa

Valoración de los contenidos del programa de formación

Valoración de los recursos tecnológicos

Valoración de los materiales

Valoración del desarrollo de las sesiones

Valoración del profesor/ tutor

Valoración global del programa de formación

Otros aspectos a valorar

Síntesis de puntos fuertes y débiles de la teleformación según su experiencia.

Unidades de análisis

Items de los cuestionarios de alumnos y de coordinadores

Elementos del  Protocolo de Evaluación y Guías de Audiencias de alumnos, profesores y coordinadores

Fuentes

Alumnos (A)

Profesores (P)

Coordinadores (C)

Comité Interno  (CI)

Comité Externo (CE)

Instrumentos

Escala de valoración

Cuestionarios

Autoinformes

Guías de Entrevistas

 

            De esta manera, se establece el diseño de un sistema de recogida de información cruzada, sobre las distintas variables trabajadas en el proyecto (entrada, proceso y producto) asumibles desde diversas finalidades como eficacia, eficiencia y funcionalidad, a  partir de las cuales, en su conjunto, se refleja la calidad del plan de evaluación. Por otro lado, nos encontramos con la información aportada por cada fuente a través de los distintos instrumentos, mostrando un esquema de información donde se añade la aportada por el Comité Externo, ya que este actuaba como elemento de validación de la información aportada por el Comité Interno – ver tabla 10 de ejemplo-:

TABLA 10.- Esquema de información cruzada Triangulación de información, de fuentes e instrumentos en las diferentes dimensiones y variables (tabla ejemplo).  

 

 

 

FUENTE

ALUMNO

PROFESOR

COORDIN.

COMITÉ INTERNO

INSTRUMENTO

Cuestionario y Audiencia

Autoinforme y Audiencia

Cuestionario

y Audiencia

Escala de Valoración

VARIABLES DE

  PROCESO

DIMENS

Criterio

UNIDADES DE INFORMACIÓN

 

ADECUACIÓN

 DE

LOS

 RECURSOS DIDÁCTICOS

Y TECNOLÓGICOS

Eficiencia /

Funcionalidad

Es adecuada la Videoconferencia

Item 14

X

Item 9

 

Es adecuada la Audioconferencia

Item 15

X

Item 9

 

Es adecuado el uso de  Internet

Item 16

X

 

 

Es adecuado el Chat

Item 17

X

Item 9

 

Es adecuado el uso del Correo Electrónico

 

X

Item 9

 

Es adecuado el uso de  la Compartición de aplicaciones

Item 18

X

Item 9

 

Es adecuado el Proyector de opacos

Item 19

X

Item 9

 

Mejor recurso para este tipo de acción formativa

 

X

Item 9

 

Adecuación del manejo de la cámara de vídeo

 

X

 

 

COMITÉ EXTERNO

X

X

 

 

EVALUACIÓN

Eficiencia /

Funcionalidad

 

Los procedimientos de evaluación son variados y adecuados a las competencias que se desea obtener en los alumnos

 

 

 

Item 130

El alumno es informado personalmente de sus resultados

 

 

 

Item 138

El profesor decide alternativas de itinerario individual para cada alumno teniendo en cuenta los resultados de la Evaluación

 

 

 

Item 137

COMITÉ EXTERNO[12]

 

X

 

X

 

Para finalizar el proceso de validación se aporta un análisis lógico de congruencias y discrepancias de las valoraciones dadas por cada una de las fuentes sobre los puntos fuertes, débiles del sistema evaluado y sobre los aspectos a mejorar del mismo, es decir, sobre las conclusiones/ toma de decisiones aportadas en cada informe de evaluación – ver tabla 11 de ejemplo-, analizándose a partir de ello, el grado de concordancia existente a través de un análisis cualitativo, el cual atiende a las dimensiones de evaluación y a la coincidencia entre fuentes.

TABLA 11. Concordancia existente entre las valoraciones de las fuentes de información sobre los puntos fuertes, débiles y aspectos a mejorar en el Visor del Profesor/ Tutor. (A= Alumno; P= Profesor; C=Coordinador; CI=Comité Interno; CE=Comité Externo)

Visor del Profesor/Tutor

PUNTOS FUERTES

FUENTES

PUNTOS DÉBILES

FUENTES

ASPECTOS A MEJORAR

FUENTES

A

P

C

CI

CE

A

P

C

CI

CE

A

P

C

CI

CE

La Comodidad del Visor

 

 

X

 

 

 

Introduce demasiados recursos en pantalla

 

 

 

X

 

Se debería reducir el espacio destinado
 al Chat

 

X

X

X

 

La distribución de la pantalla es clara y organizada

 

X

 

X

 

Demasiados elementos activos en la pantalla

 

 

 

X

 

Incrementar los recursos complementarios y el acceso a ellos

 

 

 

X

 

Facilidad en el acceso y comunicación con los alumnos

 

X

 

X

X

No es posible salirse de la organización de contenidos

 

 

 

X

 

Mayores posibilidades de la audioconferencia

 

X

 

 

 

Las actividades que se realizan en el Visor y que se llevan a cabo con aplicaciones compartidas

 

 

 

X

X

Demasiado control del tiempo

 

 

 

X

 

 

 

 

 

 

 

El seguimiento continuo, ya que permite controlar lo que hace cada alumno. Control directo

 

X

 

X

 

El acceso a los diferentes componentes del programa no es tan ágil como se pretende

 

X

 

 

 

 

 

 

 

 

 

Incluye todos los aspectos que se necesita

 

X

 

X

 

El desarrollo de determinadas actividades puede verse interferido por problemas técnicos

 

X

 

 

 

 

 

 

 

 

 

Su empleo no requiere muchos conocimientos informáticos

 

 

 

X

 

No se puede controlar la eficacia del trabajo del alumno

 

 

 

 

X

 

 

 

 

 

 

  (tabla ejemplo)

De todo ello y como producto final creemos haber aportado en este segundo estudio una estructura global de planificación y desarrollo de un proceso de evaluación de programas de teleformación (Objetivo Análisis I) y de un proceso de valoración de la validez de la definición de indicadores a partir de las conclusiones de diversas fuentes de información en dicho proceso de evaluación (Objetivo Análisis II), aunque en este artículo se haya presentado de una manera muy sucinta debido al formato del mismo.

5. CONCLUSIONES GENERALES

A partir de la investigación desarrollada podemos concluir de forma muy general, y atendiendo a los resultados obtenidos en ambos estudios, que:

·        La elección de los recursos tecnológicos para el diseño y desarrollo de los programas de formación constituye uno de los puntos clave en un proyecto de teleformación.

·        Se han de considerar a los recursos tecnológicos como criterios  internos al concepto de teleformabilidad de un programa de formación.

·        Se han de identificar adecuadamente el rol que juega cada uno de los recursos en el proceso de formación, su aplicación y su repercusión formativa.

·        Los indicadores para la evaluación de los programas de teleformación han de girar alrededor de todos los elementos que imponen los contenidos de formación, de la implementación del programa y de las características específicas del medio.

·        Asimismo, se han de establecer estándares de evaluación para los distintos contenidos formativos  teniendo en cuenta indicadores como el recurso tecnológico utilizado y su aprovechamiento metodológico.

·        Se hace necesario un modelo integrador de lo tecnológico con lo pedagógico para la evaluación de la teleformación. Que globalice de forma adecuada todos los requerimientos y necesidades que se plantean en la evaluación de este tipo de programas de formación.  En esta línea, hemos propuesto la aplicación del modelo de De la Orden (1988, 1990, 1992, 1997), por su carácter sistémico y por que permite identificar de forma clara los diversos componentes de un programa de formación – en este caso de teleformación- con sus posibles efectos para orientar el análisis de Planes. Es un modelo de calidad que intenta superar la consideración aislada de las características específicas de los distintos componentes (contexto, entrada, proceso, producto) y tratar de especificar los rasgos comunes a todas ellas. Permite además elaborar indicadores para evaluar la eficacia, eficiencia y funcionalidad de un programa con los diferentes aspectos a tener en cuenta, hecho que le lleva a delimitar muy bien la finalidad de la evaluación.

·        El Protocolo de Actuación para Evaluadores que aquí proponemos – ver Anexo- se convierte en una herramienta para abordar el diseño y desarrollo de Planes de Evaluación en este ámbito planteada desde criterios de calidad, tanto a nivel político (orientando el diseño y desarrollo de programas al permitir un análisis adecuado de soluciones para diversos sectores profesionales), pasando por las PYME (puesto que puede orientarles en el análisis y la toma de decisiones acerca de la adecuación de las soluciones tecnológicas según su sector profesional), hasta los proveedores de teleformación (como ayuda para el análisis de programas de formación y directrices para el establecimiento de inversiones) (Consecución del objetivo Estudio I).

En conjunto con los dos estudios empíricos se ha intentado comprobar a partir del desarrollo de un conjunto de experiencias la viabilidad de un sistema de evaluación y/o la necesidad de la creación de un plan de evaluación para programas de teleformación, identificando indicadores relevantes que se han de tener en cuenta a la hora de evaluar el diseño de este tipo de programas de formación.

Todo ello siendo conscientes de que:

·        Los resultados obtenidos están ligados a los recursos tecnológicos que fueron utilizados[13], por lo que, se precisa una revisión continua de los recursos tecnológicos que actualmente están en uso como mejora y ampliación de los resultados.

·        El valor global de esta investigación reside en que se sitúa en la base de la construcción del conocimiento evaluativo para este ámbito.

REFERENCIAS BIBLIOGRÁFICAS

De la Orden, A. (1988). La calidad de la educación. Bordón, 42, 2, 149-161.

 

De la Orden, A. (1990). Evaluación de los efectos de los programas de intervención. Revista de Investigación Educativa, 8, 16, 61-76.

De la Orden, A. (1992). Calidad y Evaluación de la Enseñanza Universitaria. Actas del Congreso Internacional de Universidades. Madrid: Universidad Complutense.

De la Orden, A.; Asensio, I.; Carballo, R.; Fernández Díaz, J.; Fuentes, A.; García Ramos, J.M. y Guardia, S. (1997). Desarrollo y validación de un modelo de calidad universitaria como base para su evaluación. RELIEVE, 3, 1. Consultado en http://www.uv.es/relieve/v3n1/RELIEVEv3n1_2.htm el 10 de septiembre de 2005.

Jiménez, B. (coord.) (1999). La evaluación de programas, centros y profesores. Madrid: Editorial Síntesis, S.A.

Jornet, J.M.; Suárez, J.M. y Beloch, C. (1998). Metodología de evaluación de programas de formación profesional, ocupacional y continua. Leonardor project: Eurodialogue Evaluation. Valencia: Fundació Universitat-Empresa de València (ADEIT).

Jornet, J.M.; Suárez, J.M. y Perales, M.J. (2000). La evaluación de la formación ocupacional y continua. Revista de Investigación Educativa, 18 (2), 521-538.

Jornet, J.M.; Suárez, J.M. y Pérez Carbonell, A. (2000). La validez en la evaluación de programas. Revista de Investigación Educativa, 18 (2), 341-356.

Martínez Mut, B. (2003). La formació a l'empresa. Enginyeria dels processos Educatius. Valencia: Editorial UPV.

Merrill, M. D. y Twitchell D. G (1994). Instructional design theory. Englewood Cliffs (NJ): Educational Tecnology Publications.

Perales, M. J. (2000). Enfoques de evaluación de la formación ocupacional y continua. Estudio de validación de un modelo. Valencia: Tesis doctoral. Universitat de València.

Swanborn, P. G. (1996). A common base for quality control criteria in quantitative and qualitative research. Quality and quantity, 30, 19-35.


[1] Esta experiencia de evaluación es el denominado Proyecto TETRA (Telematics Training): proyecto de desarrollo y evaluación de programas de formación en las PYME mediante teleformación.   La evaluación del proyecto integró dos vertientes: la evaluación de materiales y la evaluación de programas.

[2] Concretamente por el Grupo de Evaluación y Medición (GEM) y  la Unidad de Tecnología Educativa (UTE).

[3] Estas iniciativas pretendían contribuir a la adaptación de los trabajadores a las transformaciones industriales y tecnológicas y mejorar el funcionamiento del mercado de trabajo ayudando a los trabajadores a adaptarse a las exigencias de la Nueva Sociedad de la Información.

[4] Cada programa de formación hace referencia a una ocupación profesional. En cuanto a su estructura, las ocupaciones se enmarcaron en familias profesionales.

[5] Administración y Oficinas, Artesanía, Cerámica, Comercio, Idiomas, Industrias Gráficas, Industria Textil, Informática, Manufacturas diversas, Montaje e Instalación, Seguros y Finanzas, Servicios a la Comunidad y Personales, Servicios a las Empresas, Técnicas Empresariales, Textil y Turismo y Hostelería.

[6] (0)   No Teleformable

  (1) Teleformable/ No necesario: cuando las condiciones concretas permitían la teleformabilidad pero esta se desaconsejaba, por diferentes razones de  estructura formativa.

  (2) Teleformable/ Necesario, Conveniencia Baja: cuando las posibilidades de teleformación eran reducidas bien por su aplicabilidad – atendiendo a las diferentes herramientas tecnológicas para la teleformación- o por razones de estructura formativa.

(3) Teleformable/Necesario, Conveniencia Media: cuando las posibilidades de teleformación eran sustanciales, teniendo en cuenta las diferentes herramientas tecnológicas para la teleformación y las características de la estructura formativa avalaban su aplicabilidad en una proporción sustancial del programa formativo o de los módulos específicos en cuestión.

(4) Teleformable/Necesario, Conveniencia Alta: cuando las posibilidades de teleformación eran muy amplias, tomando en cuenta las diferentes herramientas tecnológicas para la teleformación y las características de la estructura formativa avalaban su aplicabilidad en una proporción muy elevada  del programa formativo o de los módulos específicos en cuestión.

[7] A partir de los siguientes niveles de clasificación de concordancia: 0-0.20: Muy baja; 0.21-0.40: Baja; 0.41-0.60: Media; 0.61-0.80: Alta; 0.81-1: Muy Alta.

[8] Las definiciones de los criterios de calidad que nos han servido de base en todo el estudio son las establecidas por De la Orden en diferentes ocasiones (1988; 1990; 1992; 1997).

[9] Esta propuesta, es inicial y tentativa y debería ser probada en otros marcos, en el que se pudiese valorar la homogeneidad de utilización de los estándares a través de diferentes situaciones y por diversos evaluadores como base de fiabilidad y validez del Protocolo.

[10] Escala de Interpretación del estándar de referencia: 0-0.20: Nada importante; 0.21-0.40: Poco importante; 0.41-0.60: Importante; 0.61-0.80: Muy importante; 0.81-1: Fundamental.

[11] En estas tablas resúmenes aparecen sólo coloreados los Estándares de Referencia descritos a continuación:

§         Fundamental (0.81-1) representado por el color Violeta

§         Muy Importante (0.61-0.80) representado por el color Azul Claro

§         Importante (0.41-0.60) representado por el color Verde

§         Cuando la casilla no está representada con ningún color es debido a que el Estándar es poco o nada importante. 

[12] Valoración general extraída a partir de la simulación directa sobre el desarrollo de un Programa de Formación,  en audiencias con Profesores y de la revisión del Informe del Comité Interno.

[13] Páginas HTML, Otros tipos de Páginas (Java Perl o Script), Correo Electrónico, Grupos de Discusión, Recursos Cliente/ Servidor, Chat y Videoconferencia.


Anexo: Protocolo de Evaluación

 

Presentación

La Guía de Actuación para la Aplicación de Estándares es un instrumento que pretende recoger la información necesaria para que el Evaluador/a analice la eficiencia/ funcionalidad del Programa de Formación teniendo en cuenta la Tecnología y la Metodología Didáctica que ella nos permite desarrollar en el Programa. Todo ello en función del contenido del mismo.

Es decir, esta Guía, nos permite describir, a la vista del Programa de Formación y del desarrollo metodológico del mismo, los Estándares para poder evaluar si el diseño del Programa de Formación es adecuado o no. Por este motivo en esta guía pretendemos recoger información de los contenidos, de los implicados y de los recursos tecnológicos utilizados.

Para ello se hace necesario:

1.- Identificar el tipo de Programa de Formación según su contenido.

2.-Desarrollar Audiencias o Entrevistas con los implicados en el Diseño e Implementación del Programa de Formación.

3.-Identificar el funcionamiento de los Estándares en el desarrollo del Programa de Formación.

    • Identificar los Elementos Tecnológicos diseñados en el Programa de Formación.

    • Identificación del USO de los Estándares

Forma de Aplicación (Ver apartados siguientes)

1.- IDENTIFICAR EL TIPO DE PROGRAMA DE FORMACIÓN SEGÚN SU CONTENIDO

1. 1.- Título del Programa de Formación:__________________________________

1. 2.- Familia Profesional o sector profesional al que pertenece

Recomendación:

Identifique la Familia Profesional a la cual pertenece según la temática del programa; si no se halla el mismo programa, es recomendable utilizar el criterio de similitud de contenido. Intente, entonces, ubicarlo en la Familia Profesional más cercana a su contenido y tipo de competencias a desarrollar.

Si su clasificación no es clara, tome como referencia las Familias Profesionales más similares (por ejemplo, si se tratara de un programa de Comercio Exterior, tome Administración y Oficinas, Servicios a la Empresas, Técnicas empresariales…). Ver Anexo I. Listado referencial de Programas de Formación trabajados en nuestro estudio y posteriormente especificar el nombre del Programa en la opción de "Otras".

    • ADMINISTRACIÓN Y OFICINAS

    • ARTESANÍA

    • CERÁMICA

    • COMERCIO

    • IDIOMAS

    • INDUSTRIAS GRÁFICAS

    • INDUSTRIA TEXTIL

    • INFORMÁTICA

    • MANUFACTURAS DIVERSAS

    • MONTAJE E INSTALACIÓN

    • SEGUROS Y FINANZAS

    • SERVICIOS A LA COMUNIDAD Y PERSONALES

    • SERVICIOS A LAS EMPRESAS

    • TÉCNICAS EMPRESARIALES

    • TEXTIL

    • TURISMO Y HOSTELERÍA

    • Otras: ______________________________________

1. 3.- Tipo de Contenidos

  • Módulo Teórico. Número de Horas___________

  • Módulo Práctico. Número de Horas__________

  • Número de Horas Totales del Programa de Formación____________

Recomendación:

Teniendo en cuenta el número de horas totales del curso calcular la proporción de forma ponderada, de las horas Teóricas y la proporción de horas Prácticas que se establecen en el Programa de Formación.

  • Proporción de horas Teóricas_____________

  • Proporción de horas Prácticas_____________

1.4.- Nivel de teleformabilidad de los Contenidos del Programa de Formación

Recomendación:

Una vez realizados los cálculos proporcionales de horas de dedicación a los Módulos, (ver Anexo II. Tablas relación existente entre la proporción de horas dedicadas a la Teoría y a la Práctica en los distintos Programas de Formación analizados y el nivel de teleformabilidad que alcanzan dichos contenido), anotar a continuación el grado de teleformabilidad del Programa, según los datos descrito en el Estudio Empírico.

  • Grado o Nivel de teleformabilidad Global del Programa o del Programa con contenido similar________________________

  • Grado o Nivel de teleformabilidad Teórico del Programa o del Programa con contenido similar________________________

  • Grado o Nivel de teleformabilidad Práctico del Programa o del Programa con contenido similar________________________

2.- DESARROLLAR ENTREVISTAS CON LOS IMPLICADOS EN EL PROGRAMA DE FORMACIÓN

El Objetivo de este apartado del proceso de Evaluación es conocer a partir de una/s Entrevista/s, programada y estructurada, con cada uno de los implicados en el diseño y desarrollo del Programa de Formación, cómo se han diseñado y aplicado los distintos Estándares en estos contenidos y cuál ha sido la funcionalidad didáctica de los mismos.

Para ello es conveniente realizar Entrevista/s con:

  • Los Técnicos en informática y telemática que han diseñado e implementado los distintos recursos tecnológicos en el Programa de Formación.

  • Los Gestores de Formación, con el fin de establecer, según su experiencia, la relevancia/ adecuación/ funcionalidad de los distintos elementos tecnológicos en la organización y gestión del proceso de formación.

  • El/los Profesor/es y Tutor, para conocer la utilización y funcionalidad de los distintos recursos tecnológicos en el proceso de enseñanza- aprendizaje. Visionar el Visor del Profesor/Tutor.

  • Los Alumnos, los cuales nos informarán de la adecuación de los recursos tecnológicos y de su importancia/ funcionalidad en el proceso de aprendizaje. Visionar el Visor del Alumno.

Recomendación:

El cómo y el cuándo de cada una de las Entrevistas vendrá determinado por las características de las Audiencias a la que va dirigida y los requisitos de la misma.

3.- IDENTIFICAR EL FUNCIONAMIENTO DE LOS ESTÁNDARES EN EL DESARROLLO DEL PROGRAMA DE FORMACIÓN

El objetivo de este apartado del proceso de Evaluación es identificar los elementos tecnológicos diseñados para el Programa de Formación e identificar el uso de los mismos en el desarrollo de los Programas.

Por lo que, para identificar el uso de los recursos tecnológicos hemos de evaluar la adecuación del uso de cada recurso en el Programa de Formación que estamos evaluando, así como establecer la importancia de los mismos según el estándar de referencia obtenido en el estudio empírico de referencia – ver apartado 3.1 y 3.2.-

3.1.- Identificación del USO de los Estándares

3.1.1. En primer lugar, se hace necesario identificar los Recursos Tecnológicos que se tuvieron en cuenta en el diseño del Programa de Formación para el desarrollo del proceso de enseñanza- aprendizaje. Por lo que, primeramente hemos de señalar en la tabla 1 que recurso no se ha utilizado con un aspa (X) en la columna No lo utiliza.

3.1.2. En segundo lugar, el Evaluador/a ha de valorar el nivel de adecuación/utilización de los distintos Recursos Tecnológicos utilizados, previamente diseñados para el funcionamiento del Programa, en el proceso de enseñanza- aprendizaje.

La escala de valoración será la siguiente:

1 Muy Mal Utilizado

2 Bastante Mal Utilizado

3 Utilizado de forma adecuada

4 Bastante Bien Utilizado

5 Muy Bien Utilizado

La puntuación más alta en la escala indica que el Recurso Tecnológico valorado propicia la metodología didáctica de la que parte en su grado máximo. Ver Anexo III. Metodología Didáctica de los Recursos Tecnológicos.

Se ha de diferenciar dicha utilización teniendo en cuenta los módulos (teoría/ práctica) – rellenar tabla 1- (PUNTUACIÓN A).

PUNTUACIÓN A

Adecuación de uso del recurso

TITULO DEL PROGRAMA DE FORMACIÓN:________________________________________

RECURSO TECNOLÓGICO

No lo utiliza

Muy Mal

Utilizado

 

(1)

Bastante

Mal

Utilizado

(2)

Utilizado de forma adecuada

(3)

Bastante Bien Utilizado

(4)

Muy Bien Utilizado

 

(5)

T

P

T

P

T

P

T

P

T

P

T

P

Páginas HTML

                       

Otras Páginas

                       

Correo Electrónico

                       

Grupos de discusión

Cliente/Servidor

Chat

Videoconferencia

Tabla 1. Adecuación del uso del recurso al Programa de Formación

 

3.1.3. Teniendo en cuenta la adecuación de la utilización de los Recursos Tecnológicos en el Programa de Formación y el contenido del mismo, se ha de recoger la información sobre los Estándares de Referencia Teóricos y Prácticos obtenidos en el Estudio Empírico para el Programa de Formación aquí evaluado. Obteniéndose un perfil de referencia ideal. Datos que se pueden obtener en el Anexo IV. Tablas de Estándares de Referencia hallados en este estudio según los distintos Contenidos.

Posteriormente rellenar tabla 2 (PUNTUACIÓN B).

PUNTUACIÓN B

Importancia del recurso según el Programa de Formación a evaluar

Titulo del Programa de Formación:

Familia Profesional o tipo de contenido al que pertenece:

RECURSO TECNOLÓGICO

CRITERIO DE REFERENCIA

MÓDULOS TEÓRICOS

CRITERIO DE REFERENCIA MÓDULOS PRÁCTICOS

Páginas HTML

Otras Páginas (Java, Perl o Script)

   

Correo Electrónico

   

Grupos de discusión

Cliente/Servidor

Chat

Videoconferencia

Tabla 2. Criterios de Referencia de los recursos tecnológicos en este Programa de Formación

3.1.4.- A partir de todos estos criterios de valoración se ha de proceder a establecer la Puntuación de Síntesis – ver tabla 3-, calculando los índices e interpretando los resultados – ver apartado 4 – 

PUNTUACIÓN DE SÍNTESIS

Titulo del Programa de Formación:

Familia Profesional o tipo de contenido al que pertenece:

MÓDULOS TEÓRICOS

MÓDULOS PRÁCTICOS

RECURSO

TECNOLÓGICO

A

B

AxB

RECURSO

TECNOLÓGICO

A

B

AxB

Páginas HTML

Páginas HTML

Otras Páginas

     

Otras Páginas

     

Correo Electrónico

     

Correo Electrónico

     

Grupos de discusión

Grupos de discusión

Cliente/Servidor

Cliente/Servidor

Chat

Chat

Videoconferencia

Videoconferencia

 

Sumatorios

SA

SB

SAB

 

Sumatorios

SA

SB

SAB

 

Ratios ( r )

SA/N

SB/N

SAB/N

 

Ratios ( r )

SA/N

SB/N

SAB/N

r/máx

 

r/máx

 

Tabla 3. Puntuación síntesis de la adecuación /utilización del uso del recuso y la importancia del mismo en el Programa de Formación a evaluar

 

4. Interpretación de las puntuaciones

Puede estructurarse atendiendo a las siguientes consideraciones:

  • Puntuaciones A informan acerca de la adecuación en el uso de cada recurso. Por lo que aportan un perfil de adecuación tecnológica - información extraída de tabla 1-.

  • Puntuaciones B, informan acerca de la importancia del mismo en el diseño del programa, atendiendo a los usos didácticos que pueden requerirse según el contenido y competencia a desarrollar. Así, aportan el perfil de referencia ideal acerca de la funcionalidad de cada recurso tecnológico en el programa evaluado – información extraída de tabla 2-.

  • Las puntuaciones AxB, aportan la información de síntesis acerca de la adecuación relativa teniendo en cuenta la funcionalidad del recurso. Se establece una puntuación única tomando como referencia el Estándar teórico particular de cada Programa de Formación (B) combinado con la utilización del recurso de cada uno de ellos (A).

  • Los sumatorios y ratios, aportan una información global de cada aspecto, pudiéndose considerar escalables e interpretables según la escala teórica utilizada para la valoración.

  • Además el evaluador/a obtiene un perfil diferencial de cada uno de los recursos Tecnológicos en estos contenidos, si comparamos la Columna A con la Columna B, ya que informa de las discrepancias existentes respecto al Estándar de Referencia.

  • La ratio dividido el máximo teórico en la columna A (r/máx) representa la puntuación obtenida en la ratio dividida por la puntuación máxima que pueden llegar a obtener cada recurso (5) en las valoraciones dadas. El resultado, en una escala de proporción (de 0 a 1), nos aporta información global de la adecuación tecnológica de los recursos interpretable según la siguiente escala teórica:

0-0.20: No adecuado

0.21-0.40: Adecuación medio baja

0.41-0.60: Adecuación media

0.61-0.80: Adecuación medio alta

0.81-1: Adecuación alta

  • La ratio dividido el máximo teórico en la columna AxB (r/máx) representa la puntuación obtenida en la ratio dividida por la puntuación máxima que pueden llegar a obtener cada recurso (5) en las valoraciones dadas, entendiendo que el máximo teórico representa al sumatorio de todos las puntuaciones B x 5, es decir,

. El resultado, en una escala de proporción (de 0 a 1), nos aporta información global de la adecuación tecnológica de los recursos teniendo en cuenta la eficiencia/funcionalidad del mismo, interpretable según la siguiente escala teórica:

0-0.20: No adecuado

0.21-0.40: Adecuación medio baja

0.41-0.60: Adecuación media

0.61-0.80: Adecuación medio alta

0.81-1: Adecuación alta

  • Anexo I.

Listado referencial de Programas de Formación analizados en estudio empírico.

  • Anexo II.

Tablas relación existente entre la proporción de horas dedicadas a la Teoría y a la Práctica en los distintos Programas de Formación analizados y el nivel de teleformabilidad que alcanzan dichos contenidos.

  • Anexo III.

Metodología Didáctica de los Recursos Tecnológicos.

  • Anexo IV.

Tablas de Estándares de Referencia hallados según los distintos Contenidos.


 

ABOUT THE AUTHORS SOBRE LOS AUTORES

Genoveva Ramos (Genoveva.Ramos@uv.es) Doctora en Filosofía y Ciencias de la Educación. En la actualidad profesora asociada en el Dpto. de Métodos de Investigación y Diagnóstico en Educación de la Universitat de València (España). Desarrolla su labor docente e investigadora en el ámbito de la Medición y la Evaluación Educativa,  concretamente dentro del Grupo de Evaluación y Medición –GEM-. Dicha labor se centra en:  la evaluación de resultados escolares, en la evaluación de programas (en ámbitos como la Formación Ocupacional, Profesional y Continua, la Formación Continua en Sanidad y la teleformación) y en el desarrollo de indicadores de calidad tanto para Centros como para la evaluación de Sistemas Educativos

 

 

 

ARTICLE RECORD / FICHA DEL ARTÍCULO

Reference /

Referencia

Ramos, Genoveva (2005).  Elementos para el diseño de planes de evaluación de programas de teleformación en la empresa Revista ELectrónica de Investigación y EValuación Educativa, v. 11,  n. 2. http://www.uv.es/RELIEVE/v11n2/RELIEVEv11n2_5.htm.Consultado en (poner fecha).

Title / Título

Elementos para el diseño de planes de evaluación de programas de teleformación en la empresa. [Elements for evaluation plans design about e-learning programs in the company area]

Authors / Autores

Genoveva Ramos

Review

Revista

Revista ELectrónica de Investigación y EValuación Educativa (RELIEVE), v. 11, n. 2 

ISSN

1134-4032

Publication date /

Fecha de publicación

 2005  (Reception Date:  2005 July 07; Approval Date: 2005 November 8; Publication Date: 2005 November 11)

Abstract /

Resumen

  From a broad research framework, this paper’s objective is to reflect on different ways to develop E-learning evaluation plans for companies whose employees are in continuous training.  Two empirical studies are presented that provide substantive references for identifying the standards, indicators and variables that can be considered for this type of evaluation plan. The results of different kinds of analyses have resulted in a guideline of standards usable in an Evaluation Protocol, and an outline to facilitate the planning and development of these kinds of evaluations.

   Desde una perspectiva amplia, este artículo tiene como objetivo aportar elementos de reflexión y algunas soluciones en investigación evaluativa, a fin de abordar y orientar  los planes de evaluación de la teleformación en el ámbito de la formación continua en la empresa. Se presentan dos estudios empíricos que identifican estándares, indicadores y variables que puedan ser considerados en este tipo de planes de evaluación. Se propone una estructura de estándares utilizable en el marco de un Protocolo de Evaluación.

Keywords

Descriptores

E-learning, E-learning Evaluation Plans, E-learning Programs design. 

Teleformación, Planes de Evaluación de Teleformación, Diseño de Programas de Teleformación

Institution /

Institución

Universidad de Valencia (España)

Publication site /

Dirección

http://www.uv.es/RELIEVE 

Language / Idioma

 Español (Title, abstract and keywords in english )

 

Volumen 11, n. 2

 

© Copyright, RELIEVE.  Reproduction and distribution of this article  is authorized if the content is no modified and its origin is indicated (RELIEVE Journal, volume, number and electronic address of the document).

© Copyright, RELIEVE.  Se autoriza la reproducción y distribución de este artículo siempre que no se modifique el contenido y se indique su origen (RELIEVE, volumen, número y dirección electrónica del documento).

   

  [Principal]  [La Revista] [Artículos publicados]  [Publicar en RELIEVE]

 [Home Page]  [ About us]  [ Published Articles]  [To publish in RELIEVE]

Revista ELectrónica de Investigación y EValuación Educativa

  http://www.uv.es/RELIEVE

email: relieve@uv.es

Statistics  Estadísticas