Introducción
E-learning es un producto más de los generados por la sociedad de la información y la era digital, que cobra una especial importancia en el marco de los nuevos modelos de enseñanza/aprendizaje y del aprendizaje a lo largo de toda la vida en convergencia con las posibilidades que las tecnologías de la información y la comunicación ofrecen a las aplicaciones educativas.
Desde
el punto de vista conceptual e-learning es un término susceptible de diferentes
definiciones y a menudo intercambiable por otros: formación on-line, cursos
on-line, formación virtual, teleformación, formación a distancia, campus
virtual… En sentido literal, del inglés, significa aprendizaje electrónico,
el aprendizaje producido a través de un medio tecnológico-digital. Rosenberg
(2001) lo define como el uso de las tecnologías basadas en internet para
proporcionar un amplio
despliegue de soluciones a fin de mejorar la adquisición de conocimientos y
habilidades. El mismo autor establece tres criterios que se han de cumplir
para poder aplicar correctamente el término (Rosenberg, 2001: 28-29): a) que se produzca en red, lo que permite una actualización inmediata, almacenamiento y recuperación, distribución y capacidad de compartir los contenidos y la información, b) que llegue al usuario final a través de un ordenador, utilizando estándares tecnológicos de Internet, c)
que esté centrado en la visión más amplia de soluciones para el
aprendizaje que van más allá de los paradigmas tradicionales de la formación. Sin embargo estos criterios son fuertemente restrictivos. El “aprendizaje electrónico” no sólo se produce a través de estándares tecnológicos de Internet, las plataformas ad hoc son un elemento cada vez más importante; y los materiales off line o descargables de apoyo al resto de la formación son un componente primordial mientras no mejoren las infraestructuras de las comunicaciones en la propia red. Desde
su irrupción en el mundo educativo y formativo, el e-learning ha generado
importantes expectativas no sólo de carácter pedagógico, sino también de
carácter social y económico, lo que unido al creciente interés por la
calidad educativa (González, 2000:53) en cualquiera de sus manifestaciones
y ámbitos, hace que se imponga la necesidad de desarrollar modelos de
evaluación adecuados al objeto y a los distintos contextos en los que se
produce. 1.
Tendencias en la evaluación del e-learning
La inquietud por evaluar el e-learning está dando lugar a importantes
iniciativas y experiencias a nivel mundial encaminadas a establecer estándares
que permitan certificar su calidad. Aunque
los mecanismos de parametrización de la calidad varían en función tanto
del contexto (Tait, 1997), como del propio concepto de calidad (Harvey
y Green, 1993), hasta el momento se puede hablar de dos grandes tendencias
en relación a las prácticas para evaluar la calidad de las instituciones y
de los proyectos que utilizan el e-learning como actividad formativa con
entidad propia (Sangrà, 2001). El objetivo se centra sobre todo en buscar
criterios e indicadores específicos que den respuesta a las preguntas que
se plantea la evaluación de la calidad de la formación en entornos específicos,
con medios específicos y dirigida a personas con un perfil diferente al del
alumnado tradicional (en el caso de las universidades). q Enfoque parcial. Centrado principalmente en alguno de los siguientes aspectos: ü La actividad formativa ü Los materiales de formación ü Las plataformas tecnológicas ü
La relación coste/beneficio q Enfoque global. Se distinguen dos tendencias: ü Los sistemas de evaluación centrados en modelos y/o normas de calidad estándar y calidad total ü
Sistemas basados en la práctica del benchmarking 1.1. La
evaluación de enfoque parcial Es la evaluación centrada en alguno de los
elementos considerados de mayor interés dentro de una solución e-learning. 1.1.1.Evaluación de la
actividad formativa Es el proceso orientado a evaluar una acción concreta de formación, como puede ser un curso on-line, de mayor o menor duración. La finalidad de esta evaluación se orienta hacia tres aspectos básicamente: comprobar el nivel de cumplimiento de los objetivos educativos, mejorar la propia acción formativa y determinar el retorno de la inversión realizada. Belanger y Jordan (2000:187) identifican tres modelos principales en la evaluación de acciones formativas (adaptados algunos de la formación tradicional). Modelos que ponen el énfasis bien en la evaluación diagnóstica, antes de introducir la acción formativa, bien en la evaluación final, una vez se ha producido la formación. Modelo Sistémico de Vann Slyke et al. (1998) El modelo provee de un conjunto de variables que interactúan como factores predictores del éxito de la acción formativa on-line. Estas se concentran en las siguientes: Características institucionales Las características institucionales están relacionadas con la capacidad de la organización para implementar acciones de e-learning, tales como los objetivos de la institución, la infraestructura de soporte a la acción, la capacidad económica, … Características de los destinatarios de la formación Estas características están relacionadas con los intereses, expectativas y habilidades de los estudiantes (autosuficiencia, gestión personal del tiempo, dominio del ordenador y actitud hacia la tecnología, capacidad para la resolución de problemas, …). Es el único modelo que presenta la variable “características del alumnado” como factor de éxito o fracaso de la formación on-line, aunque son varios los autores que enfatizan las diferencias individuales de los usuarios como elemento importante predictor del éxito de la formación virtual (Richardson, 2001; Oliver, 1998; Ramussen y Davidson, 1996). Características del curso Las características del curso tienen que ver con la capacidad del sistema de e-learning en relación a las necesidades y metodologías de enseñanza-aprendizaje para el curso. Por ejemplo, si el curso requiere una metodología basada en el trabajo colaborativo el entorno virtual debe poder facilitarlo. Características de la formación a distancia Estas características se refieren al hecho de la necesidad de crear
nuevos modelos de acomodación de los usuarios a los nuevos entornos, de
forma que se asegure su tranquilidad, confort y facilidad de aprendizaje. Estas variables deben ser estudiadas para la
implementación de acciones formativas on-line de forma que se adapten al
alumnado, al profesorado, a la institución y a la sociedad. Así por
ejemplo los estudiantes pueden acabar recibiendo una alta interacción con
el profesor si lo necesitan, la institución puede incrementar la
productividad entre los docentes o a nivel social puede mejorarse el acceso
a la educación, la calidad de vida, la fuerza del trabajo, etc. Modelo de los cinco niveles de evaluación de
Marshall and Shriver (en McArdle, 1999) Este modelo se centra en cinco niveles de acción orientados a asegurar el conocimiento y competencias en el estudiante virtual. Docencia Este nivel se centra en la capacidad del docente en la formación on-line para proyectarse a través del medio tecnológico (el correo electrónico, el chat, el aula virtual, …), haciendo uso de habilidades comunicativas adecuadas a ese entorno, tales como la claridad en la redacción de los mensajes, intervención frecuente en el aula virtual, inmediatez y eficacia en las respuestas a los mensajes del alumnado, apropiación adecuada de los recursos que provee el entorno tecnológico, … Materiales del curso La evaluación de los materiales debe ser realizada por el alumnado con relación al nivel de dificultad, pertinencia, interés o efectividad. Curriculum Los contenidos o el currículum del curso deben ser evaluados con un nivel elevado de análisis y por comparación con otros curricula. Módulos de los cursos La modulación es una característica de los cursos on-line que debe igualmente ser valorada en relación a su estructura y orden. Transferencia del aprendizaje Este último nivel persigue determinar el grado en el que el curso on-line le permite a los participantes transferir los conocimientos adquiridos al puesto de trabajo. El modelo combina diferentes elementos del acto
educativo, pero pone un especial énfasis en el docente, como agente
dinamizador de la formación en entornos virtuales. De hecho asistimos a un
renovado interés por la calidad docente (Mateo, 2000a), que se está
convirtiendo en un factor estratégico de primera magnitud. En el entorno
virtual el docente se ha de situar en un nuevo espacio formativo como guía
y acompañante del protagonista del aprendizaje, el participante, siendo la
interacción la base para el desarrollo formativo (Duart, 2001a). Aunque los
estándares sobre los niveles de actuación del profesorado son distintos en
la formación on-line, muchos de los parámetros considerados en los modelos
de evaluación del docente presencial (Mateo, 2000b) pueden ser los mismos. Modelo de los cuatro niveles de Kirkpatrick
(1994) El modelo de Kirkpatrick ha sido y es ampliamente utilizado en la evaluación de acciones formativas tradicionales, y en la actualidad son varios los autores que recomiendan su adaptación y uso en el e-learning (Rosenberg, 2001, Mantyla, 2000, Belanger y Jordan, 2000). El modelo está orientado a evaluar el impacto de una determinada acción formativa a través de cuatro niveles: la reacción de los participantes, el aprendizaje conseguido, el nivel de transferencia alcanzado y finalmente el impacto resultante. Reacción Es sin duda el tipo de evaluación más utilizada en la mayoría de cursos de formación. Puede realizarse a través de un cuestionario de opinión, o de forma más cualitativa mediante grupos de discusión. En el e-learning cobra un interés especial si se tiene en cuenta que es el único feed-back sobre la reacción de los usuarios con el que cuentan los gestores del curso (frente a distintos elementos, como el/la docente, los materiales, los contenidos, el entorno, el aprendizaje, la transferencia o la percepción del impacto de la formación recibida). Aprendizaje Esta evaluación ( en su versión formativa y/o sumativa) persigue comprobar el nivel de conocimientos y habilidades adquiridos por el alumnado a través de tests o pruebas de rendimiento validadas y fiabilizadas (Mantyla, 2000: 267). Kirkpatrick (1999) recomienda el uso de una metodología cuasiexperimental como estrategia para poder establecer de forma más objetiva la efectividad del curso. Otros autores en cambio consideran que más que buscar la efectividad del curso esta evaluación debe utilizarse como método de retroalimentación para mejorarlo (Rosenberg, 2001). En cualquier caso el reto en la formación on-line con relación a la evaluación de los aprendizajes está en configurar estrategias y sistemas de validación que no requieran de la presencialidad. Transferencia La evaluación de la transferencia consiste en detectar si las competencias adquiridas con la formación se aplican en el entorno de trabajo y si se mantienen a lo largo del tiempo (mejor desempeño de la tarea, más rapidez, menos errores, cambio de actitud, etc.). Evaluar la transferencia permite demostrar la contribución de la formación a la mejora de las personas y los beneficios que aporta a la organización para determinar más tarde su impacto y rentabilidad. A pesar de ser una evaluación crucial en la formación empresarial, sólo un 62% de las organizaciones la utilizan, según investigaciones realizadas (EPISE, 2000, Pineda et al., 1999). Los instrumentos o estrategias más utilizados son la observación, las entrevistas a los supervisores y pares y la autoevaluación de los participantes (Pineda, 2002). Impacto Igual que sucede con el nivel anterior también
esta evaluación es utilizada sobre todo por las empresas. Aunque
tradicionalmente la evaluación del impacto o de los resultados se ha basado
en criterios económicos (demostrar un mayor número de ventas, mayor
productividad, menos errores, calidad de servicio, menos reclamaciones,
…), estos no siempre son posibles de probar, por lo que Rosenberg (2001:
223) afirma que “Es mejor conformarse con la evidencia que reclamar
pruebas. Si al preguntar al gerente de la empresa y a todos los supervisores
si la introducción reciente de soluciones e-learning genera una mayor
productividad, la gran mayoría de ellos contestan que sí, ello es una
buena evidencia de que existe correlación entre las soluciones e-learning y
la medición de los negocios”. El objetivo de la evaluación también podría
ser determinar hasta qué punto la falta de formación puede llegar a tener
un impacto perjudicial en la organización. De igual forma
hay que advertir que el impacto de la formación no sólo se produce
a nivel económico, el conocimiento producido, la capacidad de innovación
que genera o la fidelización de las personas empleadas es también
importante.
El problema general que presentan
todos los modelos
referenciados en este epígrafe es que ninguno de ellos esclarece con nitidez los indicadores
de evaluación, ni los estándares de valoración, ni los procesos y formas
de obtención de evidencias de cada uno de los elementos evaluados. 1.1.2. Evaluación de los
materiales La calidad de los materiales formativos cobra una significación especial en la formación no presencial, al ser el instrumento principal de transmisión básica de conocimientos del que dispone el alumnado. De ahí que su evaluación se haya convertido en una de las evaluaciones a las que se le han dedicado mayores esfuerzos. Los materiales utilizados en el e-learning pueden ser textuales, hipertextuales (o hipermedia[1]) o multimedia, y estar diseñados para su uso tanto on-line como off-line . En el ámbito de la evaluación destaca la línea de evaluación de materiales multimedia, también llamada evaluación de software educativo, con una larga tradición desde la aparición de las primeras aplicaciones informáticas educativas (EAO). Bajo parámetros de la evaluación de programas, las experiencias relacionadas con la evaluación de materiales multimedia han venido centrándose según el objetivo de la evaluación y el agente evaluador en la evaluación de necesidades, del input, del proceso, del producto y/o de los resultados (tabla 1). Pero de forma particular destaca el despliegue desarrollado para la evaluación del producto orientada a certificar la calidad de los materiales y/o facilitar la toma de decisiones en su selección. Cabero (2001:451-455) identifica tres tipos de evaluación con respecto a los medios tecnológicos en general: la evaluación del medio en sí (características del medio), la evaluación comparativa con otro medio y la evaluación didáctico curricular (el comportamiento del medio en el contexto de enseñanza-aprendizaje); y tres agentes evaluadores: los productores, los expertos (en contenidos, diseño instructivo, …), y los usuarios. Existen numerosas iniciativas encaminadas a diseñar instrumentos de medidas estándar de calidad para la evaluación de los materiales tecnológicos educativos. Entre ellas destacan por su magnitud: the Instructional Management Systems Project (http://ims.org), que reúne a empresas americanas multinacionales informáticas e instituciones educativas para definir estándares tencológicos; o the Promoting Multimedia Acces Education and Training in European Society (http://www.perseus.tufts.edu), un proyecto orientado a definir la calidad formativa de los materiales multimedia. De forma más modesta, pero también destacable, encontramos, a modo de ejemplo: el Modelo Sistémico de Calidad de Software (Mendoza et al., 2001) orientado a determinar la calidad del software en baja, media y elevada; el proyecto E-CumLaude (Rodríguez et al., 2001) para certificar la calidad de los materiales multimedia educativos centrado en criterios de calidad de mínimos y de excelencia; el método de Evaluación de Materiales Educativos Computerizados basado en el juicio de expertos (Galvis, 2000); o la escala de Catalogación y Evaluación Multimedia SAMIAL (Navarro, 1999) centrada en distintas categorías y orientada a establecer la calidad del material en excelente, alta, correcta y baja.
Frente a instrumentos estructurados
como los que acabamos de presentar aparecen propuestas más flexibles que
conducen a la identificación de una serie de criterios para que sea el
usuario, seleccionador o evaluador el que determine la ponderación de los
mismos y la reflexión sobre la pertinencia de su presencia o ausencia. En
esta línea se encuentra el instrumento promovido por la European
Academic Software Award (Baumgartner y Payr, 1997) desarrollado en torno
a doce criterios: exactitud, relevancia, cobertura, interacción,
aprendizaje, uso, navegación, documentación, interface, uso del ordenador,
adaptabilidad e innovación. También encontramos numerosas iniciativas
encaminadas a la adaptación de las normas ISO para el software y materiales
web[2]. Una
crítica general a la evaluación de software es la baja fiabilidad y
validez de muchos de los instrumentos diseñados para tal fin que circulan
entre la comunidad de educadores y formadores, y la necesidad de consensuar
estándares de calidad cuya presencia no sea simplemente chequeada mediante
listas de control, sino a través de un análisis más cualitativo,
contextual e intensivo del
material y por parte de distintos agentes evaluadores. 1.1.3. Evaluación de las plataformas tecnológicas La
evaluación de las plataformas tecnológicas está orientada a valorar la
calidad del entorno virtual o campus virtual a través del cual se
implementa el e-learning. La dimensión y funcionalidad de un campus virtual
puede variar sustancialmente según se trate de dar soporte a un curso o
cursos o a una institución entera, como es el caso de las universidades
virtuales. En
el mercado existen numerosas plataformas estándar con posibilidades de
adaptación a las necesidades de los distintos tipos de formación on-line,
objetivos de la misma y usuarios, pero también pueden ser creadas ad hoc por la
institución que adopta una solución e-learning. Adquirido
o creado, el campus virtual es un elemento dinámico, que evoluciona
paralelamente a la propia solución e-learning. De ahí la importancia que
adquiere la evaluación formativa o de proceso orientada a la mejora
progresiva del entorno virtual. Esta evaluación va ganando terreno a la evaluación
diagnóstica, a través de la cual se decide la estrategia más adecuada
en función de los objetivos formativos y las necesidades. La competencia
del mercado de plataformas virtuales ha obligado a equilibrar los servicios
y capacidades de las más importantes, de forma que ya no es tan importante
cuál se elija sino como mejorarla una vez implementada. Aunque ello no
elimina la necesaria etapa de análisis de necesidades, sin la cual a menudo
se realizan grandes inversiones en tecnología sin saber qué se necesitará. A
la hora de determinar la calidad potencial de un campus
virtual, se debe poder establecer, de forma general, que sea: ü
Estable y
fiable ü
Tolerante a
fallos ü
Estándar
en implementación de contenidos y recursos tecnológicos ü
Ágil y
flexible ü
Actual e
intuitivo para facilitar la interacción con el usuario La
mayoría de instrumentos existentes para evaluar campus virtuales
(diseñados bien por las propias distribuidoras de plataformas para
establecer comparaciones, bien por agencias independientes o universidades),
están orientados a determinar las características de los mismos en función
de una serie de categorías de análisis (tabla 2). Sobre
la base de estas categorías existen iniciativas que han elaborado modelos o
estándares de calidad de plataformas virtuales, entre las que destacamos:
el Cybernetic Model for Evaluating of Virtual Learning Enviroments (Britain
y Liber, 1999) orientado a la interrelación de los siguientes aspectos:
recursos de negociación, coordinación, tutorización, individualización,
autoorganización y adaptación; o los Quality Standards on the Virtual
Campuses desarrollados por la Universidad Virtual de Pensilvania, (http://www.vup.org/standards/),
basados en el interface de usuario, los media, el software, los permisos y
licencias y la accesibilidad. Un modelo más cualitativo y flexible es el modelo
ACTIONS de Bates (1999), que está especialmente orientado a la toma de
decisiones antes de introducir un determinado medio tecnológico, y permite
hacer una valoración de las ventajas e inconvenientes con relación a cinco
componentes (cuyos términos se corresponden con las siglas del modelo): acces,
costs, teaching and learning, interactivity and use
facility, organizational issues, novelty and speed. Es
la única iniciativa que introduce la estimación de variables económicas,
siendo aplicable a cualquier tecnología utilizada por el e-learning.
Pese
a estas y otras experiencias, coincidimos con la
European Network on Intelligent Technologies for
Smart Adaptive Systems (http://www.eunite.org) en que
falta todavía establecer y consensuar criterios a nivel europeo sobre los
campus virtuales, relacionados con el establecimiento de estándares de
acreditación para su calidad, así como orientaciones en el desarrollo de
cursos que se implementan a través de estas plataformas, o el
establecimiento de normas relacionadas con el copyright y los derechos de
autor, de forma que la evaluación de todos ellos pueda realizarse sobre
categorías comparables. 1.1.4. Evaluación financiera
Una de las evaluaciones que está reclamando una mayor atención,
especialmente por parte de las empresas, es la relacionada con factores de
medición económicos. La implantación de una solución e-learning requiere
una inversión inicial importante, que es injustificable, desde el punto de
vista financiero, si finalmente no puede evidenciarse un retorno de dicha
inversión. Es lo que en economía se denomina ROI (Return
On Investment). Se trata de una fórmula muy simple (ROI= beneficios/costes) para valorar el retorno
esperado de una inversión. Aunque detrás de la simplicidad de conceptos se
esconden muchos matices, especialmente cuando se aplican al campo de la
formación, y aún más del e-learning. La
formación en las organizaciones produce beneficios y genera costes. El
problema radica en cómo medir o determinar los beneficios conseguidos, más
allá del valor positivo que por sí misma representa para las personas y la
propia organización. El reto no es fácil, ya que los beneficios más
productivos de la formación son los más intangibles y difíciles de
cuantificar (satisfacción, iniciativa y liderazgo, y las habilidades
propias de las personas que configuran la organización), mientras que los más
operativos, si bien producen resultados a corto plazo, se deben al resultado
de conocimientos mecánicos (aumento de la productividad, ahorro de tiempo,
…) Horton (2001). Pese
a las dificultades evidentes que presenta la evaluación financiera de la
formación y del e-learning, existen experiencias y propuestas para su
planificación y ejecución, entre las que destacamos un modelo tomado de
Duart (2001b), insertado en el proceso de planificación de la acción
formativa. El modelo presenta una serie ordenada de acciones con una lista
de indicadores de estimación para cada una de ellas. La importancia del ROI como instrumento de evaluación reside en no
atribuirle a la formación exclusivamente los beneficios derivados de la
mejora de habilidades y conocimientos, sino en poder estimar como esta
mejora repercute en los resultados económicos de la organización, convirtiéndose
así en un instrumento para controlar la eficacia y eficiencia en la
aplicación de las inversiones.
1.2.
La evaluación de enfoque global
Es la evaluación que tiene presente el conjunto total de elementos que
intervienen en una solución e-learning a la hora de establecer líneas y
criterios para gestionar o evaluar su calidad. 1.2.1.
Evaluación y gestión de la calidad
Sustentada por planteamientos del enfoque sistémico (Pérez Juste et al.,
2000) y del paradigma actual de la complejidad (López Rupérez, 1997) y
basada en el concepto de mejora continua (Deming, 1981), la gestión de
la calidad se distingue por su enfoque global e
integral, siendo una estrategia organizativa y una metodología de
gestión que hace participar a todos los miembros de una organización con
el objeto fundamental de mejorar continuamente su eficacia, eficiencia y
funcionalidad. La
implantación de un sistema de calidad en una organización viene
fundamentada por los siguientes principios (González, 2000: 66-68): ü
Proceso
orientado a la satisfacción de las necesidades y expectativas de los
destinatarios ü
Mejora
permanente de todo lo que la organización pretende alcanzar sobre la base
de unos objetivos claros y explícitos ü
La
garantía de la calidad de los procesos internos como medida para alcanzar
la calidad del producto ü
La
prevención en lugar de la supervisión y detección de errores Además de la importancia de: ü
El
liderazgo ü
El
trabajo en equipo, la calidad es tarea de todos ü
La
resolución sistémica de los problemas ü
Basar
la toma de decisiones en datos objetivos ü
La
agilidad en la transmisión de información ü
La
formación de las personas implicadas Sobre
la base de estos principios se han generado diferentes herramientas, como
las normas ISO y los modelos de evaluación propios de la TQM (Total Quality
Management). Una
de las herramientas más extendidas es la aplicación de las normas ISO, ese
conjunto de normas (de carácter no prescriptivo), que simplemente exigen
que una organización: a) defina y planifique sus procesos, b) los documente
de manera correcta, c) compruebe su actitud, y d) garantice el control y
revisión de los mismos. Los
principios sobre los que se articula este conjunto de normas son los
siguientes: ü
La organización posee
objetivos de calidad claros ü
Existen acuerdos claros
entre todos los participantes ü
La organización posee los
recursos necesarios para conseguir el nivel requerido de calidad ü
Todos los procesos y
sistemas están sometidos a controles, con evaluaciones y modificaciones
cuando sea conveniente ü
Todo lo necesario para
garantizar la calidad se halla documentado ü
Los registros de la calidad
permiten una verificación y una comprobación de la garantía de la calidad
La
interpretación de estos términos aplicada a contextos de e-learning queda
recogida en la tabla 4, a modo de propuesta, y recogiendo las
recomendaciones de Van De Berghe, W. (1997).
Los
modelos de la TQM, como EFQM (European Foundation Quality Management) o el más
recientemente implantado CMI[3]
(Cuadro de Mando Integral) poseen unas fases de implementación y una serie
de áreas clave o criterios básicos de calidad en torno a los cuales se
articula el modelo. Se
trata en todos los casos de herramientas de evaluación de uso frecuente en
las organizaciones y en la actualidad se están adaptando a los contextos de
formación virtual. Pero como han advertido algunos autores (Mateo, 2000b,
Barberá, 2001) se trata de modelos más próximos a la gestión (management)
que a los procesos educativos. Estos modelos enfatizan fundamentalmente los
aspectos de gestión organizativa, satisfacción del cliente, o relación
coste-beneficio, aspectos sin duda importantes, pero insuficientes en una
actividad cuyo núcleo es la enseñanza-aprendizaje. Barberá
(2001) propone como dimensiones que deben ser evaluadas en la formación
virtual: el escenario en el que se produce la acción educativa (bases
psicopedagógicas, estructura general del sistema, etc.); las propuestas de
los participantes involucrados en el proceso de instrucción (motivaciones,
objetivos y demandas cognitivas); los agentes instruccionales (roles de
estudiantes, de dicentes, y de la misma institución); la intervención y la
interacción educativa (organización de la actividad educativa, patrones de
interacción y discurso virtual); y la construcción misma del conocimiento
(características del conocimiento, dinámicas y tipos de construcción). Muchas
de estas dimensiones son recogidas a través de la práctica del benchmarking,
que está cobrando una gran importancia en la evaluación del
e-learning. 1.2.2.
Prácticas de evaluación del e-learning basadas en el benchmarking
El benchmarking es el proceso que permite a un centro u organización
compararse con otro que obtiene resultados excelentes de calidad, con el fin
de emularlo. En el ámbito del e-learnig este sistema pretende ofertar
herramientas e indicaciones para mejorar las acciones a partir de la
observación, comparación y cooperación basada en las buenas prácticas.
En esta línea se encuentran las Guidelines for Electronically
Offered Degree and Certificate Programs del Council of Regional
Acredited Comissions de los Estados Unidos o el proyecto Benvic
“Benchamarking of Virtual Campuses” de la Unión Europea. 1.2.2.1.
Sistema benchmarking BENVIC En
el ámbito de la Unión Europea el Benchmarking of Virtual Campuses
Project (European Commission, 2002) está siendo desarrollado por
ocho instituciones universitarias de los países miembros en el marco del
programa MINERVA desde el 2001. Dicho proyecto, conocido con el nombre de
BENVIC, está orientado al
desarrollo y aplicación de criterios de evaluación para promover estándares
de calidad en los campus virtuales y en la formación on-line en general. Los
objetivos del proyecto son: ü
Desarrollar, validar y
establecer un sistema de evaluación de las experiencias con campus
virtuales o soluciones e-learning en el contexto europeo. ü
Promover una red
colaborativa para implementar la evaluación a través de la comparación y
el benchmarking. ü
Promover el conocimiento
compartido. ü
Desarrollar un mapa de
competencias relacionado con el diseño y la implementación de campus
virtuales a fin de ayudar a las instituciones a mejorar sus prácticas y
alcanzar la calidad para sus soluciones e-learning. Fases
del proyecto: q
Definir indicadores de
calidad de e-learning y el mapa de competencias Las características de los
indicadores tomados son: a) están orientados al cambio, b) son
contextuales, c) combinan benchmarking externos e internos,
subjetivos y objetivos, cualitativos y cuantitativos. Como grandes áreas de indicadores
el proyecto define las siguientes: ü
Servicio al estudiante ü
Recursos de aprendizaje ü
Apoyo al profesorado ü
Evaluación ü
Accesibilidad ü
Eficiencia (relacionada con
el aspecto financiero) ü
Recursos tecnológicos ü
Ejecución institucional Los distintos indicadores de estas
áreas están agrupados en tres tipos de medidas: de tipo estructural,
práctico y ejecutivo. El mapa de competencias es
una herramienta que le permite al socio BENVIC verificar el nivel de
habilidades en su institución con relación al manejo del campus virtual
que posee el profesorado, el alumnado, los técnicos y la organización. Por
tanto puede estimar la diferencia entre las habilidades requeridas y las
habilidades disponibles. Al mismo tiempo le facilita una auditoría pedagógica,
cuyos resultados pueden ser: un ayuda, un plan de formación, compartir
conocimiento, certificar competencias, etc. Se han considerado cuatro tipos de
competencias interrelacionadas: ü
Competencias propias de la
institución ü
Competencias comunes para
diferentes sectores ü
Competencias sectoriales,
las adaptadas de un campus tradicional al campus virtual ü
Competencias virtuales, las
relativas exclusivamente al campus virtual q
Invitar a varias
instituciones por primera vez a ser auto-evaluadas Las primeras instituciones que
participan pasan a integrar los primeros datos de la base de datos. Han sido
cinco casos de estudio. q
Determinar socios
benchmarking (que demuestren tener buenas prácticas) A partir de las primeras
experiencias se pueden ya establecer ejemplos de buenas prácticas, que
servirán de comparación a otros socios. q
Crear club BENVIC con
una base de datos de diferentes instituciones La base de datos se va agrandando
con la entrada de nuevas instituciones para la autoevaluación.
Fases
del proceso BENVIC Benchmarking: 1.
En la fase primera, un representante del campus virtual utiliza los
indicadores de la plantilla para realizar el diagnóstico inicial con relación
a indicadores de la estructura (recursos disponibles en el campus virtual
para conseguir los objetivos, que incluye las competencias humanas, la plataforma, administración y gestión); de la
práctica (cómo el campus virtual utiliza los recursos en relación
a la estrategia de organización en acceso y diseño pedagógico); y de la
ejecución (el impacto de los resultados: aprendizajes, coste-beneficio,
efectividad tecnológica). 2.
En la segunda fase la institución aplica los resultados del diagnóstico
inicial a la práctica de la
organización. A partir de aquí se
identifican áreas clave que necesitan ser mejoradas. El equipo examina la
base de datos BENVIC e identifica “socios benchmarking” del club
BENVIC, los cuales son ejemplos de buenas prácticas en las áreas
identificadas como deficientes. Se pueden consultar las puntuaciones medias
de los socios en esas áreas y la forma en que los socios bechmarking
las han solucionado. 3.
En la tercera fase el campus virtual es llevado a un proceso de
mejora y de benchmarking. El conocimiento y el aprendizaje generado
pasa a formar parte del sistema BENVIC benchmarking. Figura
1.
Proceso de aplicación de los indicadores BENVIC Benchmarking Cuando
el campus ha sido mejorado sus responsables o socios pueden volver a entrar
los datos y pueden llegar a convertirse en un nuevo benchmarking, que
servirá de ejemplo de buenas prácticas y comparación para nuevos socios. El
sistema club BENVIC puede funcionar en la medida que sea bien gestionado y
en la medida que las diferentes instituciones estén dispuestas a compartir
sus propias experiencias y a involucrarse en planes de mejora continua.
Siendo una de las primeras aportaciones sistemáticas a la elaboración de
estándares de calidad en la formación on-line. 1.2.2.2. Buenas prácticas en el marco de la Acreditación y de las universidades norteamericanas En
el contexto norteamericano, las Comisiones Regionales para la Acreditación
han elaborado una guía de “buenas prácticas” en la educación superior
ofrecida electrónicamente: Best Practices for Electronically Offered
Degree and Certificate Programas (Middle States Commission on Higher
Education, 2001). El desarrollo de la guía ha contado con la colaboración
inicial de organizaciones expertas en el campo, y está abierta a posibles
cambios a medida que la propia educación superior on-line evolucione. Estas
guías están siendo utilizadas para la acreditación de instituciones
universitarias que ofertan formación on-line. Las
consideradas buenas prácticas han sido divididas en cinco componentes, cada
uno de los cuales se dirige a un área particular de la actividad
institucional relevante para la oferta electrónica. Estas áreas son: ü
Contexto
institucional ü
Currículum
y formación ü
Soporte
a la facultad ü
Soporte
al alumnado ü
Evaluación Cada
componente comienza con una descripción general seguida de parágrafos
numerados dirigidos a problemas específicos, describiendo los elementos
esenciales para la calidad. A continuación figuran protocolos con
cuestiones orientadas a determinar la existencia de esos elementos en las
revisiones externas o internas de las actividades de la educación on-line. S obre el sistema de las buenas prácticas varias universidades norteamericanas han elaborado guías o estándares de calidad de la formación on-line. Entre ellas destaca la Michigan Virtual University (http://standards.mivu.org/standards/) y sus Quality Standards on the on-line Courses (2002), agrupados en cuatro grandes áreas: tecnología, usabilidad, accesibilidad y diseño de la instrucción. O the Indiana University Center for Research on Learning and Technology y sus Seven Principles[4] of Effective Teaching. A Practical for Evaluating Online Courses: buenas prácticas que promuevan la relación del alumnado con la facultad, buenas prácticas que impulsen la cooperación entre estudiantes, buenas prácticas que favorezcan el aprendizaje activo, el feed-back inmediato, buenas prácticas que enfaticen el time on task, buenas prácticas que generen altas expectativas y buenas prácticas respecto a diversas formas de aprendizaje. Una relación completa de todas las universidades que han elaborado guías de buenas prácticas y estándares de calidad del e-learning podemos encontrarla en la página de Minessota State Colleges and Universities (http://www.oit.mnscu.edu/mitss/peerreview1.htm). 1.2.3.
Estudios empíricos sobre el benchmarking
Entre los estudios empíricos sobre la práctica del benchmarking
destaca el Quality On the Line desarrollado por
el Institut for Higher
Education Policy en el 2000, orientado a determinar los benchmarks
determinantes de la calidad en la formación on-line[5]
, y cuyos resultados revelan, de
forma similar a las experiencias expuestas,
24 buenas prácticas importantes: 1.
Existencia e implantación de un plan tecnológico, documentado, que
incluya medidas electrónicas de seguridad. 2.
Máxima fiabilidad del sistema tecnológico. 3.
Existencia de un sistema centralizado de soporte, para crear y
mantener la infraestructura educativa. 4.
Utilización de directrices en el diseño y desarrollo de los cursos. 5.
Actualización y revisión periódica de los materiales. 6.
Diseñar el proceso de enseñanza/aprendizaje de forma que obligue al
alumnado a implicarse. 7.
Papel esencial de la interacción del alumnado consigo mismo y con el
profesorado, y facilitarla a través de diversos medios (e-mail, chat, voz,
etc.). 8.
Ofrecer respuestas constructivas a las consultas y aportaciones del
alumnado, y hacerlo en un plazo breve. 9.
Enseñar al alumnado los métodos adecuados de búsqueda. 10.
Antes de comenzar el curso, dar al alumnado información suficiente
para determinar si tienen la motivación necesaria y los recursos adecuados. 11.
Dar a los estudiantes información complementaria sobre el curso,
incluyendo objetivos, conceptos e ideas, y especificar claramente qué
resultados se esperen del programa. 12.
Dar acceso a una biblioteca suficiente, que incluya recursos
accesibles a través de la red. 13.
Acordar expectativas referentes a plazos de entrega y corrección de
actividades. 14.
Dar al alumnado información suficiente sobre los programas,
incluyendo requerimientos de admisión, precios, libros, accesorios,
requerimientos técnicos y servicios de soporte. 15.
Dar al alumnado información y formación prácticas sobre cómo
obtener recursos a través de bases de datos, redes de bibliotecas,
servicios públicos, servicios de noticias y otras fuentes. 16.
Ofrecer al alumnado acceso fácil al soporte técnico durante todo el
curso, instrucciones detalladas sobre el funcionamiento de los medios tecnológicos
utilizados y sesiones prácticas antes del inicio del curso. 17.
Ofrecer una respuesta rápida y precisa a las consultas dirigidas al
servicio de soporte al alumnado y disponer de un sistema estructurado de
atención de reclamaciones. 18.
Dar asistencia técnica al profesorado y animarlo a utilizarla. 19.
Facilitar la transición del profesorado desde estrategias
presenciales a estrategias on-line. 20.
Mantener el soporte al profesorado durante todo el curso. 21.
Facilitar al profesorado información referente a como resolver
problemas derivados del uso que el alumnado pueda hacer de los datos que
reciba. 22.
Elaborar un proceso de evaluación de la efectividad pedagógica del
programa, aplicando exigencias específicas. 23.
Evaluar la efectividad del programa con datos sobre inscripciones,
costes y aplicaciones innovadoras y adecuadas a la tecnología. 24.
Revisar periódicamente los resultados de aprendizaje previstos, para
garantizar que sean claros, útiles y adecuados. Otros
aspectos resultaron no ser relevantes, como por ejemplo la promoción del
trabajo en equipo, la división de cursos en módulos o la consideración de
los diferentes estilos de aprendizaje. En
definitiva, la formación on-line de calidad según este estudio ha de hacer
énfasis por igual en un conjunto de factores: un funcionamiento técnico
impecable; un modelo docente a la medida del cliente; buenos materiales,
buena oferta curricular; sistemas independientes de soporte para resolver
problemas de tipo técnico (relacionados con el sistema informático), científico
(relacionados con la materia del curso) y pedagógico (relacionados con el
modelo de enseñanza aprendizaje); alumnado y profesorado formado e
informado; y una buena organización interna. Otro
estudio realizado en la Swinburne University
of Technology
(Cashion y Palmieri, 2002) Quality in On-line Learning, identificó 6
grandes dimensiones relacionados con buenas prácticas (tecnología,
soporte, adecuación a los objetivos, materiales, comunicación y evaluación),
muchas de ellas coincidentes con las anteriores. Sin embargo encontramos a
faltar, de forma generalizada, la evaluación de la generación de
conocimiento e investigación en el contexto universitario. La universidad
virtual debe ser evaluada también con relación a las estructuras que
promuevan la investigación, los campos científicos y de especialización
en los que investiga, la difusión de los resultados o el mismo personal
investigador (Sigalés, 2001, citado por Sangrà, 2001: 9) En
síntesis, la evaluación a través del bechmarking está formada por
un proceso de autoevaluación y comparación de unas instituciones con
relación a lo que está considerado como buenas prácticas, bien sean casos
reales o definiciones teóricas establecidas por expertos. A modo de síntesis
Diferentes
perspectivas y soluciones intentan dar respuesta al tema de la evaluación
de la calidad del e-learning, unas de base más economicista, otras del ámbito
del management, otras más tecnológicas y algunas pedagógicas. Sin
embargo, hasta el momento ninguna por sí sola logra cubrir todas las
necesidades de un ámbito basto y complejo, que abarca numerosas variables y
factores, y que justo acaba de comenzar. Desde diferentes organismos,
instituciones y personas implicadas, se reclama la necesidad de crear estándares
de calidad, certificar la calidad o evaluar la calidad de la formación on-line
en sus diferentes contextos y niveles. A lo que cabe añadir la necesidad de
satisfacer las demandas de formación de la nueva sociedad o generar una
cultura de la calidad y de la mejora continua. Desde el punto de vista
metodológico cabe señalar también la importancia de explorar modelos de
evaluación de orientación más cualitativa. Referencias bibliográficas
Belanger, F. y Jordan, D.H. (2000) Evaluation and
Implementation of Distance Learning: technologies, tools and techniques.
London. Idea Group Publishing. Barberá, E. (2001) (Coord.) La
incógnita de la educación a distancia. Barcelona.
Horsori. Bates, A.W. (1999) Research and Evaluation. En A.W.
Bates, Managing Technological Change,
pp. 198-210. California. Jossey-Bass. Baumgartner, P. y Payr, S. (1997) Methods and practice
of software evaluation. The case of the European Academic Software Award. Proceedig
of ED-MEDIA 97 & ED-TELECOM 97, AACE. Britain, S. y Liber, O.
(1999) A framework for Pedagogical Evaluation of Virtual Learning
Enviroments. University of Wales. Consultada el consultada el
5-mayo-2003 en http://www.leeds.ac.uk/educol/documents/00001237.htm Cabero,
J. (2001). La evaluación e investigación sobre los medios de enseñanza. En
J. Cabero, Tecnología Educativa. Diseño y utilización de medios de
enseñanza, pp. 447-490. Barcelona. Paidós. Cashion, J. y Palmieri, P. (2002). Evaluation
of Quality in On-line Learning.
TAFE School of Social Sciences. Swinburne
University of Technology. Consultada el consultada el 12-abril-2003 en
http://www.tafe.swin.edu.au/ncver/ Deming, W.E. (1981). Management and statistical
techniques for quality and productivity. New York. New York University. Duart,
J.M. (2001a). Avaluació de la qualitat docent en entorns virtuals d’aprenentatge. Duart, J.M. (2001b). ROI i e-learning: més enllà de
beneficis i costos. EPISE
(2000). Evaluación de la formación en las empresas españolas.
Barcelona. EPISE. European Commission DG Education and Culture (2002). Benchmarking
of Virtual Campuses Project. Barcelona. Universitat Oberta de
Catalunya. Galvis,
A. (2000). Evaluación de materiales educativos computerizados por juicio de
expertos. En A. Galvis, Ingeniería
de software educativo. Colombia. Universidad de los Andes. González,
T. (2000). Evaluación y gestión de la calidad educativa. En T. González
(Coord.) Evaluación y gestión de la calidad educativa. Un enfoque
metodológico, pp. 49-80. Málaga. Aljibe. Harvey, L. y Green, D. (1993). Defining quality. Assessment
and Evaluation in Higher Education, 18 (1), pp. 9-34. Horton, W. (2001). Evaluating e-learning.
California. ASTD (American Society for Training and Development). Institute for Higher Education Policy (2000). Quality
on the line. Benchmarks for Succes in Internet-Based Distance Education.
Washington. National Education Association. ISO/IEC 9126 (1991). Information technology. Software
product evaluation. Montreal. Kaplan,
R.S. y Norton, D.S. (1997). El cuadro de mando integral. Barcelona.
Gestión 2000. Kirkpatrick,
D.L. (1999). Evaluación de acciones formativas: los cuatro niveles.
Barcelona. EPISE-Gestión 2000. 1ª edición 1994. León, J.A. (1998). La adquisición de conocimiento a través del
material escrito: texto tradicional y sistemas de hipertexto. En C. Vizcarro
y J.A. León (Ed.), Nuevas tecnologías para el aprendizaje. Madrid.
Pirámide. López
Rupérez, F. (1997). Complejidad y educación. Revista Española de
Pedagogía, 206, pp. 103-112. Mateo, J. (2000a). La evaluación del profesorado y la gestión de la calidad
de la educación. Hacia un modelo comprensivo de evaluación sistemática de
la docencia. Revista de Investigación Educativa, 18 (1), pp. 7-34. Mateo,
J. (2000b). La evaluación educativa, su práctica y sus metáforas.
Barcelona:. Horsori. McArdle, G.E. (1999). Training Design and Delivery.
Alexandria, VA. American Society for Training and Development. Mendoza,
L., Pérez, M. y Rojas, T. (2001). Modelo sistémico para estimar la calidad
de los sistemas de software (MOSCA). Acta Científica Venezolana.
Universidad Simón Bolívar. Consultada el 15-mayo-2003 en
http://lisi.usb.ve/publicaciones Middle States Commission on Higher Education (2001). Interregional
Guidelines for Electronically Offered Degree and Certificate Programs.
Middle States Commission on Higher Education. Navarro,
E. (1999). Evaluación de materiales multimedia. Comunicación y Pedagogía,
157, pp. 36-39. Oliver, M. (1998) (Ed.) Innovation in the Evaluation
of Learning Technology. London. University of North
London. Pérez Juste, R., López Rupérez, F., Peralta, M.D. y Municio, P. (2000) Hacia
una educación de calidad. Gestión, instrumentos y evaluación.
Madrid. Narcea. Pineda,
P. (2002) Formació, transferència i avaluació: un triangle complex. Revista
Econòmica de Catalunya, 44, pp. 79-89. Pineda,
P. et al. (1999) ¿Cómo se evalúa la formación en las organizaciones?. Capital
Humano, octubre y noviembre, pp. 126-127. Promoting Multimedia Acces Education and Training in European Society
(1999). Memorandum of Understanding. Consultada el
10-junio-2003 en http://www.ecotec.com/sharedtetriss/news/mou1198/mou3-slidepresentation/ Ramussen, K. y Davidson, G.V. (1996). Dimensions of
learning styles and their influence on performance in hypermedia lessons.
CD-ROM Proceedings from the anual ED-MEDIA/ED-TELECOM conference.
Article nº 385. Richardson, J. (2001). An evaluation of Virtual Learning
Enviroments and their learners: do individual differences effect perception
of virtual learning enviroments. Interactive Educational
Multimedia, 3, october. Consultada el 25-abril-2003 en
http://www.ub.es/multimedia/iem/ Rodríguez,
J.L., Rubio, M.J. y Escofet, A. (2001). Certificación de la calidad de
materiales multimedia educativos. E-CumLaude. Universidad de Barcelona.
Documento inédito. Rosenberg,
M. (2001). E-learning: Estrategias para transmitir conocimiento en
la era digital. Bogotá. McGraw-Hill Intramericana. Sangrà,
A. (2001). La qualitat en les experiències virtuals d’educació
superior. Consultada el 5-mayo-2003 en
http://www.uoc.edu/web/cat/art/uoc/0106024/sangra.html Sigalés, C. (2002). El potencial interactiu dels entorns virtuals
d’ensenyament i aprenentatge en l’educació a distància.
Silvio, J. (2000). La virtualización de la
universidad. ¿Cómo podemos transformar la educación superior con
al tecnología?. Caracas. IESALC/UNESCO. Tait, A. (Ed.)(1997). Quality Assurance in Higher
Education: Selected Case Studies. Vancouver. The Commonwealth of
Learning. Van
De Berghe, W. (1997). Aplicación de las Normas ISO 9000 a la enseñanza y
la formación. Interpretación desde una perspectiva europea. Luxemburgo. CEDEFOP. Van Slyke, C. Kittner, M. y Belanger, F. (1998).
Identifying Candidates for Distance education: A telecommuting perspective. Proceedings
of the America’s Conference on Information Systems,
pp. 666-668. Baltimore. Referencias
de portales European Network on Intelligent Technologies for Smart
Adaptive Systems (EUNITE) (2003) <http://www.eunite.org> Instructional Management Systems Project (IMS) (2000) <http://ims.org> MOU-Perseus project
(2000) <http://www.perseus.tufts.edu> Quality Standards on the on-line Courses of Michigan
Virtual University
(2002) Quality Standards on the Virtual Campuses of the Virtual University Penn (2001) [1]
Los
materiales hipertextuales o hipermedia son especialmente adecuados en
los entornos virtuales de aprendizaje, ya que por el hecho de no
proceder de una forma secuencial el usuario ha de aplicar un proceso
interactivo mediante el cual deriva información simultánea de
diferentes niveles. Las asociaciones que permite un sistema hipertextual
de hecho se asemejan más a la forma como el ser humano adquiere
conocimiento que no la lectura lineal (León, 1998). Pero esto sólo se
consigue si el material es de calidad técnica y pedagógica. [2] ISO/IEC 9001-Quality Systems-Model for quality assurance in desig/development,
producti, installation and servicing. < http://www.iso90012000software.com/17025.html>
[3] Del inglés, Balanced Scorecard, las primeras formulaciones aparecen a principios de los noventa y recientemente se ha expuesto el modelo completo (Kaplan y Norton, 1997). [4] Se trata de hecho de los siete principios definidos por the American Association for Higher Education (http://www.aahe.org/), y sobre los que José Silvio (2000:207) plantea una serie de dudas e interrogantes. [5]
El estudio
partía de 45 referentes o buenas prácticas identificados a través de
la bibliografía relevante sobre el tema
e instituciones con experiencia en e-learning. En el estudio
participaron seis instituciones, con una experiencia importante en
educación a distancia, reconocidas como líderes dentro del sector,
acreditadas por las agencias regionales, y que ofertaran programas de
enseñanza on-line. Los benchmarks estuvieron identificados tanto
por la organización como por el alumnado (los dos agentes implicados
principalmente en la formación y evaluación). TO KNOW MORE / PARA SABER MÁS This article has been cited in... / Este artículo ha sido citado en...
| ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
(added 
format