Cómo citar:

How to cite:

Olmos-Migueláñez, S., Martínez-Abad, F., Torrecilla-Sánchez, E. M. & Mena-Marcos, J. J.  (2014). Análisis psicométrico de una escala de percepción sobre la utilidad de Moodle en la universidad.  RELIEVE, v. 20 (2), art. 1DOI: 10.7203/relieve.20.2.4221

     

This article in English version

 

  Hits:  Hit counter - Contador de visitas Visitas  

ANÁLISIS PSICOMÉTRICO DE UNA ESCALA DE PERCEPCIÓN SOBRE LA UTILIDAD DE MOODLE EN LA UNIVERSIDAD 

[Psychometric analysis of a perception scale on the usefulness of Moodle in the University]

 

  In article in pdf format

por / by

En formato artículo en pdf

 
 

Article record

About the authors

Print this article

Olmos-Migueláñez, S. (solmos@usal.es)

Martínez-Abad, F. (fma@usal.es )

 Torrecilla-Sánchez, E. M. (emt@usal.es)

Mena-Marcos, J. J. (juanjo_mena@usal.es)

Ficha del artículo

 Sobre los autores

Imprimir el artículo

 

 

Abstract

    Because of the acquired relevance of learning management systems in higher education, and the spread of the use of the Moodle platform in many academic institutions, a scale of perceived usefulness of the Moodle in this context is designed, and the psychometric validity of the scale has been tested. The aim is to provide a reliable and valid instrument to measure the students’ perception about the usefulness of Moodle. The study obtained a sample of 754 subjects from the population of university students in fields of Educational Sciences. The results show that the scale evaluates the utility of the platform adequately in five dimensions: content, activities, assessment, interaction and learning. Finally, a discussion is developed about the usefulness of the scale to evaluate the usefulness of Moodle and to implement processes to improve its use in higher education institutions.

 

Resumen

   Dada la importancia que los entornos virtuales de aprendizaje (learning management systems) han adquirido en la educación superior, y la generalización en el empleo de la plataforma Moodle en muchas instituciones universitarias, se diseña y se validan las cualidades psicométricas de una escala de utilidad percibida sobre el uso de Moodle. Se pretende aportar un instrumento válido y fiable que permita comprobar cuál es la percepción de los estudiantes sobre la utilidad de Moodle. De la población de estudiantes universitarios del ámbito de las Ciencias de la Educación, se obtiene una muestra de 754 sujetos. Los resultados manifiestan que la escala evalúa, adecuadamente, la utilidad de la plataforma en cinco dimensiones: contenidos, actividades, evaluación, interacción y aprendizaje. Finalmente, se discute sobre la utilidad de la escala para evaluar la utilidad de Moodle y para la implementación de procesos de mejora de su empleo en las instituciones de Educación Superior.  

Keywords

 Information and communication technologies, computer application, evaluation, factor analysis.

 

Descriptores

 Tecnología de la información y la comunicación, aplicación informática, evaluación, análisis factorial. 

 



Comentar este artículo


Artículos relacionados:

Tirado & Aguaded (2012). Influencia de las medidas institucionales y la competencia tecnológica sobre la docencia universitaria a través de plataformas digitales. 


Volumen 20, n. 2


     Los Learning Management Systems (LMS) como herramientas de apoyo al aprendizaje (Britain y Liber, 1999; Melton, 2006; Ellis, 2009), han adquirido una relevancia significativa en Educación Superior, puesto que permiten gestionar contenidos, establecer una comunicación síncrona y asíncrona, y gestionar la evaluación de los alumnos (Ross, 2008). Sin embargo, estos cambios organizativos exigen modificar las tutorías y la tipología de actividades propuestas y facilitan un constante y continuo seguimiento sobre la evolución de los alumnos (Antonenko, Toy y Niederhauser, 2004). Su interés principal se debe al espacio que en todos los ámbitos de la sociedad global ocupan las Tecnologías de la Información y la Comunicación (TIC) (Castells, 1999; Cohen y McCuaig, 2008). Este hecho, abre nuevos ámbitos de investigación relacionados con las TIC como el que se recoge en el presente estudio.

    Podemos considerar un LMS como “a software system that combines a number of different tools that are used to systematically deliver content online and facilitate the learning experience around that content” (Weller, 2007, p. 5). Estos entornos han evolucionado en los últimos años y han sido empleados como complemento en diversos formatos y contextos de aprendizaje; desde un contexto presencial (face to face) a un contexto exclusivamente virtual (e-learning), incluyendo un contexto mixto o b-learning (DeNeui y Dodge, 2006; Conrey y Smith, 2007; Vaughan, 2007).

   Su aporte didáctico radica en la combinación de elementos específicos de la enseñanza tradicional (presentación de información, accesibilidad a materiales, evaluación del trabajo de los estudiantes) (Yueh y Hsu, 2008), y una serie de elementos adicionales que proveen múltiples vías de comunicación (incluidas las redes sociales para el aprendizaje) (Ellison, Steinfield y Lampe, 2007). Así, se avala la adecuación de las herramientas “tradicionales” a los nuevos escenarios de enseñanza-aprendizaje condicionados por el potencial que aporta el uso de LMS (Pérez i Garcias, 2007).

   Los LMS conllevan elementos innovadores que permiten un rol activo a los estudiantes, con características diferenciadoras de las propias de la formación presencial (Silva Quiroz, 2011). Su integración en las diferentes etapas educativas favorece tanto el aprendizaje virtual como la interacción entre estudiantes y docentes. En consecuencia, el rol del estudiante se redefine como un sujeto generador y transmisor de conocimiento en la red. Para ello, el alumno requiere una serie de habilidades orientadas a autorregular el proceso de aprendizaje y favorecer la construcción del conocimiento mediante la búsqueda, selección, transformación y difusión de la información (Barberá y Badía, 2004).

   Para atender a las características de los LMS y a la necesidad de promover un rol activo del estudiante, se han diseñado e implementado diferentes plataformas de acceso libre o comercial (Martín-Blas y Serrano Fernández, 2008): Atutor, Claroline, ILIAS, Chamilo, Moodle, LRN, Teleduc, FLE3, Ganesha, etc. Su elección por las instituciones se fundamenta en criterios como las necesidades de los usuarios, el coste y el número de usuarios potencial (Martín-Blas y Serrano Fernández, 2008).

   En el ámbito educativo, muchas universidades se han inclinado por la utilización de la plataforma Moodle. Se trata de un recurso abierto asentado en principios pedagógicos (Cole y Foster, 2007; Goyal y Puhorit, 2010) que integra diversos recursos multimedia. Por estas mismas razones, Moodle se ha convertido en uno de los LMS empleado en mayor medida en la educación superior (Aydin y Tirkes, 2010; Saito y Ulbricht, 2012; Williams van Rooij, 2012).

   Moodle se presenta como una plataforma que ofrece las herramientas necesarias para una enseñanza virtual (Aydin y Tirkes, 2010; Saito y Ulbricht, 2012; Williams Van Rooij, 2012). Además, promociona nuevos aprendizajes, facilitando el acceso al material de forma organizada (Peat y Franklin, 2002).

   Así, Moodle facilita el desarrollo de procesos de enseñanza-aprendizaje en la formación e-learning, b-learning y presencial por razones como la interacción (Swan, Shea, Fredericksen, Pickett, Pelz y Maher, 2002), usabilidad (Kirner y Saraiva, 2007) y la presencia social (Richardson y Swan, 2003).

   En este sentido, se evidencia que los LMS mejoran los resultados de aprendizaje (Martín-Blas y Serrano-Fernández, 2009; Núñez et al., 2011; Escobar-Rodríguez y Monge-Lozano, 2012), y que los profesores que utilizan recursos virtuales en línea incrementan la atención y participación de los alumnos, permitiendo aprendizajes más significativos (Soyibo y Hudson, 2000). Otros autores como Steyaert (2005) demuestran que tanto los LMS como el uso de internet, permiten organizar los contenidos de modo temático y gestionar la organización de la asignatura de forma más eficiente, permitiendo una visualización más sencilla del temario (Peat y Franklin, 2002).

   La intención de los LMS en general, y de Moodle en particular, conlleva, por tanto, interacción con la información y trabajo conjunto entre docentes y discentes. No obstante, la realidad parece distar de este propósito, al emplearse estos espacios, en muchos casos, como meros repositorios documentales.

   Ante este contexto, se hace evidente el interés de estudiar la percepción que los estudiantes tienen de la utilidad de la plataforma virtual en lo que se refiere a su integración en los procesos formativos en Educación Superior. Con el fin de analizar y tratar de colaborar en la mejora de la integración de los LMS, se procede al diseño de una escala vinculada con su utilización real en contextos universitarios.

   Es un hecho que la utilidad percibida por el usuario tiene una importancia crítica para el éxito de una herramienta tecnológica, como son los LMS (Davis, 1993; Friedrich y Hron, 2010; Sørebø, Halvari, Gulli y Kristiansen, 2009). Estudios basados en el Modelo de Aceptación Tecnológica (Davis, Bagozzi y Warshaw, 1989), desarrollado a partir de la Teoría de Acción Razonada (Ajzen y Fishbein, 1980; Rus, Pina, Sánchez y Martínez, 2011), que explica el empleo actual de las tecnologías por el usuario en base a las actitudes de la persona hacia el propio uso de las tecnologías, la utilidad y la facilidad de empleo percibidas muestran que existe una relación positiva entre el empleo de las tecnologías y estas tres variables. Así, las creencias de las personas acerca de un objeto influirán en la actitud hacia las mismas. Con lo que el nivel y frecuencia de empleo de un LMS estará mediatizado, en parte, por las actitudes individuales hacia éste. Una medida esencial que debemos tomar si deseamos que los LMS se integren en las metodologías docentes es, por tanto, fomentar una actitud adecuada hacia estas herramientas.

   En base a la escasez de estudios en este ámbito (que aporten instrumentos de medida válidos y fiables) que ayuden al diseño y evaluación de modelos empíricos basados en el Modelo de Aceptación Tecnológica, parece conveniente diseñar una escala de percepción del estudiante sobre la utilidad de Moodle en el proceso de aprendizaje. El objetivo final de este estudio es, por tanto, aportar una herramienta que facilite información valiosa sobre la integración de Moodle en el contexto universitario y que permita mejoras en los entornos de enseñanza-aprendizaje en los que se integran LMS. 

Método

Participantes

A partir de la población de estudiantes universitarios matriculados en titulaciones de Ciencias de la Educación durante el curso 2011-12, se establece una muestra no probabilística de tipo accidental (Arnal, Rincón y Latorre, 1992) de 754 sujetos. Así, considerando una población infinita, y suponiendo la máxima variabilidad (p=q=.5) y un k-sigma=2, se obtiene para la muestra un error del 3.64%. 

Variables e instrumentos

   El instrumento consiste en una escala diseñada para evaluar la percepción de los estudiantes sobre la utilidad de Moodle en los procesos de enseñanza universitaria. Se optó por un estudio de encuesta a partir de un instrumento de naturaleza cuantitativa.

    Tras el proceso de validación de contenido (por jueces), se obtiene un instrumento compuesto por 40 ítems (ver tabla 1). Se trata de una escala de respuesta tipo Likert (Morales, Urosa y Blanco, 2003), con cuatro opciones de respuesta (0=nada; 1=algo; 2=bastante; 3=mucho). Los ítems están distribuidos en cinco dimensiones teóricas (Moore y Iida, 2010; Palmer y Holt, 2010; Al-Busaidi y Al-Shihi, 2012):

  • Contenidos (9 ítems): Grado de adecuación de la transferencia de los contenidos a una plataforma virtual.

  • Actividades (11 ítems): Percepción de los estudiantes sobre la utilidad real de Moodle como entorno de trabajo.

  • Evaluación (8 ítems): Estrategias evaluativas empleadas en la plataforma.

  • Interacción (4 ítems): Grado de relación entre estudiantes y docentes en la plataforma.

  • Aprendizaje (8 ítems): Valoración de los estudiantes del grado en el que la plataforma facilita los aprendizajes.

Tabla 1: Ítems del cuestionario de percepción del estudiante sobre la utilidad de Moodle

 

Enunciado

Contenidos_01

Existe una organización lógica de los temas

Contenidos_02

Los contenidos son adecuados al temario

Contenidos_03

Los contenidos están actualizados

Contenidos_04

Los recursos que el profesor sube a la plataforma son interesantes

Contenidos_05

Studium es una herramienta eficaz para obtener información relevante relacionada con la asignatura

Contenidos_06

Me gusta que el profesor facilite las presentaciones de clase

Contenidos_07

Los enlaces a sitios web seleccionados por el docente permiten ampliar el tema de estudio y así comprenderlo mejor

Contenidos_08

Los vídeos o imágenes seleccionados permiten aprender de una forma más intuitiva y dinámica

Contenidos_09

Me interesa revisar todos los recursos que aparecen en Studium

Actividades_01

El pensamiento crítico

Actividades_02

La elaboración de síntesis personales y creativas

Actividades_03

La aplicación de los conocimientos a situaciones reales

Actividades_04

La resolución de problemas

Actividades_05

La comprensión de los conceptos e ideas básicas de la disciplina

Actividades_06

Análisis y reflexión sobre los contenidos estudiados

Actividades_07

Memorización y reproducción  de contenidos

Actividades_08

Valoración y emisión de juicios de valor personales sobre los temas tratados

Actividades_09

Investigación y/o consulta de otras fuentes y materiales

Actividades_10

El trabajo colaborativo de los alumnos

Actividades_11

La organización del estudio y entrega de trabajos a tiempo

Evaluación _01

El profesor propone actividades de autoevaluación desde la plataforma

Evaluación _02

El profesor plantea los exámenes desde la plataforma

Evaluación _03

Existe una clara definición de los criterios para evaluar las actividades propuestas por el profesor

Evaluación _04

El profesor evalúa los trabajos desde la plataforma

Evaluación _05

El profesor ofrece feedback continuo a los estudiantes desde la plataforma

Evaluación _06

El profesor evalúa la participación en la plataforma

Evaluación _07

Todas las actividades planteadas en la plataforma influyen en la nota final de la asignatura

Evaluación _08

Tenemos acceso a las notas desde la plataforma

Interacción _01

Studium permite una comunicación más fluida con el profesor

Interacción _02

Fomenta que la tutoría con el profesor sea más continua y prolongada

Interacción _03

Incrementa la comunicación entre estudiantes

Interacción _04

Es la herramienta que utilizo con más frecuencia para comunicarme y trabajar con otros compañeros de clase

Aprendizaje_01

Complementa la docencia presencial

Aprendizaje_02

Incrementa mi implicación hacia el aprendizaje de los contenidos

Aprendizaje_03

Constituye un entorno que favorece el proceso de construcción del conocimiento

Aprendizaje_04

Facilita el aprendizaje

Aprendizaje_05

Es importante para mi práctica profesional futura ya que me permite un aprendizaje continuo

Aprendizaje_06

Facilita que los alumnos realicen un aprendizaje colaborativo compartiendo información y opiniones con los compañeros

Aprendizaje_07

Permite atender diferentes intereses de los alumnos

Aprendizaje_08

Es motivador recibir feedback del docente sobre el proceso de aprendizaje (a través de la corrección de tareas y ejercicios, interacción en foros….)

   La validez de contenido se garantiza a través de jueces expertos. El primer borrador, compuesto por 32 ítems, fue valorado a partir de criterios de claridad y pertinencia por ocho expertos en tecnología educativa, tres en metodología de investigación y cuatro estudiantes universitarios. A partir de estas valoraciones se elaboró la encuesta aplicada a la muestra.

    Cada juez experto debe indicar si cada uno de los 32 ítems asignados a las dimensiones teóricas es o no es adecuado. En el caso de indicar falta de adecuación el juez especificó las modificaciones recomendadas. Dado que se dispone de una medida cualitativa y multijueces, se decide calcular para comprobar el grado de acuerdo interjueces el índice de concordancia y el índice Kappa (Cohen, 1960), considerando cada ítem del cuestionario como un sujeto observado, en concreto a partir del cálculo del free-marginal multirather Kappa (Brennan y Perdiger, 1981). Este índice está recomendado cuando los jueces desconocen a priori el número concreto de casos que deben asignar a cada categoría en las diferentes observaciones, como es el caso (Brennan y Prediger, 1981). Así, se obtiene un índice de concordancia del 83.75% y un índice Kappa de .67, valor a partir del que podemos considerar la existencia de un buen nivel de acuerdo interjueces (Landis y Koch, 1977). 

Procedimiento

   La primera versión del cuestionario se diseña en noviembre de 2011. Tras la evaluación de los jueces, el instrumento pasa de 32 a 40 ítems.

   La recogida de información se realiza entre enero y junio de 2012, mediante el procedimiento de encuesta on-line. El recurso en el que está implementado el cuestionario garantiza el anonimato, lo que evita sesgos debidos a la deseabilidad social.

   Se intentan reducir los errores de medida debidos al propio encuestado al estandarizar las condiciones de aplicación. Todos los encuestadores reciben instrucciones precisas para que transmitan información sistemática a los participantes.

   Dado el escaso índice de no respuesta parcial a la escala, que no supera el 1.5% en ningún ítem (la frecuencia más elevada alcanza los 10 valores perdidos), considerando en consecuencia que el efecto de la imputación va a ser mínimo se aplican técnicas de imputación clásicas. Por otro lado, teniendo en cuenta las técnicas multivariantes empleadas a continuación, para evitar la sobreestimación de los coeficientes de correlación entre las variables, se decide sustituir los valores perdidos mediante el método de medias no condicionadas (Medina y Galván, 2007). 

Análisis de datos

   A pesar de que, dada la naturaleza de las escalas empleadas en el estudio, pueda ser preferible el empleo de métodos alternativos a los basados en la matriz de correlaciones de Pearson (López-González, Pérez-Carbonell y Ramos, 2011; López-González, 2012) o el uso de la propia matriz de correlaciones policórica (Elosua Oliden y Zumbo, 2008), la amplia evidencia científica desarrollada en los años 70-80 del siglo XX al respecto (Hofacker, 1984; Labovitz, 1967, 1970; Morales Vallejo, 2006) apunta a que los sesgos incluidos al emplear estos métodos son pequeños (Nunnally, 1978).

   En el presente estudio, por tanto, y dado que “cualquier codificación de las respuestas, consistente con el orden conceptual, no distorsiona las conclusiones estadísticas en un grado aceptable” (Morales Vallejo, 2006, p. 39), se considera la escala de respuesta tipo Likert aplicada como una escala de intervalo y se emplea la correlación de Pearson para el cálculo de las matrices. No obstante, como análisis previo que confirme estas apreciaciones, se hace una comparación entre la matriz de correlaciones de Pearson y la matriz de correlaciones policóricas obtenidas, comprobando que las diferencias entre los coeficientes, favorables en todos los casos a la matriz de correlaciones policóricas, no superan en ningún caso el valor 0.2, y que en el 87% de los casos no alcanzan el valor 0.1.

   Se comienza estudiando la correlación inter-ítem entre los grupos de ítems de cada dimensión. En el caso de obtener índices de correlación excesivamente bajos o elevados se valora su eliminación estudiando la importancia teórica del ítem y/o su colinealidad con otros ítems del factor.

   Se comprueban los supuestos previos de normalidad univariada y multivariada, homocedasticidad y no multicolinealidad, con la intención de seleccionar el método de estimación más adecuado y, una vez comprobados, se estudian, mediante un Análisis de Componentes Principales, las características dimensionales de cada uno de los factores teóricos y la posible reducción de dimensiones de los conjuntos de ítems de los mismos (Martorell, González, Ordóñez y Gómez, 2011).

   A continuación, se mide la fiabilidad mediante el índice alfa de Cronbach, tanto para la escala completa como para los grupos de ítems que forman cada componente principal definido, y la fiabilidad de los factores a partir del cálculo del Índice de Fiabilidad Compuesta (IFC). Finalmente, se estudia la validez tanto convergente como discriminante, mediante el cálculo de la Varianza Extraída Media (AVE).

   Probadas la fiabilidad y validez de las dimensiones que componen la escala, se confirma la bondad de ajuste del modelo a través del análisis factorial confirmatorio (AFC). Se estudian índices normativos de ajuste absoluto, como el Error de Aproximación Cuadrático Medio (RMSEA), el Residuo Cuadrático Medio (RMR) o el Índice de Bondad de Ajuste (GFI), y de ajuste incremental, entre los que se incluye el Índice Ajustado de Bondad de Ajuste (AGFI), el índice de Ajuste Normalizado (NFI) o el Índice de Ajuste Relativo (RFI).

   Los resultados del presente estudio han sido obtenidos utilizando los paquetes estadísticos IBM SPSS v.21, junto con la extensión del mismo AMOS, Excel y Epidat 3.1. 

Resultados

Análisis de ítems

   El estudio de las correlaciones ítem-elemento, considerando como bajas aquellas inferiores o cercanas a .4 (Morales Vallejo, 2006), centra la atención únicamente en dos ítems de la dimensión teórica contenidos (ver tabla 2).

Tabla 2: Estadísticos total-elemento para cada dimensión teórica definida 

 

Contenidos

Actividades

Evaluación

Interacción

Aprendizaje

Ítem 01

.525

.602

.495

.626

.577

Ítem 02

.604

.626

.491

.672

.693

Ítem 03

.526

.586

.540

.714

.688

Ítem 04

.597

.626

.613

.522

.676

Ítem 05

.550

.593

.516

-

.733

Ítem 06

.388

.633

.587

-

.674

Ítem 07

.564

.477

.616

-

.664

Ítem 08

.553

.572

.568

-

.549

Ítem 09

.406

.511

-

-

-

Ítem 10

-

.508

-

-

-

Ítem 11

-

.483

-

-

-

α de Cronbach

.818

.864

.827

.809

.883

    En primer lugar, el ítem 06 se considera de relevancia teórica, ya que es el ítem del factor que trata sobre los recursos relacionados con las presentaciones de clase, y no se considera desecharlo. El ítem 09, además de ser vago y excesivamente genérico en su definición, ya que trata a nivel genérico sobre el interés de revisar cualquier tipo de recurso, se solapa en cierto modo con el tópico del ítem 04. Además, la perspectiva que aporta el ítem 04 se acerca mucho más a lo que se quiere transmitir con el ítem y, en consecuencia, se decide eliminar el ítem 09 de la escala definitiva.

   En lo que respecta al resto de dimensiones teóricas analizadas, no se observan índices inferiores a .4 o superiores a .8. Por otro lado, analizando las correlaciones inter-ítem para cada dimensión, se obtienen índices de correlación aceptables en la mayor parte y en ningún caso superiores a .75.

Supuestos previos

   En la comprobación del supuesto de colinealidad-multicolinealidad, se obtienen valores del Factor de Inflación de la Varianza inferiores a 2.5 e índices de condición que no superan los 25 puntos para todos los ítems con respecto a su dimensión teórica. Por otro lado, el valor del coeficiente de correlación entre los ítems de las distintas dimensiones no supera el valor .75 en ningún caso. 

En lo que respecta a la normalidad y homocedasticidad, al tratarse el AFC de una técnica multivariante, se debe comprobar tanto la normalidad univariante como multivariante. La prueba de Kolmogorov-Smirnov sitúa en todos los casos el estadístico de contraste en la zona de rechazo de la H0 (α=.05). En la tabla 3 se observa cómo todas las hipótesis nulas son rechazadas con un p-valor inferior a .001. Por otro lado, el Coeficiente de Mardia (Mardia, 1970) se sitúa en una puntuación estandarizada de 67.669 puntos, con lo que la distribución conjunta de los ítems se aleja mucho de la distribución normal multivariada. Así, no se cumple la normalidad de los datos, y se seleccionará un método de estimación que no implique este supuesto previo. 

Tabla 3: Pruebas para el contraste de normalidad y homocedasticidad

 

Asimetría

Raz. crít.

Curtosis

Raz. crít.

Z (k-s)

p.

Contenidos_01

-0.410

-4.594

1.141

6.393

9.376

<.001

Contenidos_02

0.128

1.431

0.801

4.492

10.995

<.001

Contenidos_03

-0.358

-4.010

0.527

2.952

9.106

<.001

Contenidos_04

-0.172

-1.925

0.657

3.680

9.941

<.001

Contenidos_05

-0.456

-5.115

0.212

1.191

8.446

<.001

Contenidos_06

-1.678

-18.811

3.187

17.863

12.162

<.001

Contenidos_07

-0.555

-6.216

0.881

4.94

8.454

<.001

Contenidos_08

-0.538

-6.027

0.521

2.923

8.201

<.001

Actividades_01

-0.381

-4.267

1.753

9.828

10.119

<.001

Actividades_02

-0.400

-4.485

0.762

4.270

9.160

<.001

Actividades_03

-0.259

-2.908

0.486

2.726

8.903

<.001

Actividades_04

-0.301

-3.371

1.281

7.178

9.741

<.001

Actividades_05

-0.305

-3.415

0.942

5.280

9.318

<.001

Actividades_06

-0.178

-1.993

0.174

0.977

8.900

<.001

Actividades_07

-0.308

-3.453

0.891

4.992

9.505

<.001

Actividades_08

-0.367

-4.112

0.550

3.082

8.635

<.001

Actividades_09

-0.604

-6.776

0.173

0.968

7.666

<.001

Actividades_10

-0.851

-9.541

0.945

5.296

8.203

<.001

Actividades_11

0.167

1.874

-1.182

-6.626

4.794

<.001

Evaluación_01

0.450

5.046

-1.062

-5.955

6.710

<.001

Evaluación _02

-0.555

-6.226

-0.093

-0.523

7.656

<.001

Evaluación _03

-0.582

-6.521

-0.801

-4.492

6.271

<.001

Evaluación _04

-0.037

-0.420

-0.922

-5.168

5.705

<.001

Evaluación _05

-0.129

-1.443

-0.926

-5.191

6.018

<.001

Evaluación _06

-0.863

-9.671

0.052

0.292

6.818

<.001

Evaluación _07

-0.665

-7.455

-0.678

-3.798

6.228

<.001

Evaluación _08

-0.596

-6.683

0.498

2.790

7.735

<.001

Interacción_01

-0.623

-6.985

0.381

2.134

7.910

<.001

Interacción _02

-0.379

-4.248

-0.289

-1.622

7.195

<.001

Interacción _03

0.287

3.213

-0.664

-3.719

6.353

<.001

Interacción _04

-0.487

-5.455

0.596

3.338

8.072

<.001

Aprendizaje_01

-0.335

-3.757

0.952

5.338

9.089

<.001

Aprendizaje_02

-0.412

-4.620

1.131

6.338

9.045

<.001

Aprendizaje_03

-0.395

-4.423

0.666

3.736

8.702

<.001

Aprendizaje_04

-0.308

-3.450

-0.065

-0.364

7.942

<.001

Aprendizaje_05

-0.482

-5.405

0.091

0.508

7.746

<.001

Aprendizaje_06

-0.489

-5.480

0.463

2.595

8.412

<.001

Aprendizaje_07

-0.860

-9.637

0.717

4.018

8.202

<.001

Aprendizaje_08

-0.410

-4.594

1.141

6.393

9.376

<.001

 

Coeficiente de Mardia

278.72

67.66

 

 

Análisis de Componentes Principales

  Como el análisis de componentes principales no exige los supuestos de normalidad y homocedasticidad (García Jiménez, Gil Flores, y Rodríguez Gómez 2000), se procede a la aplicación directa sobre todos los ítems forzando la extracción de 5 factores.

  Con el modelo se explica un 50.9% de la varianza total, de la que el primer factor (en la solución inicial, sin rotar) explica el 30.3%. Por otro lado, el gráfico de sedimentación no muestra evidencias de unidimensionalidad de la escala. En cuanto a la solución rotada, la matriz de configuración (método oblimin), como se puede observar en la tabla 4, sugiere que los supuestos teóricos sobre la dimensionalidad del cuestionario pueden ser acertados.

   Tabla 4: Matriz de configuración en la escala completa

 

Actividades

Evaluación

Interacción

Contenidos

Aprendizaje

Contenidos_01

 

 

 

-.498

 

Contenidos_02

 

 

 

-.602

 

Contenidos_03

 

 

 

-.577

 

Contenidos_04

 

 

 

-.667

 

Contenidos_05

 

 

 

-.488

 

Contenidos_06

 

 

 

-.614

 

Contenidos_07

 

 

 

-.574

 

Contenidos_08

 

 

 

-.531

 

Actividades_01

.629

 

 

 

 

Actividades_02

.690

 

 

 

 

Actividades_03

.688

 

 

 

 

Actividades_04

.696

 

 

 

 

Actividades_05

.640

 

 

 

 

Actividades_06

.673

 

 

 

 

Actividades_07

.570

 

 

 

 

Actividades_08

.592

 

 

 

 

Actividades_09

 

 

 

 

 

Actividades_10

 

 

 

 

 

Actividades_11

 

 

 

 

 

Evaluación_01

 

.656

 

 

 

Evaluación_02

 

.672

 

 

 

Evaluación_03

 

.623

 

 

 

Evaluación_04

 

.708

 

 

 

Evaluación_05

 

.571

 

 

 

Evaluación_06

 

.697

 

 

 

Evaluación_07

 

.732

 

 

 

Evaluación_08

 

.665

 

 

 

Interacción_01

 

 

-.588

 

 

Interacción_02

 

 

-.686

 

 

Interacción_03

 

 

-.802

 

 

Interacción_04

 

 

-.680

 

 

Aprendizaje_01

 

 

 

 

 

Aprendizaje_02

 

 

-.410

 

-.513

Aprendizaje_03

 

 

-.450

 

-.522

Aprendizaje_04

 

 

-.426

 

-.476

Aprendizaje_05

 

 

-.537

 

 

Aprendizaje_06

 

 

-.749

 

 

Aprendizaje_07

 

 

-.674

 

 

Aprendizaje_08

 

 

-.453

 

 

Método de extracción: Análisis de componentes principales.

  Método de rotación: Normalización Oblimin con Kaiser.

   A pesar de observarse cómo los tres últimos ítems de la dimensión actividades tienen una saturación inferior a .4 sobre la propia dimensión, se decide mantenerlos por considerar que tienen importancia a nivel teórico. Lo mismo sucede con el primer ítem de la dimensión aprendizaje.

   Así mismo, se comprueba que las dimensiones aprendizaje e interacción poseen información compartida, saturando buena parte de sus ítems en la cuarta dimensión. Tras el análisis del contenido de los ítems implicados, se verifica esta similitud, dado que el aprendizaje es, en base, un proceso compartido, mediado y, en última instancia, social (Vigostky, 1995).

   Si se aplica el análisis de componentes principales dimensión por dimensión, se obtienen estructuras unidimensionales salvo en el caso de la dimensión contenidos, en la que se extraen 2 componentes principales, que explican el 58.31% de la varianza. Analizando los ítems de esta dimensión, se observa cómo los cinco primeros se refieren a aspectos generales del contenido que muestra la plataforma y los 3 restantes a recursos específicos. En los otros casos, se obtiene una varianza explicada del 43.4% (actividades), 45.8% (evaluación), 64.7% (interacción) y 56.1% (aprendizaje).

   En la tabla 5 se recoge la correlación entre los factores obtenidos en el análisis factorial exploratorio. El valor de los coeficientes indica que los factores poseen información común, por lo que parece que el método de rotación empleado es el más apropiado en este caso. 

Tabla 5. Matriz de correlaciones entre dimensiones

 

Actividades

Evaluación

Interacción

Contenidos

Aprendizaje

Actividades

1.000

.231

-.394

-.433

-.166

Evaluación

 

1.000

-.355

-.259

-.172

Interacción

 

 

1.000

 .331

.140

Contenidos

 

 

 

1.000

.187

Aprendizaje

 

 

 

 

1.000

Análisis Factorial Confirmatorio

  Dadas las evidencias de no cumplimiento del supuesto de normalidad, y que la escala de medida de todos los ítems es idéntica, se opta por emplear el método de estimación de parámetros de mínimos cuadrados no ponderados (Bollen, 1989; Byrne, 2001; Kline, 2005). La elección de este método sobre otros no paramétricos responde a sus propiedades análogas propias de la estimación MCO (Lévy Mangin, 2006) y a su buen comportamiento ante la existencia de cargas factoriales bajas (Ximénez y García, 2005), aspecto que se evidencia en el estudio.

  El modelo teórico implementado se muestra en la figura 1. Existen cinco factores de primer orden y uno de segundo orden, con la excepción del factor de primer orden contenidos que, por razones expresadas anteriormente, se divide en dos subdimensiones.

Figura 1.Modelo teórico del AFC de dos niveles

 

   Los parámetros del modelo, cuya estimación se presenta en la tabla 6, devuelven cargas factoriales cuyas puntuaciones sobre cada factor son, en todos los casos, superiores a .4 y, en promedio, superiores a .6, con lo que podemos concluir que todos los ítems hacen una aportación adecuada a las dimensiones de procedencia. Las puntuaciones de las correlaciones múltiples al cuadrado son en general bajas, lo cual indica que existe una buena parte de varianza no explicada en los factores. Sin embargo, a partir de los IFC y alfa de Cronbach obtenidos parece que el instrumento posee una fiabilidad aceptable tanto a nivel global como para cada factor (Lévy Mangin, 2006). Por otro lado, se alcanzan valores de AVE inferiores a .5 en la mayor parte de los factores, y, por tanto, la validez convergente así como la discriminante se ven comprometidas (Kline, 2005). No obstante, dada la escasez de escalas localizadas que recogen información sobre las diferentes dimensiones implicadas en el empleo educativo de Moodle, el presente instrumento representa un punto inicial en este ámbito de investigación. De este modo, las cuestiones introducidas en el cuestionario poseen una gran cantidad de ruido (varianza no explicada), información valiosa contenida por dichas variables, aunque se sitúa en porcentajes aceptables, resulta ser más pequeña de lo deseable.

Tabla 6: Índices de fiabilidad y validez del cuestionario

 

Peso estándar

Lij

R2

IFC

AVE

α Cronbach

Contenidos_01

.660

.394

.80

.44

.82

Contenidos_02

.694

.257

 

 

 

Contenidos_03

.588

.273

 

 

 

Contenidos_04

.659

.341

 

 

 

Contenidos_05

.701

.381

 

 

 

Contenidos_06

.404

.244

.69

.44

.79

Contenidos_07

.756

.392

 

 

 

Contenidos_08

.766

.353

 

 

 

Actividades_01

.598

.316

.86

.36

.87

Actividades_02

.613

.406

 

 

 

Actividades_03

.632

.285

 

 

 

Actividades_04

.640

.536

 

 

 

Actividades_05

.594

.609

 

 

 

Actividades_06

.626

.573

 

 

 

Actividades_07

.494

.491

 

 

 

Actividades_08

.617

.434

 

 

 

Actividades_09

.584

.345

 

 

 

Actividades_10

.637

.481

 

 

 

Actividades_11

.562

.436

 

 

 

Evaluación_01

.522

.409

.80

.38

.83

Evaluación _02

.506

.399

 

 

 

Evaluación _03

.628

.376

 

 

 

Evaluación _04

.667

.357

 

 

 

Evaluación _05

.625

.406

 

 

 

Evaluación _06

.643

.491

 

 

 

Evaluación _07

.682

.480

 

 

 

Evaluación _08

.624

.484

 

 

 

Interacción_01

.757

.561

.88

.50

.82

Interacción _02

.780

.543

 

 

 

Interacción _03

.732

.518

 

 

 

Interacción _04

.534

.417

 

 

 

Aprendizaje_01

.637

.163

.89

.49

.89

Aprendizaje_02

.701

.572

 

 

 

Aprendizaje_03

.693

.587

 

 

 

Aprendizaje_04

.696

.390

 

 

 

Aprendizaje_05

.749

.465

 

 

 

Aprendizaje_06

.737

.414

 

 

 

Aprendizaje_07

.719

.391

 

 

 

Aprendizaje_08

.646

.444

 

 

 

    En cuanto a la bondad de ajuste del modelo, se obtienen índices que muestran buen ajuste (Bollen, 1989; Byrne, 2001; Kline, 2005; Lévy Mangin, 2006) tanto global (GFI=.985; RMSEA=0.47; RMR=.022) como incremental (AGFI=.981; NFI=.977; RFI= .976), por estar por debajo de .05 en el caso de RMSEA y RMR y por encima de .95 en el resto de casos. En cuanto al ajuste global, los resultados nos indican que el modelo predice satisfactoriamente la matriz de covarianzas de los datos. Por su parte, los resultados en cuanto al ajuste incremental indican que el modelo propuesto es adecuado en comparación con el modelo nulo, con lo que las relaciones propuestas poseen pesos substanciales.

Discusión

   Moodle es una de las plataformas más completas y adecuadas para su implementación en la Educación Superior (Aydin y Tirkes, 2010; Saito y Ulbricht, 2012; Williams van Rooij, 2012). Este hecho se evidencia porque Moodle proporciona tres recursos esenciales: la posibilidad de proporcionar  contenidos y actividades online, evaluación interactiva (Ross, 2008) y la  interacción y comunicación fluida entre profesor y alumnos- (Ellison et al., 2007). En este sentido, tanto el empleo de Moodle como de materiales y recursos online potencian y/o mejoran los resultados de aprendizaje (Martín-Blas y Serrano-Fernández, 2009; Núñez et al, 2011; Escobar-Rodríguez y Monge-Lozano, 2012).

   El éxito de un LMS depende de muchos factores (Davis et al., 1989), entre ellos la utilidad percibida del usuario con el propio LMS. Mientras que se localizan en la literatura científica multitud de estudios para determinar las claves del éxito de un LMS, en los que se incluyen de manera sistemática como parte de la investigación escalas de percepción de los estudiantes con la utilidad del LMS, dichas escalas, en muchos casos, no tienen las propiedades psicométricas que serían necesarias para asegurar la fiabilidad y validez de la información recogida (Lin, 2008; Weaver, Spratt y Nair, 2008; Klobas y McGill, 2010; Al-Busaidi y Al-Shihi, 2012).

   En muchos casos los investigadores se limitan a incluir escalas diseñadas ad hoc sin un estudio psicométrico asociado (Ozkan y Koseler, 2009; Naveh, Tubin y Pliskin, 2010; Palmer y Holt, 2010; Rubin, Fernades y Avgerinou, 2013), o con un estudio muy simple y superficial. En otros casos, se obtienen tamaños de muestra pequeños para implementar el estudio psicométrico (Lin, 2008; Ozkan y Koseler, 2009; Al-Busaidi y Al-Shihi, 2012) que limitan en gran medida los resultados del mismo. Por otro lado, las dimensiones incluidas en estas escalas son difusas y muy variadas, dependiendo del interés de la investigación concreta.

   Así, en el presente estudio se superan muchos de estos inconvenientes, ya que, en base a los objetivos planteados, se diseña una escala con criterios de validez de contenido, para posteriormente validar las propiedades psicométricas mediante la aplicación de técnicas estadísticas a partir de una muestra representativa.

   Dada la importancia de la utilidad percibida como variable predictora del éxito en la implementación de una herramienta tecnológica como los LMS (Davis, 1993; Sørebø et al., 2009; Friedrich y Hron, 2010), la escala recogida constituye un instrumento válido y fiable a nivel psicométrico que permitiría a organizaciones y docentes reflexionar sobre los puntos débiles del uso de Moodle como complemento a la docencia presencial.  

   Por otro lado, debido a la cantidad y robustez de estudios empíricos que verifican el valor predictivo de los estudios de percepción en el campo de las Ciencias Sociales (Eastman y Marzillier, 1984; Bandura y Locke, 2003; Rottinghaus, Larson, y Borgen, 2003; Valentine, Dubois y Cooper, 2004) en el ámbito de la Educación Superior (De Barros, 2012), la escala puede emplearse como medida de calidad y eficacia del empleo del LMS institucional en cada una de las dimensiones de la misma, y ser de utilidad para la evaluación diagnóstica del estado actual en el empleo de la plataforma.

   Si bien los resultados obtenidos sugieren que la escala presentada mide adecuadamente la utilidad percibida por los usuarios del LMS Moodle en las dimensiones identificadas como clave para todo LMS (Moore y Iida, 2010; Palmer y Holt, 2010; Al-Busaidi y Al-Shihi, 2012), como son los contenidos, actividades, evaluación, interacción y aprendizaje, se obtienen índices de varianza explicada menores a lo deseable en algunos casos. Dada la inexistencia de escalas globales con unas propiedades psicométricas adecuadas, y de que se trata de una escala de percepción, se considera lógica la obtención de estos valores. El haber empleado la matriz de correlaciones de Pearson para llevar a cabo los análisis descritos, además de incluir cierto sesgo relativo a la métrica de las variables (Elosua Oliden y Zumbo, 2008; Morales Vallejo, 2006), contribuye en la obtención de estos bajos índices, ya que se subestima en este caso el valor de los coeficientes con respecto a los obtenidos con la matriz de correlaciones policóricas. Teniendo en cuenta la subestimación del verdadero valor de la correlación entre los pares de variables aquí obtenida cabe esperar, de cara a futuros estudios, que mejoren los índices de ajuste y de varianza explicada con la aplicación de técnicas más apropiadas para escalas de respuesta como la tipo Likert (López-González, Pérez-Carbonell y Ramos, 2011; López-González, 2012). A pesar de la importancia de estos puntos débiles existentes en la investigación, la presente escala supone un punto de partida en futuras investigaciones para el desarrollo de escalas adaptadas a sub-poblaciones de estudiantes universitarios de diversas áreas de conocimiento cuyas dimensiones expliquen un porcentaje de varianza más grande. Cabe recordar, en este sentido, que el presente estudio se restringe a la población de estudiantes del área de Ciencias Sociales, en concreto de Ciencias de la Educación, y que a pesar del elevado tamaño de la muestra el método de muestreo, no probabilístico, puede ser fuente de importantes sesgos.

   Por otro lado, cabe señalar otro punto débil relacionado con el contexto de este estudio, que se centra en el empleo de Moodle como complemento a la docencia presencial. Así, la muestra implicada en el presente estudio ha sido usuaria de Moodle en contextos presenciales, por lo que se desconoce el comportamiento de la escala adaptada a contextos de b-learning o e-learning. Cabe, pues, adaptar la escala en futuros estudios para observar su comportamiento en estos otros contextos formativos. 

   En conclusión, en base a las evidencias recopiladas y mostradas en la presente investigación, se puede concluir que el presente estudio constituye una base sólida para el desarrollo de próximas investigaciones relacionadas con el análisis del empleo de Moodle como LMS en diversas instituciones educativas.

Referencias

Ajzen, I., & Fishbein, M. (1980). Understanding attitudes and predicting social behavior. Englewood Cliffs, New York: Prentice-Hall.

Al-Busaidi, K. A., & Al-Shihi, H. (2012). Key factors to instructors’ satisfaction of learning management systems in blended learning. Journal of Computing in Higher Education, 24 (1), 18-39.

Antonenko, P., Toy, S., & Niederhauser, D. (2004). Modular Object-Oriented Dynamic Learning Environment: What Open Source Has to Offer. En Association for Educational Communications and Technology. Recuperado de http://www.eric.ed.gov/ERICWebPortal/detail?accno=ED485088

Arnal, J., Rincón, D. del, & Latorre, A. (1992). Investigación educativa: fundamentos y metodologías (1a. ed.). Barcelona: Labor.

Aydin, C. C., & Tirkes, G. (2010). Open Source Learning Management Systems in Distance Learning. Turkish Online Journal of Educational Technology, 9 (2), 175-184.

Bandura, A., & Locke, E. A. (2003). Negative self-efficacy and goal effects revisited. The Journal of Applied Psychology, 88(1), 87-99.

Barberá, E. & Badia, A. (2004). Educar con aulas virtuales. Orientaciones para la innovación en el proceso de enseñanza y aprendizaje. Madrid: Antonio Machado Libros.

Bollen, K. A. (1989). Structural equations with latent variables. New York: Wiley-Interscience.

Brennan, R. L., & Prediger, D. J. (1981). Coefficient Kappa: Some uses, misuses, and alternatives. Educational and Psychological Measurement (41), 687-699.

Britain, S. & Liber, O. (1999). A Framework for Pedagogical Evaluation of Virtual Learning Environments. Recuperado de http://www.jtap.ac.uk/reports/htm/jtap-041.html  

Byrne, B. (2001). Structural equation modeling with amos: basic concepts, applications, and programming. Oxford: Routledge.

Castells, M. (1999). La Era de la información: economía, sociedad y cultura. La sociedad Red (Vol. 1). Madrid: Alianza Editorial.

Cohen, D., & McCuaig, W. (2008). Three lectures on post-industrial society. Cambridge: MIT Press.

Cohen, J. (1960). A coefficient of agreement for nominal scales. Educational and Psychological Measurement, (20), 37-46.

Cole, J. & Foster, H. (2007). Using Moodle: Teaching with the Popular Open Source Course Management System. London: O'Reilly.

Conrey, F. R. & Smith, E. R. (2000). Attitude Representation: Attitudes as Patterns in a Distributed, Connectionist Representational System, Social Cognition, 25 (5), 718-735.

Davis, F. D. (1993). User acceptance of information technology: system characteristics, user perceptions and behavioral impacts. International Journal of Man-Machine Studies, 38 (3), 475-487.

Davis, F. D., Bagozzi, R. P., y Warshaw, P. R. (1989). User Acceptance of Computer Technology: A Comparison of Two Theoretical Models. Management Science, 35 (8), 982-1003.

De Barros, A. F. (2012). Características Psicométricas da Adaptacão Portuguesa do Perfil de Auto-Percepção para Estudiantes Universitários - SPPCS. Revista Iberoamericana de Diagnóstico y Evaluación Psicológica, 1(33), 93-110.

DeNeui, D. L., & Dodge, T. L. (2006). Asynchronous Learning Networks and Student Outcomes: The Utility of Online Learning Components in Hybrid Courses. Journal of Instructional Psychology, 33 (4), 256-259.

Eastman, C., & Marzillier, J. S. (1984). Theoretical and methodological difficulties in Bandura’s self-efficacy theory. Cognitive Therapy and Research, 8 (3), 213-229.

Ellis, R.K. (2009). Learning Managament Systems. Alexandria: American Society for Training & Development (ASTD).

Ellison, N.B., Steinfield, C., & Lampe, C. (2007). The benefits of facebok “friends”: Social capital and college students’ use of online social network sites. Journal of Computer-Mediated Communication, 12(4), 1143-1168.

Elosua Oliden, P. & Zumbo, B.D. (2008). Coeficientes de fiabilidad para escalas de respuesta categórica ordenada. Psicothema, 20(4), 896-901.

Escobar-Rodriguez, T., & Monge-Lozano, P. (2012). The acceptance of Moodle technology by business administration students. Computers & Education, 58 (4), 1085–1093.

Friedrich, H. F., & Hron, A. (2010). Factors Influencing Pupils’ Acceptance of an E-Learning System for Secondary Schools. Journal of Educational Computing Research, 42(1), 63-78.

García Jiménez, E., Gil Flores, J., & Rodríguez Gómez, G. (2000). Análisis factorial. Madrid: La Muralla.

Gómez Rey, I.; Hernández García, E., & Rico García, M. (2009). Moodle en la enseñanza presencial y mixta del inglés en contextos universitarios. RIED. Revista Iberoamericana de Educación a Distancia, 12 (1), 169-194.

Goyal, E., & Purohit, S. (2010). Study of Using Learning Management System in a Management Course. SIES Journal of Management, 6(2), 11-20.

Hofacker, C.F. (1984). Categorical judgment scaling with ordinal assumptions. Multivariate Behavioral Research, 19, 91-106.

Kirner, T.G., & Saraiva, A.V. (2007). Software Usability Evaluation: an Empirical Study. Paper presented at Proceedings of the 9th International Conference on Enterprise Information Systems. Funchal, Portugal, 459-465.

Kline, R. (2005). Principles and practice of structural equation modeling. New York: Guilford Press.

Klobas, J. E., & McGill, T. J. (2010). The role of involvement in learning management system success. Journal of Computing in Higher Education, 22(2), 114-134.

Labovitz, S (1970). The assignment of numbers to Rank order categories. American Sociological Review, 35, 315-324.

Labovitz, S. (1967). Some observations on measurement and statistics. Social Forces, 46, 151-160.

Landis J.R. & Koch, G. (1977). The measurement of observer agreement for categorical data. Biometrics (33), 159-174.

Lévy Mangin, J.-P. (2006). Modelización con estructuras de covarianzas en ciencias sociales: temas esenciales, avanzados y aportaciones especiales. España: Netbiblo.

Lin, Q. (2008). Student satisfactions in four mixed courses in elementary teacher education program. Internet and Higher Education, 11(1), 53-59.

López-González, E. (2012). Sugerencias para el análisis de Escalas con Métrica Delicada. Revista Iberoamericana de Evaluación Educativa, 5(1e), 84-105.

López-González, E., Pérez-Carbonell, A. & Ramos, G. (2011). Modelos complementarios al análisis factorial en la construcción de escalas ordinales: un ejemplo aplicado a la medida del Clima Social Aula. Revista de Educación, 354, 369-397.

Mardia, K. V. (1970). Measures of multivariate skewness and kurtosis with applications. Biometrika, 57(3), 519-530.

Martín-Blas, T., & Serrano-Fernández, A. (2009). The role of new technologies in the learning process: Moodle as a teaching tool in Physics. Computers & Education, 52, 35–44.

Martorell, C., González, R., Ordóñez, A. N. A., & Gómez, O. (2011). Estudio confirmatiorio del cuestionario de conducta antisocial (CCA) y su relación con variables de personalidad y conducta antisocial. Revista Iberoamericana de Diagnóstico y Evaluación Psicológica, 1(31), 97-113.

Medina, F., & Galván, M. (2007). Imputácion de datos: teoría y práctica. Santiago de Chile: Naciones Unidas, CEPAL, División de Estadística y Proyecciones Económicas.

Melton, J. (2006). The LMS Moodle: A Usability Evaluation. Japan: Prefectural University of Kumamoto.

Moore, K., & Iida, S. (2010). Students’ perception of supplementary, online activities for Japanese language learning: Groupwork, quiz and discussion tools. Australasian Journal of Educational Technology, 26(7), 966-979.

Morales Vallejo, P. (2006). Medición de actitudes en psicología y educación. Construcción de escalas y problemas metodológicos. Madrid: Universidad Pontificia de Comillas.

Morales, P., Urosa, B., & Blanco, A. (2003). Construcción de escalas de actitudes tipo Likert. Madrid: La Muralla.

Naveh, G., Tubin, D., & Pliskin, N. (2010). Student LMS use and satisfaction in academic institutions: The organizational perspective. Internet and Higher Education, 13(3), 127-133.

Nunnally, J.C. (1978). Psychometric theory. New York: McGraw-Hill.

Núñez, J.C, Cerezo, R., Bernardo, A., Rosário, P., Valle, A., Fernández, E., & Suárez, N. (2011). Implementation of training programs in self-regulated learning strategies in Moodle format: Results of an experience in higher education. Psicothema 23(2), 274-281

Ozkan, S., & Koseler, R. (2009). Multi-dimensional students’ evaluation of e-learning systems in the higher education context: An empirical investigation. Computers & Education, 53(4), 1285-1296.

Palmer, S., y Holt, D. (2010). Students’ perceptions of the value of the elements of an online learning environment: looking back in moving forward. Interactive Learning Environments, 18(2), 135-151.

Peat, M., y Franklin, S. (2002). Supporting Student Learning: The Use of Computer-based 9. Formative Assesment Modules. British Journal of Educational Technology, 33(5), 515-523.

Pérez i Garcias, A. (2006). Internet aplicado a la educación: aspectos técnicos y comunicativos. En J. Cabero (coord.) (2006). Nuevas tecnologías aplicadas a la educación. Madrid: Mc Graw Hill.

Richardson, J., & Swan, K. (2003). Examining social presence in online courses in relation to students' perceived learning and satisfaction. Journal of Asynchronous Learning 6 (1), 21-40.

Ross, I. (2008). Moodle, la plataforma para la enseñanza y organización escolar. Ikastorratza, e- Revista de Didáctica 2. Recuperado de http://www.ehu.es/ikastorratza/2_alea/moodle.pdf

Rottinghaus, P. J., Larson, L. M., & Borgen, F. H. (2003). The relation of self-efficacy and interests: a meta-analysis of 60 samples. Journal of Vocational Behavior, 62(2), 221-236.

Rubin, B., Fernandes, R., y Avgerinou, M. D. (2013). The effects of technology on the Community of Inquiry and satisfaction with online courses. Internet and Higher Education, 17, 48-57.

Rus, T. I., Pina, F. H., Sánchez Y, J. J. M., & Martínez, O. L. (2011). Adaptación y validación de la escala de actitudes hacia el trabajo en desempleados mayores de 45 años. Revista Iberoamericana de Diagnóstico y Evaluación Psicológica, 2(32), 105-122.

Saito, D. S., & Ulbricht, V. R. (2012). Learning Managent Systems and Face-to-Face Teaching in Bilingual Modality (Libras/Portuguese). IEEE Latin America Transactions, 10(5), 2168-2174.

Silva Quiroz, J. (2011). Diseño y moderación de entornos virtuales de aprendizaje (EVA). Barcelona: UOC.

Sørebø, Ø., Halvari, H., Gulli, V. F., & Kristiansen, R. (2009). The role of self-determination theory in explaining teachers’ motivation to continue to use e-learning technology. Computers & Education, 53 (4), 1177-1187.

Soyibo, K., &  Hudson, A. (2000). Effects of Computer-assisted Instruction (CAI) on 11th 8. Graders’ Attitudes to Biology and CAI and Understanding of Reproduction in Plants and Animals. Research in Science Technological Education, 18 (2), 191-199.

Steyaert, J. (2005). Web based higher education, the inclusion/exclusion paradox. Journal of Technology in Human Services, 23 (1/2), 67-68.

Swan, K., Shea, P., Fredericksen, E., Pickett, A., Pelz, W., & Maher, G. (2000). Building Knowledge Building Communities: Consistency, Contact and Communication in the Virtual Classroom. Journal of Educational Computing Research, 23(4), 359-83.

Valentine, J. C., Dubois, D. L., & Cooper, H. (2004). The relation between self-beliefs and academic achievement: a meta-analytic review. Educational Psychologist, 39(2), 111-133.

Vaughan, N. (2007). Perspectives on Blended Learning in Higher Education. International Journal on E-Learning, 6 (1), 81-94.

Vigostsky, L. (1995). Pensamiento y lenguaje. Buenos Aires: Paidós.

Weaver, D., Spratt, C., & Nair, C. S. (2008). Academic and student use of a learning management system: Implications for quality. Australasian Journal of Educational Technology, 24 (1), 30-41.

Weller, M. (2007). Virtual Learning Environments: using, choosing and developing your VLE. New York: Routledge.

Williams van Rooij, S. (2012). Open-source learning management systems: a predictive model for higher education. Journal of Computer Assisted Learning, 28 (2), 114–125.

Yueh, H., & Hsu. S. (2008).  Designing a learning management system to support instruction.  Communications of the ACM, 51 (4), 59- 63.


  

ABOUT THE AUTHORS SOBRE LOS AUTORES

Olmos-Migueláñez, Susana (solmos@usal.es). Profesor Ayudante Doctor en el Área de Métodos de Investigación y Diagnóstico en Educación de la Universidad de Salamanca (España). Es la autora de contacto para este artículo. Sus áreas de interés son la e-evaluación y los procesos de evaluación formativa. Dirección postal: Paseo de Canalejas, 169 -37008, Salamanca (España).  Buscar otros artículos de esta autora en Google Académico / Find other articles by this author in Scholar Google

 

Martínez-Abad, Fernando  (fma@usal.es). Ayudante en el Área de Métodos de Investigación y Diagnóstico en Educación de la Universidad de Salamanca (España). Doctor en Ciencias de la Educación. Dirección postal: Paseo de Canalejas, 169 -37008, Salamanca (España). Buscar otros artículos de este autor en Google Académico / Find other articles by this author in Scholar Google

 

Torrecilla-Sánchez, Eva María (emt@usal.es). Doctora en Ciencias de la Educación por la Universidad de Salamanca (España). Miembro del Grupo de Evaluación Educativa y Orientación Educativa (GE2O) de la Universidad de Salamanca. Paseo de Canalejas, 169 -37008, Salamanca (España). Buscar otros artículos de esta autora en Google Académico / Find other articles by this author in Scholar Google

 

Mena-Marcos, Juanjo (juanjo_mena@usal.es). Profesor Ayudante Doctor en el departamento de Didáctica, Organización y Métodos de Investigación de la Universidad de Salamanca (España). Sus áreas de interés son el análisis de la práctica docente y, en especial, los procesos de reflexión, autorregulación, mentoring (tutoría de prácticas) y evaluación del Practicum. Como aspectos asociados a lo anterior, el estudio de la programación docente y las TIC como recursos de mejora profesional. Forma parte del grupo de investigación-Innovación en Tecnología Educativa de la Universidad de Salamanca (GITE-USAL). Paseo de Canalejas, 169, 37008- Salamanca (España). Buscar otros artículos de este autor en Google Académico / Find other articles by this author in Scholar Google

 


ARTICLE RECORD / FICHA DEL ARTÍCULO

Reference /

Referencia

 Olmos-Migueláñez, S., Martínez-Abad, F., Torrecilla-Sánchez, E. M. & Mena-Marcos, J. J.  (2014). Análisis psicométrico de una escala de percepción sobre la utilidad de Moodle en la universidad.  RELIEVE, v. 20 (2), art. 1DOI: 10.7203/relieve.20.2.4221

Title / Título

 Análisis psicométrico de una escala de percepción sobre la utilidad de Moodle en la universidad. [Psychometric analysis of a perception scale on the usefulness of Moodle in the University].

Authors / Autores

 Olmos-Migueláñez, S., Martínez-Abad, F., Torrecilla-Sánchez, E. M. & Mena-Marcos, J. J.

Review / Revista

  RELIEVE  (Revista ELectrónica de Investigación y EValuación Educativa), v. 20 n. 2

ISSN

1134-4032

Publication date /

Fecha de publicación

 2014 (Reception Date: 2014 May 03 ; Approval Date: 2014 July 29. Publication Date: 2014 September 30)

Abstract / Resumen

    Because of the acquired relevance of learning management systems in higher education, and the spread of the use of the Moodle platform in many academic institutions, a scale of perceived usefulness of the Moodle in this context is designed, and the psychometric validity of the scale has been tested. The aim is to provide a reliable and valid instrument to measure the students’ perception about the usefulness of Moodle. The study obtained a sample of 754 subjects from the population of university students in fields of Educational Sciences. The results show that the scale evaluates the utility of the platform adequately in five dimensions: content, activities, assessment, interaction and learning. Finally, a discussion is developed about the usefulness of the scale to evaluate the usefulness of Moodle and to implement processes to improve its use in higher education institutions.

   Dada la importancia que los entornos virtuales de aprendizaje (learning management systems) han adquirido en la educación superior, y la generalización en el empleo de la plataforma Moodle en muchas instituciones universitarias, se diseña y se validan las cualidades psicométricas de una escala de utilidad percibida sobre el uso de Moodle. Se pretende aportar un instrumento válido y fiable que permita comprobar cuál es la percepción de los estudiantes sobre la utilidad de Moodle. De la población de estudiantes universitarios del ámbito de las Ciencias de la Educación, se obtiene una muestra de 754 sujetos. Los resultados manifiestan que la escala evalúa, adecuadamente, la utilidad de la plataforma en cinco dimensiones: contenidos, actividades, evaluación, interacción y aprendizaje. Finalmente, se discute sobre la utilidad de la escala para evaluar la utilidad de Moodle y para la implementación de procesos de mejora de su empleo en las instituciones de Educación Superior.

Keywords / Descriptores

  Information and communication technologies, computer application, evaluation, factor analysis.

  Tecnología de la información y la comunicación, aplicación informática, evaluación, análisis factorial. 

Institution / Institución

 Universidad de Salamanca (España)

Publication site / Dirección

http://www.uv.es/RELIEVE 

Language / Idioma

Español & English version (Title, abstract and keywords in English & Spanish)

 

Volumen 20, n. 2

 

© Copyright, RELIEVE.  Reproduction and distribution of this article  is authorized if the content is no modified and its origin is indicated (RELIEVE Journal, volume, number and electronic address of the document).

© Copyright, RELIEVE.  Se autoriza la reproducción y distribución de este artículo siempre que no se modifique el contenido y se indique su origen (RELIEVE, volumen, número y dirección electrónica del documento).

[ ISSN: 1134-4032 ]

Revista ELectrónica de Investigación y EValuación Educativa

E-Journal  of  Educational  Research, Assessment  and  Evaluation

 

  http://www.uv.es/RELIEVE

 relieve@uv.es

Statistics   Free counter and web stats   Estadísticas