Referencia:

Reference:

Ezeiza, A. y Palacios, S. (2009). Evaluación de la competencia comunicativa y social en foros virtuales. RELIEVE, v. 15,  n. 2. http://www.uv.es/RELIEVE/v15n2/RELIEVEv15n2_2.htm.

  

 

  Hits:  Hit counter - Contador de visitas Visitas  

EVALUACIÓN DE LA COMPETENCIA COMUNICATIVA Y SOCIAL EN FOROS VIRTUALES

[Evaluation of communicative and social competence in virtual forums]

 

  In article in pdf format

por

  En formato artículo en pdf

 
 

Article record

About the authors

Print this article

Ezeiza, Ainhoa (ainhoa.ezeiza@ehu.es)

Palacios, Santiago (santiago.palacios@ehu.es)

Ficha del artículo

 Sobre los autores

Imprimir el artículo

 

 

Abstract

 The purpose of this research is to carry out an approach to the quantitative and qualitative analysis of the content in the virtual forums used as a complement to the university lessons. After defining the base criteria of the assessment process, the forums developed in three subjects (215 students) are analyzed. The results show the need to distinguish between quantitative and qualitative results in relation to their impact on assessing the level of competence; they also suggest the importance of the didactic design of the subject in the evolution of the communicative and social competences of the students’ participations.

 

Resumen

 El objeto de esta investigación es realizar una aproximación al análisis cuantitativo y cualitativo del contenido de los foros virtuales de debate utilizados como complemento de la docencia universitaria presencial. Tras definir los criterios-base del proceso de evaluación, se analizan los foros desarrollados en tres asignaturas (215 estudiantes). Los resultados muestran la necesidad de distinguir entre los resultados cuantitativos y los cualitativos en relación a su impacto en la evaluación del nivel de competencia; también sugieren la importancia del diseño didáctico de la asignatura en la evolución de la competencia comunicativa y social de las intervenciones de los estudiantes.

Keywords

 Computer assisted instruction, multimedia instruction, blended learning, evaluation of competence, communication and social competence.

 

Descriptores

  Enseñanza asistida por ordenador, enseñanza multimedia, aprendizaje mixto, evaluación de competencias, competencia comunicativa y social.

 



Comentar este artículo


Artículos relacionados:

García-Valcárcel (2008). La tutoría en la enseñanza universitaria y la contribución de las TIC para su mejora. .


Volumen 15, n. 2


1. Introducción

   Actualmente, las herramientas electrónicas se están agrupando en plataformas de aprendizaje que pretenden ofrecer un entorno educativo más significativo, un campus donde se ofrecen diversas oportunidades a la comunicación y la interacción que tienen por objeto complementar la docencia presencial y buscan conformar junto a ella una nueva manera de entender el acto educativo. Así, la experiencia virtual contiene elementos propios del aprendizaje no formal e informal.

Esta nueva realidad ha conducido a las instituciones europeas a prestar atención al aprendizaje que sucede en estos entornos virtuales como espacios que permiten desarrollar capacidades y adquirir destrezas paralelamente al trabajo en instituciones educativas regladas. Como viene señalado en la síntesis de la reunión de ministros europeos de Bergen (2005), el desarrollo de marcos de referencia de capacitaciones de competencias es “oportunidad para integrar el aprendizaje a lo largo de la vida con la Educación Superior” (EUCEN, 2005:4)

Los entornos virtuales y la participación activa de los ciudadanos en estos entornos constituyen la clave del aprendizaje a lo largo de la vida, por lo que dotar a los estudiantes universitarios de estrategias de intervención, colaboración y autoaprendizaje les ayudará en el proceso de gestión y construcción de conocimiento (Conference Board of Canada, 1991; Balanskat y otros, 2006).

Para delimitar el objeto de esta investigación, se ha revisado la bibliografía más representativa del marco teórico actual del e-learning (Ortega, 2002; Area, 2004; Harasim y otros, 2000; Biggs, 1999; Duart & Sangrá, 2000; Gros, 2004; Gálvez, 2004; Hargreaves, 2003; Onrubia, 2005; y otros), documentos e informes institucionales acerca del aprendizaje a lo largo de la vida (EUCEN, 2005; Comisión Europea, 2002; Gobierno Vasco, 2004) y los informes de la Comisión Europea acerca de TIC y Educación (BENVIC, 2001; Working Group C, 2004). Con esta revisión previa se pretendía recolectar una serie de indicadores o criterios ya establecidos por las instituciones europeas y locales para establecer la línea base para la recolección de evidencias de la contribución del aprendizaje para toda la vida en los objetivos educativos universitarios. Sin embargo, como señala el grupo de trabajo C “ICT in Education and Training” de la Comisión Europea, los indicadores aplicados hasta ahora han focalizado su atención excesivamente en la propia tecnología y se ha avanzado poco en otros aspectos, tales como la evaluación del aprendizaje de los estudiantes, aspectos más complejos de objetivar.

Así, el marco teórico sobre el que hemos partido para definir los aspectos psicodidácticos básicos de los entornos virtuales es el recogido por Stephenson (2001; pp. 41) en su Rejilla de la Pedagogía en Línea (Online Pedagogy Grid):

 

Fig. 1: Rejilla de la Pedagogía en Línea

 

   En este contexto se enmarca el proyecto psicopedagógico objeto de estudio: un entorno universitario presencial con apoyos en una plataforma de aprendizaje donde se desarrollan, entre otras, algunas actividades vinculadas a contextos de aprendizaje formal bajo el control del profesor (cuadrante NW) hacia un aprendizaje más informal en red (SE), en el que los estudiantes realizan sus propias aportaciones a partir de artículos, vídeos o temas sugeridos paralelamente a la propia asignatura. Este proceso que parte de la enseñanza y que pretende conducir a los estudiantes hacia la asunción de su aprendizaje no podemos esperar que ocurra espontánea ni rápidamente, ya que requiere un diseño didáctico que permita la co-construcción de puentes entre cuadrantes.

Esta dificultad supone un reto en tres fases: en primer lugar, definir el objeto de estudio y sus posibles abordajes evaluativos; en segundo lugar, establecer las variables psicodidácticas más relevantes del acto educativo virtual; en tercer lugar, conocer la efectividad de los elementos virtuales que redundará en la mejora de los diseños virtuales de cursos.

Método

Diseño

En nuestro caso, entre todos los elementos objeto de estudio, la investigación abierta está centrada en el uso de foros de debate en contextos educativos complementarios no obligatorios. Esta elección no es casual: los foros virtuales tienen una gran versatilidad y permiten observar e intervenir en la construcción de la información y de la relación grupal. Así, de los foros se puede extraer información cuantitativa exportable a paquetes estadísticos como el SPSS para dar cuenta de su magnitud y significatividad (Palacios, 2006). Paralelamente, se pueden realizar análisis cualitativos de datos atendiendo al contenido de las intervenciones en los foros y procesar la información con ayuda de NUD*IST- NVivo.

El diseño metodológico consiste en desarrollar un instrumento de evaluación cualitativa de las intervenciones de los estudiantes en foros virtuales que permita calificar las intervenciones en base a criterios transformables en valores cuantitativos. Este instrumento se aplica a la muestra objeto de estudio para la posterior comparación con los datos cuantitativos que se procesan en las plataformas virtuales automáticamente. Se pretende así estudiar las diferencias en los resultados obtenidos por ambas vías para ajustar y dar sentido a la evaluación sumativa que se ofrece a los estudiantes en relación a sus intervenciones en los foros.

Para la elaboración de dicho instrumento de evaluación, hemos tomado como base los ocho niveles de competencia propuestos como marco de referencia para el aprendizaje para toda la vida por la Comisión de las Comunidades Europeas (2005). Hemos seleccionado de la tabla de referencia la competencia comunicativa y social, ya que es esta competencia la que aparentemente más beneficiada puede resultar del uso de foros virtuales y la que representa el valor añadido de aprendizaje más alto. Como señala Selber (2004), un estudiante funcionalmente alfabetizado en TIC hace un uso de un discurso adaptado al medio y los estudiantes deben apropiarse de ese discurso al nivel de la comunidad de especialistas si quieren tener voz en esta comunidad.

El problema principal en la aplicación de los niveles de competencia definidos en el marco de referencia consiste en que representan valores genéricos que dificultan la comparación y la evaluación del estudiante. Para superar esta dificultad, hemos adaptado los niveles de referencia teniendo en consideración las investigaciones relativas a la Comunicación Mediada por Ordenador (CMC) de Rafaeli (1988), principalmente los resultados del Proyecto-H de Rafaeli y Sudweeks (1997). En estas investigaciones se ha subrayado la importancia del análisis de los mensajes como conductas observables del hecho social y se han recolectado datos que indican una relación clara entre la interactividad y los parámetros de comunicación de los mensajes.

A partir de estos resultados, hemos vinculado los niveles de competencia a marcadores discursivos (López Quero, 2004; Portoles, 1998) por su relación con los aspectos formales comunicativos y a los niveles de e-moderación de Salmon (2000) para evaluar los aspectos más sociales. Como resultado del estudio del estado de la cuestión, hemos definido el Panel de Criterios de Evaluación para el análisis cualitativo de las intervenciones de los foros (ver tabla en el apartado de Instrumentación).

Los estudiantes participantes en esta investigación no han sido previamente seleccionados, sino que trabajan en los grupos naturales de las asignaturas investigadas. Como en el resto de asignaturas, los estudiantes deciden su implicación mayor o menor en estas asignaturas y en las actividades que se les proponen. En el caso de su participación en los foros, no es obligatoria, aunque sí tiene un cierto reflejo en la calificación final (0,3-0,4 puntos sobre los 10 puntos de la calificación final).

Tras dos o tres sesiones presenciales de la asignatura y establecida una mínima dinámica de aula, se presenta a los estudiantes el foro virtual de “La importancia de ser simpático” y se invita a los estudiantes a participar en él. Este foro representa la introducción de estos estudiantes en el aula virtual y en el entorno de la interacción online y tienen que posicionarse en relación a la importancia de la inteligencia emocional frente a la cognitiva partiendo de un artículo de opinión (Verdú, 2004).

Posteriormente se les propondrá que trabajen en otros foros más relacionados con cada una de las asignaturas, como el de “Psicología Infantil y lenguaje”, sobre la adquisición infantil de lenguas, y en un foro final denominado “El examen del examen” en el que los estudiantes, una vez calificados, pueden dar su opinión en relación al examen final y a otros aspectos de la asignatura.

En total, en estas asignaturas los estudiantes tienen la posibilidad de trabajar en más de cinco foros de debate o argumentación, que suponen la base de esta investigación.

 

Objetivos e hipótesis

El objetivo final de esta investigación es establecer un marco de diseño, desarrollo y evaluación de foros de debate dentro del contexto de una asignatura universitaria. Esta investigación nos ayudará a determinar algunos puntos de referencia sobre los que apoyar futuras comparaciones, de manera que podamos construir una guía de evaluación para docentes.

En esta investigación se han establecido dos núcleos en relación a los objetivos:

1. Evaluación de los aspectos cuantitativos de los foros: proveer de información cuantitativa acerca de las interacciones en diversos foros de discusión utilizados paralelamente en cursos con diferentes competencias específicas a desarrollar, información basada en el tamaño grupal, el número de visualizaciones de cada foro (definido como número de veces en las que un participante ha entrado en el espacio web del foro) y el número de aportaciones

2. Evaluación de los aspectos cualitativos de los foros: desarrollar un método de análisis cualitativo de foros enmarcados en entornos virtuales para posteriores investigaciones, basado en el Panel de Criterios de Evaluación diseñado en base a los niveles de competencia propuestos por la Comisión de las Comunidades Europeas (2005).

Las variables se han definido de la siguiente manera:

Nivel de funcionamiento psicodidáctico de un foro: para responder a la interrogante de si un foro ha funcionado bien podemos atender a aspectos cuantitativos y cualitativos:

- Aspectos cuantitativos: un foro funciona bien cuando el Índice de Participación y el Índice de Seguimiento son altos

Índice de Participación: porcentaje de estudiantes que han realizado alguna aportación en relación al nº total de estudiantes

Índice de Seguimiento: porcentaje de estudiantes que han visualizado el foro en relación al nº total de estudiantes

Frecuencia de intervención del profesor: número de intervenciones del profesor en relación al número total de intervenciones

- Aspectos cualitativos: un foro funciona bien cuando los participantes reflejan en sus aportaciones un nivel de competencia comunicativa y social alto

Nivel de competencia comunicativa y social: este nivel queda definido como resultado del análisis del estado de la cuestión y resumido en el Panel de Criterios de Evaluación, en una escala del 1 al 8.

 

Muestra 

La muestra invitada consiste en 247 estudiantes de primer curso de la Escuela de Magisterio de San Sebastián (Universidad del País Vasco), es decir, todos los estudiantes matriculados en estas tres asignaturas impartidas por el Departamento de Psicología Evolutiva y de la Educación: Psicología de la Edad Infantil, Psicología de la Educación impartida en lengua vasca y la misma asignatura impartida en castellano.

La muestra productora de datos consiste en 215 estudiantes; este número corresponde al número de estudiantes de dichas asignaturas que han visualizado el espacio virtual de la asignatura al menos una vez. No se han tenido en cuenta en la muestra aquellos estudiantes que, aun estando matriculados en la asignatura, no han entrado nunca en el espacio virtual, que constituyen el 12,9% de los estudiantes.

La muestra final queda dividida de la siguiente manera:

• Psicología de la Edad Infantil N= 96 (esp. Educación Infantil)

• Psicología de la Educación (en Euskara). N= 101 (esp. Lengua Extranjera y Ed. Especial)

• Psicología de la Educación. (en Castellano) N= 18 (esp. Educación Especial)

 

Instrumentación 

Los datos objeto de estudio proceden de las tablas extraídas de la base de datos MySQL de la plataforma LMS Moodle, y se han exportado al paquete estadístico SPSS 14.0 con el fin de analizar los datos que recopila la propia plataforma y así extraer los más significativos y posteriormente comparar la información cuantitativa con la cualitativa y estudiar diferentes vías para la evaluación psicodidáctica.

Respecto al análisis cualitativo, las intervenciones seleccionadas para el estudio han sido las realizadas en el foro “La importancia de ser simpático” de la asignatura Psicología de la Edad Infantil. Estas intervenciones han sido contrastadas con el primer hilo del foro “Psicología infantil y lenguaje” para comparar el nivel de competencia mostrado por los estudiantes en un foro general y en uno más específico de la asignatura. Este análisis cualitativo es un análisis basado en la forma comunicativa y social de los mensajes, no en el contenido del debate en sí, ya que el objetivo es la evaluación de estas competencias transversales y no el nivel de competencia específico de la asignatura.

Para realizar el análisis se han introducido las aportaciones de los foros separadamente como documento interno en el programa QSR NVivo8 y se han codificado como casos para aplicar la clasificación por niveles del Panel de Criterios de Evaluación. Esto es, hemos utilizado como base los ocho niveles de competencia propuestos como marco de referencia para el aprendizaje para toda la vida por la Comisión de las Comunidades Europeas (2005). Hemos seleccionado de la tabla de referencia la competencia comunicativa y social, ya que es esta competencia la que aparentemente más beneficiada puede resultar del uso de foros virtuales y la que representa el valor añadido de aprendizaje más alto. Como señala Selber (2004), un estudiante funcionalmente alfabetizado en TIC hace un uso de un discurso adaptado al medio y los estudiantes deben apropiarse de ese discurso al nivel de la comunidad de especialistas si quieren tener voz en esta comunidad.

El problema principal en la aplicación de los niveles de competencia definidos en el marco de referencia consiste en que representan valores genéricos que dificultan la comparación y la evaluación del estudiante. Para superar esta dificultad, hemos adaptado los niveles de referencia teniendo en consideración las investigaciones relativas a la Comunicación Mediada por Ordenador (CMC) de Rafaeli (1988), principalmente los resultados del Proyecto-H de Rafaeli y Sudweeks (1997). En estas investigaciones se ha subrayado la importancia del análisis de los mensajes como conductas observables del hecho social y se han recolectado datos que indican una relación clara entre la interactividad y los parámetros de comunicación de los mensajes.

A partir de estos resultados, hemos vinculado los niveles de competencia a marcadores discursivos (López Quero, 2004; Portoles, 1998) por su relación con los aspectos formales comunicativos y a los niveles de e-moderación de Salmon (2000) para evaluar los aspectos más sociales.

Como resultado del estudio del estado de la cuestión, hemos definido el Panel de Criterios de Evaluación para el análisis cualitativo de las intervenciones de los foros: 

Tabla 1: Panel de Criterios de Evaluación

Nivel de competencia

Resultados de aprendizaje

Tipología de la comunicación

Tipo comunicación

Elementos lingüísticos y

paralingüísticos

Fasee-modera-ción

1

Respuesta sencilla de comunicación escrita. Demuestra un rol social de sí mismo

Respuesta breve, sólo para mostrar su presencia en el foro

D

1ª pers. sing.

Sólo info. u opinión

30-70 palabras aprox

1

2

Respuesta sencilla pero detallada de comunicación escrita

Ajusta su rol a diferentes situaciones sociales

Explica la cuestión en respuesta a la intervención del profesor

D

1ª pers. sing

70-150 palabras aprox

Algún marcador del discurso

1

3

Produce (y responde con) comunicación escrita detallada

Asume la responsabilidad de su comprensión y comportamiento

Pregunta a otros acerca de su opinión

Se refiere a otra(s) intervención(es) del hilo

R

1ª pers. sing

50-150 palabras aprox.

Algunos marcadores del discurso (significativos)

Marcadores de estilo indirecto

2

4

Produce (y responde con) comunicación escrita detallada en situaciones no familiares.

Usa su autoconocimiento para cambiar su comportamiento

Discurso estructurado.

Presenta la información con claridad

R

Verbos impersonales y 3ª pers. sing/plur

100-200 palabras

Uso intensivo de marcadores del discurso y herramientas cooperativas

3

5

Presenta las ideas bien estructuradas y coherentes a los compañeros, supervisores y clientes utilizando información cuantitativa y cualitativa.

Expresa una comprensión interiorizada del mundo reflejando adhesión hacia los otros.

Contenido aceptable, opinable

Incluye referencias al tema del hilo, referencias externas o referencias a un post previo de ese hilo

I

Mayor uso de 1ª pp.

Emoticonos, exclamaciones e interrogantes

150-250 palabras

3

6

Comunica ideas, problemas y soluciones a especialistas y no especialistas utilizando un rango de técnicas que incluyen información cuantitativa y cualitativa.

Expresa una comprensión interiorizada del mundo manifestando solidaridad hacia otros

Presenta un hilo en un foro y anima a sus compañeros a participar.

Sintetiza para guiar la conversación

I

Comienza un hilo

Añade anexos e información extra

1ª pp y 2ª pp

Emoticones, exclamaciones e interrogantes

100-300 palabras

4

7

Comunica resultados de proyectos, métodos y apuntes racionales a especialistas y no especialistas utilizando técnicas apropiadas.

Estudia y refleja las normas sociales y relaciones y actúa para modificarlas.

Construye el mensaje basándose en las intervenciones de los compañeros combinadas con materiales técnicos

I

Comienza un hilo.

Incluye anexos con información extra

Uso intensivo de marcadores del discurso

250-350 palabras

4

8

Comunica con autoridad desarrollando un discurso crítico con sus compañeros en una comunidad de especialistas.

Estudia y refleja normas sociales y relaciones y lidera acciones para modificarlas.

E-modera hilos por sí mismo

Divulgativo

Feedback personalizado a compañeros

Lidera el hilo

 

I

Inicia el hilo

Incluye anexos e información extra

Participación frecuente

Diferentes tamaños de intervenciones

Expresiones de acuerdo para tomar o finalizar un turno

1pp y 2ps

Expresiones de ánimo

Sentido del humor 200-350 palabras

5

 

Nivel de competencia y resultados de aprendizaje:

(iii) Comunicación y competencia social, progresión del nivel 1 al 8 (Commission Staff Working Document, 2005)

Tipo de comunicación (Rafaeli, 1988):

D: Comunicación Declarativa (unidireccional): la información u opinión está presentada unidireccionalmente

R: Comunicación Reactiva (bidireccional): uno responde al otro

I: Comunicación Interactiva (completa): el siguiente mensaje de una secuencia tiene en cuenta no sólo el mensaje que lo precede, sino también la manera en que se han desarrollado los mensajes anteriores. De esta manera, la interactividad conforma una realidad social

Fases de la moderación (Salmon, 2000):

1: Acceso y motivación

2: Socialización online

3: Intercambio de información

4: Construcción del conocimiento

5: Desarrollo

Proceso de análisis

Por tanto, el proceso llevado a cabo para el análisis de los datos ha sido el siguiente:

1. En primer lugar se han obtenido las bases de datos generadas por la aplicación Moodle. En estas bases se contiene información detallada de cada participante.

2. Posteriormente se han exportado al paquete estadístico SPSS.

3. Se ha realizado el análisis estadístico-descriptivo e inferencial de estos datos

4. Los contenidos de los mensajes se han analizado con el paquete informático NVivo para lo cual se han seguido los siguientes pasos:

4.a. creación de tantos documentos como mensajes

4.b. establecimiento de diversas categorías para el análisis basadas en el Panel de Criterios de Evaluación (Fig. 1)

4.c. categorización de todos los mensajes en función de las categorías establecidas.

4.d. realización de los análisis

5. Se han triangulado los datos de NVivo con los extraídos con el SPSS

 

Resultados

En relación al primero de los objetivos planteados, podemos afirmar que la información cuantitativa recolectada en la plataforma es una información válida para un primer acercamiento a la evaluación psicodidáctica del foro, si bien la perspectiva que ofrece es limitada.

En general, los foros han tenido una participación relativa alta y un seguimiento bastante amplio, lo que al menos asegura la presencia virtual de más del 95% de los estudiantes en el curso. Hay que tener en cuenta que se trata de una actividad complementaria de una asignatura universitaria cuatrimestral, con un porcentaje muy bajo en la calificación final.

Estos son los índices de participación y seguimiento de los cursos en general, es decir, en el conjunto de las tres asignaturas:

Índice de participación general:

Tabla 2: Resultados de aportaciones a los foros

 

Nº de alumnos

1 - Foro “Atsegina” - Aportaciones

2 - Foro “Azterketa” – Aportaciones

3 - Resto de los foros – Aportaciones

N

Válidos

215

131

45

119

 

Missing

0

84

170

96

Índice participación

 

60,93%

20,93%

55,35%

 Índice de seguimiento general:

En relación al número de aportaciones por estudiante, el 43,7% ha realizado una aportación en el foro sobre “La importancia de ser simpático” (Atsegina), el 14,9% ha realizado dos aportaciones y el 2,3% ha realizado tres aportaciones. Estos datos parecen indicar que más que un debate, cada participante ha presentado su posición en relación al tema propuesto. Este análisis se ha contrastado con más detalle en el análisis cualitativo.

 Tabla 3: Resultados de las visualizaciones de los foros

 

Nº de alumnos

1 - Foro “Atsegina” - Visualizaciones

2 –Foro “Azterketa”– Visualizaciones

3 - Resto de los foros – Visualizaciones

N

Válidos

215

192

102

206

 

Missing

0

23

113

9

Índice seguimiento

 

89,30%

47,44%

95,81%

    En el caso del foro “El examen del examen” (Azterketa), este foro tiene un índice de participación menor (como se podía esperar por sus características). Sin embargo, el número de aportaciones por estudiante varía: el 72% de los estudiantes participantes han realizado una aportación, pero hay un 15,6% que ha realizado dos intervenciones, un 8,9% que ha intervenido en 3 ocasiones y dos estudiantes que han intervenido en un total de 5 ocasiones. En este caso, la interacción entre los participantes ha sido mayor y ha tenido un índice de seguimiento que se aproxima al 50%.

Cabe destacar que tomando el resto de los foros en su totalidad, muestran una participación alta, tanto en nº de estudiantes participantes como en nº de intervenciones por estudiante. En este caso, el nº de intervenciones por estudiante está más distribuido y el 24,4% de los participantes han realizado 4 aportaciones, lo que indica una interacción mayor.

Por otra parte, en la comparación de medias obtenidas por foros, observamos que existe correlación entre las aportaciones del foro “Atsegina” en relación al resto de los foros y también entre el foro “Azterketa” y el resto, datos que apuntan la importancia del diseño didáctico general en la evaluación de un foro determinado. Este análisis se ve reforzado en el análisis cualitativo, como veremos más adelante.

En relación a la comparación entre grupos, la participación en los foros de los grupos Psicología de la Edad Infantil y Psicología de la Educación impartidas en euskara correlaciona, no así el de Psicología de la Educación impartida en castellano. Hay que destacar que este último grupo tiene un tamaño muy inferior al de los otros dos, por lo que una o dos intervenciones en los foros de este grupo pueden modificar significativamente los resultados. La comparación en el número de visualización no parece ofrecer información significativa.

En relación al rol del profesor, se puede destacar un dato en relación a las visualizaciones: en todos los casos, el profesor tiene una frecuencia de visualización que duplica la media de visualizaciones de los estudiantes, lo que muestra que aunque la frecuencia de intervenciones es baja, realiza un seguimiento de las aportaciones de los estudiantes.

En resumen, los datos cuantitativos indican un buen funcionamiento de los foros, con aportaciones de un porcentaje alto de estudiantes a lo largo de la asignatura y un seguimiento generalizado.

Para conocer en más detalle el nivel de competencia reflejado en estos foros, se ha analizado este foro (“Atsegina”-Psicología de la Edad Infantil) utilizando el Panel de Criterios de Evaluación del nivel de competencia comunicativa y social. Se trata de acercar el análisis cuantitativo a un análisis cualitativo centrado en la forma de los mensajes. Este es un ejemplo de la codificación de un mensaje con el programa NVivo para su categorización:

Fig. 2: Ejemplo de categorización para el análisis cualitativo

 

 

 Los resultados muestran que en este caso concreto, el nivel competencial alcanzado por los participantes es moderadamente bajo:

Tabla 4: resultados del análisis cualitativo del Foro Atsegina en el grupo Psicología de la Edad Infantil

NIVEL COMPETENCIA

RESULTADOS APRENDIZAJE

TIPOLOGÍA COMUNICACIÓN

TIPO COMUNICACIÓN

FASES MODERACIÓN

1

17

30,9%

14

25,4%

38

69,1%

 

26

47,3%

2

14

25,4%

14

25,4%

3

2

3,6%

4

7,3%

9

16,4%

19

34,5%

4

18

32,7%

17

30,9%

 

 

8

14,5%

5

3

5,4%

5

9,1%

 

 

6

1

1,8%

1

1,8%

8

14,5%

2

3,6%

7

0

0%

0

0%

 

 

8

0

0%

0

0%

 

 

0

0%

 Así, sólo el 32,7% de las aportaciones presentan un nivel de competencia 4 y, en general, las aportaciones muestran más una presencia virtual como respuesta a la demanda del profesor que una socialización online. Sin embargo, aunque estos datos puedan hacer pensar en que el foro Atsegina ha tenido un impacto bajo en el desarrollo de la competencia comunicativa y social de los estudiantes, si comparamos estos resultados con los obtenidos en otro de los foros del curso la interpretación puede variar. Esta es la tabla resultante del análisis del primer hilo del foro “Psicología Infantil y lenguaje”, de contenido más específico y posterior en el tiempo:

Tabla 5: Resultados del análisis cualitativo del foro Hablar del grupo Psicología de la Edad Infantil

NIVEL

COMPETENCIA

RESULTADOS

APRENDIZAJE

TIPOLOGÍA

COMUNICACIÓN

TIPO

COMUNICACIÓN

FASES

MODERACIÓN

1

7

38,9%

5

27,8%

0

0%

0

0%

2

2

11,1%

0

0%

3

3

16,7%

5

27,8%

6

33,3%

9

50%

4

0

0%

0

0%

 

 

0

0%

5

1

5,5%

2

11,1%

 

 

6

3

16,7%

3

16,7%

12

66,6%

8

44,4%

7

2

11,1%

3

16,7%

 

 

8

0

0%

0

0%

 

 

1

5,5%

 

En resumen, la aproximación cuantitativa aporta información significativa para la evaluación psicodidáctica de los foros en relación a la presencia virtual de los estudiantes y el buen funcionamiento del foro en términos de actividad, aunque si contrastamos las aportaciones con un análisis cualitativo basado en el nivel de competencia comunicativa y social, los resultados muestran una mayor relatividad en la interpretación que indican que un buen funcionamiento cuantitativo no conlleva necesariamente buenos resultados de aprendizaje. También nos muestran que el análisis de un foro aislado puede sesgar la interpretación de los datos recogidos, mientras que comparando los resultados con otros foros y otras actividades llevadas a cabo en el entorno virtual podemos interpretar con mayor precisión el valor psicodidáctico de una actividad determinada.

A modo de conclusión se puede señalar que estos resultados confirman varias de las hipótesis que han guiado esta investigación. En primer lugar, el nivel de funcionamiento didáctico de un foro se puede valorar en base a datos cuantitativos como el Índice de Participación y el Índice de Seguimiento. Así podemos observar que el índice de participación de un foro definido dentro de un diseño didáctico similar se mantiene en diferentes grupos o que una frecuencia baja de intervención del profesor y un índice de participación alto indican autonomía en los estudiantes y en consecuencia, mayor nivel de competencia comunicativa y social. En segundo lugar, el Panel de Criterios de Evaluación definido en la presente investigación permiten evaluar el nivel de competencia comunicativa y social del estudiante. Así podemos observar que un índice de participación alto no supone un nivel de competencia comunicativa y social alto en las intervenciones de los estudiantes.

Discusión

En esta primera aproximación en el análisis de la actividad de foros virtuales, podemos concluir que los estadísticos descriptivos muestran de manera sencilla información acerca del funcionamiento general de los foros. Esta descripción puede sistematizarse técnicamente de manera que se pueda aplicar a un número alto de datos (p.ej. para realizar análisis de campus virtuales completos) y así registrar la evolución en el desarrollo didáctico de los foros virtuales en plazos de tiempo más largos. Los índices definidos en esta investigación son limitados en cuanto que han sido elaborados en base a los datos acerca de una herramienta concreta de un espacio virtual, por lo que podemos plantear enriquecer esta descripción extrayendo datos en relación a otras actividades y recursos de la plataforma y así elaborar índices más sólidos.

En cualquier caso, de cara a una evaluación más detallada, más ajustada a la evaluación de aula, vemos que es más conveniente comparar esa primera aproximación con niveles de competencia sobre los que hay que calificar a los estudiantes, ya que la participación no garantiza de por sí una mejora en la competencia de los participantes. El marco de referencia propuesto por la Comisión Europea ofrece la oportunidad de la comparabilidad de resultados cualitativos entre asignaturas, cursos y titulaciones, aunque es necesario operativizar la descripción de competencias para facilitar la asignación de niveles a cada aportación. En el caso de esta investigación, las aportaciones han sido clasificadas en relación a la competencia comunicativa y social, es decir, el análisis ha sido relativo a la forma, no al propio contenido del foro, por lo que las categorizaciones realizadas son aplicables a otros foros de otros cursos pero no se aporta información acerca de los resultados de aprendizaje relacionados con las competencias específicas de la asignatura; no obstante, estas mismas técnicas de análisis cualitativo se pueden aplicar a otras categorizaciones.

El objetivo es sistematizar en lo posible la evaluación cualitativa de las aportaciones de los foros, ya que la evaluación uno a uno supone una alta carga de tiempo y esfuerzo, especialmente en grupos grandes y activos. De esta manera, se podría evaluar de una manera semi-automática el funcionamiento del foro en sí y a su vez, la actuación de cada uno de los participantes en el foro para orientarlos en la adecuación y mejora de su actuación.

Otra clave en la evaluación de entornos virtuales es el diseño didáctico general de la asignatura. Hemos observado, tanto en el análisis cuantitativo como en el cualitativo, una serie de indicios que sugieren que la implementación de un primer foro más dirigido y general que permita a los estudiantes acceder al entorno virtual y dar un primer paso de socialización on-line en el contexto académico puede allanar el camino para el trabajo en foros más específicos y exigentes académicamente en los que puedan mostrar un nivel de competencia superior. Por tanto, una vía para la continuidad de esta investigación será la evaluación cuantitativa y cualitativa del contexto educativo en el que se enmarcan los foros a analizar.

Finalmente, en relación a las aplicaciones informáticas utilizadas para el análisis, hemos trabajado con software privativo, por lo que otra línea de trabajo será el estudio de herramientas de software libre que, además de reducir costes, abren la posibilidad de realizar modificaciones en el código y adaptar los desarrollos a las necesidades detectadas en las investigaciones. Para análisis estadísticos, la UPV/EHU está impulsando la formación y el uso de R; el análisis cualitativo aún no tiene una clara alternativa, aunque en diversas universidades internacionales se está trabajando en ello. Se puede pensar en desarrollar en un futuro un módulo de contribución para la plataforma Moodle (también de software libre) que sistematice las búsquedas de la información más relevante para la evaluación.

Referencias

Area, M. (2004). Los medios y las tecnologías en la educación. Madrid: Pirámide

Balanskat, A., Blamire, R., Kefala, S. (2006). The ICT Impact Report. A review of studies of ICT impact on schools in Europe (online) (consultado el 08/01/2008) . European Schoolnet, European Commission’s ICT cluster. http://ec.europa.eu/education/doc/reports/doc/ictimpact.pdf

Bautista, G., Borges, F., Forés, A. (2006). Didáctica universitaria en entornos virtuales. Madrid: Narcea

BENVIC Project (1999-2001). http://www.benvic.odl.org/ (consultado el 12/09/2007)

Biggs, J. (1999). Teaching for Quality Learning at University. Buckingham: Open University Press.

Comisión Europea (2007). Communication from the commission to the council and the European Parliament: Improving the Quality of Teacher Education.(online) (consultado el 08/01/2008) Bruselas, 3.8.2007, 392 final. http://ec.europa.eu/education/com392_en.pdf

Comisión Europea- Dirección General de Educación y Cultura (2004). Working Group C: “ICT in education and training”.(online) (consultado el 10/11/2007) Report on indicators, julio de 2004. http://ec.europa.eu/education/policies/2010/doc/infoindic.pdf

Comisión Europea (2002). European Report on Quality Indicators of Lifelong Learning. Report based on the work of Working Group on Quality Indicators.(online) (consultado el 10/11/2007) Directorate-General for Education and Culture. http://ec.europa.eu/education/policies/lll/life/report/quality/report_en.pdf

Commission of the European Communities (2005). Commission Staff Working Document (2005). Towards a European Qualifications (online) (consultado el 10/11/2007) Framework for Lifelong Learning. Bruselas. http://ec.europa.eu/education/policies/2010/doc/consultation_eqf_en.pdf.

Conference Board of Canada (1991). Employability Skill Profile: The Critical Skills Required of the Canadian Workforce. (online) (consultado el 08/01/2008). Ottawa, Ontario. http://www.conferenceboard.ca/

Coomey, M., Stephenson, J. (2001). Teaching and Learning Online. Londres: Kogan Page.

Duart, J.M., Sangrà, A. (comp.) (2000). Aprender en la virtualidad. Barcelona: Gedisa

EUCEN Steering Committee (2005). University lifelong learning in the Bologna process: from Bergen to London and beyond.(consultado el 10/11/2007). http://www.eucen.org/PolicyStatementPaper05/BergenSynthesisvFinal_cover.pdf

Gros, B. (2004). La construcción del conocimiento en la red: límites y posibilidades. Teoría de la Educación: Educación y Cultura en la Sociedad de la Información, nº 5, vol. 5.

Gálvez, A.M. (2004). Posicionamiento y puestas en pantalla. Un análisis de la producción de sociabilidad en entornos virtuales. (consultado el 12/09/2007). http://www.tesisenxarxa.net/TESIS_UAB/AVAILABLE/TDX-1025104-165527/amgm1de1.pdf

Harasim, L., Hiltz, S.R., Turoff, M., Teles, L. (2000). Redes de aprendizaje. Guía para la enseñanza y el aprendizaje en red. Barcelona: Gedisa

Hargreaves, A. (2003). Enseñar en la sociedad del conocimiento. Barcelona: Octaedro

López Quero, S. (2004). La conversación virtual en español: texto escrito oralizado. En Calero y otros (coord.): Estudios lingüísticos y literarios In memoriam Eugenio Coseriu (1921-2002) Córdoba: Universidad de Córdoba

Onrubia, J. (2005). Aprender y enseñar en entornos virtuales: actividad conjunta, ayuda pedagógica y construcción de conocimiento. Red, Revista de Educación a Distancia, 20 de febrero 2005. Publicación online, IV, II. http://www.um.es/ead/red/M2/conferencia_onrubia.pdf

Ortega, J.A. (2002). Principios para el diseño y organización de programas de enseñanza virtual: sistematización a la luz de las teorías cognoscitivas y conductuales. In Blázquez, F., González, M.P. (coord.): Las nuevas tecnologías en la Universidad. Badajoz: ICE – Universidad de Extremadura, pp. 75-132

Palacios, S. (2005). Variables psicodidácticas de las nuevas tecnologías. Revista de Psicodidáctica, vol. 10, nº 2, 81-95

Palacios, S. (2006). Estrategias de aprendizaje y nuevas tecnologías en la enseñanza de la psicología evolutiva y de la educación. En A. Goñi, Innovación Educativa en la Universidad (pp. 157-169). Bilbao: Servicio editorial de la Universidad del País Vasco.

Palacios, S. Ezeiza, A. (2007). De la educación formal a la informal: redes virtuales humanas. En J.J.Goicoechea y M.T. Vizcarra (Eds) (2007): Los retos actuales en investigación educativa y formación profesionalizadora de los estudios de magisterio (pp. 455-466). Bilbao: Idazkide

Palacios, S (2007). Aproximación psicosocial a la construcción del ciberespacio. Ventana Abierta, Revista de la Facultad de Psicología, 1, 19-24.

Portoles, J. (1998). Marcadores del discurso. Barcelona: Ariel Practicum.

Rafaeli, S. (1988). Interactivity: From new media to communication. En R.P. Hawkins, J.M. Wiemann and S. Pingree (eds), Sage Annual Review of Communication Research: Advancing Communication Science, Vol. 16, 110-134. Beverly Hills, CA: Sage

Rafaeli, S. & Sudweeks, F. (1997). Networked Interactivity. Journal of computer mediated communication, vol. 2, 4.

Salmon, G. (2000). E-moderating : the key to teaching and learning online. Londres: Kogan Page

Selber, S.A. (2004). Multiliteracies for a Digital Age. Carbondale, IL: Southern Illinois University Press

Stephenson, J. (2001). Teaching and learning online. Londres: Kogan Page.

Verdú, V. (2004). La importancia de ser simpático. Madrid: El País, 20/02/2004, pag 35

 


ABOUT THE AUTHORS SOBRE LOS AUTORES

Ezeiza, Ainhoa (ainhoa.ezeiza@ehu.es). Departamento de Didáctica de la Lengua y la Literatura. E.U. Magisterio de Vitoria-Gasteiz. Juan Ibáñez de Sto. Domingo, 1. 01006 Vitoria-Gasteiz. Universidad del País Vasco. Buscar otros artículos de este autor en Scholar Google

Palacios, Santiago (santiago.palacios@ehu.es). Doctor en Psicología (Psicodidáctica). Su dirección postal es: Departamento de Psicología Evolutiva y de la Educación. Escuela Universitaria de Magisterio de San Sebastián. Plaza de Oñate, 3. 20018 – San Sebastian. Universidad del País Vasco. Es el autor de contacto para este artículo. Principales líneas de investigación: a) Implicaciones psidodidácticas de las TIC y b) Construcción del conocimiento social. Presidente de la ONG HegoBit aldea. Buscar otros artículos de este autor en Scholar Google


ARTICLE RECORD / FICHA DEL ARTÍCULO

Reference /

Referencia

  Ezeiza, Ainhoa & Palacios, Santiago (2009). Evaluación de la competencia comunicativa y social en foros virtuales. RELIEVE, v. 15, n. 2. http://www.uv.es/RELIEVE/v15n2/RELIEVEv15n2_2.htm

Title / Título

  Evaluación de la competencia comunicativa y social en foros virtuales. [Evaluation of communicative and social competence in virtual forums].

Authors / Autores

   Ezeiza, Ainhoa & Palacios, Santiago

Review / Revista

   RELIEVE  (Revista ELectrónica de Investigación y EValuación Educativa), v. 15, n. 2

ISSN

1134-4032

Publication date /

Fecha de publicación

 2009 (Reception Date: 2008 December 3; Approval Date: 2009 September 7; Publication Date: 2009 September 9).

Abstract / Resumen

   The purpose of this research is to carry out an approach to the quantitative and qualitative analysis of the content in the virtual forums used as a complement to the university lessons. After defining the base criteria of the assessment process, the forums developed in three subjects (215 students) are analyzed. The results show the need to distinguish between quantitative and qualitative results in relation to their impact on assessing the level of competence; they also suggest the importance of the didactic design of the subject in the evolution of the communicative and social competences of the students’ participations.

    El objeto de esta investigación es realizar una aproximación al análisis cuantitativo y cualitativo del contenido de los foros virtuales de debate utilizados como complemento de la docencia universitaria presencial. Tras definir los criterios-base del proceso de evaluación, se analizan los foros desarrollados en tres asignaturas (215 estudiantes). Los resultados muestran la necesidad de distinguir entre los resultados cuantitativos y los cualitativos en relación a su impacto en la evaluación del nivel de competencia; también sugieren la importancia del diseño didáctico de la asignatura en la evolución de la competencia comunicativa y social de las intervenciones de los estudiantes.

Keywords / Descriptores

 Teaching, Teaching strategies, Technology perception, Learning styles, Computer competency.

Computer assisted instruction, multimedia instruction, blended learning, evaluation of competence, communication and social competence..

Institution / Institución

Universidad del País Vasco (España).

Publication site / Dirección

http://www.uv.es/RELIEVE 

Language / Idioma

Español (Title, abstract and keywords in English)

 

Volumen 15, n. 2

 

© Copyright, RELIEVE.  Reproduction and distribution of this article  is authorized if the content is no modified and its origin is indicated (RELIEVE Journal, volume, number and electronic address of the document).

© Copyright, RELIEVE.  Se autoriza la reproducción y distribución de este artículo siempre que no se modifique el contenido y se indique su origen (RELIEVE, volumen, número y dirección electrónica del documento).

[ ISSN: 1134-4032 ]

Revista ELectrónica de Investigación y EValuación Educativa

E-Journal  of  Educational  Research, Assessment  and  Evaluation

 

  http://www.uv.es/RELIEVE

 relieve@uv.es

Statistics  Free counter and web stats   Estadísticas